第258章 怎么总感觉是在给自己挖坑呢（第二更！）

怎么总感觉是在给自己挖坑呢（
怎么总感觉是在给自己挖坑呢（的作者之一的伊利亚波洛苏金。
这篇文章在17年6月12日发布后，并没有第一时间造成很大影响，并且由于其难以收敛，并不比相对成熟的lst效率更高，因此在这个阶段，大部分研究者的视线并未投向注意力机制的transforr架构，这里也包括openai。
openai在2018年年初，还在用lst进行训练，并且在dota2里击败了人类。而仅仅几个月之后，openai就发布了gpt-1。
这说明，几个月的时间，足够制作一个大模型。