“尽管我们从未像现在这样投入如此多的资源、资金和人才，但这反而导致了我们研究范围的缩小。”在上周举行的旧金山 TED AI 大会上，Transformer 架构的联合创造者 Llion Jones 这样说道。
 

Llion Jones 是 2017 年开创性论文《Attention is all you need》的共同作者，也是“Transformer”架构的命名者之一。他的工作为 ChatGPT、Claude 等当下几乎所有主流大模型奠定了基础。
 

该论文次数超过10万次，是计算机科学领域本世纪最具影响力的出版物之一

Transformer 架构同样为机器人领域带来了质的飞跃。

它实现了空间理解能力的跃升，取得了泛化能力的突破，推动行业从“规则驱动”转向“数据驱动”。在空间理解、泛化能力及学习范式的全面提升下，机器人从“专用AI”迈向“通用AI”，也为“具身智能”的热潮埋下伏笔。

如今，这位关键奠基者，如今却毅然决定转身离开自己的创造。“我对 Transformer 彻底厌倦了，”他坦言，“我正在寻找下一个重大突破。”
 

1►成功的代价：Transformer 可能阻碍下一个突破
 

值得注意的是，Jones已经在Google工作了10年以上。
 

他不是那种发了一篇论文就走人的研究者，而是深度参与了Transformer从理论到应用的整个过程。他清楚地了解Transformer 的能量，也感受到了它的局限。
 

Jones 认为，从某种角度来说， Transformer 或许是一种“成功的代价”。

他回顾了开发 Transformer 时的情景，那时研究人员还在不断调整循环神经网络（RNN），追求渐进式的改进。而 Transformer 的出现，让之前所有努力几乎一夜之间过时。
 

“如果那些研究人员知道 Transformer 之类的东西即将问世，你觉得他们会花多少时间来改进 RNN？”他反问道。
 

正是现有技术的强大与灵活，抑制了人们寻求更优方案的动力。他认为，如果现有技术表现得更不完善，反而会促使更多人积极探索更好的替代路径，这在逻辑上是合理的。
 

实际上，他并非否定正在进行的 Transformer 研究。“现有技术上仍有许多非常重要的工作要做，这些工作将在未来几年带来巨大的价值。”他怕行业就陷在这种 “小修小补” 里，明明手握大把人才和钱，却只敢在 Transformer 的框架里打转，把真正的颠覆性创新给耽误了。

“我只是说，鉴于我们目前拥有的人才和资源，我们有能力做更多。”
 

2►资源越多，创造力越少
 

Jones描绘了当前 AI 研究界的困境：更多的资源正导致更少的创造力。
 

“如果你现在正在进行标准的 AI 研究，你必须假设可能有三到四个其他团队在做非常相似或完全相同的事情，” Jones 描述道，“不幸的是，这种压力损害了科学，因为人们都在匆忙发表论文，这减少了创造力。”

问题的核心，在于一种愈演愈烈的“内卷”态势。投资者要求回报的巨大压力，迫使研究人员选择安全、可发表的项目，而非高风险却可能带来变革的项目。在这种环境下，学者们不断检查自己是否被竞争对手“抢先”，创新的火种在残酷的竞争中被消耗殆尽。

他用 AI 领域经典的 “探索与利用” 理论做了更深入的解释：算法在解决问题时，若过度 “利用” 已验证的路径，而放弃 “探索” 新方向，最终只能停留在局部最优解，看似每次都有小进步，却永远错失了更优的可能性。“我们现在几乎肯定正处于这种境地。”
 

3►Transformer 诞生于 “无压力的自由”
 

有趣的是，那篇Transformer论文的8位作者，现在已经全部离开了Google，其中7人选择了创业。
 

Transformer 的孕育环境，与今天 AI 研究的氛围截然不同。

在 TED 演讲中，Jones 回顾了 Transformer 诞生之前的时光，他形容这个革命性的项目“非常自然，自下而上地生长”，源于“午餐时的交谈，或在办公室白板上的随手勾画”，随后便诞生了改变世界的Transformer

“我们当时其实并没有一个非常明确的点子，但我们有自由花时间去实现它。更重要的是，管理层没有给我们任何压力，”Jones 回忆道，“没有必须完成某个项目的指标，也没有非要发表多少篇论文的考核。”
 

没有压力，才有突破。

在他看来，这样的自由如今已几乎消失。即便是那些拿着高薪的研究人员，也可能失去了冒险的勇气。
 

4►寻找出路：在竞争中开辟合作空间

而Jones离开Google，在东京创立了Sakana AI 公司，正试图重现 Transformer 出现之前的环境。

Sakana在日语中意为「鱼」，该公司的Logo正是由一群鱼组成的图案，其中一条红色小鱼逆向游动，象征着勇于打破常规、特立独行。

这个名字与标志背后，是 Sakana AI 的技术哲学：向自然汲取智慧，追寻群体智能与进化等自然启发；同时不盲从主流，勇敢探索 AI 的下一程。
 

Jones 向团队分享了工程师 Brian Cheung 的一句话：“你应该只做那些如果你不做、就不会发生的研究。”

一个例子是 Sakana 的“连续思维机器”，它将类脑的同步机制引入神经网络。提出这个想法的员工告诉 Jones，如果是在前雇主或学术机构，他可能会受到质疑、被劝不要“浪费时间”。而在 Sakana，Jones 给了他一星期去探索。最终，这个项目取得了成功，并受到 NeurIPS 等顶级 AI 会议的高度关注。

在Jones看来，为人才创造一个敢于探索、不惧失败的环境，远比提供高薪更具吸引力。“这确实是汇聚顶尖人才的最佳途径，“真正富有才华和抱负的人，渴望的正是这样的土壤。”

而他的最终呼吁，则超越了竞争，指向了协作。

“归根结底，我们追求的并非一场博弈，” Jones 总结道，“我们共享着一个更为宏大的目标：共同推动技术前沿，让整个社会受益。唯有通过开放的探索与无私的分享，我们才能携手抵达那个更远的未来。”

来源：具身智能大讲堂