杨立昆：五年内，JEPA将终结大模型

——一场关于AI未来的路线之争正在上演

五年内，JEPA会统治大模型。

这是图灵奖得主杨立昆最近在一个播客访谈里说的话。

说完后他自己都笑了，有点像在开玩笑。

但其实，在技术问题方面这位AI泰斗很少开玩笑。

这期播客他还说了很多让人震惊的话，而且还把矛头指向了另一位图灵奖得主辛顿

从GPT-4开始

事情要从2023年说起。

那年GPT-4横空出世，整个行业都沸腾了。

在此之前，辛顿对LLM的关注度其实不高。

但GPT-4出来之后，他的态度发生了明显转变。

他惊讶的说：“天呢，大模型已经非常接近人类智能了，未来它们很可能有主观体验~”

辛顿开始频繁接受采访，不断警告未来AI对人类可能构成威胁。

但杨立昆却不这么认为~

他在播客里说的很直白：

“我感觉他就是想摆烂，，然后退休，到处去做关于AI危险的演讲。”

“其实很多事情我早在几年前就说过，辛顿最近才意识到”。

杨立昆、辛顿和本吉奥三人被称为深度学习三巨头，2018年共同获得了图灵奖。

现在，杨立昆认为两位老朋友都变了。

硅谷的“羊群效应”

杨立昆不仅对辛顿不认可，对整个AI行业也同样存在质疑。

他认为现在无论大小公司，都在All in AI,大家拼命追逐参数规模，应用体验，很少有人去研究新的技术方向。

杨立昆把这种扎堆竞争称为羊群效应。

大家都害怕落后，就算现在有更高效的路线，但企业们也很难跳出主流方向。

他用了一个比喻：

现在的OpenAI、Anthropic这些公司，就相当于当年的Sun Microsystems。

Sun曾经是一家很火的技术公司，但后来被市场淘汰了。

杨立昆认为，大模型的局限是内生的，随着规模扩张会逐渐触达天花板，平台最终会往开源和开放化的方向发展。

JEPA：不预测像素，预测规律

既然杨立昆不认可现在的LLM，那么他认可的方向是什么？

答案就是他主推的JEPA架构。

我来解释一下这个概念~

目前大模型的逻辑是“预测下一个词儿”。

例如：输入一段话后，它会计算下一个词是啥，并以此类推。

但杨立昆认为这做不到真正的智能。

他认为AI可以把“苹果会从树上落下来”这句话背得非常熟，但要是你不给他讲重力的概念，他理解不了为啥苹果会掉下来。

在这方面JEPA的逻辑则有些不同~

它先把信息压缩成抽象的数学表征，然后在这个抽象空间里预测事物的运动规律和发展趋势。

可以这样理解：

传统的逻辑像一个记忆力很强的人，能记住所有文章。

而JEPA则是一个能通过观察自己领悟物理规律的天才。

不用告诉它具体细节，自己看几次就可以总结出规律~

一场谁也不想输的赌注

今年年初，杨立昆从工作了12年的Meta离职，创立了AMI实验室，专门研究世界模型。

目前实验室已经完成了10.3亿美元的种子轮，投资方包括多家知名基金和科技大厂。

杨立昆说，AMI不会急着商业化，计划用至少一年的时间来研究基础理论，而且承诺大部分研究成果会开源。

对于离开Meta的原因，他表示是公司的重心已经向商业化竞争倾斜，而他认为研究应该回归本质。

其实

杨立昆与辛顿的分歧本质上是对“什么是智能”的概念有分歧。

一位认为通过海量数据训练出来的大语言模型已经迈出了通往AGI的关键一步，所以需要警惕其风险。

另一位则认为这条路根本走不通，真正的智能需要具备对物理世界的理解能力。

至于JEPA能不能在五年内统治世界，其实谁也预判不了。

如果杨立昆的判断是对的，那么今天的大模型狂热，也许真的只是AI历史上一段不算长的小插曲。

创作：Omni实验室

哇，你竟然看到了最后，如果文章对您有帮助，欢迎点赞哦~