
当你随手抛起一枚硬币,你不需要懂得任何复杂的物理公式,就能本能地知道它落下的概率大概是50/50。你的大脑在成长过程中,通过无数次观察重力、抛物线和摩擦力,早已在无形中构建了一套理解物理世界运行规律的”隐形程序”。
然而,今天那些能写出绝美诗歌、甚至通过高难度考试的大语言模型(LLMs),却根本没有这种”本能”。它们训练时吞噬了数以万亿计的文本,却从未真正”看”过硬币落地,也从未”感受”过重力。它们只是在纯粹的文字符号中玩着”概率接龙”。
这引出了人工智能领域最火热也最深刻的争论:AI如果无法真正理解物理世界,它该如何走向通用人工智能(AGI)? 答案或许就藏在近年来越发瞩目的技术路线里——世界模型(World Models)。
脑海中的”虚拟沙盒”:什么是世界模型?
“世界模型”这个词听起来极具科幻感,但它的概念源头可以追溯到1943年。心理学家肯尼斯·克雷克(Kenneth Craik)提出,人类的大脑会构建外部现实的”微观模型”来预测未来、做出决策。这些潜藏在大脑深处的”心智模型”就像一个实时运行的虚拟沙盒,帮助我们过滤杂乱的信息,在行动之前先在脑海中演练结果。
在AI的世界里,世界模型做的是完全一样的事情:它试图在AI的数字大脑里,搭建一个模拟物理现实的”沙盒”。
早在2018年,研究者大卫·哈(David Ha)就在一篇经典论文中揭示了世界模型的基本架构,它主要由三个部分协同工作:
- 视觉模型(VAE):像AI的眼睛,负责把复杂的视觉画面压缩成低维的特征空间,只保留最核心的物理特征,扔掉无用的背景细节。
- 记忆模型(MDN-RNN):像AI的大脑,利用循环神经网络记录过去发生的事情,并预测未来的画面走向。它就像我们在纸上画出狗的半张脸,AI能自动预测并补全剩下半张脸一样。
- 控制器(Controller):像AI的手脚,根据大脑对未来的预测,直接做出向左、向右或抓取等物理动作。
在这种架构下,AI agent甚至可以在完全脱离真实环境的情况下,仅在自己”脑补”的模拟世界里进行训练,并学会如何在随机生成的赛道上完美驾驶。这种”脑内模拟”的学习方式,远比在真实世界里一遍遍头破血流要高效得多。
勒昆的”百亿赌局”:跳出像素级预测的泥潭
提到世界模型,就不得不提图灵奖得主、Meta首席AI科学家杨立昆(Yann LeCun)。他是大语言模型最激烈的批评者之一。他曾多次直言,纯粹靠预测下一个Token的LLMs根本无法真正理解物理世界。为了实现他心中更接近人类和动物的AI,他甚至募集了巨额资金,坚定地押注在世界模型这条非语言、非生成式的道路上。
为什么杨立昆对目前主流的”像素级/生成式视频预测”嗤之以鼻?因为这里面有一个致命的“模糊预测困境”。
假设AI要预测一个在地上弹跳的球下一帧会出现在哪里。由于现实的不确定性,球可能向左弹,也可能向右弹。如果要求AI在”像素级别”强行生成一幅精确的图像,在面临这种分叉路口时,AI能做的最稳妥的事就是把所有可能的结果相加求平均——结果,它生成了一团模糊不清、形同迷雾的画面。此外,生成式视频模型常常会把宝贵的计算资源浪费在无关紧要的细节上(比如预测路边树叶的随机摆动),或者在生成细节时犯下荒谬的低级错误(比如画出拥有六根手指的人手)。
杨立昆给出的解药是JEPA(联合嵌入预测架构)。
JEPA的核心思想是:绝不在像素级别做预测,而是在抽象的”嵌入空间”里做预测。它将视频和下一帧画面分别通过编码器转化为语义向量,再让预测器去预测向量的变化。这样,AI就能自动忽略风吹树叶等噪音,只专注于预测”车在往前开”、”球在往下落”等核心语义。
为了防止模型”偷懒”产生表征崩溃(即无论输入什么画面,模型都返回一模一样的全1向量来强行糊弄相似度),杨立昆的博士后斯特凡·德尼(Stefan Deni)在2020年提出了Barlow Twins架构,灵感来自神经科学家Barlow在1961年提出的神经元冗余减少假说。通过让交叉相关矩阵逼近单位矩阵,他们成功逼着模型学到了极其丰富且不重复的特征表征。到了如今的Dino V3时代,这种联合嵌入模型甚至可以在不需要任何人手标注标签的情况下,精准地将画面中的手、猫咪、书本从复杂的背景中完美分割出来。
从”挖钻石”到生成无限世界:世界模型的惊艳演出
世界模型不仅仅停留在理论的争辩中,在实际的应用里,它已经展现出了令人惊叹的潜力。
最著名的案例莫过于DreamerV3算法。在开放世界游戏《我的世界》(Minecraft)中,获取钻石一直是一个巨大的AI挑战,因为它需要极长线的规划和极其稀疏的随机奖励。而由Danijar Hafner等人开发出的DreamerV3,成为了第一个在完全没有人类数据或课程设计引导下,从零开始在《我的世界》里挖到钻石的通用算法。它的秘诀,正是让AI在自己脑海中”想象”未来的各种场景,并在脑内沙盒里不断优化自己的行为策略。
而在生成式AI的战场上,世界模型的影子也无处不在:
- Google的Genie 3:能够根据简单的提示词,凭空生成一个超写实的、可交互的虚拟世界,你可以直接在里面操纵角色移动。
- OpenAI的Sora:其视频生成背后的物理合理性,很大程度上就得益于它在超大规模数据上无形中建模出的世界物理规律。
- Fei-Fei Li的World Labs:这家主打”空间智能”的明星初创公司,凭借其产品Marble,利用3D高斯泼溅技术生成数以百万计的粒子,让AI能够与优美的三维空间进行真实的物理交互。
- NVIDIA的Cosmos:作为世界基础模型,直接为自动驾驶、机器人和视频智能体的开发者们提供强大的数据生成和物理仿真工具。
具身智能的灵魂:机器人的”虚拟演练”
世界模型最激动人心的终极归宿,毫无疑问是具身智能(Embodied AI)——也就是那些拥有物理实体的机器人。
以近年来爆火的人形机器人Neo为例,它内部运行着VLA(视觉-语言-动作)模型。对于机器人来说,在物理世界里直接试错的成本是极其昂贵的(比如一巴掌拍碎昂贵的玻璃杯,或者直接摔倒报废)。
有了基于JEPA架构的世界模型,机器人就拥有了”谋定而后动”的能力:机器人会连续观察自己和环境的画面,将当前的指令、自己的动作信号一并输入它的潜在空间。在它的世界模型里,它会疯狂模拟:”如果我用这个力道抓杯子,下一帧杯子会碎吗?如果我把脚迈到这里,重心会失衡吗?”
这种在数字脑海里寻找最优解的过程,本质上是将经典的最优控制理论与现代深度学习完美融合。
这也完美解释了另一个谜题:为什么一个17岁的人类青少年,只需要大约20小时的练习就能学会开车;而今天的自动驾驶系统训练了数百万小时,依然无法完全让人放心? 答案就是人类大脑中自带的、无比强大的世界模型,它包含着我们对这个世界的”常识”。我们不需要撞一次墙才知道车头会烂,但缺乏世界模型的AI却必须撞无数次才能在统计学上习得这一规律。
终局之战:AGI的终极路径之争
大语言模型(LLMs)与世界模型(World Models)真的是水火不容的死敌吗?
不可否认,由于大语言模型完美的缩放定律(Scaling Laws),它们在今天依然是AI届的绝对霸主。但正如许多学者所批评的那样,纯多模态大语言模型即使能看懂图片,其本质依然是缺乏物理世界三维空间感知和安全规划能力的”文字机器”。
杨立昆坚定地认为,如果不给智能体装备预测行动后果的世界模型,就不可能造出真正可靠的、具有主动性的智能体。在他看来,未来的AI推理不应该只是自动往后蹦字,而应该是在世界模型这个沙盒里进行高效的“路径搜索”。
好消息是,这两条路径的边界正在变得越来越模糊。多模态LLMs正在通过交叉注意力机制引入视觉,试图”感知”物理世界;而世界模型也在不断吸收大语言模型的理解能力,进化出能听懂复杂指令、具备逻辑推理的VLA智能体。
未来的通用人工智能,或许不会是一个只会夸夸其谈的聊天框,而是一个拥有完美物理常识、能对自己的动作进行千百次”脑内沙盒演练”、在现实世界里优雅穿行的具身智者。这场关于”AI如何预测世界”的技术变革,才刚刚拉开最精彩的序幕。