作家团队来自南洋理工大学 MARS Lab、加州大学伯克利分校、斯坦福大学、哈佛大学、普林斯顿大学、ETH Zurich、牛津大学、东京大学、Microsoft 等机构的研究者。团队长久更动机器东说念主学习、具身智能、天下模子、多模态基础模子与机器东说念主政策学习。

天下模子正在成为机器东说念主学习中绕不开的议题。

往日几年，机器东说念主政策学习的干线之一，是从传统的任务特定政策，转向更通用的 Vision-Language-Action (VLA) 模子。通过大范畴视觉言语模子和机器东说念主轨迹数据，VLA 模子约略将视觉不雅测、言语教导和动作输出合资起来，在跨任务、跨场景泛化上展现出后劲。

但机器东说念主纵脱并不仅仅「看图回复动作」。在的确物理环境中，政策模子需要面对斗争、装璜、万古序依赖、造作积聚和多步蓄意等问题。一个只凭据刻下不雅测平直输搬动作的模子，持续短少对改日情景变化的显式预判。

这使得天下模子从头成为机器东说念主学习中的中枢场地：机器东说念主不仅要知说念「当今是什么」，还要能量度「淌若实行某个动作，天下接下来会怎么演化」。

近日，来自南洋理工大学 MARS Lab 的研究者，纠合加州大学伯克利分校、斯坦福大学、哈佛大学、普林斯顿大学、ETH Zurich、牛津大学、东京大学、Microsoft 等机构，发布综述论文《World Model for Robot Learning: A Comprehensive Survey》，系统梳理了天下模子在机器东说念主学习中的界说、架构范式、应用场景、评测基准与改日挑战。论文共 43 页，并配套捏续更新顾惜的 GitHub 资源库。

论文标题：World Model for Robot Learning: A Comprehensive Survey

图 1：论文举座框架图

机器东说念主天下模子：

重心不是生成，而是可用于决策的量度

在机器学习和贯通科学语境中，world model 并不是一个新主见。它频繁指约略描摹环境情景怎么随技艺和动作发生变化的量度模子。

但在机器东说念主学习中，作家强调需要对这一主见作更严格的界定。机器东说念主天下模子不应仅仅一个能生成改日画面的模子，而应是约略描摹「智能体——环境」动态演化的模子。换言之，它需要回复的是：在刻下情景下，淌若机器东说念主实行某个动作，改日情景会怎么更正。

这少量也区分了机器东说念主天下模子和一般视频生成模子。后者不错生成视觉上合理的视频，但偶然具备动作一致性。举例，模子可能生成一段看似当然的物体搬动视频，却无法准确响应机器东说念主夹爪动作、斗争有计划和受力变化。关于机器东说念主纵脱来说，这么的量度价值有限。

因此，论文将机器东说念主天下模子的中枢智力详尽为三类：

第一，foresight，即在实行前量度动作后果；

第二，imagination-driven planning，即通过思象 rollout 比较候选行为；

第三，data amplification，即通过合成轨迹或演示数据改善政策学习。

这也走漏了为什么天下模子与机器东说念主学习的伙同正在加快。VLA 政策提供了从视觉和言语到动作的接口，而天下模子补充了对改日物理变化的量度结构。二者伙同后，机器东说念主政策不再仅仅反应式映射，而是有契机引入更强的前瞻性和蓄意智力。

天下模子怎么接入机器东说念主政策？

论文起首商榷的是天下模子与机器东说念主政策的伙同风景。作家将现存步调按架构别离为多类，从早期解耦式步调，到单主干蚁集、MoE / MoT 架构、合资 VLA，再到 latent-space world modeling。

图 2：技艺线发展图

早期门路频繁弃取「量度改日，赛马投注中国app官方版下载再收复动作」的两阶段框架。模子先应用视频生成或改日不雅测量度模块，生成任务关联的改日情景；随后，一个逆能源学模子凭据刻下不雅测和量度改日，测度机器东说念主应实行的动作。UniPi、VidMan、Vidar、Gen2Act 等责任不错归入这一类。

这类步调的上风在于模块了了。天下模子认真量度「将会发生什么」，政策模块认真把量度终结转动为动作。但问题也很彰着：两个模块之间存在接口症结，生成的视频或 latent 表征淌若与的确动作后果不一致，就会影响后续纵脱。

随后，研究运行转向更紧耦合的决策。一类步调使用单一世成主干同期建模改日视觉情景和动作序列，将视频量度与动作生成放进并吞个扩散或流匹配经由。UVA、UWA、VideoVLA、Cosmos Policy 等步调王人体现了这一趋势。它们不再把天下模子行为外部模块，而是试图让量度和纵脱在并吞个模子里面共同发生。

另一类步调弃取 MoE / MoT 或多分支巨匠结构。视频巨匠、动作巨匠和言语潜入模块保捏一定进程的参数逍遥，但通过分享正式力、交叉正式力或层间交互收尾信息交融。Motus、LingBot-VA、BagelVLA 等步调王人属于这一场地。比拟统统分享主干，这种遐想保留了不同模态的有益智力，同期让视频量度中的时序和物理先验影响动作生成。

图 3：IDM、Single-Backbone、MoT 三种风景的对比

合资 VLA 则代表了另一条门路。它们不一定显式调用外部视频天下模子，而是通过改日图像量度、视觉 foresight、结构化天下学问或 latent 动态建模，把量度主见内化到 VLA 锤真金不怕火经由之中。GR-1、WorldVLA、DreamVLA、UniVLA、CoWVLA 等步调王人在不同层面体现了这种趋势。

值得正式的是，论文并莫得浅近判断哪沿门路依然胜出。相背，作家指出，刻下机器东说念主天下模子仍处在快速演化阶段。解耦模块、合资生成主干、巨匠羼杂结构和 latent 表征各有优劣，最终终结取决于数据范畴、纵脱频率、任务复杂度、推理资本以及模子是否真确捕捉到动作条目下的物理变化。

从政策模块到可交互模拟器

天下模子的第二类进军用途，KaiYun Sports2026世界杯(中国)IOS/安卓官方下载是作为机器东说念主学习中的模拟器。

传统机器东说念主强化学习濒临一个长久瓶颈：的确交互资本高、采样效劳低、复位贫苦，何况存在硬件安全风险。淌若不错用学习到的天下模子替代的确环境进行 rollout，政策就不错在虚构交互中获取锤真金不怕火信号。

论文将这一场地称为 World Model as Simulator。在这一范式中，天下模子秉承刻下不雅测、任务教导和候选动作，量度下一步不雅测、奖励或休止信号。政策模子不错在这个学习到的环境中进行强化学习后锤真金不怕火，也不错在测试阶段用天下模子评估多个候选动作。

图 4：天下模子作为 RL 模拟器和动作考证器

这沿门路的要道价值，是把天下模子从「辅助量度器」鼓舞到「锤真金不怕火环境」。举例，部分步调尝试用天下模子生成 imagined transitions，用于 VLA 的 RL post-training；也有步调应用量度 rollout 对候选动作进行排序，在实行前判断哪一组动作更可能见效。

不外，作为模拟器的天下模子也濒临更高要求。用于通达式视频生成时，模子只需在视觉上保捏合理；但用于政策锤真金不怕火时，模子造作会平直影响政策优化场地。一个稍微偏差的能源学量度，可能在多步 rollout 中被放大，导致政策学到造作行为。因此，长久领略性、动作明锐性和奖励一致性，是这一场地绕不开的问题。

视频生成模子能否成为机器东说念主天下模子？

连年来，大范畴视频生成模子的发展，为机器东说念主天下模子提供了新的基础法子。视频模子自然学习时序变化、畅通连结性和空间结构，因此被以为可能为机器东说念主纵脱提供有价值的先验。

但论文强调，机器东说念主视频天下模子不可平直等同于通用视频生成。关于机器东说念主学习而言，最进军的并不是画面质料，而是动作可控性和物理一致性。

一个真确有用的机器东说念主视频天下模子，需要在给定言语教导、刻下不雅测和动作序列时，生成与动作后果一致的改日情景。它还需要搞定物体装璜、斗争变化、器具使用、场景几何和万古序任务等问题。

论文将机器东说念主视频天下模子的发展详尽为几个阶段：

从领先的 imagination-based generation，即生成改日视频作为政策学习的辅助；

到 action-controllable world model，即显式建模动作对改日视觉情景的影响；

再到 structure-aware world model，即引入深度、3D、对象、轨迹、场景结构等中间暗示；

最终走向 foundation-scale world model，即具备更大数据范畴、更强泛化智力和多任务相宜性的基础天下模子。

图 5：机器东说念主视频天下模子关联分类

评测圭表正在发生变化

论文的另一个重心是评测。关于天下模子，单纯评估视频了了度或生成质料依然不够。

在机器东说念主场景中，评测应更动模子是否能改善的确任务弘扬。举例，它能否升迁政策见效劳？能否正确排序候选动作？能否量度失败轨迹？能否在万古序任务中保捏因果一致？能否匡助政策减少的确交互样本？

因此，作家以为改日的 benchmark 需要从 open-loop visual fidelity 转向 closed-loop task utility。也即是说，天下模子的横暴不应只由「生成得像不像」决定，而应由「是否匡助机器东说念主作念得更好」来决定。

图 6：机器东说念主与天下模子数据集

论文整理了多个机器东说念主学习 benchmark 和数据集，包括 LIBERO、RoboTwin、CALVIN、SIMPLER 等，并对不同天下模子政策在这些环境中的弘扬进行了归类比较。这些终结显现，刻下最有用的步调并不蚁集在单一架构上；不同任务下，解耦式、合资式、巨匠羼杂式和 latent-space 步调王人可能弘扬出竞争力。

改日挑战：动作一致性、效劳和物理 grounding

尽管天下模子在机器东说念主学习中展现出后劲，但论文也指出，距离可靠部署仍有多项要道挑战。

起首是动作条目下的因果一致性。模子不可只凭据历史不雅测「脑补」改日，而必须准确响应动作带来的情景变化。关于闭环纵脱来说，这是天下模子是否真确有用的基础。

其次是推理效劳。好多视频扩散模子计算资本较高，难以餍足机器东说念主及时纵脱需求。因此，越来越多步调运行探索 latent-space prediction、锤真金不怕火时使用天下模子、测试时跳过显式视频生成等决策。

第三是物理 grounding。的确机器东说念主交互依赖摩擦、力、触觉、物体材质和斗争领略性，仅靠视觉量度持续不及。未下天下模子可能需要交融实质嗅觉、力觉、触觉和结构化几何暗示。

此外，论文也提到，神经天下模子并毋庸然取代传统蓄意和纵脱步调。相背，记号暗示、对象有计划、因果结构和经典纵脱仍可能为万古序任务提供更领略的抽象层。怎么把神经量度智力与结构化蓄意伙同起来，将是机器东说念主天下模子的进军场地。

结语

这篇综述的价值在于，它莫得把天下模子浅近视为视频生成模子在机器东说念主边界的转移，而是从机器东说念主学习自身启航，从头梳理了天下模子应该承担的功能：辅助政策生成、充任学习模拟器、提拔评估与蓄意、生成锤真金不怕火数据，并最终劳动于的确可实行的机器东说念主行为。

对机器东说念主学习而言，天下模子的中枢问题不是「能不可思象改日」，而是「思象出的改日能否用于纵脱」。

当机器东说念主约略在行为前量度后果、在实行中更正筹备、在锤真金不怕火中应用虚构交互革命政策开云体育APP，天下模子才真确从生成模子走向具身智能系统的中枢组件。