机器之机杼剪部
所有这个词具身智能领域齐在探索寰宇模子的实用化旅途。这个被委托厚望的「数字模拟器」，本应成为机器东说念主教练的中枢器用，却因物理保真度低等问题成为「空中楼阁」。
视频斡旋：https://mp.weixin.qq.com/s/kv7J95lcyjccJJq9JWZ8SQ
旧年年中，谷歌发布了 Genie-3 寰宇模子，让「可交互的寰宇模子」第一次以极具冲击力的步地走进寰球视线。这是一个不错及时生成、及时交互的「无尽寰宇」：通过适度动作，用户不错张开简直无尽的场景演化旅途。
这一智商也速即被投射到具身智能领域 —— 要是机器东说念主也能在这么的寰宇模子中进行亿万次的教练，是否意味着通用机器东说念主简直垂手而得？
但当琢磨者委果尝试将「可交互寰宇模子」用于机器东说念主学习时，很快发现了一些绕不开的本责难题：
1）寰宇模子擅长「看起来对」，却难以作念到「物理上对」；
{jz:field.toptypename/}2）由于机器东说念主数据大部分齐是收效的 demo，寰宇模子老是过于乐不雅；
末端是：寰宇模子的不准确性 + 过度乐不雅的能源学假定，使得 VLA 计策简直无法在其中解析学习。
寰宇模子「盲目乐不雅地」自动补全了残破的局势；寰宇模子「过失地」将真实寰宇里倒塌的方块误觉得堆叠景色。
清华陈建宇（星动纪元创举东说念主）团队和斯坦福 Chelsea Finn（PI 创举东说念主） 团队基于 Ctrl-World (两个团队的首个合营后果），再度联袂，斡旋提议了 VLAW 框架，初次杀青了 VLA 计策与动作条目寰宇模子的协同迭代优化，让两者造成一个「彼此促进的闭环」：
VLA 计策相聚的真实交互数据，反过来用于普及寰宇模子的物理保真度；
寰宇模子生成的高质料编造数据，再用于继续强化 VLA 计策自己。
机器东说念主学手段
试错的「膏火」贵到离谱
寰宇模子成关节期待
每次在真实机器东说念主上的试错（真机 rollout），齐需要东说念主工重置环境；一朝模子计策出错，机械臂还可能作念出危机操作，必须有东说念主全程盯着。真实寰宇的后教练数据规模，就这么被死死卡住了脖子，成了具身智能发展的中枢瓶颈。
能让机器东说念主在「想象空间」无尽试错的寰宇模子，成为惩处这一问题的关节期待 —— 在完好的寰宇模子里，机器东说念主能在这个「想象空间」里无尽试错，生成海量合成数据练手，透顶毋庸碰真实寰宇里不菲的硬件成立，试错老本能降到简直为零。
VLA 模子在真实寰宇的 rollout 耗时且难以膨大。在 VLAW 中，率先诈欺有限的真实寰宇在线 rollout 学习一个动作条目的寰宇模子，进而在想象中生成大规模的合成数据
寰宇模子：
一座栏杆玉砌的「空中楼阁」
盼愿很丰润，试验很骨感。现存寰宇模子存在二个致命症结，让它成了一座「空中楼阁」，最终只会落得「垃圾进，垃圾出」的下场，让寰宇模子的实用化成为泛论。
盲目乐不雅：教练数据大多是收效的动作轨迹，没见罪戾败案例，导致模子量度的末端全是「盼愿情况」，根底复原不了真实操作中的演叨和有时，无法贴合真实的操作场景；
交互、碰撞模拟难题：关于物体碰撞、摩擦这类战争密集型操作，或是纸巾、册本这类可变形物体的交互，模子根底捕捉不到那些细小但关节的物理细节，致使会生成拖沓的画面，丧失了物理建模的中枢价值；
VLAW 破局：
让 VLA 和寰宇模子双向奔赴
打磨出实用的寰宇模子
VLA 计策在线 rollout 数据有助于将预教练的寰宇模子适配到下贱任务中。一朝寰宇模子完成适配，就能为 VLA 计策学习生成海量数据
VLAW 的中枢解法，让 VLA 计策的真实数据校准寰宇模子，以校准后的寰宇模子反哺 VLA 计策，在这个双向奔赴的过程中，寰宇模子的症结被逐个惩处，物理保真度和数据生成智商继续普及。
四步走：
把「让寰宇模子有用」的想法落地成工程
VLAW 的责任历程：(1) 率先在真实寰宇中践诺计策以相聚一丝在线轨迹；(2) 诈欺这些计策 rollout 数据微调预教练的动作条目寰宇模子，使寰宇模子适配主张任务并普及其量度保真度；(3) 诈欺优化后的寰宇模子，通过计策与寰宇模子的闭环交互生成大规模合成轨迹；(4) 最终，诈欺视觉 - 谈话奖励模子自动评估奖励，衔尾真实寰宇和合成数据优化 VLA 计策
从表面想路到本体落地，VLAW 联想了四个精密咬合的举止，通过迭代优化杀青「让寰宇模子有用」的中枢主张，同期让机器东说念主借助校准后的寰宇模子完成「在想象中变强」的教练。
第一步：使用真实 rollout 数据微调寰宇模子，戒掉盲目乐不雅
琢磨团队用包含收效与失败的真实机器东说念主在线轨迹数据微调预教练寰宇模子；同期为了退守模子过拟合，还加入了原始的 DROID 数据集一齐教练，让它既能看懂失败，又不会过拟合，确保对真实场景的复原度。
第二步：使用 Qwen-VL 评判轨迹
团队基于 Qwen3-VL-4B-Instruct 微调了一个视觉 - 谈话奖励模子，用真实数据里的收效 / 失败标签校准它的判断智商，能自动判别寰宇模子生成数据的厉害。
第三步：辞寰宇模子中生成无数数据
在校准后的寰宇模子里，让机器东说念主计策进行大规模的 rollout，每个任务齐生成 500 条合成轨迹。这一步即是机器东说念主在「想象中」练手，但因为寰宇模子照旧被真实数据校准，这些「想象中的数据」的质料大大普及。
第四步：学收效样本优化计策，反向为寰宇模子校准提供更优质数据
把真实寰宇里的收效轨迹，和寰宇模子生成的优质合成收效轨迹混在一齐，用通俗的监督学习主张来更新机器东说念主的 VLA 计策。原因很本体：关于流匹配、扩散这类生成式计策，强化学习需要蓄意特定景色下的动作概率密度，但这类计策的动作是从噪声一步步推导出来的，概率蓄意难度极高。团队还从表面上讲授，这种加权回来主张，其实是正则化强化学习的一种相通局势，兼顾了通俗性和灵验性。
而 VLA 计策的优化与性能普及，又能在真实寰宇中产生更优质的试错数据，为寰宇模子的下一轮校准与优化提供更好的基础，造成寰宇模子与 VLA 计策彼此成就的闭环。
实测见真章：
模拟器从「联想家」变「求实者」
琢磨团队联想了一个动作重放的评估举止：把真实机器东说念主的动作序列输入寰宇模子，让它生成对应的视频，再和真实寰宇的视频对比，从视频质料和物理交互末端两个维度作念定量评估：
辞寰宇模子中重放纪录的动作序列。(1) 在 256 个重放片断（每个 5 秒）上评估视频质料经营，亚博app所贪图均通过腕部视角相机蓄意，该视角最能捕捉操作过程中的物体交互；(2) 交互阶段是误差的主要开始，因此在 50 个波及物理交互的片断上求教事件级沾污矩阵，为每个片断标注交互末端（收效 / 失败），并将模子量度与真实寰宇末端对比
末端一目了然：
1. 经过真实试错数据微调后的寰宇模子，在 PSNR、SSIM 等视频质料经营上，全面向上了原始预教练模子，以及仅用群众收效数据微调的模子，生成的视频画面更贴合真实；
2. 更着急的是，它的假阳性率大幅镌汰，再也不会把失败的操作「脑补」成收效，精确惩处了「乐不雅病」，能真实复原操作中的成败末端。
在疏浚的启动帧和透顶疏浚的动作序列条目下，在不同寰宇模子中践诺轨迹推演。预教练的 Ctrl-World 模子关于这些战争密集型任务的精度不及；仅用群众轨迹微调的寰宇模子每每过于乐不雅；相背，用计策在线 rollout 数据微调的寰宇模子能准确捕捉底层的物理能源学，与真实寰宇的末端高度吻合。
3. 哪怕是 20 秒的永劫程编造试错，生成的视频也能保持较高的物理合感性。
从启动不雅测脱手，辞寰宇模子中进行永劫程计策闭环 rollout 的示例。π0.5 计策践诺 20 次迭代（20 秒），微调后的寰宇模子与真实寰宇高度一致。上：真实寰宇 下：寰宇模子
比如舀花生入碗、用纸巾擦白板标志这类需要精确物理交互的任务，预教练的寰宇模子透顶持不住细节，仅用群众数据微调的模子则过于乐不雅，而经 VLAW 校准的寰宇模子，能精确捕捉底层的物理能源学，生成的末端和真实寰宇高度吻合。
关节数字：
校准后的寰宇模子
复旧机器东说念主复杂任务性能大幅跃升
实验在 DROID 平台上开展，涵盖五类任务，如图所示。这些任务波及复杂的物理交互，包括每每的战争和可变形物体，难以在传统仿真中建模。
琢磨团队在 DROID 机器东说念主平台上，针对堆叠积木、绽开册本、擦除白板标志、舀取颗粒、画圆五类复杂任务作念了实测 —— 这些任务齐波及每每的物理战争或可变形物体操作，是传统仿真模子很难建模的场景，也恰是检修寰宇模子实用价值的关节场景。实验用面前 SOTA 的 π0.5 当作基础计策，Ctrl-World 当作基础寰宇模子，每轮迭代在 5 类任务上共相聚 250 条真实轨迹（每类任务 50 条）用于寰宇模子的校准，而经校准后的寰宇模子，最终交出了一份亮眼的收货单，复旧机器东说念主计策在五类任务中杀青收服从的大幅普及。从全体发扬来看，各举止的收服从普及对比末端了了清晰 VLAW 的上风。
与基线举止的收服从普及对比。进行了两轮迭代教练，「Ours-1」示意 VLAW 举止经过第一轮在线 rollout 后的末端。总体而言，在多任务成就下 VLAW 继续优于 Filtered BC 和 DSRL 基线
团队还可视化了真实 rollout 与寰宇模子生成的合成 rollout 对比，了了展现了经校准后的寰宇模子，能为真实寰宇的失败案例找到收效的惩处旅途，其生成的合成数据具备极高的教练价值。在真实寰宇 rollout 中，机器东说念主未能收拢勺子、未能画出完整的圆，而借助 VLAW 打磨后的寰宇模子，能从疏浚启动帧起程，为这些失败案例生成收效的轨迹，让机器东说念主能从「失败教授」里学会正确的作念法，这恰是寰宇模子实用化的中枢体现。
GT 代表真实寰宇的 rollout，0~14 代表寰宇模子生成的多种想象轨迹，所有轨迹均从疏浚的 GT 启动帧起程并使用 π0.5 计策。在真实寰宇 rollout 中，机器东说念主未能收拢勺子（左，GT）且未能画出完整的圆（右，GT）。借助寰宇模子，咱们能为这些失败案例找到收效的轨迹，这对计策学习具有着急道理道理
不仅如斯，消融实验还进一步讲授了 VLAW 打磨寰宇模子的中枢逻辑：要是减少寰宇模子生成的合成数据的数目，或是径直移除校准寰宇模子的真实数据，机器东说念主计策的性能齐会光显下跌。这意味着，寰宇模子的校准质料和合成数据产出量，径直决定了机器东说念主计策的普及效果，也再次印证了「让寰宇模子变得有用」是 VLAW 框架的中枢关节。
消融实验琢磨了 (1) 用于策稍稍调的合成数据量（从 500 条减少到 250 条）和 (2) 微调时是否包含真实寰宇 rollout 数据（50 条）。实验发现，减少合成轨迹数目或移除真实寰宇数据集齐会导致性能下跌
改日：
机器东说念主先在想象里「满级」
再落地真实活命
现在 VLAW 的实验考据麇集在五类任务上，琢磨团队示意，改日的琢磨将围绕寰宇模子的规模化和泛化性张开，继续普及寰宇模子的智商，让其能适配更多场景、更强的模子，委果成为通用机器东说念主计策学习的中枢器用：
一是把真实试错数据膨大到更各样的机器东说念主操控任务中，普及寰宇模子的通用泛化智商；
二是衔尾更先进的视频生成模子，让寰宇模子的视觉量度和物理建模智商更进一竿。
在琢磨团队看来，跟着视频生成模子的继续发展，以及大规模机器东说念主交互数据的不休蕴蓄，让寰宇模子变得更通用、更精确、更实用，并基于打磨后的寰宇模子构建教练范式，将成为通用机器东说念主计策学习的中枢标的。
改日的机器东说念主，能够会先在由优质寰宇模子打造的编造寰宇里完成「满级教练」，把各式手段练到挥洒自如，再无缝落地到真实寰宇，镇静完成各种复杂的操控任务。而 VLAW，恰是寰宇模子实用化的着急探索，为这一改日标的奠定了坚实的基础。
备案号: