蚂蚁灵波开源LingBot-Video:以7万小时具身数据赋能机器人视频生成新突破

   时间:2026-07-09 16:19 来源:天脉网作者:朱天宇

蚂蚁灵波近日宣布开源全球首个面向具身智能的开源视频生成基础模型——LingBot-Video。该模型基于Mixture-of-Experts(MoE)架构,针对机器人操作与物理世界交互需求重新设计了视频预训练范式,在推理效率、物理规律模拟和任务执行完整性方面实现突破性进展,为视频生成技术从数字内容创作向实体机器人应用提供了关键技术底座。

在权威评测基准RBench(北京大学联合字节跳动发布)中,LingBot-Video以0.620的综合得分超越Wan2.6(0.607)、Seedance 1.5 Pro(0.584)等主流模型。该基准专注于机器人操作视频的真实性评估,要求模型生成的虚拟动作必须符合物理定律。测试结果显示,LingBot-Video在机械臂抓取、工具使用等复杂场景中,动作连贯性和环境交互合理性显著优于同类模型。

技术团队通过架构、数据、训练三重创新构建核心竞争力。在架构层面,采用DiT+MoE混合设计,通过动态激活部分专家模块实现参数效率最大化。其300亿参数模型在推理时仅需调用30亿活跃参数,在保持视觉表现力的同时将计算成本降低至传统密集架构的1/3。这种设计特别适配机器人实时决策场景,满足低延迟控制需求。

数据工程方面,研发团队构建了包含7万小时具身数据的训练集,除常规互联网视频外,特别引入视觉-语言-动作(VLA)多模态数据,覆盖精密操作、移动导航、第一人称交互等机器人核心场景。通过数据画像引擎对时空关系进行显式建模,使模型能够理解"推门导致门移动"而非简单记忆视觉特征。

训练机制创新体现在多维强化学习框架的引入。除常规的美学质量、文本匹配度等指标外,特别设计物理引擎奖励函数,通过模拟器验证生成动作的力学合理性。在叠放积木任务中,模型能自动调整抓取力度和放置角度,使虚拟操作成功率提升42%,更接近真实机器人执行效果。

开源版本已支持机器人动作预测、仿真数据生成、条件动作建模等应用场景。实验数据显示,在机械臂抓取任务中,基于LingBot-Video生成的合成数据训练的模型,在真实环境中的适应速度比纯真实数据训练快2.3倍。目前项目代码、预训练模型和基准测试工具包已全面开放,开发者可基于Apache 2.0协议自由使用。

 
 
更多>同类内容
推荐图文
推荐内容
点击排行
 
智快科技微信账号
ITBear微信账号

微信扫一扫
加微信拉群
电动汽车群
科技数码群