全球首个机器人任务原生3D世界模型:跨维UNITAS让机器人学会物理直觉,横扫多个榜单
通过更稳定的内容版面、清楚的上下文信息与推荐阅读衔接,让文章阅读节奏保持专注与延续。
聚焦赛事观点、动态追踪与阅读延展
全球首个机器人任务原生3D世界模型:跨维UNITAS让机器人学会物理直觉,横扫多个榜单
大语言模型为什么能 scale?一个重要基础是,海量来源各异的知识,被统一进了同一种输入输出空间 —— 文本。输入是文本,输出也是文本,主干模型在这个统一空间中学习、组合与迁移知识。那么,具身智能要获得类似的泛化能力, 通往 Physical AGI,它的 “原生统一空间” 是什么? 今天的具身智能,感知、动作与世界变化往往采用不同的表示方式:从输入图像到不同本体的动作表征,再到世界变化,一直在不同的特征空间里来回 “翻译”,不同的相机参数不同的本体本质上还具有不同的映射关系。同一个推杯子的动作,换个相机视角,像素变化就会不同;相同的像素位移,也未必对应相同的物理距离。模型的能力, 被消耗在了 "翻译" 而不是 "理解" 上。 跨维智能(DexForce)最新论文 UNITAS (A 3D-Native World Action Model for Embodied Manipulation)给出的回答是: 三维物理世界本身 。 它将机器人看见什么、自己怎么动、世界因此怎么变化,统一放进同一个三维物理表示空间,用点的位置与随时间变化的轨迹在统一的输入输出三维空间里描述观察、动作和环境响应。 就像文本为大模型提供了共同的输入输出空间,UNITAS 尝试让 Physical AI 的输入输出,都生长在统一的三维物理空间里。 这不仅是一个技术思路,UNITAS 已在多项机器人操作评测中展现出 “ 屠榜 ” 实力:仅凭 1.7B (17 亿)参数,在 LIBERO 上取得 99.8% 的平均成功率、在 LIBERO-Plus 上达到 89.1% ,并在 RoboTwin 2.0 双臂操作的 Clean 与 Randomized 设置中分别取得 92.94% 和 93.04% 的成功率,超越参数规模达 6B(60 亿) 的 Fast-WAM、 8B(80 亿) 的 Motus,以及 π0.5、LingBot-VA、PointWorld 等模型, 在多项基准测试中全面夺冠, 进一步 在真实机器人操作执行 上同样表现突出, 任务平均成功率达到 85% 论文地址:https://arxiv.org/abs/2610.12099 项目地址:https://dexforce.com/technical-report/#/unitas-wam 开源代码:https://github.com/DexForce/UNITAS 一、同样是世界模型,3D 原生改变了什么? 看到 "3D",也许你会好奇,机器人领域已经有不少方法引入了三维信息。UNITAS 的 “3D 原生”(3D-Native) 究竟意味着什么? 关键区别在于: 3D 是作为辅助信息存在,还是作为模型理解世界的基础。 过去的一些方法可以称为 3D-aware World Action Model (3D 感知世界动作模型)。它们会引入深度、点云或几何约束,帮助模型获得额外的空间信息,但模型的核心表示仍然建立在二维视觉或其他潜在特征之上。换句话说,模型能够 “感知” 三维信息,但三维并不是它理解世界的原生语言。 例如,视频世界模型主要通过连续图像预测未来状态。它可以判断画面中的物体如何变化,但物体之间真实的距离、空间关系以及运动规律,需要模型从二维视觉变化中进一步推断。 部分 3D 方法进一步增强了空间理解能力。比如 PointWorld 能够预测三维场景变化,但动作轨迹由外部输入,模型更接近一个预测环境变化的模拟器(Simulator),而不是同时理解 “为什么行动” 以及 “行动后世界如何变化” 的统一模型。 包括蚂蚁灵波的 LingBot-VA、英伟达的 DreamZero,主要沿着二维视觉建模的路线展开,将未来视频预测与机器人动作生成结合。这条路线能够利用视频中的丰富经验,但描述世界变化的主要载体仍是二维画面及其潜在特征,物体之间的距离、位置与运动关系,需要模型从中学习和推断。 而在 UNITAS 探索的 3D 原生的思路中,核心变化在于:它不再让模型从二维视觉中推断三维世界,而是直接让模型在三维物理空间中学习世界,简而言之,“世界” 模型直接作用在统一坐标系下的三维 Token 上,而不通过图片 Token 作为桥梁。 UNITAS 的主干模型直接处理三维 Token,将三维空间作为机器人观察、行动和理解环境变化的共同表示: 观察(Observation):视觉信息对应到三维位置; 动作(Action):操作本体上三维点随时间变化的轨迹; 环境变化(Scene Dynamics):观测点在相同时间空间里的运动轨迹。 拿起杯子时,夹爪怎样靠近、杯子如何离开桌面、最终移动多远,都可以在同一个具有真实距离尺度的坐标系中表达。模型既能根据任务生成可执行动作,也能预测给定动作带来的场景变化,
内容检索
热点新闻
瞰体育丨从三场大胜到两场惨败,中国男篮到底卡在哪?
9月20日,中国男篮以70比79不敌伊朗队,无缘铜牌,最终位列亚运会男篮第四名。 中国男篮小组赛连续三场大胜,然后对沙特赢得心惊胆战,最后以两场惨败结束了这次“高开低走”的亚运之旅。虽然胜败乃兵家常事,篮球场上的意外变数也很多,但要是中国男篮找不到为什么会输的问题所在,也实在可怕。 问题一:不会挡拆,也不会防挡拆 挡拆是个很细致的技术问题,但是个很要命的技术问题。无论日本还是伊朗,都是瞄着这个死
英超裁定曼城财务造假及妨碍调查罪名成立,蓝月亮面临重罚
英超独立委员会日前作出正式裁决,认定曼彻斯特城足球俱乐部在过去多个赛季中存在严重的财务造假行为,多项指控全部成立。与此同时,委员会还指出曼城在长达数年的调查过程中拒绝配合并刻意阻挠调查,这一行为同样被判定违规。 调查结果显示,曼城通过策划虚假的商业合同和赞助协议来掩盖真实的资金流向,以此虚增收入并隐瞒了超过9亿英镑的支出。实际上,这些款项大多由其背后的阿布扎比联合集团(ADUG)秘密支付,其中还涉
热身赛-中国U17男足0-1遭坦桑尼亚队绝杀
新华社伦敦10月1日电(记者马邦杰)中国U17男足1日在伦敦进行的一场热身赛中0:1不敌坦桑尼亚队。中国队在比赛中创造出数次得分机会,但未能转化为进球,坦桑尼亚队在第83分钟打入全场唯一进球。 中国队此次赴伦敦参加VERTEX杯赛,为11月19日至12月13日在卡塔尔举行的U17男足世界杯进行赛前热身。除中国队外,坦桑尼亚、墨西哥和阿根廷队也参加本次赛事,四支球队均已获得本届U17世界杯参赛资格。
122亿!晋江大佬买下德国巨头,半年暴赚超400亿
全球运动品牌格局迎来一次标志性重组。 10月7日,安踏体育发布公告,宣布已完成以15.055亿欧元(约122.8亿元人民币)现金对价向Pinault家族投资公司Artémis SAS收购全球运动品牌彪马(PUMA)29.06%股权的交易,安踏正式成为彪马第一大股东。 安踏这次出手收购彪马背后,其实是一场长达十年的等待。 安踏集团董事局主席丁世忠在接受第一财经专访时,透露了一个不为人知的细节:“这次
1948辽沈战役:曾泽生率领26000将士倒戈,蒋介石下密令要诛杀其妻儿,部下却公然硬刚,让密令沦为废纸
“把人交出来,不然我直接踏平宪兵团!” 周体仁一把拍开手枪枪套,机枪哗啦一声集体上膛。 黑洞洞枪口死死对准大院主楼。 囚房里传来孩子撕心裂肺的哭喊声。 “这是委员长亲下的密令! 我只是奉命抓人,出了事我担不起!” 宪兵团长陈岗攥着皱巴巴的密电,后背已经被冷汗浸透。 1948年北平,起义军长的妻儿被秘密扣押。 性命悬于一线,手握杀人密令的宪兵占尽法理,眼看就要酿成灭门惨祸。 可谁也没料到,一纸至高无