☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

对于人类而言，一旦掌握了 “打开瓶盖” 的动作，面对 “拧紧螺丝” 这样的任务通常也能游刃有余，因为这两者依赖于相似的手部动作。然而，对于机器人来说，即使是这样看似简单的任务转换依然充满挑战。例如，换成另一种类型的瓶盖，机器人可能无法成功打开。这表明，目前的机器人方法尚未充分让模型学习到任务的内在执行逻辑，而只是单纯的依赖于数据拟合。

针对该问题，来自中山大学和华为诺亚等单位的研究团队提出了一种全新的原语驱动的路径点感知世界模型，借助 VLMs 作为机器人的大脑，理解任务之间的动作关联性，并通过 “世界模型” 获取对未来动作的表征，从而更好地帮助机器人学习和决策。该方法显著提升了机器人的学习能力，并保持良好的泛化性。

• 论文地址：https://arxiv.org/abs/2410.10394
• 项目主页：https://abliao.github.io/PIVOT-R/

研究动机

当前，现有机器人操作任务有两个关键问题：

1. 机器人模型在开放世界中表现差且不稳定：许多机器人操作模型虽然能够处理复杂任务，但往往直接将用户指令和视觉感知映射到低层次的可执行动作上，而忽略了操作任务中关键状态（路径点）的建模。这种方式容易使模型记住表面数据模式，导致模型在开放环境中表现脆弱。模型缺乏对关键路径点的预测，使得每个动作的随机性可能逐步放大，降低了任务的执行成功率。
2. 计算效率低：随着模型的增大（例如 RT-2, RT-H），运行速率随之降低，无法满足机器人任务实时性的需求。

为了解决上述问题，研究团队提出了 PIVOT-R，一种原语驱动的路径点感知世界模型。如上图所示，对比左图现有的方法，右图展示了 PIVOT-R 通过关注与任务相关的路径点预测，提升机器人操作的准确性，并设计了一个异步分层执行器，降低计算冗余，提升模型的执行效率。

这样做有几个好处：

1. 它使得模型可以更好的学习任务与动作之间的内在关联性，减少其他干扰因素的影响，并更好地捕捉不同任务之间的相似性（例如，拧瓶盖和拧螺丝的动作是相似的，拿杯子和搭积木都有一个抓住物体的过程），从而使得模型可以在多任务数据下学习到可迁移的知识。
2. 通过世界模型建模的方式获得对未来关键动作的表征，避免了文本语言带来的模糊性、不确定性。
3. 通过异步执行的方式，确保各模块独立运行、互不阻塞，从而有效避免了大模型导致的低速率问题。

研究方法 

原语动作解析

PIVOT-R 的第一个核心步骤是原语动作解析，这一步通过预训练的视觉 - 语言模型（VLM）来解析用户的语言指令。VLM 可以将复杂的自然语言指令转换为一组简单的原语动作，例如 “靠近”、“抓取”、“移动” 等。这些原语动作为机器人提供了操作任务的粗略路径。

具体流程如下：

1. 用户输入的语言指令（例如 “请给我那个杯子”）首先被输入到 VLM 中，VLM 会将其解析为与任务相关的原语动作（如 “靠近杯子”、“抓取杯子”）。
2. 原语动作作为提示，指导机器人在接下来的步骤中专注于特定的操作轨迹点。这种方式确保机器人不会被复杂的环境因素干扰，而是明确知道每个动作的目的。

路径点预测

Yaara

使用AI生成一流的文案广告，电子邮件，网站，列表，博客，故事和更多…

95 查看详情

在原语动作解析后，PIVOT-R 的下一步是路径点预测。路径点代表了机器人操控过程中一些关键的中间状态，例如靠近物体、抓取物体、移动物体等。通过预测路径点，PIVOT-R 能够在机器人执行任务时提供明确的操作指导。具体来说，通过一个 Transformer 架构的模型，预测路径点对应的视觉特征，为后续的动作预测模块提供指引。

动作预测模块

动作预测模块负责根据预测的路径点生成具体的低层次机器人动作。它以路径点为提示，结合机器人历史状态（如位置、姿态等），计算下一步应该执行的动作。该模块使用轻量级的 Transformer 架构进行动作预测，确保计算效率和性能的平衡。这一模块的设计重点在于低延迟和高精度执行操控任务。

异步分层执行器

此外，PIVOT-R 还引入了一个关键的执行机制，即异步分层执行器。与以往的机器人模型不同，PIVOT-R 并不对所有模块在每一步都进行同步更新，而是为不同模块设置了不同的执行频率，以多线程的方式进行异步更新，从而提升执行速度。

实验

作者在具有复杂指令的 SeaW*e *环境和真实环境下进行实验。

如 Table 1 和 Table 2 所示，PIVOT-R 在*环境和真实环境都取得了最优的效果，同时，模型的速度和 RT-1 等方法速度相近，没有因为使用大模型而导致速度变慢。

作者也在 SeaW*e 上做了泛化性测试，在三种泛化性测试场景下，PIVOT-R 仍保持远高于其他模型的成功率。

研究总结

PIVOT-R 通过引入原语动作驱动的路径点感知，显著提升了机器人在复杂操控任务中的性能。该模型不仅在执行效率上具备优势，还能够更好地应对复杂、多变的环境。该方法在*环境和真实环境操纵下表现优异，为机器人学习提供了一个新范式。

以上就是NeurIPS 2025 | 机器人操纵世界模型来了，成功率超过谷歌RT-1 26.6%的详细内容，更多请关注其它相关文章！

# 新能源  # 如何优化网站有图片  # 重庆网络推广网站建设  # seo页面分类有  # 承德网站建设视频  # 神火建设网站怎么样  # 营销推广宣传片文案  # 品牌推广网站推荐语大全  # 南乐网站推广公司  # 商场会员营销推广预算  # 营销网站优化系统设计论文  # 如何使用  # 可直接  # 更好地  # 工程  # 所示  # 执行器  # 日韩  # 提出了  # 多线程  # 来了  # type  # 邮箱  # ai  # 谷歌  # git  # pivot-r  # 机器人 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 征信不好如何恢复正常 征信不好要怎么样才能恢复正常教程  电脑5G怎么上传手机  sofa是什么意思  如何winpe cmd命令  喇叭上标的power30w是什么意思  ai文件在线打开工具有哪些  一帧是多少秒  空调power灯一直闪是什么意思  苹果16哪些功能好用  如何由js快速切换typescript  put linux命令如何书写  比亚迪秦nfc功能是什么意思  ai怎么找链接文件位置教程  vivo怎么投屏到电视看爱奇艺教程  win7怎么做幻灯片  单片机怎么连接电路图  vb中的datediff函数怎么用 ​VB中的DateDiff函数：详尽指南  苹果16哪些会降价的  电动车仪表盘上的power是什么意思  显示器的power是什么意思  如何在命令行执行存储过程  typescript用在哪里  所有删除的聊天记录都可以恢复吗？  壁挂炉power常亮是什么意思  国标控制器单片机怎么接线  linux命令行如何使用中文输入法  单片机怎么控制内功率  阿里云手机云盘怎么用_阿里云盘苹果手机怎么用教程  春运抢票需要什么软件抢  如何修改cad命令  每日推荐电声音乐软件有哪些  三星相机里power是什么意思  j*a怎么读取char数组  ping命令如何看问题  单片机的速度怎么求  电焊机power和oc是什么意思  如何以管理员身份打开cmd命令行窗口  为什么用typescript  春运抢票哪个城市好抢  自己如何安装固态硬盘  折叠手机屏易坏吗为什么  j*a怎么用json数组  npm如何声明命令  wps中datediff函数怎么用 WPS中DATEDIFF函数的语法和用法分享  j*a怎么创建json数组  新网站如何填写域名解析  市盈率为负数是什么意思  单片机.lib文件怎么打开  hp固态硬盘如何安装  苹果16关闭哪些功能好