新闻中心

Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路

2024-07-15
浏览次数：次
返回列表
长上下文大模型帮助机器人理解世界。

最近，谷歌 DeepMind 突然开始炫起了机器人。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

gemini 1.5 pro装进机器人，参观一遍公司就能礼宾、带路

Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路

易标AI 易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

易标AI 135 查看详情 易标AI
这个机器人可以轻松听从人类指令、进行视觉导览，用常识推理在三维空间中寻找路径。

它使用的是最近谷歌发布的大模型 Gemini 1.5 Pro。在使用传统 AI 模型时，机器人常因上下文长度限制而难以回忆起环境细节，但 Gemini 1.5 Pro 的百万级 token 上下文长度为机器人提供了强大的环境记忆能力。

在真实的办公室场景中，工程师引导机器人游览特定区域，并标出了需要回忆的关键地点，例如「刘易斯的办公桌」或「临时办公桌区域」。转完一圈后，别人要问起来，机器人就能根据这些记忆带他去这些地点了。Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路即使你说不出具体要去的地点，只是表达一下目的，机器人也能带你找到对应的位置。这是大模型的推理能力在机器人身上的具体表现。 Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
这一切离不开一个叫 Mobility VLA 的导航策略。
Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
  • 论文标题：Mobility VLA: Multimodal Instruction N*igation with Long-Context VLMs and Topological Graphs
  • 论文链接：https://arxiv.org/pdf/2407.07775v1

DeepMind 表示，这项工作代表了人机交互的下一步。未来，用户可以简单地用智能手机拍摄他们的环境游览经历。在看过视频后，他们的个人机器人助手就能理解并在环境中导航。

Mobility VLA：利用长上下文 VLM 和拓扑图进行多模态指令导航

随着 AI 技术的不断发展，机器人导航已经取得了长足进步。早期的工作依赖于用户在预先绘制的环境中指定物理坐标。物体目标导航（ObjN*）和视觉语言导航（VLN）是机器人可用性的一大飞跃，因为它们允许用户使用开放词汇语言来定义导航目标，如「去沙发那里」。

为了让机器人在我们的日常生活中真正有用并无处不在，谷歌 DeepMind 的研究者提出将 ObjN* 和 VLN 的自然语言空间提升到多模态空间，这意味着机器人可以同时接受自然语言和 / 或图像指令，从而实现另一次飞跃。例如，一个不熟悉某栋建筑的人可以一边拿着塑料箱子一边问：「我应该把这个还到哪里去？」，机器人会根据语言和视觉上下文引导用户把箱子还到架子上。他们将这类导航任务称为多模态指示导航（MIN）。
Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
MIN 是一项广泛的任务，包括环境探索和指令引导导航。不过，在许多情况下，人们可以通过充分利用示范游览视频来绕过探索。示范游览有几个好处：

  1. 易于收集：用户可以遥控机器人，或者在环境中行走时用智能手机录制视频。此外，还有一些探索算法可用于创建导览。
  2. 它符合用户的习惯做法：当用户得到一个新的家用机器人时，自然会带着机器人在家里转转，他们可以在参观过程中口头介绍感兴趣的地点。
  3. 在某些情况下，出于安全和保护隐私的目的，限制机器人在预先设定的区域内活动是可取的。为此，作者在本文中介绍并研究了这一类任务，即「多模态指示游览导航（MINT）」，它利用示范游览，重点是满足用户的多模态指示。

最近，大型视觉语言模型（VLMs）在解决 MINT 问题上显示出巨大潜力，这得益于它们在语言、图像理解以及常识推理方面令人印象深刻的能力，这些都是实现 MINT 的关键要素。然而，单靠 VLM 难以解决 MINT 问题，原因如下：

  1. 由于上下文长度的限制，许多 VLM 的输入图像数量非常有限，这严重限制了大型环境中环境理解的保真度。
  2. 解决 MINT 问题需要计算机器人的行动。请求此类机器人动作的查询通常与 VLM（预）训练的内容不一致。因此，机器人的零样本性能往往不能令人满意。

为了解决 MINT 问题，DeepMind 提出了 Mobility VLA，这是一种分层式视觉 - 语言 - 行动（VLA）导航策略。它结合了长上下文 VLM 的环境理解和常识推理能力，以及基于拓扑图的稳健 low-level 导航策略。

具体来说，high-level VLM 使用示范游览视频和多模态用户指令来找到游览视频中的目标帧。接下来，一个经典的 low-level 策略使用目标帧和拓扑图（从游览帧中离线构建）在每个时间步生成机器人动作（航点，waypoint）。长上下文 VLM 的使用解决了环境理解的保真度问题，拓扑图则弥补了 VLM 的训练分布与解决 MINT 所需的机器人行动之间的差距。

作者在现实世界（836 平方米）的办公室和类似家庭的环境中对移动 VLA 进行了评估。在之前难以实现的涉及复杂推理（例如「我想把东西存放在公众视线之外，我该去哪里？」）和多模态用户指令的 MINT 任务上，Mobility VLA 达到了 86% 和 90% 的成功率（分别比基线方法高出 26% 和 60%）。

作者还展示了用户与机器人互动的便捷性的巨大进步，用户可以在家庭环境中使用智能手机进行带解说的视频漫游，然后询问「我的杯垫放在哪里了？」

 技术细节

Mobilit VLA 是一种分层导航策略（如图 1 所示），包括在线和离线两个部分。
Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
在离线阶段，根据示范游览（N,F）生成拓扑图 G。在在线阶段，high-level 策略通过示范游览和多模态用户指令（d,I）找到导航目标帧索引 g，该索引是一个整数，对应于游览的特定帧。下一步，low-level 策略利用拓扑图、当前摄像头观测数据（O）和 g，在每个时间步产生一个航点动作（a），供机器人执行。
Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
其中，h 和 l 分别代表 high-level 和 low-level 策略。

示范游览和离线拓扑图生成

Mobility VLA 利用环境示范游览来解决 MINT 问题。这种游览可以由人类用户通过远程操作进行，也可以在环境中行走时用智能手机录制视频。

然后，Mobility VLA 会离线构建拓扑图 G = (V，E)，其中每个顶点 v_i∈V 都对应演示游览视频 (F, N) 中的帧 f_i。作者使用 COLMAP（一种现成的运动结构管道）来确定每帧的近似 6 自由度相机姿态，并将其存储在顶点中。接下来，如果目标顶点位于源顶点的「前方」（与源顶点的姿态相差小于 90 度），且距离在 2 米以内，则会在 G 中添加一条有向边。

与传统的导航 pipeline（例如绘制环境地图、识别可穿越区域，然后构建 PRM）相比，拓扑图方法要简单得多，因为它能根据游览轨迹捕捉环境的一般连通性。

基于长上下文多模态 VLM 的 High-Level 目标寻找

在在线执行过程中，high-level 策略利用 VLM 的常识推理能力，从示范游览中确定一个导航目标，以满足各种多模态、口语化且往往含糊不清的用户指令。为此，研究者准备了一个由文字和图像交错组成的提示 P (F,N,d,I)。下面是多模态用户指令的一个具体例子，对应的是表 1 中的一个问题 ——「Where should I return this？」。
You are a robot operating in a building and your task is to respond to the user command about going to a specific location by finding the closest frame in the tour video to n*igate to . These frames are from the tour of the building last year . [ Frame 1 Image f1] Frame 1. [ Frame narrative n1] ... [ Frame k Image fk ] Frame k . [ Frame narrative nk ] This image is what you see now . You may or may not see the user in this image . [ Image Instruction I] The user says : Where should I return this ? How would you respond ? Can you find the closest frame ?
Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
VLM 返回一个整数目标帧索引 g。

利用拓扑图实现 low-level 目标

一旦 high-level 策略确定了目标帧索引 g，low-level 策略（算法 1）就会接手，并在每个时间步产生一个航点动作（公式 1）。
Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
在每个时间步中，作者使用实时分层视觉定位系统，利用当前相机观测值 O 估算机器人的姿态 T 和最近的起始顶点 v_s∈G （第 5 行）。该定位系统通过全局描述符在 G 中找到 k 个最近的候选帧，然后通过 PnP 计算 T。接下来，通过 Dijkstra 算法（第 9 行）确定 v_s 与目标顶点 v_g（与 g 对应的顶点）之间拓扑图上的最短路径 S。最后，low-level 策略会返回一个航点动作，即 S 中下一个顶点 v_1 相对于 T 的 ∆x、∆y、∆θ（第 10 行）。

 实验结果

为了展示 Mobility VLA 的性能并进一步了解关键设计，作者设计了实验来回答以下研究问题：

  • 问题 1：在现实世界中，Mobility VLA 在 MINT 中是否表现出色？
  • 问题 2：Mobility VLA 是否会因为使用长上下文 VLM 而优于替代方案的性能？
  • 问题 3：拓扑图是否必要？VLM 能否直接产生行动？

Mobility VLA 在现实环境中有着稳健的端到端表现

1、端到端成功率高。表 2 显示，在大多数用户指令类别中，Mobility VLA 的端到端导航成功率都很高，包括以前不可行的「推理 - 要求」和「多模态」指令。

2、稳健的 low-level 目标达成。表 2 还显示了 Mobility VLA 的 low-level 目标达成策略在现实世界中的稳健性（100% 成功率）。其中的示范游览记录是在实验前几个月录制的，当时许多物体、家具和照明条件都不同。
Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
长上下文 VLM 在高级目标查找方面优于其他选择

1、Mobility VLA 优于替代方案。表 3 显示，Mobility VLA 的 high-level 目标查找成功率明显高于对比方法。鉴于 low-level 成功率为 100%，这一 high-level 目标查找成功率代表了端到端成功率。
Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
2、使用长上下文 VLM 处理高帧率游览视频是成功的关键。向非长上下文 VLM 输入大型环境的完整示范游览是一项挑战，因为每幅图像都需要数百个 token 的预算。减少输入 token 数量的一个解决方案是降低游览视频帧频，但代价是中间帧丢失。表 4 显示，随着游览帧频的降低，high-level 目标查找成功率也在降低。这并不奇怪，因为帧率较低的游览视频有时会丢失导航目标帧。此外，在比较最先进的 VLM 时，只有 Gemini 1.5 Pro 的成功率令人满意，这要归功于其长达 100 万个 token 的上下文长度。
Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
拓扑图是成功的关键

表 5 显示了 Mobility VLA 在模拟中的端到端性能与提示 VLM 直接输出航点操作的比较。0% 的端到端成功率表明，Gemini 1.5 Pro 在没有拓扑图的情况下无法实现机器人的零样本导航。根据实验，作者发现无论当前摄像头的观测结果如何，Gemini 几乎总是输出「向前移动」的航点动作。此外，当前的 Gemini 1.5 API 需要在每次推理调用时上传全部 948 幅游览图像，导致机器人每移动 1 米就需要花费 26 秒的运行时间，成本之高令人望而却步。另一方面，Mobility VLA 的 high-level  VLM 会花费 10-30 秒找到目标索引，然后机器人会使用 low-level 拓扑图导航到目标，从而形成一个高度稳健和高效（每步 0.19 秒）的系统来解决 MINT 问题。
Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
更多细节请参考原论文。

以上就是Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路的详细内容，更多请关注其它相关文章！


# 产业  # gemini  # 峨边自适应网站建设  # seo优化排名怎么用  # 2016款seo  # 南京专业seo优化公司  # 淄博营销推广机构排名  # 玩具行业seo推广运营  # 荆门电商网站推广价格  # 巩义网站自然优化地址  # 南极  # 的是  # 端到  # 离线  # 拓扑图  # 多模  # 礼宾  # 一遍  # 就能  # 装进  # type  # follow  # 卡盟网站怎么建设  # 汽车品牌营销推广课件PPT 


相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】


相关推荐： 对应市盈率是30X是什么意思  华为使用nfc功能是什么意思  driver是什么意思  苹果16系统有哪些问题  wps中datediff函数怎么用 WPS中DATEDIFF函数的语法和用法分享  如何用命令下载服务器网站  linux如何合并分区命令  如何更新苹果ios16  冰柜power是什么意思这个黄灯怎么不亮  shell如何注释所有命令  点焊机接触器上power是什么意思  dos命令 如何将变量 作为路径的一部分  typescript属性只读如何修改  电脑5G怎么上传手机  ai显示无法找到链接的文件是什么意思  为什么夸克流畅播失败  typescript卸载不掉怎么办  苹果16有哪些黑科技  净水器上的power是什么意思  固态硬盘如何查看盘符  春运抢票准备什么东西  春运抢票如何快速抢到票  市盈率tt的扣非是什么意思  折叠屏手机为什么凉凉  手机如何运行ping命令  春运抢票哪个城市好抢  typescript与es6学哪个  如何提高固态硬盘性能  哪些编程软件需用typescript  ssd固态硬盘如何选择  win7怎么取消360显示的壁纸  debug中如何用n命令命名程序文件名  如何使用程序编译 执行的命令  得物怎样降低手续费 得物如何降低手续费教程  如何创建sql命令  夸克的答案为什么不对  iPhone无法打开YouTube原因分析与解决方案  索尼type-c接口是什么  5r是多少钱  j*a怎么用json数组  typescript全局配置放哪里  春运抢票最好抢什么票啊  j*a如何运行curl命令行  固态硬盘如何安装win10系统安装  阿里云盘修复工具怎么用  如何通过命令检测u盘启动  typescript用在哪里  一年多少周  j*a数组怎么取元素  手机如何更改固态硬盘 

上一篇：赶时髦的 AIGC 营销人，如何实现「里子」与「面子」的双赢？
下一篇：MotionClone：无需训练，一键克隆视频运动

搜索