HomeAI一台RGB相机胜过激光雷达:单摄像头机器人导航成功率达76.6%

一台RGB相机胜过激光雷达:单摄像头机器人导航成功率达76.6%

一种名为 新 AI 模型Robostral Navigate 正在挑战机器人领域长期以来的一个假设:可靠的自主导航必须依赖昂贵且传感器密集的硬件。由 AI Science Robotics 团队开发的这一 80 亿参数模型,仅使用一台普通的 RGB 相机和自然语言指令,就实现了单摄像头机器人导航的最新水平——无需激光雷达、无需深度传感器、也不需要多摄像头阵列。

要点速览

  • Robostral Navigate 是一款 80 亿参数的 AI 模型,只依靠单个 RGB 摄像头和自然语言指令来为机器人导航。
  • 它在 R2R-CE 验证集未见环境基准上实现了 76.6% 的成功率,比最佳单摄像头方法高出 9.7 个百分点,比使用深度/多摄像头系统的方法高出 4.5 个百分点。
  • 该模型采用基于指向的方式,从图像坐标预测目标位置;当目标不在视野内时,则回退到局部坐标系位移指令。
  • 前缀缓存训练技术将训练 token 数量减少了 22 倍,把原本需要数月的训练压缩到数天内完成。
  • 通过 CISPO 算法进行训练后的强化学习,又将模型成功率额外提升了 3.2%。

Robostral Navigate 推进了单摄像头机器人导航

Robostral Navigate 重新定义了一个导航模型真正需要什么才能工作。其他系统往往依赖深度传感器或多摄像头阵列来构建环境地图,而该模型只需处理一串标准 RGB 图像以及一条文本指令——并据此在空间中移动。其背后的团队包括 AI Science Robotics 的研究人员 Théo Cachet、Arjun Majumdar、Srijan Mishra、Thomas Chabal、Chris Bamford、Elliot Chane-Sane、Benjamin Tibi、Ludovic Ho Fuh 和 Olivier Duchenne,他们完全在内部自研了整个模型,没有依赖现有的开源视觉-语言模型。

这一设计选择在部署上带来了实实在在的影响。更简单的传感器需求意味着更低的硬件成本、更容易在不同类型机器人之间集成,以及更少的感知链路故障点。

通过指向与回退位移的导航方法

核心创新是团队所称的基于指向的导航。Robostral Navigate 并不是发出诸如“向前移动 0.5 米”这样的度量位移指令,而是推断出目标位置在机器人当前摄像头视野中的图像坐标——本质上是“指向”它要去的地方——同时给出期望的到达朝向。

这种方法让策略天然对相机内参变化和世界尺度差异具有鲁棒性,因为它是以视觉目标而非固定度量单位来推理目的地。模型可以遵循的一个示例指令是:“离开大厅,穿过走廊,进入储物间,然后停下并面向第二个货架。”

当目标位于当前相机视野之外时,指向方式就不再适用。在这种情况下,模型会回退到局部坐标系位移——例如“向前移动 2 米,向左移动 1.5 米,然后向左转 25 度”这样的指令。这种双模式设计使模型在无需增加传感器的前提下,就能应对广泛的真实导航场景。

在 R2R-CE 验证集上的领先基准表现

数据表现是 Robostral Navigate 最有力的论据。在 R2R-CE(连续环境中的房间到房间)基准上——这是在训练中未见环境中执行导航指令的标准测试——该模型在验证集未见环境上取得了 76.6% 的成功率,在验证集已见环境上则达到了 79.4%。

超越单摄像头与多传感器系统

这些结果使其领先于当前基准上所有可比系统。Robostral Navigate 比最佳单摄像头方法高出 9.7 个百分点,并且在不使用深度传感器或多摄像头的情况下,仍然比最佳深度/多摄像头系统高出 4.5 个百分点

其对多传感器系统的优势尤为值得关注。深度相机和激光雷达设备往往意味着巨大的硬件投入;一个仅凭单路 RGB 视频流就能超越这些系统的模型,不只是赢得了一个基准测试,更是重新定义了商用机器人部署所需的最低可行硬件配置。

创新的训练与强化学习技术

要达到这些指标,首先要解决训练效率问题。导航模型需要从序列化的观测历史中学习——即由图像、动作和结果构成的长时间序列——这通常需要巨大的算力来处理。Robostral Navigate 团队通过一种基于树状注意力掩码策略的前缀缓存训练算法来应对这一挑战。

高效的基于前缀缓存的监督训练

该方法将整个导航轨迹压缩为一个序列,使得可以在一次前向传播中对所有时间步进行训练,同时又能防止信息在时间步之间泄漏。与每个时间步训练一个样本相比,这种方法在保留全部学习信号的前提下,将训练 token 数量减少了 22 倍。在实际操作中,这意味着原本需要数月的训练可以在数天内完成——对于要在大规模机器人 AI 上快速迭代而言,这是一个重要的运营优势。

训练数据本身完全在仿真环境中生成,约包含来自 6,000 个场景的 40 万条轨迹,从而在无需承担物理数据采集成本和复杂性的情况下实现快速迭代。

使用 CISPO 在线强化学习获得性能提升

在监督训练之后,团队应用了在线 强化学习算法 CISPO 来进一步提升性能。标准的行为克隆容易受到分布偏移的影响——即模型在部署时遇到的场景与训练数据不同——而 CISPO 允许模型通过试错学习,从失败中恢复,并发展出探索性行为。

这一第二阶段训练带来了 3.2% 的成功率提升。团队指出,目前尚未观察到性能出现平台期,这表明进一步的训练很可能还能继续推高指标。将大型语言模型开发中常见的训练后强化学习技术应用到具身导航 AI,在战略上具有重要意义——这表明为大模型打磨出的工程方法论,如今已经可以迁移到物理机器人控制领域。

跨机器人类型的泛化与未来发展

Robostral Navigate 可运行在轮式、腿式以及飞行机器人上,并能在不同机器人尺寸和相机配置之间实现泛化。该模型对相机内参差异也具有鲁棒性,这意味着无需为每一套新硬件重新标定——对于任何面向广泛商业落地的系统而言,这是一个实际必需条件。

目标应用场景涵盖制造、配送、物流和酒店服务等领域。团队将导航视为通用机器人能力的基础,并将 Robostral Navigate 定位为迈向统一具身智能体的第一步,而非一个已经完结的产品。

AI Science Robotics 正在积极扩充其机器人团队,招聘专注于具身导航 AI 的研究科学家和工程师,这表明其研发路线图远不止于这次初始发布。

常见问题

Robostral Navigate 在机器人导航中使用哪些传感器?

Robostral Navigate 只使用单个 RGB 摄像头,不依赖激光雷达或深度传感器。

与其他导航模型相比,Robostral Navigate 的表现如何?

它在 R2R-CE 验证集未见环境基准上取得了 76.6% 的成功率,比最佳单摄像头方法高出 9.7 个百分点,比深度/多摄像头系统高出 4.5 个百分点。

当目标不在相机视野内时,Robostral Navigate 如何处理导航任务?

当目标位于当前相机视野之外时,模型会使用机器人局部坐标系中的位移指令,作为回退导航方式。

哪些训练技术提升了 Robostral Navigate 的导航性能?

该模型使用高效的前缀缓存监督训练方法,将训练 token 数量减少了 22 倍,并通过 CISPO 算法进行在线强化学习,又额外带来了 3.2% 的成功率提升。

{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Robostral Navigate 在机器人导航中使用哪些传感器?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Robostral Navigate 只使用单个 RGB 摄像头,不依赖激光雷达或深度传感器。”}},{“@type”:”Question”,”name”:”与其他导航模型相比,Robostral Navigate 的表现如何?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”它在 R2R-CE 验证集未见环境基准上取得了 76.6% 的成功率,比最佳单摄像头方法高出 9.7 个百分点,比深度/多摄像头系统高出 4.5 个百分点。”}},{“@type”:”Question”,”name”:”当目标不在相机视野内时,Robostral Navigate 如何处理导航任务?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”当目标位于当前相机视野之外时,模型会使用机器人局部坐标系中的位移指令,作为回退导航方式。”}},{“@type”:”Question”,”name”:”哪些训练技术提升了 Robostral Navigate 的导航性能?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”该模型使用高效的前缀缓存监督训练方法,将训练 token 数量减少了 22 倍,并通过 CISPO 算法进行在线强化学习,又额外带来了 3.2% 的成功率提升。”}}]}

本文在人工智能协助下完成,由编辑团队审核。

RELATED ARTICLES

Stay updated on all the news about cryptocurrencies and the entire world of blockchain.

Featured video

LATEST