在GTC会议期间,NVIDIA展示了一系列尖端技术,以加速人形机器人的发展。其中,NVIDIA Isaac GR00T N1尤为突出,这是第一个完全可定制的开源基础模型,旨在为机器人提供高级推理能力和广泛技能。
与模型一起,NVIDIA 宣布了模拟框架和创新工具,包括Isaac GR00T 蓝图用于生成合成数据和Newton,这是一个与Google DeepMind和Disney Research合作开发的开源物理引擎。
Summary
Isaac GR00T N1: 机器人智能的未来
通过Isaac GR00T N1,NVIDIA 在机器人技术方面迈出了重要的一步,得益于一种双系统架构,其灵感来自于人类认知的原则:
- 系统 1:一种快速直观的模型,像自动反射一样执行即时操作。
- 系统 2:一种更慢且更有条理的模型,能够分析背景并规划更复杂的策略。

该模型集成了一个Vision Language Model (VLM),能够解释环境和接收到的指令,并将其翻译为精确而流畅的动作。得益于大量的人类演示数据和由NVIDIA Omniverse平台生成的合成数据,GR00T N1能够适应广泛的高级机器人任务,例如:
- 用一只或两只手抓住物体。
- 移动和转移物体在不同的艺术之间。
- 执行高精度的多步骤操作。
这些能力使其特别适合工业和家庭应用,如材料处理、包装和检查。
在下面的官方视频中,NVIDIA 介绍了新款 Isaac GROOT N1: 的主要功能:
实际应用和初步现场测试
该模型的潜力已被1X Technologies证明,该公司使用GR00T N1训练其人形机器人NEO Gamma执行自主整理任务。根据1X的首席执行官Bernt Børnich的说法,该模型可以开发出更具适应性和快速学习能力的机器人,只需极少量的额外数据。
除了 1X 之外,其他在机器人技术领域的领先公司,包括Agility Robotics、Boston Dynamics、Mentee Robotics 和 NEURA Robotics,已获得GR00T N1的提前访问权限,以探索新的应用。
牛顿:下一代机器人的物理引擎
为了进一步提高机器人与物理世界互动的能力,NVIDIA 宣布了 Newton,这是一个与 Google DeepMind 和 Disney Research 共同开发的 开源物理引擎。基于 NVIDIA Warp 平台,Newton 将 优化用于机器人学习,并与 MuJoCo 兼容,由 Google DeepMind 和 NVIDIA Isaac Lab 开发。
Disney Research 将使用 Newton 来完善其 娱乐机器人平台,这一平台已在 GTC 主旨演讲中通过 受星球大战 BDX 启发的机器人 展示。根据 Walt Disney Imagineering Research & Development 的高级副总裁 Kyle Laughlin 的说法,这一合作将有助于为观众创造 更具表现力和吸引力的机器人。
合成数据对机器人训练的重要性
在发展人形机器人方面的主要障碍之一是训练所需的大量数据。为了解决这一挑战,NVIDIA 推出了Isaac GR00T 蓝图用于生成合成数据。该工具基于Omniverse 和 Cosmos Transfer,可以从有限的人类演示中生成大量的运动数据。
感谢这项技术,NVIDIA 生成了780,000 条合成轨迹,相当于6,500 小时的人类数据,仅用了11 小时。通过结合合成数据和真实数据,GR00T N1 的性能提高了 40%,相比仅依赖于真实数据的训练。
NVIDIA GR00T N1 和 Newton:可用性和工具访问
为了进一步支持开发者,NVIDIA 提供了以下资源:
- GR00T N1 的训练数据和评估场景在Hugging Face 和 GitHub 上。
- Isaac GR00T 的蓝图作为build.nvidia.com 上的交互式演示,并可从GitHub下载。
最后,新的超级计算机个人版 NVIDIA DGX Spark,也在 GTC 上展示,将提供一个先进的基础设施,以扩展 GR00T N1 的能力,而无需复杂的编程。
结论:类人机器人技术的未来
通过这些工具,NVIDIA 旨在使类人机器人更加自主、高效和适应性强,开辟在整合人工智能的新前沿,融入日常生活和工业世界。
结合Isaac GR00T N1、Newton 和合成数据生成代表了机器人技术的巨大进步,使我们更接近一个新时代,在这个时代,类人机器人将成为我们社会的重要组成部分,协助人类完成复杂和重复的任务。