ABAB Pedia

NVIDIA GR00T

NVIDIA GR00T(Isaac GR00T)是NVIDIA开发的通用机器人基础模型系列及配套的人形机器人开发平台,包括GR00T N系列视觉语言动作模型和世界动作模型GR00T 2。

本页目录11 节
词条资料

在GTC上宣布Project GR00T

NVIDIA在GTC大会上宣布Project GR00T,称其为面向人形机器人的通用基础模型,GR00T是“Generalist Robot 00 Technology”的缩写。按NVIDIA的设想,由GR00T驱动的机器人能够理解自然语言,通过观察人类动作来模仿动作,并快速学会协调、灵巧操作等技能,从而在现实世界中移动、适应和互动。黄仁勋黄仁勋黄仁勋(Jensen Huang)是 NVIDIA 联合创始人,自1993年公司成立起担任总裁、首席执行官和董事,2026年11月辞去上述职务。他具有电气工程教育与半导体行业背景,在其任内,NVIDIA 的业务从图形芯片拓展至 GPU 通用计算、人工智能和数据中心计算平台。点击查看完整词条在GTC主题演讲中展示了多台此类机器人完成各种任务。⁠[1]

同时发布的Jetson Thor是基于NVIDIA Thor系统级芯片的人形机器人计算机,配备基于Blackwell架构的新一代GPU,其Transformer引擎提供800 teraflops的8位浮点AI算力,用于运行GR00T等多模态生成式AI模型,另集成功能安全处理器、高性能CPU集群和100Gb以太网带宽。NVIDIA同时更新Isaac机器人平台,推出用于强化学习的Isaac Lab、算力编排服务OSMO、面向机械臂的Isaac Manipulator和面向自主移动机器人的Isaac Perceptor。⁠[1]

在CoRL公布六个GR00T工作流

NVIDIA在德国德国德国全称德意志联邦共和国,是位于中欧的联邦制议会共和国,由16个州组成,首都柏林。《基本法》于1949年5月23日公布并生效,联邦共和国由此成立;1990年10月3日德意志民主共和国加入《基本法》的适用范围,德国实现统一。以2022年人口普查为基础的2025年人口统计显示,全国人口为83,467,117人(约8347万人)。点击查看完整词条慕尼黑举行的Conference on Robot Learning(CoRL)期间介绍Project GR00T,将其定位为面向人形机器人开发者生态的加速库、基础模型和数据管线计划,并公布六个工作流:以生成式AI和OpenUSD生成三维环境的GR00T-Gen、生成机器人动作与轨迹的GR00T-Mimic、灵巧操作的GR00T-Dexterity、全身控制的GR00T-Control、移动与导航的GR00T-Mobility,以及多模态感知的GR00T-Perception;这些工作流当时标为“coming soon”(即将推出)。⁠[2]

发布开放模型GR00T N1

NVIDIA在GTC上发布Isaac GR00T N1,称其为全球首个开放、可完全定制的人形机器人基础模型,用于通用的人形机器人推理与技能,是NVIDIA将预训练并向全球机器人开发者发布的系列模型中的第一款;NVIDIA把这项工作与其估计超过5,000万人的全球劳动力短缺联系起来。⁠[3]

GR00T N1采用受人类认知启发的双系统设计:“System 2”是由视觉语言模型驱动、较慢的深思决策模型,对环境和指令进行推理以规划动作;“System 1”是快速动作模型,相当于人的反射或直觉,把计划转化为精确、连续的机器人动作。发布的模型为20亿参数的GR00T N1 2B,其中System 2以NVIDIA-Eagle与SmolLM-1.7B为基础,System 1为扩散Transformer。训练数据呈金字塔结构:底层是互联网规模的网页数据和人类视频,中层是英伟达 Omniverse英伟达 OmniverseOmniverse 是英伟达开发的一组用于三维协作、物理仿真和工业数字孪生的软件库、开发工具与服务。它以开放的场景描述格式 OpenUSD 连接不同软件,让团队在同一三维场景中组合来自不同工具的模型、材质和动画。点击查看完整词条生成的合成数据,顶层是真实机器人遥操作数据。⁠[3][4]

模型可泛化到抓取、单臂或双臂移动物体、在两臂之间传递物品等常见任务,也能执行需要长上下文的多步骤任务,适用于物料搬运、包装和检测等场景;开发者可以用真实或合成数据针对特定机器人或任务进行后训练。首批支持的机器人为Fourier GR-1和1X NEO。在每项任务100次示范的仿真基准上,GR00T N1 2B平均成功率为45.0%,Diffusion Policy为33.4%,BC Transformer为26.4%;在Fourier GR-1真实机器人任务上,使用全部数据时平均成功率为76.8%(Diffusion Policy为46.4%),只用10%数据时为42.6%(Diffusion Policy为10.2%)。⁠[3][4]

利用基于Omniverse和NVIDIA Cosmos Transfer世界基础模型的Isaac GR00T合成操作动作生成蓝图,NVIDIA在11小时内生成78万条合成轨迹,相当于约6,500小时(连续九个月)的人类示范数据;把这些合成数据与真实数据结合后,GR00T N1的表现比只用真实数据提高40%。GR00T N1的训练数据和任务评估场景可从Hugging Face和GitHub下载,数据集作为一个更大的开源物理AI数据集的一部分发布。⁠[3]

黄仁勋在主题演讲中展示了一台1X人形机器人使用基于GR00T N1后训练的策略自主整理家务,这项工作来自1X与NVIDIA的AI训练合作,他还把Disney的BDX机器人带上舞台。1X Technologies首席执行官Bernt Børnich表示,1X在NEO Gamma机器人上以极少的后训练数据完整部署了这一模型。获得早期使用权的开发者包括Agility Robotics、Boston Dynamics、Mentee Robotics和NEURA Robotics。NVIDIA、Google DeepMindGoogle DeepMindGoogle DeepMind 是 Google 旗下的人工智能研究机构,2023年4月由2014年被 Google 收购的 DeepMind 与 Google Research 的 Brain 团队合并而成,Demis Hassabis 任首席执行官至2026年8月,此后改任董事长。它开发了 AlphaGo、AlphaFold 和 Gemini 系列模型,Hassabis 与 John Jumper 因 AlphaFold 的蛋白质结构预测工作获得2024年诺贝尔化学奖。点击查看完整词条与Disney Research同时宣布共同开发开源物理引擎Newton。黄仁勋说:“The age of generalist robotics is here”(通用机器人的时代已经到来)。⁠[3]

在Computex宣布GR00T N1.5

NVIDIA在Computex上宣布Isaac GR00T N1.5,这是GR00T N1的首次更新,能更好地适应新环境和工作空间布局,可按用户指令识别物体,在分拣、收纳等物料搬运与制造任务上的成功率更高,模型将在Hugging Face开放下载。早期采用GR00T N系列模型的公司包括AeiRobot、Foxlink、Lightwheel和NEURA Robotics。⁠[5]

同时发布的Isaac GR00T-Dreams蓝图先让开发者针对自己的机器人对Cosmos Predict世界模型进行后训练,再从单张图片生成机器人在新环境中执行新任务的视频,并从中提取动作token作为训练数据,NVIDIA称之为“neural trajectories”(神经轨迹);NVIDIA Research用它在36小时内为GR00T N1.5生成训练数据,而人工采集需要近三个月。3月发布的GR00T-Mimic蓝图则用Omniverse和Cosmos扩充少量人类示范,二者分工不同。⁠[5]

发表GR00T N1.6技术说明

NVIDIA的GEAR团队发表GR00T N1.6的技术说明,署名作者共58人(另署GEAR Team),包括Jim Fan、Yuke Zhu、Jan Kautz和Scott Reed。N1.6在仿真操作基准以及真实的双臂YAM、AgiBot Genie-1和Unitree G1机器人上的表现均优于N1.5,模型卡名为GR00T-N1.6-3B,代码位于GitHub上的Isaac-GR00T仓库。⁠[6]

N1.6把扩散Transformer从N1.5的16层加深到32层,去掉N1.5在视觉语言模型之后的4层Transformer适配器,改为在预训练中解冻视觉语言模型的最上面4层;对多数机器人形态预测相对于当前状态的动作块,而不是绝对关节角或末端位置,并采用测试时与训练时的实时分块(RTC)以使异步执行更平稳。视觉语言骨干一说是NVIDIA内部的Cosmos-2B视觉语言模型变体,支持灵活分辨率并按原始宽高比编码图像;另一说为Eagle。⁠[6][7]

预训练在N1.5的数据组合上加入数千小时遥操作数据,来源包括双臂YAM、AgiBot Genie-1、BEHAVIOR套件中的仿真Galaxea R1 Pro和Unitree G1全身移动操作,预训练30万步、全局批量16,384;针对具体机器人的后训练通常为1万至3万步、批量不超过1,000。由于模型收敛更快,团队加强了状态正则化、数据增强以及与预训练数据的联合训练以防过拟合,并建议在真实机器人上表现不佳时使用DAgger;多任务语言遵循和分布外泛化仍是难点。⁠[6]

GR00T N1.7抢先体验与GR00T N2预览

NVIDIA在GTC上宣布GR00T N1.7以商业许可进入抢先体验,面向可投入生产的机器人部署,提供包括高级灵巧控制在内的通用机器人技能;AGIBOT、Humanoid、LG Electronics、NEURA Robotics和Noble Machines采用Isaac GR00T N系列模型,以加快其人形机器人的工业部署。⁠[8]

黄仁勋在主题演讲中预览下一代机器人基础模型GR00T N2,它基于DreamZero研究和新的世界动作模型架构;NVIDIA称,在新环境中执行新任务时,它的成功率是领先视觉语言动作模型的两倍以上,并在MolmoSpaces和RoboArena通用机器人策略排行榜上排名第一,预计2026年底前推出。这一基于DreamZero世界动作模型研究、在GTC 2026预览的模型后以GR00T 2之名发布。⁠[8][9]

宣布Isaac GR00T参考人形机器人

NVIDIA在台北举行的GTC Taipei上宣布面向学术研究的Isaac GR00T参考人形机器人。它以Unitree H2 Plus人形机器人为机身,身高近6英尺、重150磅,身体有31个自由度,配一对各有22个自由度的Sharpa Wave触觉五指手,全身共75个自由度,带头部立体相机、腕部相机和惯性测量单元;手臂扭矩最高120牛·米、腿部最高360牛·米,手臂额定负载7千克、峰值15千克;机载NVIDIA Jetson AGX Thor T5000,含Blackwell GPU(2,070 FP4 TFLOPS)、14核Arm CPU和128GB统一内存,功耗可在40—130瓦之间设置;15Ah、0.972千瓦时的电池可运行约三小时。⁠[10]

配套的Isaac GR00T平台包括采集示范数据的Isaac Teleop、用于推理和多任务行为的Isaac GR00T开放基础模型、用于仿真与训练的Isaac Sim和Isaac Lab、部署用的Isaac ROS中间件以及机载推理用的Jetson Thor。该机器人预计2026年晚些时候由Unitree供货;面向Unitree G1的GR00T参考工作流预计很快在GitHub和Hugging Face推出。Ai2、ETH Zurich、Stanford Robotics Center以及UC San Diego的Advanced Robotics and Controls Laboratory计划采用这一设计,NVIDIA Research也将用它推进GR00T模型、框架和硬件。黄仁勋称它是“a single, open platform to make breakthrough discoveries”(一个用于取得突破性发现的统一开放平台)。⁠[10]

在Conference on Robot Learning发布GR00T 2

2026年的Conference on Robot Learning于11月9日至12日在得克萨斯州得克萨斯州得克萨斯州是位于美国中南部的一个州,首府为Austin,最大城市为休斯敦。该州于1845年12月29日加入联邦,为第28个州;2020年人口普查(2020年4月1日)人口为29,145,505人(约2914.6万人)。点击查看完整词条奥斯汀举行,其中9日至11日为会议、12日为研讨会。NVIDIA机器人总监兼杰出科学家Jim Fan在会议首日下午的主题演讲中发布GR00T 2,NVIDIA展台同时演示GR00T、Isaac Lab和Newton。⁠[11][12][13]

GR00T 2是一组同时预测未来视频与机器人动作的“world-action models”(世界动作模型),而此前的GR00T版本是视觉语言动作模型。一个扩散Transformer同时对未来视频和动作块去噪,再由各机器人的小型输出头转换为电机指令;输入是约0.8秒的近期视频、语言指令和机器人状态,视频分辨率为320×224,来自头部相机和两个腕部相机。模型基于NVIDIA Cosmos构建,参数量为20亿,可用于平行夹爪机械臂、灵巧手和人形机器人。Jim Fan把它描述为可由更大的推理模型指挥的快速“System 1”技能模型,他说:“Everything is going to be a skill, including System 1”(一切都将成为技能,包括System 1)。⁠[14][12]

预训练数据包括402,730小时第一视角人类视频(Human-1M)、涵盖2,897项任务的10,184小时手持UMI夹爪示范和23,500小时机器人遥操作数据,机器人数据来自YAM与Franka平行夹爪机械臂、Sharpa与Wuji灵巧手以及Unitree G1人形机器人;其中10万小时人类视频以Human-1M-100K之名在Hugging Face公开。在72项Dexter任务上,加入人类视频后,任务进度在视频推演中从64%升至77%,在真实机器人上从50%升至70%。⁠[14][12]

技能可以在不同形态之间迁移:只用人类示范训练的双五指手机器人在实验室漏斗中放置滤纸的成功率为65%;只用UMI数据训练的YAM机械臂端到端组装玩具自卸车的成功率为60%,过程最长4分钟;用DexUMI数据训练、配ROBOTERA手的Tianji机器人学会了准备香蕉酸奶、舀燕麦片和划火柴点灯。⁠[14]

在配备Sharpa手的双臂机器人上,NVIDIA用50项目标机器人未见过的任务测试:零样本平均成功率为40%,40项任务至少成功一次;每项任务1次示范时升至71%;每项任务5次示范(不到3分钟的机器人数据)时升至95%,其中37项在全部试验中成功;适配在单张RTX 5090上以30分钟的LoRA微调完成。两只22自由度Sharpa手在GB300内存模组插装任务上的成功率为85%,组装玩具卡车为65%;三项接触密集的插装任务经GRPO诱导的自我模仿进行真实世界强化学习后,成功率从40%—76%升至88%—96%。⁠[14][12][15]

推理智能体可作为“System 2”通过WAM API调用GR00T 2:组装玩具飞机、拖拉机和Hot Wheels汽车的任务在各100次试验中分别成功98、97和97次(合计292/300),不用智能体时为71—84次;插接五根以太网线的任务20次中成功19次,插接五个充电器20次全部成功;智能体使用以ASPIRE学到的code-as-policy技能进行错误恢复。演示中担任推理模型的是GPT-6 AstraGPT-6GPT-6 是 OpenAI 于2026年推出的人工智能模型系列,包括 Astra、Sol 和 Luna,此后推出 GPT-6.1 Sol、GPT-6.1 Terra(GPT-6.1 Astra 未发布)、网络安全研究模型 GPT-6 Cyber 以及 GPT-6.2 Astra 与 GPT-6.2 Sol,应用于对话、编程、计算机操作和专业工作。模型通过 ChatGPT、Codex 和 API 等渠道提供,具体能力与开放范围随型号和产品而异。点击查看完整词条。Jim Fan说:“Neither Astra nor GR00T can do this alone, and you need both”(Astra和GR00T都无法单独做到,两者缺一不可)。⁠[14][12]

GR00T 2 Turbo采用20亿参数的联合Transformer和压缩率更高的视频编码器,空间视频token减少为四分之一,可在Unitree G1机载的Jetson AGX Thor上运行,单次预测耗时124毫秒(在RTX 5090上为38毫秒),动作块长1.6秒、约每秒规划一次,SONIC全身控制器在另一块Jetson Orin NX上以50赫兹运行;延迟比BF16即时执行降低66%—86%。在G1上舀爆米花并递送的任务48次全部成功,清理摆有各种物品的桌面成功率为93%;加入仿真数据后,Turbo在G1上的分布外成功率从6.7%升至63.3%,GR00T 1.7则升至40.0%。⁠[14][12]

NVIDIA称GR00T 2在RoboCasa365、RoboLab、RoboDojo和MolmoSpaces排行榜的视觉语言动作模型与世界动作模型类别中均位列前三。测试GR00T 2的早期用户包括Nexuni(洗衣)、富士康富士康富士康是鸿海科技集团在国际上使用的名称。集团从1974年郭台铭在台湾创办的企业发展为电子制造服务商,其上市主体为鸿海精密工业股份有限公司,台湾证券交易所代码为2317。刘扬伟于2019年接任董事长。点击查看完整词条(服务器制造自动化)、Siemens(评估工业用例)和MicroAGI(用YAM机械臂更换以太网线)。同时发布的Isaac Lab 3.0可在PhysX与Newton物理求解器之间切换,并加入面向GR00T等基础模型的强化后训练库。⁠[13][12]

GR00T 2与GR00T 2 Turbo的代码、权重及跨形态适配训练方法计划于2026年12月开源,权重的许可条款尚未公布;SimFoundry 1.0真实到仿真管线、ASPIRE智能体框架、Human-1M-100K数据集以及UMI夹爪、DexUMI外骨骼和柔性机器人颈部的硬件设计已同时公开。⁠[14][12]

截至2026年11月的平台、模型与许可

截至2026年11月,NVIDIA把Isaac GR00T定义为面向通用人形机器人的开放参考平台,结合数据与管线、机器人基础模型、仿真框架、中间件、加速运行库以及用于实时推理与控制的Jetson Thor,包括参考平台(含GR00T-Ready Evaluation、Agile ONE SN参考机器人和Halos Safety for Humanoids)、参考工作流和开放基础模型。这一家族当时最新的开放视觉语言动作模型是GR00T 1.7,有30亿参数,采用Cosmos骨干和商业许可,可在GitHub和Hugging Face获取,在Jetson Thor上以TensorRT NVFP4量化运行可达25赫兹,并可通过LeRobot使用。⁠[16][9]

GitHub上的NVIDIA/Isaac-GR00T仓库以N1.7为正式发布(General Availability)版本,视觉语言骨干为Cosmos-Reason2-2B(Qwen3-VL架构),基础检查点为GR00T-N1.7-3B,另有LIBERO、DROID、SimplerEnv-Bridge和SimplerEnv-Fractal等检查点,N1.5与N1.6作为旧版本保留在单独分支;代码采用Apache 2.0许可,权重采用NVIDIA Open Model License。2026年11月21日,该仓库约有8,400个星标和1,500个分叉。GR00T N1.5-3B与GR00T N1.6-3B的权重为非商业许可,仅供研究与评估。NVIDIA称,截至2026年8月,GR00T模型下载量超过27.4万次,GR00T X-Embodiment Sim数据集下载量超过1,000万次。⁠[7][9]

NVIDIA列出的人形机器人生态伙伴包括1X、AgiBot、Agile Robots、Agility Robotics、Apptronik、Boston Dynamics、Dexmate、Enactic、FieldAIFieldAI机器人自主软件公司。点击查看完整词条、Figure、Fourier、富士康、Galaxea、Galbot、Geely、Hexagon、Humanoid、LG、Lightwheel、Mentee Robotics、NEURA Robotics、Nexuni、Noble Machines、Sanctuary AI、Siemens、Sharpa、Skild AISkild AISkild AI 是一家开发机器人基础模型的美国初创公司,由前卡内基梅隆大学教授 Abhinav Gupta 与 Deepak Pathak 于2023年5月创立,2024年时总部设在匹兹堡。公司的目标是打造能控制任意机器人、完成任意任务的“全体型”(omni-bodied)通用机器人大脑,并于2024年7月宣布3亿美元A轮、2026年1月宣布14亿美元C轮融资。点击查看完整词条、Solomon、Techman Robot、Unitree Robotics和X-Humanoid。⁠[16]

关联机构、网站与公开账号

来源16 个来源

  1. NVIDIA Announces Project GR00T Foundation Model for Humanoid Robots and Major Isaac Robotics Platform Update(在新窗口打开)nvidianews.nvidia.com↑
  2. NVIDIA Advances Robot Learning, Humanoid Development With New AI and Simulation Tools(在新窗口打开)blogs.nvidia.com↑
  3. NVIDIA Announces Isaac GR00T N1 — the World’s First Open Humanoid Robot Foundation Model — and Simulation Frameworks to Speed Robot Development(在新窗口打开)nvidianews.nvidia.com↑
  4. Accelerate Generalist Humanoid Robot Development with NVIDIA Isaac GR00T N1(在新窗口打开)developer.nvidia.com↑
  5. NVIDIA Powers Humanoid Robot Industry With Cloud-to-Robot Computing Platforms for Physical AI(在新窗口打开)nvidianews.nvidia.com↑
  6. GR00T N1.6: An Improved Open Foundation Model for Generalist Humanoid Robots(在新窗口打开)research.nvidia.com↑
  7. NVIDIA/Isaac-GR00T: NVIDIA Isaac GR00T N1.7 - A Foundation Model for Generalist Robots.(在新窗口打开)github.com↑
  8. NVIDIA and Global Robotics Leaders Take Physical AI to the Real World(在新窗口打开)nvidianews.nvidia.com↑
  9. LLM Info — NVIDIA Isaac GR00T(在新窗口打开)developer.nvidia.com↑
  10. NVIDIA Announces NVIDIA Isaac GR00T Reference Humanoid Robot for Academic Research(在新窗口打开)investor.nvidia.com↑
  11. CoRL 2026 | Conference on Robot Learning | Austin, Texas(在新窗口打开)nvidia.com↑
  12. “Robotics Is No Longer an Elitist Sport”: NVIDIA Unveils GR00T 2 and Open-Sources the Stack Behind It(在新窗口打开)humanoidsdaily.com↑
  13. NVIDIA launches GR00T 2 and Isaac Lab 3.0 at CoRL(在新窗口打开)therobotreport.com↑
  14. GR00T 2: Scaling Robot Foundation Models for Generalization, Dexterity, and Adaptation(在新窗口打开)research.nvidia.com↑
  15. Nvidia发布GR00T 2世界动作模型,机器人可从人类视频学习技能(在新窗口打开)ababnews.com↑
  16. Isaac GR00T | Humanoid Robot Development Platform(在新窗口打开)nvidia.com↑