NVIDIA GR00T
NVIDIA GR00T(Isaac GR00T)是NVIDIA開發的通用機器人基礎模型系列及配套的人形機器人開發平臺,包括GR00T N系列視覺語言動作模型和世界動作模型GR00T 2。
本頁目錄11 節
詞條資料
2024年3月18日在GTC上宣佈Project GR00T
NVIDIA在GTC大會上宣佈Project GR00T,稱其為面向人形機器人的通用基礎模型,GR00T是“Generalist Robot 00 Technology”的縮寫。按NVIDIA的設想,由GR00T驅動的機器人能夠理解自然語言,通過觀察人類動作來模仿動作,並快速學會協調、靈巧操作等技能,從而在現實世界中移動、適應和互動。黃仁勳黃仁勳黃仁勳(Jensen Huang)是 NVIDIA 聯合創始人,自1993年公司成立起擔任總裁、首席執行官和董事,2026年11月辭去上述職務。他具有電氣工程教育與半導體行業背景,在其任內,NVIDIA 的業務從圖形芯片拓展至 GPU 通用計算、人工智能和數據中心計算平臺。點擊查看完整詞條在GTC主題演講中展示了多臺此類機器人完成各種任務。[1]
同時發佈的Jetson Thor是基於NVIDIA Thor系統級芯片的人形機器人計算機,配備基於Blackwell架構的新一代GPU,其Transformer引擎提供800 teraflops的8位浮點AI算力,用於運行GR00T等多模態生成式AI模型,另集成功能安全處理器、高性能CPU集群和100Gb以太網帶寬。NVIDIA同時更新Isaac機器人平臺,推出用於強化學習的Isaac Lab、算力編排服務OSMO、面向機械臂的Isaac Manipulator和麵向自主移動機器人的Isaac Perceptor。[1]
NVIDIA表示正在為1X Technologies、Agility Robotics、Apptronik、Boston DynamicsBoston DynamicsBoston Dynamics(波士頓動力)是總部位於美國馬薩諸塞州沃爾瑟姆的機器人公司,1992年由 Marc Raibert 從麻省理工學院分拆創立,以四足機器人 Spot、倉儲機器人 Stretch 與人形機器人 Atlas 知名;公司先後歸屬 Google 與軟銀,2021年起由現代汽車集團控股。點擊查看完整詞條、Figure AIFigureFigure 是 Brett Adcock 於2022年創辦的美國人工智能機器人公司,開發通用人形機器人及 Helix 控制模型,應用方向包括工業物流與家庭任務。其產品經歷 Figure 01、Figure 02 和 Figure 03 三代演進,並與寶馬開展生產試點。點擊查看完整詞條、Fourier Intelligence、Sanctuary AI、Unitree Robotics、XPENG Robotics等人形機器人公司構建這一平臺。黃仁勳說:“Building foundation models for general humanoid robots is one of the most exciting problems to solve in AI today”(為通用人形機器人構建基礎模型,是當今人工智能領域最令人興奮的待解問題之一)。[1]
2024年11月6日在CoRL公佈六個GR00T工作流
NVIDIA在德國德國德國全稱德意志聯邦共和國,是位於中歐的聯邦制議會共和國,由16個州組成,首都柏林。《基本法》於1949年5月23日公佈並生效,聯邦共和國由此成立;1990年10月3日德意志民主共和國加入《基本法》的適用範圍,德國實現統一。以2022年人口普查為基礎的2025年人口統計顯示,全國人口為83,467,117人(約8347萬人)。點擊查看完整詞條慕尼黑舉行的Conference on Robot Learning(CoRL)期間介紹Project GR00T,將其定位為面向人形機器人開發者生態的加速庫、基礎模型和數據管線計劃,並公佈六個工作流:以生成式AI和OpenUSD生成三維環境的GR00T-Gen、生成機器人動作與軌跡的GR00T-Mimic、靈巧操作的GR00T-Dexterity、全身控制的GR00T-Control、移動與導航的GR00T-Mobility,以及多模態感知的GR00T-Perception;這些工作流當時標為“coming soon”(即將推出)。[2]
同期Isaac Lab正式發佈,NVIDIA並宣佈與Hugging FaceHugging FaceHugging Face是一家人工智能公司,運營供機器學習社區協作開發和分享模型、數據集與應用的平臺,並維護Transformers等開源庫。點擊查看完整詞條合作,結合LeRobot、Isaac Lab和NVIDIA Jetson加速開源機器人研究。時任NVIDIA具身智能高級研究經理的Jim Fan範麟熙範麟熙(Linxi “Jim” Fan)是研究機器人、計算機視覺和虛擬環境學習的人工智能科學家。他在哥倫比亞大學畢業典禮上代表工程學院畢業生髮言,在斯坦福大學師從李飛飛,後來在英偉達領導通用具身智能體研究。他的團隊研究過在遊戲中學習的系統,也研究過如何讓機器人從模擬環境中學會動作。點擊查看完整詞條說:“Humanoid robots are the next wave of embodied AI”(人形機器人是具身智能的下一波浪潮)。[2]
2025年3月18日發佈開放模型GR00T N1
NVIDIA在GTC上發佈Isaac GR00T N1,稱其為全球首個開放、可完全定製的人形機器人基礎模型,用於通用的人形機器人推理與技能,是NVIDIA將預訓練並向全球機器人開發者發佈的系列模型中的第一款;NVIDIA把這項工作與其估計超過5,000萬人的全球勞動力短缺聯繫起來。[3]
GR00T N1採用受人類認知啟發的雙系統設計:“System 2”是由視覺語言模型驅動、較慢的深思決策模型,對環境和指令進行推理以規劃動作;“System 1”是快速動作模型,相當於人的反射或直覺,把計劃轉化為精確、連續的機器人動作。發佈的模型為20億參數的GR00T N1 2B,其中System 2以NVIDIA-Eagle與SmolLM-1.7B為基礎,System 1為擴散Transformer。訓練數據呈金字塔結構:底層是互聯網規模的網頁數據和人類視頻,中層是英偉達 Omniverse英偉達 OmniverseOmniverse 是英偉達開發的一組用於三維協作、物理仿真和工業數字孿生的軟件庫、開發工具與服務。它以開放的場景描述格式 OpenUSD 連接不同軟件,讓團隊在同一三維場景中組合來自不同工具的模型、材質和動畫。點擊查看完整詞條生成的合成數據,頂層是真實機器人遙操作數據。[3][4]
模型可泛化到抓取、單臂或雙臂移動物體、在兩臂之間傳遞物品等常見任務,也能執行需要長上下文的多步驟任務,適用於物料搬運、包裝和檢測等場景;開發者可以用真實或合成數據針對特定機器人或任務進行後訓練。首批支持的機器人為Fourier GR-1和1X NEO。在每項任務100次示範的仿真基準上,GR00T N1 2B平均成功率為45.0%,Diffusion Policy為33.4%,BC Transformer為26.4%;在Fourier GR-1真實機器人任務上,使用全部數據時平均成功率為76.8%(Diffusion Policy為46.4%),只用10%數據時為42.6%(Diffusion Policy為10.2%)。[3][4]
利用基於Omniverse和NVIDIA Cosmos Transfer世界基礎模型的Isaac GR00T合成操作動作生成藍圖,NVIDIA在11小時內生成78萬條合成軌跡,相當於約6,500小時(連續九個月)的人類示範數據;把這些合成數據與真實數據結合後,GR00T N1的表現比只用真實數據提高40%。GR00T N1的訓練數據和任務評估場景可從Hugging Face和GitHub下載,數據集作為一個更大的開源物理AI數據集的一部分發布。[3]
黃仁勳在主題演講中展示了一臺1X人形機器人使用基於GR00T N1後訓練的策略自主整理家務,這項工作來自1X與NVIDIA的AI訓練合作,他還把Disney的BDX機器人帶上舞臺。1X Technologies首席執行官Bernt Børnich表示,1X在NEO Gamma機器人上以極少的後訓練數據完整部署了這一模型。獲得早期使用權的開發者包括Agility Robotics、Boston Dynamics、Mentee Robotics和NEURA Robotics。NVIDIA、Google DeepMindGoogle DeepMindGoogle DeepMind 是 Google 旗下的人工智能研究機構,2023年4月由2014年被 Google 收購的 DeepMind 與 Google Research 的 Brain 團隊合併而成,Demis Hassabis 任首席執行官至2026年8月,此後改任董事長。它開發了 AlphaGo、AlphaFold 和 Gemini 系列模型,Hassabis 與 John Jumper 因 AlphaFold 的蛋白質結構預測工作獲得2024年諾貝爾化學獎。點擊查看完整詞條與Disney Research同時宣佈共同開發開源物理引擎Newton。黃仁勳說:“The age of generalist robotics is here”(通用機器人的時代已經到來)。[3]
2025年5月18日在Computex宣佈GR00T N1.5
NVIDIA在Computex上宣佈Isaac GR00T N1.5,這是GR00T N1的首次更新,能更好地適應新環境和工作空間佈局,可按用戶指令識別物體,在分揀、收納等物料搬運與製造任務上的成功率更高,模型將在Hugging Face開放下載。早期採用GR00T N系列模型的公司包括AeiRobot、Foxlink、Lightwheel和NEURA Robotics。[5]
同時發佈的Isaac GR00T-Dreams藍圖先讓開發者針對自己的機器人對Cosmos Predict世界模型進行後訓練,再從單張圖片生成機器人在新環境中執行新任務的視頻,並從中提取動作token作為訓練數據,NVIDIA稱之為“neural trajectories”(神經軌跡);NVIDIA Research用它在36小時內為GR00T N1.5生成訓練數據,而人工採集需要近三個月。3月發佈的GR00T-Mimic藍圖則用Omniverse和Cosmos擴充少量人類示範,二者分工不同。[5]
2025年12月15日發表GR00T N1.6技術說明
NVIDIA的GEAR團隊發表GR00T N1.6的技術說明,署名作者共58人(另署GEAR Team),包括Jim Fan、Yuke Zhu、Jan Kautz和Scott Reed。N1.6在仿真操作基準以及真實的雙臂YAM、AgiBot Genie-1和Unitree G1機器人上的表現均優於N1.5,模型卡名為GR00T-N1.6-3B,代碼位於GitHub上的Isaac-GR00T倉庫。[6]
N1.6把擴散Transformer從N1.5的16層加深到32層,去掉N1.5在視覺語言模型之後的4層Transformer適配器,改為在預訓練中解凍視覺語言模型的最上面4層;對多數機器人形態預測相對於當前狀態的動作塊,而不是絕對關節角或末端位置,並採用測試時與訓練時的實時分塊(RTC)以使異步執行更平穩。視覺語言骨幹一說是NVIDIA內部的Cosmos-2B視覺語言模型變體,支持靈活分辨率並按原始寬高比編碼圖像;另一說為Eagle。[6][7]
預訓練在N1.5的數據組合上加入數千小時遙操作數據,來源包括雙臂YAM、AgiBot Genie-1、BEHAVIOR套件中的仿真Galaxea R1 Pro和Unitree G1全身移動操作,預訓練30萬步、全局批量16,384;針對具體機器人的後訓練通常為1萬至3萬步、批量不超過1,000。由於模型收斂更快,團隊加強了狀態正則化、數據增強以及與預訓練數據的聯合訓練以防過擬合,並建議在真實機器人上表現不佳時使用DAgger;多任務語言遵循和分佈外泛化仍是難點。[6]
2026年3月16日GR00T N1.7搶先體驗與GR00T N2預覽
NVIDIA在GTC上宣佈GR00T N1.7以商業許可進入搶先體驗,面向可投入生產的機器人部署,提供包括高級靈巧控制在內的通用機器人技能;AGIBOT、Humanoid、LG Electronics、NEURA Robotics和Noble Machines採用Isaac GR00T N系列模型,以加快其人形機器人的工業部署。[8]
2026年6月1日宣佈Isaac GR00T參考人形機器人
NVIDIA在臺北舉行的GTC Taipei上宣佈面向學術研究的Isaac GR00T參考人形機器人。它以Unitree H2 Plus人形機器人為機身,身高近6英尺、重150磅,身體有31個自由度,配一對各有22個自由度的Sharpa Wave觸覺五指手,全身共75個自由度,帶頭部立體相機、腕部相機和慣性測量單元;手臂扭矩最高120牛·米、腿部最高360牛·米,手臂額定負載7千克、峰值15千克;機載NVIDIA Jetson AGX Thor T5000,含Blackwell GPU(2,070 FP4 TFLOPS)、14核Arm CPU和128GB統一內存,功耗可在40—130瓦之間設置;15Ah、0.972千瓦時的電池可運行約三小時。[10]
配套的Isaac GR00T平臺包括採集示範數據的Isaac Teleop、用於推理和多任務行為的Isaac GR00T開放基礎模型、用於仿真與訓練的Isaac Sim和Isaac Lab、部署用的Isaac ROS中間件以及機載推理用的Jetson Thor。該機器人預計2026年晚些時候由Unitree供貨;面向Unitree G1的GR00T參考工作流預計很快在GitHub和Hugging Face推出。Ai2、ETH Zurich、Stanford Robotics Center以及UC San Diego的Advanced Robotics and Controls Laboratory計劃採用這一設計,NVIDIA Research也將用它推進GR00T模型、框架和硬件。黃仁勳稱它是“a single, open platform to make breakthrough discoveries”(一個用於取得突破性發現的統一開放平臺)。[10]
2026年11月9日在Conference on Robot Learning發佈GR00T 2
2026年的Conference on Robot Learning於11月9日至12日在得克薩斯州得克薩斯州得克薩斯州是位於美國中南部的一個州,首府為Austin,最大城市為休斯敦。該州於1845年12月29日加入聯邦,為第28個州;2020年人口普查(2020年4月1日)人口為29,145,505人(約2914.6萬人)。點擊查看完整詞條奧斯汀舉行,其中9日至11日為會議、12日為研討會。NVIDIA機器人總監兼傑出科學家Jim Fan在會議首日下午的主題演講中發佈GR00T 2,NVIDIA展臺同時演示GR00T、Isaac Lab和Newton。[11][12][13]
GR00T 2是一組同時預測未來視頻與機器人動作的“world-action models”(世界動作模型),而此前的GR00T版本是視覺語言動作模型。一個擴散Transformer同時對未來視頻和動作塊去噪,再由各機器人的小型輸出頭轉換為電機指令;輸入是約0.8秒的近期視頻、語言指令和機器人狀態,視頻分辨率為320×224,來自頭部相機和兩個腕部相機。模型基於NVIDIA Cosmos構建,參數量為20億,可用於平行夾爪機械臂、靈巧手和人形機器人。Jim Fan把它描述為可由更大的推理模型指揮的快速“System 1”技能模型,他說:“Everything is going to be a skill, including System 1”(一切都將成為技能,包括System 1)。[14][12]
預訓練數據包括402,730小時第一視角人類視頻(Human-1M)、涵蓋2,897項任務的10,184小時手持UMI夾爪示範和23,500小時機器人遙操作數據,機器人數據來自YAM與Franka平行夾爪機械臂、Sharpa與Wuji靈巧手以及Unitree G1人形機器人;其中10萬小時人類視頻以Human-1M-100K之名在Hugging Face公開。在72項Dexter任務上,加入人類視頻後,任務進度在視頻推演中從64%升至77%,在真實機器人上從50%升至70%。[14][12]
技能可以在不同形態之間遷移:只用人類示範訓練的雙五指手機器人在實驗室漏斗中放置濾紙的成功率為65%;只用UMI數據訓練的YAM機械臂端到端組裝玩具自卸車的成功率為60%,過程最長4分鐘;用DexUMI數據訓練、配ROBOTERA手的Tianji機器人學會了準備香蕉酸奶、舀燕麥片和劃火柴點燈。[14]
在配備Sharpa手的雙臂機器人上,NVIDIA用50項目標機器人未見過的任務測試:零樣本平均成功率為40%,40項任務至少成功一次;每項任務1次示範時升至71%;每項任務5次示範(不到3分鐘的機器人數據)時升至95%,其中37項在全部試驗中成功;適配在單張RTX 5090上以30分鐘的LoRA微調完成。兩隻22自由度Sharpa手在GB300內存模組插裝任務上的成功率為85%,組裝玩具卡車為65%;三項接觸密集的插裝任務經GRPO誘導的自我模仿進行真實世界強化學習後,成功率從40%—76%升至88%—96%。[14][12][15]
推理智能體可作為“System 2”通過WAM API調用GR00T 2:組裝玩具飛機、拖拉機和Hot Wheels汽車的任務在各100次試驗中分別成功98、97和97次(合計292/300),不用智能體時為71—84次;插接五根以太網線的任務20次中成功19次,插接五個充電器20次全部成功;智能體使用以ASPIRE學到的code-as-policy技能進行錯誤恢復。演示中擔任推理模型的是GPT-6 AstraGPT-6GPT-6 是 OpenAI 於2026年推出的人工智能模型系列,包括 Astra、Sol 和 Luna,此後推出 GPT-6.1 Sol、GPT-6.1 Terra(GPT-6.1 Astra 未發佈)、網絡安全研究模型 GPT-6 Cyber 以及 GPT-6.2 Astra 與 GPT-6.2 Sol,應用於對話、編程、計算機操作和專業工作。模型通過 ChatGPT、Codex 和 API 等渠道提供,具體能力與開放範圍隨型號和產品而異。點擊查看完整詞條。Jim Fan說:“Neither Astra nor GR00T can do this alone, and you need both”(Astra和GR00T都無法單獨做到,兩者缺一不可)。[14][12]
GR00T 2 Turbo採用20億參數的聯合Transformer和壓縮率更高的視頻編碼器,空間視頻token減少為四分之一,可在Unitree G1機載的Jetson AGX Thor上運行,單次預測耗時124毫秒(在RTX 5090上為38毫秒),動作塊長1.6秒、約每秒規劃一次,SONIC全身控制器在另一塊Jetson Orin NX上以50赫茲運行;延遲比BF16即時執行降低66%—86%。在G1上舀爆米花並遞送的任務48次全部成功,清理擺有各種物品的桌面成功率為93%;加入仿真數據後,Turbo在G1上的分佈外成功率從6.7%升至63.3%,GR00T 1.7則升至40.0%。[14][12]
NVIDIA稱GR00T 2在RoboCasa365、RoboLab、RoboDojo和MolmoSpaces排行榜的視覺語言動作模型與世界動作模型類別中均位列前三。測試GR00T 2的早期用戶包括Nexuni(洗衣)、富士康富士康富士康是鴻海科技集團在國際上使用的名稱。集團從1974年郭台銘在臺灣創辦的企業發展為電子製造服務商,其上市主體為鴻海精密工業股份有限公司,臺灣證券交易所代碼為2317。劉揚偉於2019年接任董事長。點擊查看完整詞條(服務器製造自動化)、Siemens(評估工業用例)和MicroAGI(用YAM機械臂更換以太網線)。同時發佈的Isaac Lab 3.0可在PhysX與Newton物理求解器之間切換,並加入面向GR00T等基礎模型的強化後訓練庫。[13][12]
截至2026年11月的平臺、模型與許可
截至2026年11月,NVIDIA把Isaac GR00T定義為面向通用人形機器人的開放參考平臺,結合數據與管線、機器人基礎模型、仿真框架、中間件、加速運行庫以及用於實時推理與控制的Jetson Thor,包括參考平臺(含GR00T-Ready Evaluation、Agile ONE SN參考機器人和Halos Safety for Humanoids)、參考工作流和開放基礎模型。這一家族當時最新的開放視覺語言動作模型是GR00T 1.7,有30億參數,採用Cosmos骨幹和商業許可,可在GitHub和Hugging Face獲取,在Jetson Thor上以TensorRT NVFP4量化運行可達25赫茲,並可通過LeRobot使用。[16][9]
GitHub上的NVIDIA/Isaac-GR00T倉庫以N1.7為正式發佈(General Availability)版本,視覺語言骨幹為Cosmos-Reason2-2B(Qwen3-VL架構),基礎檢查點為GR00T-N1.7-3B,另有LIBERO、DROID、SimplerEnv-Bridge和SimplerEnv-Fractal等檢查點,N1.5與N1.6作為舊版本保留在單獨分支;代碼採用Apache 2.0許可,權重採用NVIDIA Open Model License。2026年11月21日,該倉庫約有8,400個星標和1,500個分叉。GR00T N1.5-3B與GR00T N1.6-3B的權重為非商業許可,僅供研究與評估。NVIDIA稱,截至2026年8月,GR00T模型下載量超過27.4萬次,GR00T X-Embodiment Sim數據集下載量超過1,000萬次。[7][9]
NVIDIA列出的人形機器人生態夥伴包括1X、AgiBot、Agile Robots、Agility Robotics、Apptronik、Boston Dynamics、Dexmate、Enactic、FieldAIFieldAI機器人自主軟件公司。點擊查看完整詞條、Figure、Fourier、富士康、Galaxea、Galbot、Geely、Hexagon、Humanoid、LG、Lightwheel、Mentee Robotics、NEURA Robotics、Nexuni、Noble Machines、Sanctuary AI、Siemens、Sharpa、Skild AISkild AISkild AI 是一家開發機器人基礎模型的美國初創公司,由前卡內基梅隆大學教授 Abhinav Gupta 與 Deepak Pathak 於2023年5月創立,2024年時總部設在匹茲堡。公司的目標是打造能控制任意機器人、完成任意任務的“全體型”(omni-bodied)通用機器人大腦,並於2024年7月宣佈3億美元A輪、2026年1月宣佈14億美元C輪融資。點擊查看完整詞條、Solomon、Techman Robot、Unitree Robotics和X-Humanoid。[16]
關聯機構、網站與公開賬號
NVIDIA Isaac GR00T:官網:https://www.nvidia.com/en-us/industries/robotics/isaac-groot/(在新窗口打開)。[16]
GitHub:代碼倉庫:https://github.com/NVIDIA/Isaac-GR00T(在新窗口打開)。[7]
GR00T 2:項目主頁:https://research.nvidia.com/labs/gear/gr00t-2/(在新窗口打開)。[14]
來源16 個來源
- NVIDIA Announces Project GR00T Foundation Model for Humanoid Robots and Major Isaac Robotics Platform Update(在新窗口打開)nvidianews.nvidia.com↑
- NVIDIA Advances Robot Learning, Humanoid Development With New AI and Simulation Tools(在新窗口打開)blogs.nvidia.com↑
- NVIDIA Announces Isaac GR00T N1 — the World’s First Open Humanoid Robot Foundation Model — and Simulation Frameworks to Speed Robot Development(在新窗口打開)nvidianews.nvidia.com↑
- Accelerate Generalist Humanoid Robot Development with NVIDIA Isaac GR00T N1(在新窗口打開)developer.nvidia.com↑
- NVIDIA Powers Humanoid Robot Industry With Cloud-to-Robot Computing Platforms for Physical AI(在新窗口打開)nvidianews.nvidia.com↑
- GR00T N1.6: An Improved Open Foundation Model for Generalist Humanoid Robots(在新窗口打開)research.nvidia.com↑
- NVIDIA/Isaac-GR00T: NVIDIA Isaac GR00T N1.7 - A Foundation Model for Generalist Robots.(在新窗口打開)github.com↑
- NVIDIA and Global Robotics Leaders Take Physical AI to the Real World(在新窗口打開)nvidianews.nvidia.com↑
- LLM Info — NVIDIA Isaac GR00T(在新窗口打開)developer.nvidia.com↑
- NVIDIA Announces NVIDIA Isaac GR00T Reference Humanoid Robot for Academic Research(在新窗口打開)investor.nvidia.com↑
- CoRL 2026 | Conference on Robot Learning | Austin, Texas(在新窗口打開)nvidia.com↑
- “Robotics Is No Longer an Elitist Sport”: NVIDIA Unveils GR00T 2 and Open-Sources the Stack Behind It(在新窗口打開)humanoidsdaily.com↑
- NVIDIA launches GR00T 2 and Isaac Lab 3.0 at CoRL(在新窗口打開)therobotreport.com↑
- GR00T 2: Scaling Robot Foundation Models for Generalization, Dexterity, and Adaptation(在新窗口打開)research.nvidia.com↑
- Nvidia发布GR00T 2世界动作模型,机器人可从人类视频学习技能(在新窗口打開)ababnews.com↑
- Isaac GR00T | Humanoid Robot Development Platform(在新窗口打開)nvidia.com↑