NVIDIA本周在德國慕尼黑舉行的年度機器人學習大會上推出了這些新工具，大會重點關注了機器人技術和機器學習的交叉領域。
其中，包括現已上市的機器人學習框架NVIDIA Isaac Lab；6個用于Project GR00T的新人形機器人學習工作流程，以支持AI機器人大腦開發；以及用于視頻處理的新開發人員工具。

觀察和理解世界對于機器人技術發展至關重要。這就必須要分解來自攝像頭的視頻，以便AI模型可以處理這些視頻。NVIDIA宣布Cosmos開源標記器現在已經全面上市，為開發者提供了高質量的標記功能，具有極高的壓縮率，運行速度比當前的標記器快12倍，與NeMo Curator相結合可以優化和理解輸入內容。

這也使開發者能夠構建更好的“世界模型”（即世界的AI表示），可以預測機器人執行動作時物體和環境將如何響應。

例如，當機器人夾持器靠近香蕉時會發生什么？成熟的香蕉很軟，因此機器人夾持器不能快速或用力靠近，否則會破碎、變形并造成混亂。一張紙呢？必須以不同的方式抓取紙。不管是哪一種情況，都涉及視頻數據的高質量編碼和解碼。

人形機器人初創公司1X Technologies的AI副總裁Eric Jang解釋說，Cosmos標記器幫助他的公司實現了高數據壓縮，同時仍保持極高的視覺質量。他說：“這使我們能夠以更高效的方式訓練具有長視界視頻生成的世界模型。”

并非所有機器人AI大腦都可以在現實世界中訓練，因此NVIDIA發布了Isaac Lab，這是一個基于Omniverse數字孿生模擬平臺的開源機器人學習框架。

Omniverse是一個實時3D圖形協作和模擬平臺，讓藝術家、開發者和企業使用完全實現的物理學構建工廠、城市和其他空間的逼真的3D模型和場景，這使其成為模擬虛擬環境以訓練機器人的一款強大工具。

開發者可以使用Isaac Lab訓練機器人并大規模調整策略，以了解性能和安全性。這個框架適用于任何框架和機器人化身，包括手臂、人形機器人、四足動物和群體。

NVIDIA表示，全球有很多商用機器人制造商和研究團體已經把Isaac Lab納入他們的工作流程中，包括Agility Robots、Boston Dynamics、1X、Galbot、Fourier、Mentee Robotics和Berkeley Humanoid。

Project GR00T和更多人形機器人工作流程

構建和開發先進的人形機器人是一項艱巨的挑戰，因為人類可以輕松完成的行走、感知和采取行動需要大量的硬件工程、AI訓練和AI計算，才能讓機器人完成看似簡單的任務。

Project GR00T是NVIDIA的一項計劃，為開發者提供通用人形機器人的AI基礎模型、軟件庫和數據管道，幫助開發者快速制作原型并更快展開構建。

為了幫助開發者構建先進的人形機器人，NVIDIA宣布推出了6個新的Project GR00T工作流程藍圖，幫助他們在機器人中開發新的功能。

GR00T-Gen讓開發者可以打造逼真的模擬環境，以訓練機器人在其中移動、操縱物體和執行其他任務。它使用大型語言模型和3D生成式AI模型來創建視覺多樣化的場景和隨機場景，幫助創建強大的訓練環境。

GR00T-Mimic讓機器人可以向人類老師學習。使用這種工作流程，人類演示者可以遠程操作機器人并以與人類相同的方式執行操作，例如在倉庫中走動、從貨架上拉出箱子并將箱子放在推車上，讓機器人在相同的環境中也可以模仿相同的動作。NVIDIA表示，這個方法使用物理世界中有限數量的人類演示，使用擴展現實例如Apple Vision Pro，然后縮放運動數據以幫助機器人自己產生更有機的運動。

GR00T-Dexterity和GR00T-Control為人形機器人提供了一套精細的靈巧操作和廣泛的身體控制模型和策略。Dexterity將幫助開發者使用具有執行器和指關節高度靈巧的手的機器人，并處理未抓握、抓握力和其他抓握動作。GR00T-Control將有助于為整個身體進行運動規劃，以便行走、移動四肢或執行任務。

GR00T-Mobility為開發者提供了一套模型，幫助人形機器人行走和繞過障礙物，旨在實現基于學習的方法，快速推廣到新環境中。

最后，GR00T-Perception增加了高級軟件庫和人機交互基礎模型，幫助機器人“記住”事件的長期歷史。為此，NVIDIA為Perception添加了恰如其名的ReMEmbR，為機器人提供個性化人類互動的記憶，并提供背景和空間意識，以提供更好的感知、認知和適應能力。