NVIDIA CEO 黃仁勳在 GTC 大會上與迪士尼研究工作室的 BD-1 機器人進行互動。
機器人如何可以更自動化的自主、貼近人類動作進行行動,一直都是機器人科學家研究的重點,而在這次 NVIDIA GTC 發表會中,NVIDIA 宣布推出了人型機器人通用基礎模型Project GR00T,與機器人硬體製造商合作,利用生成式 AI 讓機器人可以理解人類自然語言,並且透過觀察人類行為來模仿動作,進而在現實生活中能更快速的適應與人類進行互動,也讓機器人由原本的預先程式化動作,轉變為認知化動作。
GROOT 模型的主要發展架構。
在 GROOT 基礎模型中,主要透過自然語言、影片與人類示範進行訓練,並且透過機器人的觀察反饋來進行調整。
NVIDIA 並且在 Omniverise 中建立了虛擬雙生的 Isaac Sim Lab,並且透過 NVIDIA OMSO 平台加大規模,讓 GROOT 基礎模型可以在其中進行持續的模擬與訓練。
Project GR00T 的擴大訓練流程,透過在 DGX 以及 OVX 平台中持續的訓練/模擬,來達到更好的反應。透過這樣的訓練設計,讓 Project GR00T 模型幾乎可以執行人類日常的精細動作(像是從果汁機倒果汁倒杯中)或是模擬人類流暢的連續動作(如打爵士鼓)等。
或是理解人類的動作進行模擬。
透過 Isaac Lab 的模擬,可讓機器人也能完全模仿人類進行對應動作。
另外透過大型語言模型的支援,機器人也可以直接辨識人類的自然語言指令做出相對應的動作。
而在實體機器人上,NVIDIA 這次也推出了基於 NVIDIA Thor 系統單晶片(SoC),可用於人型機器人的新型電腦 Jetson Thor。Jetson Thor 是 NVIDIA 針對機器人平台,基於 NVIDIA 新一代 Blackwell GPU 架構,透過內建的 Transformer 引擎,提供擁有 800 兆次浮點運算(Teraflops)的 8 位元浮點等級 AI 效能,提供運行 GR00T 等多模態生成式 AI 模型所需的效能。
另外 Jetson Thor 還包含了功能安全處理器、高效能 CPU 叢集和 100 GB頻寬的網路配置。除了具備執行複雜任務的能力,並且可以安全、自然的與人機器進行互動外,也大幅簡化了機器人的設計與整合工作。
目前 NVIDIA 正在為 1X Technologies、Agility Robotic、Apptronik、波士頓動力、Figure AI、Fourier Intelligence、Sanctuary AI、Unitree Robotics 和 XPENG Robotics 等領先的人型機器人技術公司打造一個全面的 AI 平台,或許在不久後,真正可以與人類互動的通用型機器人,就會出現在你我身邊了。