NVIDIA DGX、基于NVIDIA RTX PRO服務(wù)器的Omniverse和Cosmos，以及Jetson AGX Thor，正全面加速?gòu)娜诵?a href="http://qiaming.cn/soft/data/42-101/" target="_blank">機(jī)器人到機(jī)器人工廠等基于物理 AI 的系統(tǒng)的開發(fā)，貫穿訓(xùn)練、仿真和推理全流程。

物理 AI，即AI 在機(jī)器人、視覺(jué) AI 智能體、倉(cāng)庫(kù)與工廠等在現(xiàn)實(shí)世界中運(yùn)行的自主系統(tǒng)中的具體體現(xiàn)，正迎來(lái)突破性時(shí)刻?。

為助力開發(fā)者在交通運(yùn)輸、工業(yè)制造、物流及機(jī)器人等領(lǐng)域構(gòu)建高效的物理 AI 系統(tǒng)，NVIDIA 推出了三臺(tái)計(jì)算機(jī)解決方案，全面推動(dòng)物理 AI 在訓(xùn)練、仿真與推理領(lǐng)域的進(jìn)階發(fā)展。

NVIDIA 的三臺(tái)計(jì)算機(jī)分別是什么？

NVIDIA 的三臺(tái)計(jì)算機(jī)解決方案由以下三個(gè)核心構(gòu)成：用于 AI 訓(xùn)練的?NVIDIA DGXAI超級(jí)計(jì)算機(jī)；用于仿真的基于NVIDIA RTX PRO服務(wù)器的NVIDIA Omniverse和Cosmos；部署在機(jī)器人上，用于推理的NVIDIA Jetson AGX Thor。這一架構(gòu)實(shí)現(xiàn)了物理 AI 從模型訓(xùn)練到部署的全生命周期開發(fā)閉環(huán)。

什么是物理 AI，為什么它很重要？

與在數(shù)字環(huán)境中運(yùn)行的代理式 AI 不同，物理 AI 是一種端到端模型，能夠全方面感知物理世界、執(zhí)行實(shí)時(shí)推理、主動(dòng)交互并自主導(dǎo)航。

60 年來(lái)，“軟件 1.0”（由人類程序員編寫的串行代碼）在 CPU 驅(qū)動(dòng)的通用計(jì)算機(jī)上運(yùn)行。

隨后，在 2012 年，Alex Krizhevsky 在 Ilya Sutskever 和 Geoffrey Hinton 的指導(dǎo)下，開發(fā)了革命性的圖像分類深度學(xué)習(xí)模型 AlexNet，在 ImageNet 計(jì)算機(jī)圖像識(shí)別大賽中獲勝。

這標(biāo)志著該行業(yè)與 AI 的首次相遇。機(jī)器學(xué)習(xí)的突破，即在 GPU 上運(yùn)行神經(jīng)網(wǎng)絡(luò)，正式開啟了軟件 2.0 時(shí)代。

如今，軟件自己就可以編寫軟件。全球的計(jì)算工作負(fù)載正從 CPU 上的通用計(jì)算轉(zhuǎn)向 GPU 上的加速計(jì)算，這一轉(zhuǎn)變?cè)缫炎屇柖呻y以企及。

借助生成式 AI，經(jīng)過(guò)訓(xùn)練的多模態(tài) transformer 和擴(kuò)散模型已經(jīng)可以生成響應(yīng)。

大語(yǔ)言模型本質(zhì)上是一維的，能夠以字母或單詞等模式預(yù)測(cè)下一個(gè) token。而圖像和視頻生成模型則是二維的，能夠預(yù)測(cè)下一個(gè)像素?。

這些模型都無(wú)法理解或解釋三維世界。而這就是物理 AI 大顯身手之處。

機(jī)器人是一種能夠?感知、推理、規(guī)劃、行動(dòng)和學(xué)習(xí)?的系統(tǒng)。通常，人們把自主移動(dòng)機(jī)器人（AMR）、機(jī)械臂或人形機(jī)器人看作機(jī)器人，但機(jī)器人體現(xiàn)類型還有很多。

在不久的將來(lái)，任何能夠移動(dòng)或監(jiān)測(cè)移動(dòng)物體的實(shí)體都可以成為自主機(jī)器系統(tǒng)。這些系統(tǒng)將具備感知環(huán)境并作出響應(yīng)的能力。

從自動(dòng)駕駛汽車、手術(shù)室，到數(shù)據(jù)中心、倉(cāng)庫(kù)、工廠，甚至交通控制系統(tǒng)以及整個(gè)智慧城市，一切都將從由人工操作的靜態(tài)系統(tǒng)轉(zhuǎn)變?yōu)橛晌锢?AI 驅(qū)動(dòng)的自主交互系統(tǒng)。

為什么人形機(jī)器人是下一個(gè)前沿領(lǐng)域？

人形機(jī)器人是一種理想的通用機(jī)器人形態(tài)，因?yàn)樗鼈兡茉跒槿祟愒O(shè)計(jì)的環(huán)境中高效運(yùn)作，同時(shí)在部署和操作過(guò)程中只需極少的調(diào)整。

據(jù)高盛的數(shù)據(jù)，到 2035 年，全球人形機(jī)器人市場(chǎng)規(guī)模預(yù)計(jì)將達(dá)到 380 億美元，相比近兩年前預(yù)測(cè)的約 60 億美元增長(zhǎng)了六倍多。

全球的研究人員和開發(fā)者正競(jìng)相制造下一代機(jī)器人。

NVIDIA 的三臺(tái)計(jì)算機(jī)如何協(xié)同助力機(jī)器人技術(shù)？

機(jī)器人通過(guò)三種不同的計(jì)算智能學(xué)習(xí)理解物理世界，每一個(gè)都在機(jī)器人開發(fā)流程中扮演著關(guān)鍵角色。

訓(xùn)練計(jì)算機(jī)：NVIDIA DGX

想要教會(huì)機(jī)器人理解自然語(yǔ)言、識(shí)別物體并規(guī)劃復(fù)雜動(dòng)作等，這類訓(xùn)練需要的龐大計(jì)算能力，只有依靠專門的超級(jí)計(jì)算基礎(chǔ)設(shè)施才能實(shí)現(xiàn)，因此用于訓(xùn)練的計(jì)算機(jī)至關(guān)重要。

開發(fā)者可以在 NVIDIA DGX 平臺(tái)上預(yù)訓(xùn)練自己的機(jī)器人基礎(chǔ)模型，也可以把 NVIDIA Cosmos 開放世界基礎(chǔ)模型或NVIDIA Isaac GR00T人形機(jī)器人基礎(chǔ)模型用作基準(zhǔn)模型，在此基礎(chǔ)上對(duì)新的機(jī)器人策略進(jìn)行后訓(xùn)練。

仿真與合成數(shù)據(jù)生成平臺(tái)：

基于 NVIDIA RTX PRO 服務(wù)器的Omniverse 和 Cosmos

開發(fā)通用機(jī)器人的最大挑戰(zhàn)在于數(shù)據(jù)鴻溝。對(duì)于大語(yǔ)言模型研究人員，他們有幸可以使用海量互聯(lián)網(wǎng)數(shù)據(jù)用于預(yù)訓(xùn)練，但是物理 AI 領(lǐng)域卻沒(méi)有這類資源。

真實(shí)世界中的機(jī)器人數(shù)據(jù)不僅數(shù)量有限、獲取成本高昂，且收集難度極大，尤其是在應(yīng)對(duì)超出預(yù)訓(xùn)練覆蓋范圍的特殊場(chǎng)景時(shí)。同時(shí)，數(shù)據(jù)收集工作耗時(shí)耗力，這使得其成本極高，且難以實(shí)現(xiàn)規(guī)?；瘮U(kuò)展。

開發(fā)者可利用 Omniverse 和 Cosmos 生成海量基于物理特性的多樣化合成數(shù)據(jù)，例如 2D 或 3D 圖像、分割掩碼、深度圖或運(yùn)動(dòng)軌跡數(shù)據(jù)，為模型訓(xùn)練和性能優(yōu)化奠定基礎(chǔ)。

為確保機(jī)器人模型在實(shí)際部署前的?安全性與高性能?，開發(fā)者必須在數(shù)字孿生環(huán)境中進(jìn)行仿真測(cè)試。基于 Omniverse 構(gòu)建的、運(yùn)行在 NVIDIA RTX PRO 服務(wù)器上的NVIDIA Isaac Sim，使開發(fā)者能夠在零風(fēng)險(xiǎn)的仿真環(huán)境中驗(yàn)證其機(jī)器人策略。在此環(huán)境中，機(jī)器人可以反復(fù)嘗試執(zhí)行任務(wù)并從錯(cuò)誤中學(xué)習(xí)，而不會(huì)危及人類安全或造成昂貴的硬件損壞。

研究人員和開發(fā)者還可以使用NVIDIA Isaac Lab，這是一個(gè)推動(dòng)機(jī)器人強(qiáng)化學(xué)習(xí)與模仿學(xué)習(xí)的開源機(jī)器人學(xué)習(xí)框架?，有助于提升機(jī)器人策略的訓(xùn)練效率?。

運(yùn)行時(shí)計(jì)算平臺(tái)：NVIDIA Jetson Thor

要實(shí)現(xiàn)安全、高效的部署，物理 AI 系統(tǒng)需要一臺(tái)能支持機(jī)器人實(shí)時(shí)自主運(yùn)行的計(jì)算機(jī)。該計(jì)算機(jī)必須具備在毫秒級(jí)時(shí)間內(nèi)處理傳感器數(shù)據(jù)、完成推理、規(guī)劃并執(zhí)行動(dòng)作的強(qiáng)大算力。

機(jī)器人搭載的推理計(jì)算機(jī)需要運(yùn)行多模態(tài) AI 推理模型，才能讓機(jī)器人與人類及物理世界進(jìn)行實(shí)時(shí)、智能的交互。Jetson AGX Thor 設(shè)計(jì)緊湊，不僅能滿足機(jī)載 AI 性能計(jì)算和能效需求，還支持控制策略、視覺(jué)和語(yǔ)言處理等多種模型的協(xié)同運(yùn)行。

數(shù)字孿生如何加速機(jī)器人開發(fā)？

機(jī)器人設(shè)施是所有這些技術(shù)整合的產(chǎn)物。

Foxconn 等制造企業(yè)以及 Amazon Robotics 等物流企業(yè)，能夠協(xié)調(diào)多組自主機(jī)器人與人類員工共同協(xié)作，并通過(guò)數(shù)百或數(shù)千個(gè)傳感器監(jiān)測(cè)工廠運(yùn)營(yíng)。

這些自主倉(cāng)庫(kù)、廠房和工廠將配備數(shù)字孿生系統(tǒng)，可用于布局規(guī)劃與優(yōu)化、操作仿真，最重要的是，可以用于機(jī)器人集群的軟件在環(huán)測(cè)試。

基于 Omniverse 平臺(tái)構(gòu)建的Mega，是用于工廠數(shù)字孿生的藍(lán)圖。它能讓工業(yè)企業(yè)在將機(jī)器人集群部署到實(shí)體工廠前，先在仿真環(huán)境中對(duì)其進(jìn)行測(cè)試和優(yōu)化。這有助于確保機(jī)器人實(shí)現(xiàn)無(wú)縫集成、發(fā)揮最佳性能，同時(shí)將干擾降至最低。

Mega 允許開發(fā)者把虛擬機(jī)器人及其 AI 模型或機(jī)器人的大腦放入他們的工廠數(shù)字孿生中。數(shù)字孿生中的機(jī)器人通過(guò)感知環(huán)境、決策推理、規(guī)劃下一步動(dòng)作，并最終完成預(yù)定動(dòng)作來(lái)執(zhí)行各種任務(wù)。

這些動(dòng)作通過(guò) Omniverse 中的世界仿真器，在數(shù)字環(huán)境中進(jìn)行仿真。其結(jié)果再通過(guò) Omniverse 傳感器仿真被機(jī)器人大腦感知。

通過(guò)傳感器仿真，機(jī)器人大腦決定下一個(gè)動(dòng)作，循環(huán)繼續(xù)進(jìn)行。與此同時(shí)，Mega 會(huì)精確追蹤工廠數(shù)字孿生體內(nèi)所有元素的實(shí)時(shí)狀態(tài)和位置。

這種先進(jìn)的軟件在環(huán)測(cè)試方法使工業(yè)企業(yè)能夠在 Omniverse 數(shù)字孿生的安全范圍內(nèi)來(lái)仿真和驗(yàn)證更改，幫助他們預(yù)測(cè)和解決潛在問(wèn)題，以在實(shí)際部署過(guò)程中降低風(fēng)險(xiǎn)和成本。

哪些企業(yè)正在使用 NVIDIA 的三臺(tái)計(jì)算機(jī)解決方案？

NVIDIA 通過(guò)三臺(tái)計(jì)算機(jī)解決方案，加速全球機(jī)器人開發(fā)者和機(jī)器人基礎(chǔ)模型構(gòu)建者的工作。

利用NVIDIA Isaac Manipulator、Isaac 加速庫(kù)和 AI 模型以及NVIDIA Jetson Orin，泰瑞達(dá)旗下的優(yōu)傲機(jī)器人公司構(gòu)建了 UR AI 加速器，這是一個(gè)即用型硬件和軟件工具包，使協(xié)作機(jī)器人開發(fā)者能夠開發(fā)應(yīng)用程序、加速開發(fā)，并縮短 AI 產(chǎn)品的上市時(shí)間。

RGo Robotics 使用NVIDIA Isaac Perceptor來(lái)幫助其 wheel.me 自主移動(dòng)機(jī)器人隨時(shí)隨地工作，并通過(guò)賦予它們類似人類的感知能力和視覺(jué)空間信息，來(lái)做出明智的決策。

1X Technologies、Agility Robotics、Apptronik、波士頓動(dòng)力、傅利葉、銀河通用、Mentee、Sanctuary AI、宇樹科技和小鵬機(jī)器人等人形機(jī)器人制造商正在采用 NVIDIA 的機(jī)器人開發(fā)平臺(tái)。

波士頓動(dòng)力正在使用 Isaac Sim 和 Isaac Lab 制造四足機(jī)器人，并使用 Jetson Thor 制作人形機(jī)器人，以提高人類生產(chǎn)力，解決勞動(dòng)力短缺問(wèn)題，并優(yōu)先解決倉(cāng)庫(kù)的安全問(wèn)題。

傅利葉正在利用 Isaac Sim 來(lái)訓(xùn)練人形機(jī)器人，使其能夠在科學(xué)研究、醫(yī)療和制造業(yè)等需要高水平互動(dòng)和適應(yīng)性的領(lǐng)域中運(yùn)行。

利用 Isaac Lab 和 Isaac Sim，銀河通用開發(fā)了名為 DexGraspNet 的大型機(jī)器人靈巧抓取數(shù)據(jù)集，該數(shù)據(jù)集可應(yīng)用于各種靈巧機(jī)器手，以及用于評(píng)估靈巧抓取模型的仿真環(huán)境；同時(shí)基于 Jetson Thor 實(shí)現(xiàn)靈巧手的實(shí)時(shí)精準(zhǔn)控制。

使用 Isaac 平臺(tái)和 Isaac Lab，F(xiàn)ield AI 開發(fā)了風(fēng)險(xiǎn)受限的多任務(wù)和多用途基礎(chǔ)模型，使機(jī)器人能夠在戶外現(xiàn)場(chǎng)環(huán)境中安全地運(yùn)行。

各行業(yè)中物理 AI 的未來(lái)展望

隨著全球各行業(yè)不斷拓展機(jī)器人技術(shù)的應(yīng)用場(chǎng)景，NVIDIA 面向物理 AI 提出的三臺(tái)計(jì)算機(jī)解決方案展現(xiàn)出巨大的潛力，有望在制造業(yè)、物流、服務(wù)及醫(yī)療健康等多個(gè)行業(yè)中更好地幫助人類進(jìn)行工作。