近日，ROSCon China 2024在上海圓滿落幕。作為全球機(jī)器人行業(yè)的重要盛會，為期兩天的活動吸引了眾多 ROS 社區(qū)行業(yè)專家、研究人員、開發(fā)者和機(jī)器人愛好者的參與，展示了全球機(jī)器人技術(shù)領(lǐng)域的最新成果與應(yīng)用趨勢。

活動中，NVIDIA 通過技術(shù)分享，展示了 ROS 在機(jī)器人領(lǐng)域的最新進(jìn)展與成果，充分體現(xiàn) ROS 技術(shù)在實(shí)際場景中的巨大潛力與創(chuàng)新活力。NVIDIA 特別帶來兩項(xiàng)重磅展示：NVIDIA Isaac Lab加速機(jī)器人學(xué)習(xí)、NVIDIA 機(jī)器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)。這些技術(shù)突破將有助于推動下一波 AI 機(jī)器人技術(shù)發(fā)展。

NVIDIA Isaac Lab 加速機(jī)器人學(xué)習(xí)

機(jī)器人需要具備很強(qiáng)的適應(yīng)能力，能夠隨時學(xué)習(xí)新的技能并適應(yīng)周圍環(huán)境。但傳統(tǒng)的訓(xùn)練方法會限制機(jī)器人將所學(xué)技能應(yīng)用于新情況，常見的原因有感知與行動之間存在差距和難以將技能遷移到不同的情境中。

NVIDIA Isaac Lab 是一個適用于機(jī)器人學(xué)習(xí)的開源模塊化框架，該框架可以打破這些局限性。Isaac Lab 的模塊化高保真仿真適用于各種訓(xùn)練環(huán)境，可提供模仿學(xué)習(xí)，強(qiáng)化學(xué)習(xí)和由 GPU 驅(qū)動的物理仿真的支持，為多樣的機(jī)器人具身提供了靈活的訓(xùn)練方法。它能夠?yàn)楦鞣N訓(xùn)練場景提供用戶友好的環(huán)境，幫助機(jī)器人制造商根據(jù)不斷變化的業(yè)務(wù)需求來增加或更新機(jī)器人技能。

NVIDIA 機(jī)器人軟件棧

助力工業(yè)無序揀選解決方案開發(fā)

NVIDIA Isaac Manipulator是由 NVIDIA 加速庫和 AI 模型組成的工作流，它為機(jī)械臂提供了一系列先進(jìn)的運(yùn)動生成和模塊化 AI 功能，以及各種強(qiáng)大的基礎(chǔ)模型和 GPU 加速庫。Isaac Manipulator 使開發(fā)者能夠?qū)?AI 加速應(yīng)用于機(jī)械臂或操作器，以便無縫感知、理解環(huán)境并與環(huán)境進(jìn)行交互，可幫助機(jī)器人軟件開發(fā)者加速解決動態(tài)挑戰(zhàn)的解決方案，例如機(jī)器護(hù)理、高混合垃圾桶揀選、檢查和裝配任務(wù)。

Isaac Manipulator 還提供了一系列可定制的模塊化 AI 組件，包括各種強(qiáng)大的基礎(chǔ)模型、感知算法、運(yùn)動規(guī)劃等，比如用于對以前未見過的物體進(jìn)行 6D 位姿估計(jì)和追蹤的開創(chuàng)性基礎(chǔ)模型 FoundationPose，以及通過同時運(yùn)行多個軌跡優(yōu)化來解決工業(yè)規(guī)模機(jī)器人運(yùn)動規(guī)劃問題的 GPU 加速運(yùn)動規(guī)劃器 cuMotion 等。

Isaac Manipulator 其基礎(chǔ)模型和加速庫可以作為獨(dú)立模塊集成，也可以作為整個工作流程集成到解決方案開發(fā)中。開發(fā)者可以將任何 Isaac Manipulator 庫或基礎(chǔ)模型集成到自己的軟件堆棧中，從而為自己的平臺提供加速性能和準(zhǔn)確性。

NVIDIA Isaac ROS 3.2 新功能

即將發(fā)布的NVIDIA Isaac ROS 3.2也將引入一些新功能。NVIDIA Isaac ROS，基于開源的 ROS 2 軟件框架構(gòu)建，是一套專為機(jī)器人開發(fā)設(shè)計(jì)的加速計(jì)算包和AI模型套件。即將發(fā)布的 3.2 版本在機(jī)器人感知、操作以及環(huán)境映射方面實(shí)現(xiàn)了顯著提升。

在 NVIDIA Isaac Manipulator方面，3.2 版本引入了多項(xiàng)重要改進(jìn)。其中，新增的參考工作流將 FoundationPose 和 cuMotion 進(jìn)行了集成，這將加速機(jī)器人拾取與放置以及對象追蹤管線的開發(fā)。這將為開發(fā)者提供更高效、可靠的解決方案，使得機(jī)器人能夠更快速、更準(zhǔn)確地執(zhí)行各種復(fù)雜任務(wù)。

NVIDIA Isaac Perceptor也經(jīng)過了改進(jìn)，加入了全新的視覺 SLAM 參考工作流、這一功能增強(qiáng)了機(jī)器人在動態(tài)環(huán)境中的自主導(dǎo)航能力。同時，多攝像頭檢測與 3D 重建功能也得到了顯著提升，將提高自主移動機(jī)器人（AMR）在倉庫等動態(tài)環(huán)境中的環(huán)境感知能力與性能。

在 ROSCon China 上與合作伙伴交流

兩天的活動中，ROS 社區(qū)成員與合作伙伴舉辦了多場技術(shù)分享、研討會、展臺演示等。NVIDIA 機(jī)器人解決方案架構(gòu)師梁瀟和張瑞分別帶來主題為“NVIDIA Isaac Lab 加速機(jī)器人學(xué)習(xí)”以及“NVIDIA 機(jī)器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)”的主題分享。

在 12 月 7 日上午以“擁抱智能時代：AI 與機(jī)器人技術(shù)的深度融合與落地實(shí)踐”為主題的技術(shù)分享中，NVIDIA 機(jī)器人解決方案架構(gòu)師梁瀟帶來題為“NVIDIA Isaac Lab 加速機(jī)器人學(xué)習(xí)”的演講。NVIDIA Isaac Lab 是一個建立在 NVIDIA Isaac sim 和 NVIDIA Omniverse 平臺上的開源機(jī)器人學(xué)習(xí)框架。NVIDIA Omniverse 是一個用于開發(fā)適用于工業(yè)數(shù)字化和物理 AI 仿真的 OpenUSD 應(yīng)用的平臺。

開發(fā)者可以使用 Isaac Lab 來大規(guī)模訓(xùn)練機(jī)器人策略，這個開源的統(tǒng)一機(jī)器人學(xué)習(xí)框架適用于從人形機(jī)器人到四足機(jī)器人和協(xié)作機(jī)器人等各種具身，能夠處理日益復(fù)雜的動作和交互。

在 12 月 7 日下午以“ROS 技術(shù)前沿：探索機(jī)器人操作系統(tǒng)與應(yīng)用的發(fā)展”為主題的技術(shù)分享中，NVIDIA 機(jī)器人解決方案架構(gòu)師張瑞帶來題為“NVIDIA 機(jī)器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)”的演講。NVIDIA Isaac Manipulator 是專為機(jī)械臂設(shè)計(jì)的一款綜合性 AI 解決方案，可為機(jī)械臂提供一系列先進(jìn)的運(yùn)動生成和模塊化 AI 功能，以及各種強(qiáng)大的基礎(chǔ)模型和 GPU 加速庫，以快速構(gòu)建能夠無需訓(xùn)練/zero-shot 感知、理解并與環(huán)境交互的機(jī)械臂，加速解決在動態(tài)環(huán)境下的挑戰(zhàn)。借助 NVIDIA Isaac Sim，開發(fā)者可以通過仿真，在多種環(huán)境和不同條件下對軟件堆棧進(jìn)行練習(xí)，以確保機(jī)器人按照設(shè)計(jì)運(yùn)行。

使用 NVIDIA Isaac 的合作伙伴

領(lǐng)先的機(jī)器人公司正在將 NVIDIA Isaac 加速庫和 AI 模型集成到他們的平臺中，活動中，眾多機(jī)器人生態(tài)合作伙伴，比如加速進(jìn)化、宇樹科技、本末科技、瀝拓科技、逐際動力、米文動力等，展示了基于NVIDIA Jetson和Isaac Sim技術(shù)的創(chuàng)新機(jī)器人解決方案，引發(fā)現(xiàn)場觀眾的圍觀和討論。

ROSCon China 2024 的成功舉辦不僅標(biāo)志著 ROS 技術(shù)在中國內(nèi)地的深入落地，也進(jìn)一步推動了全球機(jī)器人技術(shù)生態(tài)的交流與合作。NVIDIA 及其生態(tài)合作伙伴帶來的前沿技術(shù)和創(chuàng)新應(yīng)用，充分展現(xiàn)了 ROS 技術(shù)在智能時代的巨大潛力。未來，隨著 ROS 技術(shù)的不斷發(fā)展與應(yīng)用，機(jī)器人領(lǐng)域的更多可能性將被探索與實(shí)現(xiàn)，賦能行業(yè)邁向更加智能化與高效化的未來。