NVIDIA 發(fā)布了機(jī)器人仿真參考應(yīng)用Isaac Sim和機(jī)器人學(xué)習(xí)框架Isaac Lab的開發(fā)者預(yù)覽版。開發(fā)者現(xiàn)在可以通過 GitHub 訪問早期版本，搶先體驗(yàn)先進(jìn)功能，用于在基于物理的仿真環(huán)境中構(gòu)建、訓(xùn)練和測(cè)試 AI 驅(qū)動(dòng)的機(jī)器人。

Isaac Sim 的更新

Isaac Sim 是基于NVIDIA Omniverse構(gòu)建的參考應(yīng)用，使開發(fā)者能夠在基于物理的仿真環(huán)境中開發(fā)、仿真和測(cè)試 AI 驅(qū)動(dòng)的機(jī)器人。Isaac Sim 5.0 的主要更新包括以下：

開源可用性

Isaac Sim 專用的擴(kuò)展程序正在一個(gè)新的公共 Github 庫(kù)中開源，這將允許開發(fā)者構(gòu)建和運(yùn)行 Isaac Sim。此資源庫(kù)將作為社區(qū)的早期訪問版，通過公共開發(fā)分支提供新功能的訪問權(quán)限。但是，Omniverse Kit 的組件仍是非開源的，目前不接受外部貢獻(xiàn)。

此公共開發(fā)分支將通過修復(fù)錯(cuò)誤不斷更新。當(dāng)所有組件通過 NVIDIA 的質(zhì)量保證標(biāo)準(zhǔn)后，將為官方 5.0 版本提供二進(jìn)制發(fā)布版本。

先進(jìn)的合成數(shù)據(jù)生成流程

Isaac Sim 引入了幾個(gè)新的擴(kuò)展程序，進(jìn)一步擴(kuò)展了合成數(shù)據(jù)生成能力，以用于訓(xùn)練、測(cè)試和驗(yàn)證 AI 驅(qū)動(dòng)的機(jī)器人。

MobilityGen 將作為 Isaac Sim 中的擴(kuò)展程序提供，支持生成各種基于物理的數(shù)據(jù)和感知模型訓(xùn)練數(shù)據(jù)，例如占用地圖、機(jī)器人狀態(tài)、位姿、速度和圖像。

Grasp 數(shù)據(jù)生成將作為新教程推出，其介紹的工作流支持自動(dòng)生成抓取候選項(xiàng)，仿真每次抓取嘗試，并記錄用于訓(xùn)練和評(píng)估的成功指標(biāo)。

新的NVIDIA Omniverse Replicatorwriter 針對(duì)NVIDIA Cosmos Transfer輸入進(jìn)行了優(yōu)化，使開發(fā)者能夠輕松生成并導(dǎo)出高質(zhì)量合成數(shù)據(jù)。它支持獨(dú)立工作流和腳本編輯器，并可以無縫集成到現(xiàn)有的 Isaac Sim 合成數(shù)據(jù)生成腳本中。

Isaac Sim 中的新工作流現(xiàn)在可以支持大規(guī)模物理環(huán)境的合成數(shù)據(jù)生成。其中包括觸發(fā)多樣化真實(shí)場(chǎng)景的 Incident Simulation，以及自動(dòng)標(biāo)記事件數(shù)據(jù)以豐富訓(xùn)練數(shù)據(jù)集的 Caption Generation，二者共同增強(qiáng)了對(duì)用于視覺 AI 模型開發(fā)的場(chǎng)景的理解。此外，現(xiàn)有的 Actor 和 Object Simulation 工作流已經(jīng)過優(yōu)化，可進(jìn)一步提高合成數(shù)據(jù)的質(zhì)量和效率。

新的機(jī)器人模型

Isaac Sim 5.0 引入新的機(jī)器人模型和導(dǎo)入工具，使仿真設(shè)置更快、更一致，并更接近真實(shí)世界行為。

新的機(jī)器人模式將 OpenUSD 中的機(jī)器人定義標(biāo)準(zhǔn)化，該模式已被 NVIDIA 的擴(kuò)展機(jī)器人資產(chǎn)庫(kù)采用，其中包含新的機(jī)器人模型。機(jī)器人導(dǎo)入器現(xiàn)在使用新的機(jī)器人模式，新的 Robot Import Wizard 提供了一個(gè)簡(jiǎn)化的分步流程，用于裝配和導(dǎo)入用于仿真的機(jī)器人。

Isaac Sim 5.0 中的新模式還支持通過 OpenUSD 模式定義的新關(guān)節(jié)摩擦模型，包括執(zhí)行器和摩擦參數(shù)，該模型由 NVIDIA 與?？怂箍岛?maxon 合作開發(fā)。這些模型能夠確保仿真中關(guān)節(jié)和電機(jī)的驅(qū)動(dòng)更接近真實(shí)世界的系統(tǒng)動(dòng)態(tài)，從而縮小仿真與現(xiàn)實(shí)之間的差距。

改進(jìn)的傳感器仿真

Isaac Sim 在傳感器仿真方面取得了重大進(jìn)步，使定義和測(cè)試傳感器模型變得比以往更容易，具有更高的真實(shí)感和可控性。

新的 OmniSensor USD 架構(gòu)將直接在 USD 中定義 RTX 傳感器，同時(shí)引入一種新的深度傳感器模型，這種模型能夠仿真出具有詳細(xì)差異偽影的逼真立體深度。此外，資產(chǎn)庫(kù)也得到擴(kuò)展，包含了多種新的傳感器模型。

標(biāo)準(zhǔn)化的 ROS 2 接口和 ZMQ 橋接器

Isaac Sim 5.0 全面支持 ROS 2 Jazzy Jalisco，兼容標(biāo)準(zhǔn)化的 ROS 2 仿真接口，以及用于運(yùn)動(dòng)規(guī)劃工作流的更新版 MoveIt 2 教程。此外，新的 ZeroMQ 橋接器便于 Isaac Sim 與外部系統(tǒng)之間的通信，還可以作為開發(fā)自定義中間件橋接器的參考示例。

Isaac Lab 的更新

Isaac GR00T N1 部署在 Isaac Lab 中的傅利葉 GR1 人形機(jī)器人上，用于雙手操作任務(wù)

Isaac Lab 是專為訓(xùn)練和評(píng)估機(jī)器人學(xué)習(xí)策略而構(gòu)建的開源框架。Isaac Lab 2.2 的更新支持以下功能：

增強(qiáng)的合成動(dòng)作生成：利用Isaac GR00T-Mimic的雙臂訓(xùn)練環(huán)境，放大收集的數(shù)據(jù)以用于機(jī)器人操作。

Omniverse Fabric 集成：Isaac Lab 現(xiàn)在支持 Fabric，可加快加載時(shí)間，更高效地執(zhí)行物理仿真和傳感器數(shù)據(jù)采集。

張量化吸盤夾具：提供靈活的動(dòng)態(tài)抓取仿真，這對(duì)于準(zhǔn)確的強(qiáng)化學(xué)習(xí)和操作任務(wù)至關(guān)重要。

開始開發(fā)

從 Github 下載源代碼，即可開始使用 Isaac Sim 5.0 和 Isaac Lab 2.2 的早期開發(fā)版。