? 全新 NVIDIA Omniverse NuRec 3D Gaussian Splatting(3DGS)庫支持大規模世界重建
? 全新 NVIDIA Cosmos 模型支持世界生成與空間推理
? 全新 NVIDIA RTX PRO Blackwell 服務器和 NVIDIA DGX Cloud 讓開發者能夠在任何地方運行需求嚴苛的仿真
? 物理 AI 領先者 Amazon Devices & Services、Boston Dynamics、Figure AI 和 Hexagon 采用仿真和合成數據生成技術
SIGGRAPH —— 2025 年 8 月11日 —— NVIDIA 宣布推出全新 NVIDIA Omniverse? 庫和 NVIDIA Cosmos? 世界基礎模型 (WFM),加速機器人解決方案的開發和部署。
這些庫和模型由全新 NVIDIA RTX PRO? 服務器和 NVIDIA DGX? Cloud 提供支持,可幫助開發者在任何地方開發物理精確的數字孿生,在仿真中捕捉和重建現實世界,生成用于訓練物理 AI 模型的合成數據,并構建理解物理世界的 AI 智能體。
NVIDIA Omniverse 和仿真技術副總裁 Rev Lebaredian 表示:“計算機圖形與 AI 的融合,從根本上改變著機器人。通過將 AI 推理與物理精準的可擴展仿真相結合,我們正幫助開發者打造未來的機器人和智能汽車,這將為各行業帶來價值數萬億美元的改變。”
全新 NVIDIA Omniverse 庫助力世界構建應用
全新 NVIDIA Omniverse 軟件開發套件 (SDK) 和庫現已推出,可用于構建和部署工業 AI 和機器人開發仿真應用。
● 全新 Omniverse SDK 推出了 MuJoCo (MJCF) 與通用場景描述 (OpenUSD) 之間的數據互操作性,幫助超過 250,000 名 MJCF 機器人學習開發者無縫地模擬各平臺的機器人。
● 全新 Omniverse NuRec 庫和 AI 模型引入了 Omniverse RTX 光線追蹤 3D Gaussian Splatting(3DGS)技術,這種渲染技術可幫助開發者利用傳感器數據,在 3D 中截取、重建和模擬現實世界。
● NVIDIA Isaac Sim? 5.0 和 NVIDIA Isaac Lab 2.2 開源機器人仿真和學習框架現已在 GitHub 上提供。Isaac Sim 現在包括 NuRec 神經渲染和基于 OpenUSD 的全新機器人及傳感器模式,幫助機器人開發者縮小仿真與現實之間的差距。
Omniverse NuRec 渲染現已集成到超過 15 萬名開發者使用的領先開源模擬器 CARLA 中。 智能汽車 (AV) 工具鏈領先者 Foretellix 正在集成 NuRec, NVIDIA Omniverse Sensor RTX? 和 Cosmos Transfer,以增強其可擴展的合成數據生成能力,提供物理精準的場景。 Voxel51 的視覺和多模態 AI 數據引擎 FiftyOne 支持 NuRec,幫助簡化重建的數據準備工作。 FiftyOne 的客戶包括福特和保時捷等。
Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 和 Skild AI 正在采用 Omniverse 庫、Isaac Sim 和 Isaac Lab,加速其 AI 機器人開發。 Amazon Devices & Services 正在使用它們來支持新的制造解決方案。
Cosmos 推動機器人世界生成進步
Cosmos WFM 下載量超過 200 萬次,可幫助開發者通過文本、圖像和視頻提示大規模生成各種用于訓練機器人的數據。
NVIDIA 在 SIGGRAPH 大會上宣布的新模型在合成數據生成速度、模型精度、語言支持和控制方面取得了重大進步:
● Cosmos Transfer-2 即將發布,它簡化了提示并能從地面實況 3D 仿真場景或空間控制輸入(如深度、分割、邊緣和高清地圖)中,快速生成逼真的合成數據。
● Cosmos Transfer 的精簡版本將 70 個步驟的蒸餾過程簡化為一個步驟,開發者能夠以前所未有的速度在 NVIDIA RTX PRO 服務器上運行模型。
Lightwheel、Moon Surgical 和 Skild AI 正在利用 Cosmos Transfer 大規模模擬各種條件,加速物理 AI 訓練。
Cosmos Reason 突破對世界的理解
自 OpenAI 的 CLIP 模型推出以來,視覺語言模型 (VLM) 改變了物體和模式識別等計算機視覺任務。但是,它們尚未能夠解決多步驟任務,也無法處理模糊或新穎的體驗。
NVIDIA Cosmos Reason 是一款面向物理 AI 和機器人開發的全新開源、可定制的 70 億參數推理 VLM,可讓機器人和視覺 AI 智能體像人類一樣推理,利用先驗知識、物理理解和常識,理解現實世界并付諸行動。
Cosmos Reason 可用于機器人開發和物理 AI 應用,包括:
● 數據管理與注釋,幫助開發者自動對海量、多樣化的訓練數據集進行高質量管理與注釋。
● 機器人規劃和推理,在機器人視覺語言行為 (VLA) 模型中,充當有意識、有條理決策的大腦。Cosmos Reason 讓機器人能夠解讀環境,并在收到復雜指令時,將其分解為任務,并運用常識執行這些任務,即使是在不熟悉的環境中。
● 視頻分析 AI 智能體基于可用于視頻搜索和總結的 NVIDIA Blueprint 構建,能夠從海量視頻數據中提取有價值的洞察并進行根本原因分析。
NVIDIA 的機器人和 NVIDIA DRIVE? 團隊正在使用 Cosmos Reason 進行數據管理和篩選、注釋和 VLA 后訓練。Uber 正使用它為輔助駕駛訓練數據添加注釋和字幕。
Magna 正在其城市配送平臺(City Delivery platform)中使用 Cosmos Reason 進行開發。該平臺是一種完全自主、低成本的即時配送解決方案,旨在幫助車輛更快地適應新城市。Cosmos Reason 為車輛的長期軌跡規劃器增加了對世界的理解能力。VAST Data、Milestone Systems 和 Linker Vision 正在采用 Cosmos Reason 實現城市和工業環境的自動化交通監控,提高安全性,并提升視覺檢查能力。
全新 NVIDIA AI 基礎設施為任何地方的機器人開發工作負載提供支持
為幫助開發者充分利用這些先進技術和軟件庫,NVIDIA 宣布推出專為極高要求工作負載而設計的 AI 基礎設施。
● NVIDIA RTX PRO Blackwell 服務器為訓練、合成數據生成、機器人學習和仿真等所有機器人開發工作負載提供統一架構。
● NVIDIA DGX Cloud 現已在 Microsoft Azure Marketplace 上提供,為 Omniverse 開發者提供一個完全托管的平臺,簡化從云端大規模流式傳輸基于 OpenUSD 和 NVIDIA RTX? 的應用,從而最大限度地減少基礎設施編排和管理。Accenture 和 Hexagon 是首批采用該平臺的行業領先者。
加速開發者生態系統
為了幫助機器人開發者和物理 AI 開發者推動 3D 和仿真技術的采用,NVIDIA 還宣布:
● OpenUSD 課程和認證:滿足對通用場景描述專業知識的需求,由 OpenUSD 聯盟成員 Adobe、Amazon Robotics、Ansys(Synopsys 旗下)、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 和 Trimble 以及 Hexagon 等行業領先者的支持。
● 與 Lightwheel 開源協作,將機器人策略訓練和評估框架集成到 NVIDIA Isaac Lab 中,具備并行強化學習訓練功能,以及機器人操作和運動的基準測試和仿真就緒資產。
觀看 NVIDIA Research 在 SIGGRAPH上的特別演講。
關于NVIDIA
NVIDIA (NASDAQ: NVDA) 是加速計算領域的全球領導者。