強大的生成式 AI 模型、云原生應(yīng)用程序接口（ API）和微服務(wù)已應(yīng)用于邊緣。

生成式 AI 正在將 Transformer 模型和大語言模型的強大力量帶到各行各業(yè)，應(yīng)用范圍現(xiàn)已擴展到邊緣、機器人和物流系統(tǒng)相關(guān)領(lǐng)域，如缺陷檢測、實時資產(chǎn)追蹤、自主規(guī)劃和導(dǎo)航以及人機交互等。

NVIDIA 今日宣布，對適用于邊緣 AI 和機器人的 NVIDIA Jetson 平臺上的兩個框架進行大規(guī)模擴展。NVIDIA Isaac ROS 機器人框架已全面上市，NVIDIA Metropolis 在 Jetson 平臺上的擴展也即將推出。

為加速邊緣 AI 應(yīng)用的開發(fā)和部署，NVIDIA 還創(chuàng)建了一個 Jetson 生成式 AI 實驗室，以供開發(fā)者利用最新的開源生成式 AI 模型進行開發(fā)。

目前，已有超過 120 萬名開發(fā)者和 1 萬多家客戶選擇了 NVIDIA AI 和 Jetson 平臺，包括亞馬遜云科技（AWS）、思科、約翰迪爾、美敦力、百事、西門子等。

隨著 AI 領(lǐng)域的快速發(fā)展，其應(yīng)用場景日益變得復(fù)雜，開發(fā)者在構(gòu)建邊緣 AI 應(yīng)用時也面臨著開發(fā)周期延長的挑戰(zhàn)。為了實時滿足客戶不斷變化的環(huán)境、生產(chǎn)線和自動化需求，需要反復(fù)對機器人和 AI 系統(tǒng)進行編程，這不僅非常耗時，還要求開發(fā)者具備足夠的專業(yè)技能。

生成式 AI 所具有的“零樣本學(xué)習(xí)”能力（即模型能夠識別訓(xùn)練中從未見過的特定事物）和自然語言界面能夠簡化邊緣 AI 的開發(fā)、部署與管理。

推動 AI 領(lǐng)域的變革

生成式 AI 通過理解人類的語言提示，對模型進行更改，從而極大地提高了易用性。這些 AI 模型在檢測、分割、追蹤、搜索甚至重新編程方面都更加靈活，并借此超越了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的傳統(tǒng)模型。

據(jù) ABI Research 預(yù)測，到 2033 年，生成式 AI 將為全球制造業(yè)務(wù)增收 105 億美元。

NVIDIA 嵌入式和邊緣計算副總裁 Deepu Talla 表示：“生成式 AI 具有前所未有的泛用性、易用性和精確性，這將顯著加快邊緣 AI 的部署。我們在 Jetson 平臺上對 Metropolis 和 Isaac 框架進行了有史以來規(guī)模最大的軟件擴展，并結(jié)合 Transformer 模型與生成式 AI 的強大功能來滿足這一需求。”

相關(guān)精彩視頻已在NVIDIA中國西瓜視頻賬號發(fā)布：

NVIDIA Jetson Orin 賦能邊緣生成式 AI 模型

利用邊緣生成式AI進行開發(fā)

NVIDIA Jetson 生成式 AI 實驗室為 Jetson 開發(fā)者提供經(jīng)過優(yōu)化的工具和教程，用以部署開源大語言模型（LLM）、以交互方式生成驚艷圖像的擴散模型、視覺語言模型（VLM）以及視覺 Transformer （ViT）。其中，ViT 結(jié)合了視覺 AI 和自然語言處理，可提供對場景的全面理解。

開發(fā)者還可以使用 NVIDIA TAO Toolkit，為邊緣應(yīng)用創(chuàng)建高效而精確的 AI 模型。TAO 提供了一個用于微調(diào)和優(yōu)化 ViT、視覺基礎(chǔ)模型等視覺 AI 模型的低代碼接口。此外，還可以定制并微調(diào) NVIDIA NV-DINOv2 等基礎(chǔ)模型或 OpenCLIP 等公共模型，用很少的數(shù)據(jù)創(chuàng)建高度精確的視覺 AI 模型。現(xiàn)在，TAO 還推出了一個基于 Transformer 的新型缺陷檢測模型 —— VisualChangeNet。

充分運用全新的 Metropolis 和 Isaac 框架

NVIDIA Metropolis 能夠幫助企業(yè)更輕松、更經(jīng)濟高效地使用全球頂尖的視覺 AI 解決方案，以改善至關(guān)重要的運營效率和安全問題。該平臺提供了一系列功能強大的應(yīng)用編程接口和微服務(wù)，供開發(fā)人員快速開發(fā)基于視覺的復(fù)雜應(yīng)用。

包括寶馬集團、百事、克羅格、泰森食品、印孚瑟斯和西門子在內(nèi)的 1,000 多家公司正在使用 NVIDIA Metropolis 開發(fā)者工具，通過視覺 AI 來解決物聯(lián)網(wǎng)（IoT）、傳感器處理和運營方面的難題。NVIDIA Metropolis 開發(fā)者工具的采用速度日益加快，目前已被希望構(gòu)建視覺 AI 應(yīng)用的用戶下載了 100 多萬次。

為了幫助開發(fā)者快速構(gòu)建和部署可擴展的視覺 AI 應(yīng)用程序，NVIDIA Jetson 平臺上的 Metropolis API 和微服務(wù)擴展集將在年底前推出。

相關(guān)精彩視頻已在NVIDIA中國西瓜視頻賬號發(fā)布：

快速構(gòu)建復(fù)雜的視覺 AI 應(yīng)用程序

數(shù)百家客戶使用 NVIDIA Isaac 平臺，在農(nóng)業(yè)、倉儲自動化、最后一公里配送、服務(wù)機器人等多個領(lǐng)域開發(fā)了高性能機器人解決方案。

在 ROSCon 2023 上，NVIDIA 宣布推出 Isaac ROS 和 Isaac Sim 軟件的全新版本，對感知和模擬功能進行了重大改進。基于常用的開源機器人操作系統(tǒng)（ROS）的 Isaac ROS，為自動化帶來了感知能力，讓移動的物體有了“眼睛”和“耳朵”。借助 GPU 加速的 GEM 所擁有的強大功能（包括視覺里程測量、深度知覺、3D 場景重建、定位和規(guī)劃等），機器人開發(fā)者就擁有了為不同應(yīng)用快速定制機器人解決方案所需要各種的工具。

隨著 Isaac ROS 2.0 最新版本的發(fā)布，Isaac ROS 已達到生產(chǎn)就緒狀態(tài)，能夠幫助開發(fā)者使用 Jetson 平臺創(chuàng)建并推出高性能機器人解決方案。

開源機器人基金會首席技術(shù)官 Geoff Biggs 表示：“ROS 在不斷發(fā)展進化，并為整個機器人社區(qū)提供開源軟件。NVIDIA 此次版本中全新預(yù)構(gòu)建的 ROS 2 軟件包將助力廣大 NVIDIA Jetson 開發(fā)者社區(qū)隨時使用 ROS 2，從而加速這一發(fā)展。”

提供新的 AI 工作流參考

為開發(fā)生產(chǎn)級 AI 解決方案，需要開發(fā)和訓(xùn)練針對特定用例定制的 AI 模型，在平臺上實現(xiàn)強大的安全功能，編排應(yīng)用，管理機隊，建立邊緣到云的無縫通信等。

NVIDIA 推出了一套基于 Metropolis 和 Isaac 框架的精選 AI 工作流參考，幫助開發(fā)者快速采用整個工作流或有選擇性地集成獨立的部分，從而大幅減少開發(fā)時間和成本。三個 AI 工作流包括： 網(wǎng)絡(luò)視頻錄制、自動光學(xué)檢測和自主移動機器人。

Tirias Research 首席分析師 Jim McGregor 表示：“NVIDIA Jetson 憑借其廣泛而多樣化的用戶群與合作伙伴生態(tài)，助推了邊緣機器人和 AI 革命。隨著應(yīng)用需求的日益復(fù)雜化，我們需要從根本上轉(zhuǎn)向能夠簡化和加速邊緣部署創(chuàng)建的平臺。NVIDIA 的這一重要軟件擴展為開發(fā)者帶來了全新的多傳感器模型和生成式 AI 功能。”

更多精彩即將呈現(xiàn)

NVIDIA 推出了一系列系統(tǒng)服務(wù)，為每個開發(fā)者提供在構(gòu)建邊緣AI解決方案時必不可少的基本功能，簡化與工作流的集成，使他們不必再費時費力地從頭開始構(gòu)建這些服務(wù)。

全新 NVIDIA JetPack 6 將于今年年底推出，AI 開發(fā)者將無需全面升級 Jetson Linux 就能保持在計算領(lǐng)域的最前沿，從而大幅加快開發(fā)進度，不再依賴 Jetson Linux。JetPack 6 還將通過與 Linux 發(fā)行版合作伙伴的合作，擴大基于 Linux 的發(fā)行版的選擇范圍，包括 Canonical 的優(yōu)化及經(jīng)過驗證的 Ubuntu、Wind River Linux、并行實時 Redhawk Linux 以及各種基于 Yocto 的發(fā)行版。

合作伙伴生態(tài)系統(tǒng)受益于平臺擴展

Jetson 合作伙伴生態(tài)系統(tǒng)提供了從硬件、AI 軟件和應(yīng)用設(shè)計服務(wù)到傳感器、連接和開發(fā)者工具的廣泛支持。這些創(chuàng)新的合作伙伴作為 NVIDIA 合作伙伴網(wǎng)絡(luò)（NPN）中的一部分，是為市場上在售的眾多產(chǎn)品提供構(gòu)件和子系統(tǒng)的中堅力量。

最新版本通過采用更多具有更強性能與功能的 AI 技術(shù)，將助力 Jetson 合作伙伴加快產(chǎn)品上市并擴大客戶群。

獨立軟件供應(yīng)商合作伙伴也將能夠為 Jetson 提供更多產(chǎn)品。

歡迎參加 NVIDIA 于 2023 年 11 月 7 日（星期二）上午  9 點舉行的“利用 NVIDIA Jetson 實現(xiàn)生成式 AI”網(wǎng)絡(luò)研討會，屆時技術(shù)專家將深入探討在此發(fā)布的新聞，包括在 Jetson 上利用  TensorRT 優(yōu)化視覺 Transformer 部署 LLM 和 VLM 的加速 API 和量化方法等更多內(nèi)容。