牢牢掌握算力分配權的英偉達是人工智能領域當仁不讓的“炸子雞”。
通過為包括OpenAI、Meta等人工智能企業(yè)提供包括H200、H100、A100等不同規(guī)格的GPU，英偉達一躍成為全球市值增速最快的企業(yè)之一，也因此被外界稱之為人工智能時代的”賣水人“。以至于黃仁勛和他的財務團隊，會在財報中，通過直觀的圖表來說明英偉達對于業(yè)績的自信。
在向SEC提交的文件中，英偉達表示，2019年1月27日投資100美元（我們）的股票，2024年1月28日價值達到1536.28美元。而對應投資100美元標準普爾500指數(shù)和納斯達克100指數(shù)基金，價值均在200美元以下。
今年的GTC2024上，黃仁勛的AI“核武庫”正式上新，B200將成為科技巨頭們追逐的“算力明星”——它不僅會成為新的AI算力底座，也將成為英偉達市值繼續(xù)攀升的業(yè)績底座。
作為NVIDIA Blackwell架構首款新產品，B200采用雙芯片設計，晶體管數(shù)量達到2080億個，基于Blackwell架構的B100，英偉達還提供了包括GB200、DGX GB200 NVL 72，以及基于GB200和B200打造的DGX SuperPOD超算平臺。
軟件服務方面，英偉達發(fā)布了集成AI開發(fā)軟件微服務系統(tǒng)NIM，通過直接提供多行業(yè)、多模態(tài)的專有模型，以及基于NeMo Retriver的專有數(shù)據(jù)注入系統(tǒng)，企業(yè)可借由NIM快捷部署公司級專有模型。
除了通過軟硬件賦能AI技術之外，英偉達也推出了加速AI仿生機器人落地的解決方案——GR00T機器人項目——世界首款人形機器人模型，支持通過語言、視頻和人類演示，為機器人的生成行動指令。
以下為核心要點：
● B200芯片：采用雙芯片設計，晶體管數(shù)量達到2080億個。單GPU AI性能達20 PFLOPS（即每秒2萬萬億次）。內存192GB，基于第五代NVLink，帶寬達到8TB/s。
● DGX GB200 NVL 72：內置36顆GRACE CPU和72顆Blackwell架構GPU，AI訓練性能可達720PFLOPs（即每秒72萬萬億次），推理性能為1440PFLOPs（每秒144萬萬億次）。
● 基于GB200的DGX SuperPOD超算：搭載8顆DGX GB200，即288顆Grace CPU和576顆B200 GPU，內存達到240TB，F(xiàn)P4精度計算性能達到11.5EFLOPs（每秒11.5百億億次）
● Project GR00T：人型機器人項目——包含了人型機器人基礎模型，ISAAC Lab開發(fā)工具庫和Jetson Thor SoC片上系統(tǒng)開發(fā)硬件，帶寬達到100GB/s，AI計算性能達到800TFLOPs。
● NIM軟件：針對AI推理系統(tǒng)的新軟件，開發(fā)人員可以在其中直接選擇模型來構建利用自己數(shù)據(jù)的人工智能應用程序。
01 算力核彈B200
英偉達最近幾代架構，在名稱上都有致敬科學家的慣例。
上一代產品Hopper架構則是致敬格蕾絲·霍珀，這一代架構Blackwel則是致敬的是統(tǒng)計學家兼數(shù)學家大衛(wèi)·布萊克韋威爾。
黃仁勛展示Blackwell和Hopper架構GPU對比，左邊為Blackwell架構的B200芯片
在新一代的GPU正式亮相之前，關于架構、雙芯片設計等已經(jīng)有不少傳聞，關注點在于，黃仁勛會把手中的“AI核彈”性能提升到多少？
現(xiàn)在，官方的答案給出來了——基于Blackwell架構的B200采用雙芯片設計，基于臺積電4nm工藝，晶體管數(shù)量達到2080億個，上一代Hopper架構的H100同樣是4nm工藝，但由于沒有上雙芯片設計，晶體管數(shù)量只有800億。
B200搭配8顆HBM3e內存（比Hopper架構的H200多了2顆），內存達到192GB，基于第五代NVLink，帶寬達到8TB/s，相比Hopper架構和Ampere架構，有了巨幅提升，最大可支持10萬億參數(shù)的模型的訓練。
作為對比，OpenAI 的 GPT-3 由 1750 億個參數(shù)組成，GPT-4參數(shù)為1.8億。
黃仁勛還介紹稱，B200平臺可以向下兼容，支持與上一代Hopper架構的H100/H200 HGX系統(tǒng)硬件適配。
此前，被稱之為OpenAI勁敵的Inflection AI，官宣建立了一套22000顆英偉達H100 GPU的世界最大人工智能數(shù)據(jù)中心集群，接下來要看看OpenAI，能不能借助B200反超了。
這里再插一句英偉達的NVLink和NVLink Switch技術。
其中NVLink是英偉達開發(fā)的CPU和GPU之間高速互聯(lián)通道，在內存墻無法突破的情況下，最大化提升CPU和GPU之間通信的效率，于2016年在基于Pascal架構的GP100芯片和P100運算卡上率先采用，當時的帶寬為160GB/s，到H100采用的第四代NVLink，其帶寬已經(jīng)達到900GB/s，而B200采用的第五代NVLink 帶寬已經(jīng)突破1.8TB/s。
NVLink Switch支持與多個NVLink連接，實現(xiàn)NVLink在單節(jié)點、節(jié)點之間互聯(lián)，進而創(chuàng)建更高帶寬的GPU集群，基于最新的NVLink Switch芯片（臺積電4nm工藝，500億個晶體管），可實現(xiàn)576顆GPU組成計算集群，上一代產品僅支持到256個GPU。
根據(jù)官方公布的數(shù)據(jù)，B200支持第二代Transformer引擎，Tensor核支持FP4、FP6精度計算，單顆B200 GPU的AI性能達20 PFLOPs（即每秒2億億次）。
另外，英偉達還在主題演講中展示了全新的加速計算平臺DGX GB200 NVL 72，擁有9個機架，總共搭載18個GB200加速卡，即36顆GRACE CPU和72顆Blackwell架構GPU（英偉達也提供了DGX B200版本，簡單來說就是用Intel的Xeon CPU，替換了Grace CPU）。
黃仁勛說，一套DGX版GB200 NVL 72總共內置了5000條NVLink銅制線纜，總長度達到2公里，可以減少20kW的計算能耗。
舉個例子，8000個GPU組成的GH100系統(tǒng)，90天內可以訓練一個1.8萬億參數(shù)的GPT-Moe模型，功耗15兆瓦，而使用一套2000顆GPU的GB200 NVL72加速卡，只需要4兆瓦。
據(jù)介紹，DGX版GB200NVL 72加速計算平臺AI訓練性能（FP8精度計算）可達720PFLOPs（即每秒72億億次），F(xiàn)P4精度推理性能為1440PFLOPs（每秒144億億次）。官方稱GB200的推理性能在Hopper平臺的基礎上提升6倍，尤其是采用相同數(shù)量的GPU，在萬億參數(shù)Moe模型上進行基準測試，GB200的性能是Hopper平臺的30倍。
演講環(huán)節(jié)，黃仁勛還公布了搭載64個800Gb/s端口、且配備RoCE自適應路由的NVIDIA Quantum-X800 InfiniBand 交換機，以及搭載144個800Gb/s端口，網(wǎng)絡內計算性能達到14.4TFLOPs（每秒14.4萬億次）的Spectrum-X800交換機。兩者應對的客戶需求群體略有差異，如果追求超大規(guī)模、高性能可采用NVLink+InfiniBand網(wǎng)絡；如果是多租戶、工作負載多樣性，需融入生成式AI，則用高性能Spectrum-X以太網(wǎng)架構。
另外，英偉達還推出了基于GB200的DGX Super Pod一站式AI超算解決方案，采用高效液冷機架，搭載8套DGX GB200系統(tǒng)，即288顆Grace CPU和576顆B200 GPU，內存達到240TB，F(xiàn)P4精度計算性能達到11.5ELOPs（每秒11.5百億億次），相比上一代產品的推理性能提升30倍，訓練性能提升4倍。
黃仁勛說，如果你想獲得更多的性能，也不是不可以——發(fā)揮鈔能力——在DGX Super Pod中整合更多的機架，搭載更多的DGX GB200加速卡。
02 NIM+NeMo：構建英偉達版企業(yè)用GPTs
英偉達的另一個殺手锏就是它的軟件，它構成了這一萬億帝國至少半條護城河。
誕生于2006年的CUDA被認為是英偉達在GPU上建立霸權的關鍵功臣——它使得GPU從調用 GPU計算和GPU硬件加速第一次成為可能，讓 GPU 擁有了解決復雜計算問題的能力。在它的加持下，GPU從圖形處理器這一單一功能發(fā)展成了通用的并行算力設備，也因此AI的開發(fā)才有可能。
但談論 NVIDIA時，許多人都傾向于使用“CUDA”作為 NVIDIA提供的所有軟件的簡寫。這是一種誤導，因為 NVIDIA的軟件護城河不僅僅是 CUDA 開發(fā)層，還包含了其上的一系列連通軟硬件的軟件程序，比如英偉達開發(fā)的用于運行C++推理框架，去兼容Pytorch等模型訓練框架的TensorRT;使團隊能夠部署來自多個深度學習和機器學習框架的任何 AI 模型的 Triton Inference Server。
雖然有如此豐富的軟件生態(tài)，但對于缺乏AI基礎開發(fā)能力的傳統(tǒng)行業(yè)來講，這些分散的系統(tǒng)還是太難掌握。
看準了這個給傳統(tǒng)企業(yè)賦能的賽道，在今天的發(fā)布會上，英偉達推出了集成過去幾年所做的所有軟件于一起的新的容器型微服務：NVIDIA NIM。它集成到了不給中間商活路的地步，可以讓傳統(tǒng)企業(yè)直接簡單部署完全利用自己數(shù)據(jù)的專屬行業(yè)模型。
這一軟件提供了一個從最淺層的應用軟件到最深層的硬件編程體系CUDA的直接通路。構成 GenAI 應用程序的各種組件（模型、RAG、數(shù)據(jù)等）都可以完成直達NVIDIA GPU的全鏈路優(yōu)化。
它讓缺乏AI開發(fā)經(jīng)驗的傳統(tǒng)行業(yè)可以通過在 NVIDIA 的安裝基礎上運行的經(jīng)過打包和優(yōu)化的預訓練模型，一步到位部署AI應用，直接享受到英偉達GPU帶來的最優(yōu)部署時效，繞過AI開發(fā)公司或者模型公司部署調優(yōu)的成本。Nvidia 企業(yè)計算副總裁 Manuvir Das表示，不久前，需要數(shù)據(jù)科學家來構建和部署這些類型的 GenAI 應用程序。但有了 NIM，任何開發(fā)人員現(xiàn)在都可以構建聊天機器人之類的東西并將其部署給客戶。
這一切都建立在Kubernetes這一容器化應用程序之上。NVIDIA通過Kubernetes創(chuàng)建了一個單一的架構，可以運行所有這些軟件。Nim作為預構建的容器（containers），開發(fā)人員可以在其中直接選擇模型來構建利用自己數(shù)據(jù)的人工智能應用程序。在容器中配備了適用于語言和藥物發(fā)現(xiàn)等人工智能領域的行業(yè)標準應用程序編程接口以適應各類專有模型。
英偉達在博客文章中表示：“NIM 針對每個模型和硬件設置利用優(yōu)化的推理引擎，在加速基礎設施上提供最佳的延遲和吞吐量。” “除了支持優(yōu)化的社區(qū)模型之外，開發(fā)人員還可以通過使用永遠不會離開數(shù)據(jù)中心邊界的專有數(shù)據(jù)源來調整和微調模型，從而獲得更高的準確性和性能。”
在模型支持方面，NIM 微服務的可選項也很多。它支持 Nvidia 自己的模型合作庫，來自 AI21 Labs，Cohere等合作伙伴的模型，以及來自Meta、Hugging Face、Stability AI 和Google的開源模型。同時客戶可以通過 Nvidia AI Enterprise 平臺以及 Microsoft Azure AI、Google Cloud Vertex AI、Google Kubernetes Engine 和 Amazon SageMaker 訪問 NIM 微服務，并與包括 LangChain、LlamaIndex 和 Deepset 在內的 AI 框架集成。這基本上就等于對所有市面上主流模型都完成了覆蓋。
在Nim的搭建過程中，利用Nvidia NeMo Retriever技術，公司的專有數(shù)據(jù)都可以被集成到這個微服務里以供使用。最終用戶會得到一個個NVIDIA NeMo，這就是針對每個公司的專有Copilit。這個專有的NeMo會用對話機器人的形式幫助你檢索公司數(shù)據(jù)，如PPT，提供相關領域的技術支持。
在發(fā)布會上，黃仁勛就展示了基于英偉達數(shù)據(jù)（Event）和芯片行業(yè)信息形成的Nvidia ChipNeMo，它構建在開源的Llama2模型之上。利用英偉達的專有數(shù)據(jù)，它可以回答只有英偉達公司內部使用的CTL實驗細節(jié)問題。
這些NeMo還可以跨公司共用，也就是這套系統(tǒng)可以被視為工業(yè)大模型的GPT Store，行業(yè)公司可以使用其他公司或英偉達提供的行業(yè)基礎NeMo添加自己的數(shù)據(jù)即可獲得專有大模型。為此，英偉達還特意上線了ai.nvidia.com去承載這些NeMO。
這一微服務使得傳統(tǒng)企業(yè)AI轉型變得極為易得，不論是構筑專有模型，還是直接通過模型連接企業(yè)私有數(shù)據(jù)都變得快速方便。黃仁勛表示 “成熟的企業(yè)平臺坐擁數(shù)據(jù)金礦， 他們掌握了大量可以轉化為副駕駛的數(shù)據(jù)，當你準備好運行這些人工智能聊天機器人時，你將需要一個人工智能鑄造廠”。NIM正是這樣一個鑄造廠。它幫助構建企業(yè)AI轉型的Copilot級產品，可以被視為公司AI化所需的基石。
這一產品將首先在即將發(fā)布的NVIDIA AI企業(yè)版第五版中搭載。對于NVIDIA AI企業(yè)版的現(xiàn)有客戶來說這只是一個軟件升級。這項新功能不會額外收費。當然企業(yè)版價格本身并不低，單GPU的企業(yè)版使用權限包年就需要4500美金，小時租金為1美金每小時。
目前英偉達全公司已經(jīng)都用上了Nim，包括Box、Cloudera、Cohesity、Datastax、Dropbox等合作伙伴也都已經(jīng)參與Nim的使用和優(yōu)化過程。
03 Project GR00T機器人
英偉達的上一個萬億市值來自GPU與算力，下一個萬億市值增幅空間可能體現(xiàn)在對機器人開發(fā)的賦能上。
年初，英偉達資深科學家Jim Fan就宣布建立GEAR工作室，相關研究成果以及研究基礎環(huán)境成為了英偉達新機器人解決方案的基礎。
據(jù)了解，英偉達目前正在構建包括NVIDIA IAI、Omniverse、ISAAC三大平臺，三大平臺均與機器人產業(yè)高度關聯(lián)。其中NVIDIA IAI搭載DGX系列產品，用于模擬物理世界，Omnivese搭載RTX和OVX系列產品，用于驅動數(shù)字孿生的計算系統(tǒng)，ISAAC搭載AGX系列，用于驅動人工智能機器人。
本次GTC大會上，英偉達還推出了Project GR00T人型機器人項目——人型機器人基礎模型。
英偉達表示，基于GR00T人型機器人基礎模型，可以實現(xiàn)通過語言、視頻和人類演示，來理解自然語言，模仿人類動作，進而快速學習協(xié)調性、靈活性以及其他的技能，進而能夠融入現(xiàn)實世界并與人類進行互動。
除了基礎模型，該項目還包括基于NVIDIA Thor SoC系統(tǒng)的開發(fā)套件Jetson Thor，內置了下一代Blackwell GPU（此前英偉達也推出個針對汽車的DRIVE Thor套件），帶寬達到100GB/s，AI計算性能達到800TFLOPs。
為了給Project GR00T項目提供軟件支持，基于英偉達Omniverse構建的ISAAC Lab也進行了同步更新，允許開發(fā)者利用該平臺模擬機器人學習技能、與物理世界模擬互動，支持數(shù)千個機器人同步訓練與模擬。
與此同時，ISAAC Lab還整合了用于輔助提升機械臂的靈敏度與精確度的加速庫平臺ISAAC MANIPULATOR，以及用于提升服務機器人感知能力的ISAAC PERCEPTOR軟件庫。
按照慣例，英偉達也不免俗的用了客戶的例子為自家解決方案背書——比亞迪倉庫機器人。
黃仁勛表示，英偉達過去和比亞迪基于Omniverse構建汽車和工廠數(shù)字孿生上有了良好的合作，當然也還包括汽車自動駕駛業(yè)務方面的合作，現(xiàn)在則開始基于英偉達的ISSAC，展開倉庫自動機器人研發(fā)方面的合作。
在英偉達的愿景當中，未來Omniverse將成為機器人系統(tǒng)的誕生地和AI的虛擬訓練場，你可以將其理解為“機器人產房”、“AI駕校”。
04 氣象觀測、計算光刻與6G
Omniverse的模擬不僅僅體現(xiàn)在機器人、數(shù)字孿生領域，在一些新技術的研發(fā)上，比如代表未來通信的6G技術研發(fā)也將派上用場。
根據(jù)官方公布的信息，英偉達將推出6G研究云平臺，其中包括為開發(fā)人員提供神經(jīng)無線電仿真框架能力的NVIDIA Aerial，以及提供模擬城市規(guī)模網(wǎng)絡的Omniverse數(shù)字孿生系統(tǒng)，以及提供加速的無線接入網(wǎng)絡堆棧，從系統(tǒng)層面為開發(fā)者模擬一個具有城市規(guī)模的6G網(wǎng)絡系統(tǒng)。
基于英偉達6G云平臺，開發(fā)者可以模擬城市大規(guī)模無線網(wǎng)絡環(huán)境
除了6G研究，英偉達希望將Omniverse帶到氣候和天氣預測方面。
官方表示，極端事件每年為全球帶來了1400億美元的經(jīng)濟損失，而目前高性價比的氣候模擬高度不能滿足需求，雖然千米級的模擬可以幫助人類模擬預測氣候和天氣，但這個計算量相比高空模擬要超出100萬倍，進而成本高昂。
為此，英偉達公布了地球氣候數(shù)字孿生套件NVIDIA Earth 2，它具有可交互的特點，支持通過高分辨率模擬來加速氣候、天氣預測。作為一個支持千米級天氣預測的AI擴散模型，Earth 2在天氣預報的計算預測上效率提升達到1000倍，而能效則提升了2000倍。
GTC2023大會上，英偉達推出計算光刻CuLitho軟件庫，按照當初的設想，單就晶圓廠部分的提效即可以實現(xiàn)，每天利用1/9的電力，生產3-5倍的光掩膜，今年的大會上，黃仁勛也補充了計算光刻CuLitho的進展。
官方表示，過去12個月內與TSMC和Synopsys緊密合作，已經(jīng)將CuLitho集成這些客戶的工作流當中，包括芯片的設計工具和生產制造。
