隨著人工智能等高性能計算應用的持續(xù)火熱，這些方向也成為了半導體芯片行業(yè)發(fā)展最重要的驅(qū)動力之一。本屆Hotchips的亮點無疑是支持這些應用方向的芯片，尤其是應用于邊緣和數(shù)據(jù)中心的這類高性能計算賦能芯片。在本屆Hotchips共兩天七個主題議程中，約有一半的相關(guān)論文和這些高性能計算有關(guān)，涵蓋了GPGPU、機器學習加速、ADAS和高性能網(wǎng)絡開關(guān)等領(lǐng)域，而這些相關(guān)論文都來自Nvidia、AMD、Intel、Tesla等業(yè)界最頂尖的芯片公司，論文內(nèi)容則是關(guān)于公司最新芯片的關(guān)鍵技術(shù)。這些賦能云端高性能計算的芯片有一個共同的特點，就是規(guī)模越做越大，而本屆Hotchips中我們也可以看到芯片設(shè)計行業(yè)正在使用全新的工具來確保芯片規(guī)模的繼續(xù)上升，而這些工具就是芯片粒/高級封裝以及芯片-軟件協(xié)同設(shè)計。如果說基于IP復用的SoC理念創(chuàng)造了上一代大規(guī)模集成芯片的蓬勃發(fā)展的話，那么芯片粒和軟件協(xié)同設(shè)計將會成為芯片突破集成度瓶頸并進一步提升芯片功能和晶體管規(guī)模的下一代支柱。
芯片粒是未來高性能芯片的支柱
隨著高性能計算對于芯片性能（包括算力、互聯(lián)和內(nèi)存接口）的需求持續(xù)上升，整個芯片系統(tǒng)的晶體管規(guī)模和設(shè)計復雜度也在相應提升。這樣的性能需求上升是指數(shù)級的：以Nvidia的GPU算力為例，一般的規(guī)律是每一代（兩年）GPU的性能相對于上一代提升兩到三倍。為了應對指數(shù)級上升的性能需求，芯片系統(tǒng)必須要從兩個方面實現(xiàn)不斷提升，其一是單芯片的性能，其二是可擴展性。單芯片的性能提升約等于在芯片中加入更多的晶體管，其主要挑戰(zhàn)在于如何提升良率和降低成本，因為芯片的良率隨著晶體管數(shù)量提升（即芯片面積上升）而快速下降，單純堆積晶體管的做法會導致良率低到無法接受。除此之外，還需要確保芯片系統(tǒng)設(shè)計是可擴展的，即可以把多個單元芯片協(xié)同工作以進一步提升性能。可協(xié)同性的主要挑戰(zhàn)在于IO帶寬，如果IO成為瓶頸的話，那么多個單元芯片協(xié)同工作的性能并不會比單元芯片強很多。
為了解決良率和可擴展性的問題，芯片粒加高級封裝技術(shù)就成為了目前芯片廠商普遍的答案。在這樣的方案中，首先不再追求每個單元芯片的集成度，而是把單元芯片做成面積較小的芯片粒，這樣芯片粒的良率會遠遠高于大芯片。同時，將多個芯片粒用高級封裝的技術(shù)集成到一起來實現(xiàn)大規(guī)模芯片系統(tǒng)，由于高級封裝技術(shù)同時提供了大帶寬的高性能互聯(lián)，這樣就就解決了可擴展性問題。
在本屆Hotchips上，我們可以看到芯片粒加高級封裝已經(jīng)成為了高性能計算的主流解決方案。Intel的Ponte Vecchio是本屆Hotchips的一大亮點：Ponte Vecchio是Intel的下一代GPU架構(gòu)，其設(shè)計中使用了大規(guī)模芯片粒和高級封裝技術(shù)，而在本次Hotchips上Intel公布了Ponte Vecchio的最新架構(gòu)細節(jié)和相關(guān)數(shù)據(jù)。在Ponte Vecchio中，會有多個Xe 核心使用高級封裝（EMIB）的方式組成compute tile，而L2 Cache則有相應的一個芯片粒（稱為Cambo cache tile），并且和compute tile集成到一起。而除此之外，還有HMB和用于芯片間互聯(lián)的Xe Link芯片粒，這些芯片粒組成了整個Ponte Vecchio系統(tǒng)。由于使用芯片粒的方式，我們看到Intel可以在良率可控的情況下加入大量的Xe核和海量緩存（cache）：整個Ponte Vecchio包括了128個Xe核，64MB的register file，64MB的L1 cache和408MB的L2 cache。整個Ponte Vecchio系統(tǒng)可以實現(xiàn)839 TFLOPS的峰值浮點數(shù)算力以及1678 TOPS的峰值整數(shù)算力，在實現(xiàn)如此高算力的超大規(guī)模芯片系統(tǒng)中，芯片粒和高級封裝技術(shù)可謂是居功至偉。
在Intel的Ponte Vecchio之外，Tesla也公布了其用于人工智能模型訓練的Dojo芯片。在Dojo芯片系統(tǒng)中，其基本的計算chiplet是D1，每個D1包括了362TFlops算力和440MB SRAM，同時每個Dojo則包含了25個這樣的D1芯片粒以及40個專用的IO芯片粒，使用TSMC的system-on-wafer技術(shù)集成到一起，從而實現(xiàn)超大算力支持。
在Intel和Tesla之外，AMD在本屆Hotchips上也帶來了其MI200系列高算力GPU加速芯片，這也是全球第一個使用芯片粒技術(shù)的GPU。AMD將兩塊芯片粒封裝在一起，同時使用400GB/s的高帶寬封裝內(nèi)互聯(lián)確保不同的芯片粒之間能高效互聯(lián)，每個芯片系統(tǒng)包含了580億個晶體管，使用TSMC 6nm制造。MI200是AMD在GPGPU領(lǐng)域的重要布局，我們從中看到芯片粒也起了至關(guān)重要的作用，而在其下一代MI300 GPGPU目前公布的信息來看，AMD將會進一步加強芯片粒和高級封裝技術(shù)的作用，從而實現(xiàn)更大規(guī)模和更高性能的芯片系統(tǒng)。
芯片和軟件協(xié)同設(shè)計將成為主流
在芯片粒之外，另一個值得我們關(guān)注的動向是芯片和軟件協(xié)同設(shè)計。如前所述，芯片系統(tǒng)的規(guī)模正在越來越大，模塊越來越多，功能越來越復雜，如果沒有一個好的軟件系統(tǒng)和生態(tài)的話，具體的應用很難充分利用芯片提供的性能，從而看到的就是實際應用中的實際性能和芯片的峰值性能相差甚遠。更進一步，隨著人工智能這類算法驅(qū)動類應用的火熱，如何結(jié)合算法來做芯片的優(yōu)化和設(shè)計也是進一步提升芯片性能的重要方法之一。而我們在本屆Hotchips上也確實看到了軟件和算法相關(guān)優(yōu)化成為了廠商在演講內(nèi)容中的重點。
Intel在本屆Hotchips上的Ponte Vecchio演講中，一個重點就是其OneAPI軟件接口以及DPC++工具。OneAPI使用一個API來支持不同的底層硬件，從而理想的情況下無需修改應用的軟件代碼，只需要在OneAPI中直接指定相應的后端執(zhí)行硬件就可以。OneAPI計劃會支持至少Intel的CPU和GPU，可望大大減少應用所需要的軟件工作。另一方面，DPC++則是Intel對于目前CUDA生態(tài)的回應，使用DPC++可以將已有的為CUDA編寫的程序直接移植到Intel的GPU上，這樣就大大增加了Intel生態(tài)的吸引力。
軟件在Tesla的Dojo芯片中也起到了至關(guān)重要的作用。如前所述，Dojo的設(shè)計牽涉到大量的compute tile，如何在不同的compute tile之間分配任務就成了決定整體系統(tǒng)性能的關(guān)鍵；除此之外，如何在不同的Dojo芯片之間分配任務也決定了整體系統(tǒng)的可擴展性。在Tesla的解決方案中，編譯器軟件將會確保將模型并行化處理并且加載到不同的compute tile中，同時盡量保證模型需要的數(shù)據(jù)都能裝入片上SRAM中以保證性能降低對外部DRAM的依賴。除了編譯器之外，Tesla在軟件-芯片協(xié)同設(shè)計中另一個值得一提的是使用了獨特的數(shù)值表示方式，在常見的FP16和BFP16之外還支持自研的CFP8和CFP16格式的數(shù)值表示方式并且在芯片中做了相應支持。根據(jù)Tesla公布的材料使用CFP8和CFP16可以獲得更好的模型訓練效果，而這也是軟件-芯片協(xié)同設(shè)計的很好例子。
在Intel和Tesla之外，在本屆Hotchips上和AI相關(guān)的演講幾乎都會涉及軟件-芯片協(xié)同設(shè)計，其中包括了業(yè)界巨頭如Nvidia（Hopper GPU中使用了FP8和Transformer Engine），以及新銳初創(chuàng)公司如Untether AI（公布了UAI FP8數(shù)制和imAIgine SDK）和壁仞（TF32+數(shù)制和BIRENSUPA軟件平臺）。我們認為，軟件-芯片協(xié)同設(shè)計正在成為芯片行業(yè)進一步推動芯片規(guī)模更上一個臺階背后的重要支柱之一，只有在有了強而有力的軟件支持，以及對于算法的深入理解后，芯片規(guī)模進一步提升才會有相應的回報。
更多信息可以來這里獲取==>>電子技術(shù)應用-AET<<
