Sora何時(shí)推出？大約在年底。它非常受歡迎，一旦投入使用，不僅會對影視行業(yè)造成沖擊，而且會在視頻網(wǎng)站、社交媒體、電商平臺，以及教育等領(lǐng)域得到廣泛應(yīng)用。它的物理世界模擬器的作用，以及“世界模型”的潛力也非常巨大。

問題來了，它需要多大算力？

風(fēng)險(xiǎn)投資機(jī)構(gòu)Factorial Funds的Matthias Plappert，最近對Sora模型進(jìn)行了剖析。他們推算的主要依據(jù)，是論文Scalable Diffusion Models with Transformers 中的數(shù)據(jù)。Sora模型在一定程度上是基于論文中所提出的、基于Transformer的架構(gòu)的DiT (Diffusion Transformers)。論文的第一作者William Peebles目前在OpenAI負(fù)責(zé)Sora研究團(tuán)隊(duì)。

作者假設(shè)Sora推出后，將在Tiktok和Youtube上得到廣泛的應(yīng)用，推算出需要的算力相當(dāng)于72萬張英偉達(dá)H100 GPU。對比一下，目前Meta擁有的總算力，相當(dāng)于65萬張H100。

下面我們介紹下其中關(guān)于訓(xùn)練與推理的部分：

從DiT到Sora訓(xùn)練計(jì)算量的外推

關(guān)于Sora的細(xì)節(jié)信息非常少，但我們可以再次查看顯然是Sora基礎(chǔ)的DiT論文，并從中推斷出相關(guān)的計(jì)算數(shù)字。最大的DiT模型DiT-XL有6.75億個(gè)參數(shù)，總計(jì)算預(yù)算約為10^21次浮點(diǎn)運(yùn)算。為了更容易理解這個(gè)數(shù)字，這相當(dāng)于大約0.4個(gè)Nvidia H100 GPU運(yùn)行一個(gè)月(或一個(gè)H100運(yùn)行12天)。

但是目前DiT僅對圖像建模，而Sora是一個(gè)視頻模型。Sora可以生成長達(dá)1分鐘的視頻。如果我們假設(shè)視頻以24幀/秒編碼，一個(gè)視頻最多包含1440幀。Sora的像素到潛在映射似乎在空間和時(shí)間上都有壓縮。如果我們假設(shè)與DiT論文中相同的壓縮率(8倍)，我們最終在潛在空間中得到180幀。因此，在直觀地將DiT外推到視頻時(shí)，我們得到了180倍的計(jì)算量倍增因子。

我們進(jìn)一步認(rèn)為，Sora的參數(shù)量明顯大于6.75億個(gè)。我們估計(jì)200億參數(shù)的模型是可行的，這使我們在計(jì)算量上比DiT再多出30倍。

最后，我們認(rèn)為Sora使用的訓(xùn)練數(shù)據(jù)集比DiT大得多。DiT在批量大小為256時(shí)經(jīng)過300萬步訓(xùn)練，即總計(jì)使用了7.68億張圖像(但要注意同一數(shù)據(jù)被重復(fù)使用了多次，因?yàn)镮mageNet僅包含1400萬張圖像)。Sora似乎是在圖像和視頻的混合數(shù)據(jù)集上進(jìn)行訓(xùn)練的，但除此之外我們幾乎一無所知。因此，我們簡單假設(shè)Sora的數(shù)據(jù)集中有50%是靜止圖像，50%是視頻，并且數(shù)據(jù)集比DiT使用的大10到100倍。然而，DiT在相同的數(shù)據(jù)點(diǎn)上反復(fù)訓(xùn)練，如果有更大的數(shù)據(jù)集可用，這種做法可能是次優(yōu)的。因此，我們認(rèn)為4到10倍的計(jì)算量倍增因子是一個(gè)更合理的假設(shè)。

將上述因素綜合考慮,并分別計(jì)算額外數(shù)據(jù)集的低估計(jì)和高估計(jì),我們得到以下計(jì)算結(jié)果:

* 數(shù)據(jù)集低估計(jì): 10^21次浮點(diǎn)運(yùn)算 x 30 x 4 x (180/2) ≈ 1.1x10^25次浮點(diǎn)運(yùn)算

* 數(shù)據(jù)集高估計(jì): 10^21次浮點(diǎn)運(yùn)算 x 30 x 10 x (180/2) ≈ 2.7x10^25次浮點(diǎn)運(yùn)算

這相當(dāng)于4,211至10,528個(gè)Nvidia H100 GPU運(yùn)行1個(gè)月的計(jì)算量。

推理計(jì)算與訓(xùn)練計(jì)算的比較

另一個(gè)值得考慮的重要因素，是訓(xùn)練計(jì)算與推理計(jì)算之間的對比。訓(xùn)練計(jì)算量非常大，但這是一次性的成本。相比之下，推理計(jì)算量雖然小得多，但每一次生成都意味著一次推理計(jì)算。因此，推理計(jì)算量會隨著用戶數(shù)量的增加而擴(kuò)大，并變得越來越重要，特別是當(dāng)一個(gè)模型被廣泛使用時(shí)。

因此，觀察“收支平衡點(diǎn)”是很有用的，即消耗在推理計(jì)算上的計(jì)算量，超過了訓(xùn)練期間消耗的計(jì)算量的時(shí)間點(diǎn)。

(左圖對比DiT的訓(xùn)練與推理計(jì)算,右圖對比Sora的訓(xùn)練與推理計(jì)算。對于Sora部分,我們的數(shù)據(jù)基于上文估計(jì),因此不是完全可靠。我們還展示了兩種訓(xùn)練計(jì)算的估計(jì):一種低估計(jì)(假設(shè)數(shù)據(jù)集大小的倍增因子為4倍)和一種高估計(jì)(假設(shè)為10倍)。)

在上述數(shù)字中，我們再次利用DiT來推算Sora。對于DiT，最大的模型(DiT-XL)每步使用524×10^9次浮點(diǎn)運(yùn)算，DiT使用250步擴(kuò)散生成單張圖像，因此總計(jì)為131×10^12次浮點(diǎn)運(yùn)算。我們可以看到，收支平衡點(diǎn)在生成760萬張圖像后達(dá)到，此后推理計(jì)算將占主導(dǎo)。作為參考，用戶每天大約上傳9500萬張圖像到Instagram。

對于Sora，我們將浮點(diǎn)運(yùn)算次數(shù)外推為524×10^9次 × 30 × 180 ≈ 2.8×10^15次。如果我們?nèi)匀患僭O(shè)每段視頻需250步擴(kuò)散，那就是每段視頻總計(jì)708×10^15次浮點(diǎn)運(yùn)算。作為參考，這大約相當(dāng)于每小時(shí)每個(gè)Nvidia H100生成5分鐘視頻。

收支平衡點(diǎn)在生成1530萬(低估計(jì))到3810萬(高估計(jì))分鐘視頻后達(dá)到，之后推理計(jì)算將超過訓(xùn)練計(jì)算。作為參考，每天約有4300萬分鐘視頻上傳到Y(jié)ouTube。

需要注意的是：對于推理來說，浮點(diǎn)運(yùn)算次數(shù)并不是唯一重要的因素。內(nèi)存帶寬也是另一個(gè)重要因素。此外，現(xiàn)有研究正致力于減少所需的擴(kuò)散步數(shù)，這可能導(dǎo)致推理計(jì)算量大幅降低，因此推理速度會更快。訓(xùn)練和推理階段的浮點(diǎn)運(yùn)算利用率也可能有所不同，在這種情況下，它們就變得很重要了。

不同模型之間的推理計(jì)算量比較

我們還觀察了不同模態(tài)下不同模型的每單位輸出推理計(jì)算量。這里的想法是，看看不同類型模型的推理計(jì)算量級別有多大差異，這對于規(guī)劃和預(yù)測計(jì)算需求有直接影響。重要的是，我們要理解，由于不同模型工作于不同的模態(tài)，每個(gè)模型的輸出單位也不盡相同：對于Sora，單個(gè)輸出是一段1分鐘長的視頻；對于DiT，是一張512x512像素的圖像；而對于Llama 2和GPT-4，我們將單個(gè)輸出定義為一份長度為1000個(gè)token的文本文檔。

(比較不同模型每單位輸出的推理計(jì)算量,對于Sora是1分鐘視頻,對于GPT-4和LLama 2是1000個(gè)token的文本,對于DiT是單張512x512像素的圖像。我們可以看到,我們對Sora推理的估計(jì)比其他模型昂貴，要高出數(shù)個(gè)數(shù)量級。)

我們比較了Sora、DiT-XL、LLama 2 70B和GPT-4，并以對數(shù)刻度繪制了它們的浮點(diǎn)運(yùn)算次數(shù)。對于Sora和DiT，我們使用上文的推理估計(jì)值。對于Llama 2和GPT-4，我們使用經(jīng)驗(yàn)公式浮點(diǎn)運(yùn)算次數(shù)=2×參數(shù)數(shù)量×生成的token數(shù)來估計(jì)。對于GPT-4，我們假設(shè)它是一個(gè)混合專家 (MoE)模型，每個(gè)專家有220B參數(shù)，每次前向傳遞激活2個(gè)專家。需要注意的是，GPT-4的這些數(shù)字未得到OpenAI的確認(rèn)，因此也需要謹(jǐn)慎對待。

我們可以看到，基于擴(kuò)散模型如DiT和Sora的推理算力需求要大得多：DiT-XL(6.75億參數(shù))的推理計(jì)算量，大約與LLama 2(700億參數(shù))相當(dāng)。我們還可以看到，Sora的推理算力需求比GPT-4高出數(shù)個(gè)數(shù)量級。

需要注意的是，上述許多數(shù)字都是估計(jì)值，并且依賴于簡化的假設(shè)。例如，它們并未考慮GPU的實(shí)際浮點(diǎn)運(yùn)算利用率、內(nèi)存容量和帶寬限制以及諸如推測解碼等高級技術(shù)。

如果類似Sora的模型占有重要市場份額時(shí)的推理計(jì)算量

在這一部分，我們根據(jù)Sora的計(jì)算需求，推測如果AI生成視頻在流行視頻平臺如TikTok和YouTube上占有重要市場份額，將需要多少英偉達(dá)H100 GPU來運(yùn)行類似Sora的模型。

我們假設(shè)每小時(shí)每個(gè)H100生成5分鐘視頻(詳見上文)，相當(dāng)于每天每個(gè)H100生成120分鐘視頻。

TikTok：每天1700萬分鐘視頻(3400萬個(gè)視頻x平均30秒長度)，假設(shè)AI滲透率50%。

YouTube：每天4300萬分鐘視頻，假設(shè)AI滲透率15%(主要是2分鐘以下的短視頻)。

AI每天總計(jì)生成視頻：850萬+650萬=1070萬分鐘。

為支持TikTok和YouTube的創(chuàng)作者社區(qū)，需要89000張英偉達(dá)H100 GPU。

由于以下因素，這一數(shù)字可能偏低：

我們假設(shè)100%的浮點(diǎn)運(yùn)算利用率，并未考慮內(nèi)存和通信瓶頸。實(shí)際上50%的利用率更為現(xiàn)實(shí)，需要乘以2倍。

需求不會均勻分布在時(shí)間上，而是具有突發(fā)性。峰值需求尤其成問題，因?yàn)樾枰鄳?yīng)更多GPU來滿足所有流量。我們認(rèn)為，應(yīng)考慮峰值需求再增加2倍，作為所需最大GPU數(shù)量。

創(chuàng)作者可能會生成多個(gè)候選視頻，從中挑選最佳。我們保守地假設(shè)，平均每個(gè)上傳視頻要生成2個(gè)候選視頻，再增加2倍。

總計(jì)在峰值時(shí)需要大約72萬臺英偉達(dá)H100 GPU。

這說明了我們的觀點(diǎn)：隨著生成式AI模型變得越來越受歡迎和受到依賴，推理計(jì)算將占主導(dǎo)地位。對于基于擴(kuò)散的模型如Sora，這種趨勢會更加明顯。

另外需要注意，如果擴(kuò)大模型規(guī)模，推理計(jì)算需求也會大幅增加。另一方面，更優(yōu)化的推理技術(shù)和整個(gè)技術(shù)棧上的其他優(yōu)化措施，可能會在一定程度上抵消這種影響。