作者｜張小珺
出品｜騰訊新聞《潛望》
就連陸奇都說他跟不上大模型時(shí)代的狂飆速度了。他讓下屬做“大模型日?qǐng)?bào)”，一方面便于他跟上論文和信息更新，另一方面給奇績(jī)生態(tài)創(chuàng)業(yè)者共享。他用了三個(gè)“實(shí)在”表達(dá)這一點(diǎn)。“我實(shí)在不行了，論文實(shí)在是跟不上，代碼實(shí)在是跟不上。Just too much（太多了）。”陸奇在近期一次分享活動(dòng)上說。
這樣的時(shí)刻還從沒有過。奇績(jī)創(chuàng)壇創(chuàng)始人兼CEO陸奇是中國(guó)AI布道人，也是中國(guó)針對(duì)大模型最有發(fā)言權(quán)的人之一。他曾在全球巨頭身居要職，先后任職于IBM、雅虎、微軟、百度，曾是華人在美國(guó)科技公司最有權(quán)威的高層人士，位至雅虎和微軟執(zhí)行副總裁，回國(guó)加盟百度出任集團(tuán)總裁兼COO。陸奇以勤勉的工作為科技圈著稱——每天清晨4點(diǎn)起床，跑步5英里，6點(diǎn)準(zhǔn)時(shí)到辦公室。
同時(shí)，他和OpenAI有著深厚淵源。陸奇所掌管的奇績(jī)前身是YC中國(guó)，是美國(guó)著名創(chuàng)業(yè)孵化器YC（Y Combinator）的中國(guó)分支。他也是YC全球研究院院長(zhǎng)。而OpenAI首席執(zhí)行官Sam Altman正是YC二代接班者、現(xiàn)任總裁。兩人雖相差24歲，卻是忘年交，相識(shí)已逾18年。當(dāng)初正是Sam Altman屢次力邀陸奇加盟YC。所以，陸奇對(duì)YC、對(duì)Sam Altman和OpenAI都有長(zhǎng)期的近距離觀察。
2023年4月22日，陸奇在上海舉行小規(guī)模演講，騰訊新聞?dòng)行覅⑴c了旁聽。陸奇希望幫助中國(guó)創(chuàng)業(yè)者認(rèn)清這次歷史性的拐點(diǎn)時(shí)刻，定位今天的時(shí)代坐標(biāo)、找準(zhǔn)自己的位置。“這個(gè)時(shí)代跟淘金時(shí)代很像，”他說道，“如果你那個(gè)時(shí)候去加州淘金，一大堆人會(huì)死掉。但是賣勺子、賣鏟子的人永遠(yuǎn)可以賺錢。”
陸奇很反感蹭熱點(diǎn)，他一再警示創(chuàng)業(yè)者蹭熱點(diǎn)只會(huì)浪費(fèi)機(jī)會(huì)。到現(xiàn)在為止，你幾乎很難在公開渠道聽到陸奇的觀點(diǎn)。這也讓本次演講具有稀缺性。
事實(shí)上，在大模型快速達(dá)成社會(huì)共識(shí)之際，一部分人期待陸奇博士披甲上陣，做“中國(guó)的Sam Altman”——扮演可能比一名投資者、布道者更關(guān)鍵的角色。但據(jù)奇績(jī)內(nèi)部人說：“Qi目前100%時(shí)間花在奇績(jī)。”
騰訊新聞作者將這場(chǎng)分享進(jìn)行了完整的整理——演講涵蓋他對(duì)大模型時(shí)代的宏觀思考，包括拐點(diǎn)的內(nèi)在動(dòng)因、技術(shù)演進(jìn)、創(chuàng)業(yè)公司結(jié)構(gòu)性機(jī)會(huì)點(diǎn)以及給創(chuàng)業(yè)者的建議。大家可以各取所需。
好了，讓我們來看看陸奇怎么說。為了方便閱讀，作者做了一些字句修改和文本優(yōu)化。
01
社會(huì)性拐點(diǎn)的核心
是一項(xiàng)大型成本從邊際變成固定
我認(rèn)識(shí)Sam Altman是2005年，他那時(shí)19歲不到，我已經(jīng)40多歲了。
我們倆是忘年交。他是一個(gè)很善良也很奇怪的小孩，今天很高興他能這樣改變世界。前不久，我春節(jié)在美國(guó)3個(gè)月，也到OpenAI和Sam聊了一些。
首先，怎么理解這個(gè)新范式？這張圖能把ChatGPT和OpenAI所帶來的一切講清楚。之后，基于第一性原理，你自然會(huì)推演出所在賽道的機(jī)會(huì)和挑戰(zhàn)。
這張圖是“三位一體結(jié)構(gòu)演化模式”，本質(zhì)是講任何復(fù)雜體系，包括一個(gè)人、一家公司、一個(gè)社會(huì)，甚至數(shù)字化本身的數(shù)字化體系，都是復(fù)雜體系。“三位一體”包括：
“信息”系統(tǒng)（subsystem of information），從環(huán)境當(dāng)中獲得信息；
“模型”系統(tǒng)（subsystem of model），對(duì)信息做一種表達(dá)，進(jìn)行推理和規(guī)劃；
“行動(dòng)”系統(tǒng)（subsystem of action），我們最終和環(huán)境做交互，達(dá)到人類想達(dá)到的目的。
任何體系，都是這三個(gè)體系的組合，數(shù)字化系統(tǒng)尤其如此。數(shù)字化和人分不開。人也一樣，人要獲得信息、表達(dá)信息、行動(dòng)解決問題或滿足需求。
基于此，我們可以得出一個(gè)簡(jiǎn)單結(jié)論。今天大部分?jǐn)?shù)字化產(chǎn)品和公司，包括Google、微軟、阿里、字節(jié)，本質(zhì)是信息搬運(yùn)公司。一定要記住，我們所做的一切，一切的一切，包括在座的大部分企業(yè)都在搬運(yùn)信息。Nothing more than that，You just move bytes（僅此而已，你只是移動(dòng)字節(jié)）。但它已經(jīng)足夠好，改變了世界。
早在1995-1996年，通過PC互聯(lián)網(wǎng)迎來一個(gè)拐點(diǎn)。那時(shí)我剛從CMU（卡內(nèi)基梅隆大學(xué)）畢業(yè)。大量公司層出不窮，其中誕生了一家偉大公司叫Google。為什么會(huì)有這個(gè)拐點(diǎn)？為什么會(huì)有爆炸式增長(zhǎng)？把這個(gè)觀點(diǎn)講清楚，就能把今天的拐點(diǎn)講清楚。
原因是，獲取信息的邊際成本開始變成固定成本。
一定要記住，任何改變社會(huì)、改變產(chǎn)業(yè)的，永遠(yuǎn)是結(jié)構(gòu)性改變。這個(gè)結(jié)構(gòu)性改變往往是一類大型成本，從邊際成本變成固定成本。
舉個(gè)例子，我在CMU念書開車離開匹茨堡出去，一張地圖3美元，獲取信息很貴。今天我要地圖，還是有價(jià)錢，但都變成固定價(jià)格。Google平均一年付10億美元做一張地圖，但每個(gè)用戶要獲得地圖的信息，基本上代價(jià)是0。也就是說，獲取信息成本變0的時(shí)候，它一定改變了所有產(chǎn)業(yè)。這就是過去20年發(fā)生的，今天基本是free information everywhere（免費(fèi)的信息無(wú)處不在）。
Google為什么偉大？它把邊際成本變成固定成本。Google固定成本很高，但它有個(gè)簡(jiǎn)單商業(yè)模式叫廣告，它是世界上高盈利、改變世界的公司，這是拐點(diǎn)關(guān)鍵。
今天2022-2023年的拐點(diǎn)是什么？它不可阻擋、勢(shì)不可擋，原因是什么？一模一樣。模型的成本從邊際走向固定，因?yàn)橛屑陆写竽Ｐ汀?/p>
模型的成本開始從邊際走向固定，大模型是技術(shù)核心、產(chǎn)業(yè)化基礎(chǔ)。OpenAI搭好了，發(fā)展速度爬升會(huì)很快。為什么模型這么重要、這個(gè)拐點(diǎn)這么重要，因?yàn)槟Ｐ秃腿擞袃?nèi)在關(guān)系。我們每個(gè)人都是模型的組合。人有三種模型：
認(rèn)知模型，我們能看、能聽、能思考、能規(guī)劃；
任務(wù)模型，我們能爬樓梯、搬椅子剝雞蛋；
領(lǐng)域模型，我們有些人是醫(yī)生，有些人是律師，有些人是碼農(nóng)。
That’s all。我們對(duì)社會(huì)所有貢獻(xiàn)都是這三種模型的組合。每個(gè)人不是靠手和腿的力量賺錢，而是靠腦袋活。
簡(jiǎn)單想一想，如果你沒有多大見解，你的模型能力大模型都有，或者大模型會(huì)逐步學(xué)會(huì)你所有的模型，那會(huì)怎樣？——未來，唯一有價(jià)值的是你有多大見解。
人類社會(huì)是技術(shù)驅(qū)動(dòng)。從農(nóng)業(yè)時(shí)代，人用工具做簡(jiǎn)單勞動(dòng)，最大問題是人和土地綁定，人缺少流通性，沒有自由。工業(yè)發(fā)展對(duì)人最大變化是人可以動(dòng)了，可以到城市和工廠。早期工業(yè)體系以體力勞動(dòng)為主、腦力勞動(dòng)為輔，但隨著機(jī)械化、電氣化、電子化，人的體力勞動(dòng)下降。信息化時(shí)代以后，人以腦力勞動(dòng)為主，經(jīng)濟(jì)從商品經(jīng)濟(jì)轉(zhuǎn)向服務(wù)經(jīng)濟(jì)——碼農(nóng)、設(shè)計(jì)師、分析師成為我們時(shí)代的典型職業(yè)。
這一次大模型拐點(diǎn)會(huì)讓所有服務(wù)經(jīng)濟(jì)中的人、藍(lán)領(lǐng)基本都受影響，因?yàn)樗麄兪悄Ｐ停怯歇?dú)到見解，否則你今天所從事的服務(wù)大模型都有。下一時(shí)代典型的職業(yè)，我們認(rèn)為是創(chuàng)業(yè)者和科學(xué)家。
所以，這次變革影響每個(gè)人。它影響整個(gè)社會(huì)。
02
我所看到的三個(gè)拐點(diǎn)
下個(gè)拐點(diǎn)是什么？
下個(gè)拐點(diǎn)將是組合：“行動(dòng)”無(wú)處不在（自動(dòng)駕駛、機(jī)器人、空間計(jì)算）。也就是人需要在物理空間里行動(dòng)，它的代價(jià)也從邊際走向固定。20年后，這個(gè)房子里所有一切都有機(jī)械臂，都有自動(dòng)化的東西。我需要的任何東西，按個(gè)按鈕，軟件可以動(dòng)，今天還需要找人。
那么，哪些公司能走到下個(gè)拐點(diǎn)、站住下個(gè)拐點(diǎn)？我認(rèn)為特斯拉有很高概率，它的自動(dòng)駕駛、機(jī)器人現(xiàn)在很厲害。微軟今天跟著OpenAI爬坡，但怎么站住下個(gè)拐點(diǎn)？
接下來講一下我們看到的三個(gè)拐點(diǎn)：
① 今天信息已經(jīng)無(wú)處不在了，接下來15-20年，模型就是知識(shí)，將無(wú)處不在。以后手機(jī)上打開，任何聯(lián)網(wǎng)，模型就過來了。它教你怎么去解答法律問題，怎么去做醫(yī)學(xué)檢驗(yàn)。不管什么樣的模型都可以無(wú)處不在。
② 在未來，自動(dòng)化、自主化的動(dòng)作可以無(wú)處不在。
③ 人和數(shù)字化的技術(shù)共同進(jìn)化。Sam最近經(jīng)常講，它必須要共同進(jìn)化，才能達(dá)到通用智能（AGI）。通用智能四大要素是：涌現(xiàn)（emergence）+代理（agency）+功能可見性（affordence）+具象（embodiment）。
總結(jié)來說，我們從根本性的三位一體結(jié)構(gòu)分析未來，從過去的歷史拐點(diǎn)能清晰看到今天所面臨的拐點(diǎn)，本質(zhì)是模型成本從邊際走向固定，將有一家甚至多家偉大公司誕生。毫無(wú)疑問，OpenAI處于領(lǐng)先。
雖然講得有點(diǎn)早，但我個(gè)人認(rèn)為，OpenAI未來肯定比Google大。只不過是大1倍、5倍還是10倍。
03
OpenAI核心就堅(jiān)信兩件事
發(fā)展速度連Sam本人都驚訝
下面我從技術(shù)角度講OpenAI大事跡，它怎么把大模型時(shí)代帶來的？
為什么講OpenAI，不講Google、微軟。講真心話，因?yàn)槲抑溃④浐脦浊艘沧鲞@個(gè)，但不如OpenAI。一開始比爾·蓋茨根本不相信OpenAI，大概6個(gè)月前他還不相信。4個(gè)月前看到GPT-4的demo（產(chǎn)品原型），目瞪口呆。他寫了文章說：It’s a shock，this thing is amazing（這太令人震驚了，這東西太神奇了）。谷歌內(nèi)部也目瞪口呆。
OpenAI一路走下來的關(guān)鍵技術(shù)：
GPT-1是第一次使用預(yù)訓(xùn)練方法來實(shí)現(xiàn)高效語(yǔ)言理解的訓(xùn)練；
GPT-2主要采用了遷移學(xué)習(xí)技術(shù)，能在多種任務(wù)中高效應(yīng)用預(yù)訓(xùn)練信息，并進(jìn)一步提高語(yǔ)言理解能力；
DALL·E是走到另外一個(gè)模態(tài)；
GPT-3主要注重泛化能力，few-shot（小樣本）的泛化；
GPT-3.5 instruction following（指令遵循）和tuning（微調(diào)）是最大突破；
GPT-4 已經(jīng)開始實(shí)現(xiàn)工程化。
2023年3月的Plugin是生態(tài)化。
OpenAI的融資結(jié)構(gòu)為什么這么設(shè)計(jì)？和Sam早期目標(biāo)和對(duì)未來的判斷分不開。他知道要融很多錢，但股權(quán)設(shè)計(jì)有一個(gè)很大挑戰(zhàn)——容易把回報(bào)和控制混在一起——所以他要設(shè)計(jì)一個(gè)結(jié)構(gòu)，讓它不受任何股東的制約。于是，OpenAI的投資者沒有控制權(quán)，他們的協(xié)議是一種債的結(jié)構(gòu)。如果賺完2萬(wàn)億，接下來是non-profit（不再盈利了），一切回歸社會(huì)。這個(gè)時(shí)代需要新的結(jié)構(gòu)。
它勢(shì)不可擋。Sam Altman自己都surprise，連他都沒想到會(huì)那么快。
如果大家對(duì)技術(shù)感興趣，Ilya Sutskever（OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家）很重要，他堅(jiān)信兩件事。
第一是模型架構(gòu)。它要足夠深，只要到了一定深度，bigness is betterness（大就是好）。只要有算力，只要有數(shù)據(jù)，越大越好。他們一開始是LSTM（long short term memory），后來看到Transformer就用Transformer。
第二個(gè)OpenAI相信的是，任何范式、改變一切的范式永遠(yuǎn)有個(gè)引擎，這個(gè)引擎能不斷前進(jìn)、不斷產(chǎn)生價(jià)值。
這個(gè)引擎基本是一個(gè)模型體系（model system），它的核心是模型架構(gòu)Transformer，就是sequence model（序列模型）：sequence in、sequence out、encode、decode后者decode only。但最終的核心是GPT，也就是預(yù)訓(xùn)練之后的Transformer，它可以把信息高度壓縮。Ilya有個(gè)信念：如果你能高效壓縮信息，你一定已經(jīng)得到知識(shí)，不然你沒法壓縮信息。所以，你把信息高效壓縮的話，you got to have some knowledge（你得有一些知識(shí)）。
Ilya堅(jiān)信GPT3、3. 5，當(dāng)然GPT-4更是，它已經(jīng)有一個(gè)世界模型在里面。雖然你做的事是predict next word（預(yù)測(cè)下一個(gè)關(guān)鍵詞），這只不過是優(yōu)化手段，它已經(jīng)表達(dá)了世界的信息，而且它能持續(xù)地提高模型能力，尤其是目前研究比較多的在子概念空間當(dāng)中做泛化。知識(shí)圖譜真的不行。如果哪個(gè)同學(xué)做知識(shí)圖譜，我認(rèn)真跟你講，你不要用知識(shí)圖譜。我自己也做知識(shí)圖譜20多年，just don’t do that。Just pretty bad。It does not work at all。You should use Transformer。（不要那樣做。很糟糕。它根本不起作用。你應(yīng)該使用Transformer。）
更重要的是用增強(qiáng)學(xué)習(xí)，加上人的反饋，與人的價(jià)值對(duì)齊。因?yàn)镚PT已經(jīng)做了4年多，知識(shí)已經(jīng)封裝在里面了，過去真的是用不起來，也很難用。
最大的是對(duì)齊（alignment engineering），尤其是instruction following和自然語(yǔ)言對(duì)齊。當(dāng)然也可以跟代碼、表格、圖表對(duì)齊。
做大模型是很難的，很大難度是infra（基礎(chǔ)設(shè)施）。我在微軟的時(shí)候，我們每個(gè)服務(wù)器都不用網(wǎng)卡，都放了FPGA。網(wǎng)絡(luò)的IO的帶寬速度都是無(wú)限帶寬技術(shù)（Infiniband），服務(wù)器和服務(wù)器之間是直接訪問內(nèi)存。為什么？因?yàn)門ransformer是密度模型，它不光是算力問題，對(duì)帶寬要求極高，你就想GPT-4需要24000張到25000張卡訓(xùn)練，試想世界上多少人能做這種系統(tǒng)。所有數(shù)據(jù)、data center網(wǎng)絡(luò)架構(gòu)都不一樣。它不是一個(gè)三層的架構(gòu)，必須是東西向的網(wǎng)絡(luò)架構(gòu)。所以這里要做大量的工作。
Token很重要。全世界可能有40-50個(gè)確定的token，就是語(yǔ)言的token和模態(tài)，現(xiàn)在有更多的token化。當(dāng)然現(xiàn)在更多的模型的參數(shù)小型化、本地化，任務(wù)領(lǐng)域的專業(yè)知識(shí)可以融入這些大模型當(dāng)中。它的可操縱性主要是靠提示和調(diào)試，尤其是根據(jù)指令來調(diào)，或者對(duì)齊來調(diào)試，或者in-context learning（上下文學(xué)習(xí)），這個(gè)已經(jīng)貫徹比較清晰了。它的可操作性是越來越強(qiáng)。可拓展性基本上也足夠。
加在一起，這個(gè)引擎并不完美。足夠好、足夠強(qiáng)的引擎，我沒從沒有過。
以上是引擎，拐點(diǎn)是怎么到的？ChatGPT能在歷史上第一次兩個(gè)月1億活躍用戶，擋都擋不住，為什么？
① 它封裝了世界上所有知識(shí)。
② 它有足夠強(qiáng)的學(xué)習(xí)和推理能力，GPT-3能力在高中生和大學(xué)生之間，GPT-4不光是進(jìn)斯坦福，而且是斯坦福排名很靠前的人。
③ 它的領(lǐng)域足夠?qū)挘R(shí)足夠深，又足夠好用。自然語(yǔ)言最大的突破是好用。擴(kuò)展性也足夠好。當(dāng)然還是很貴，像2萬(wàn)多張卡，訓(xùn)練幾個(gè)月這么大的工程。不過也沒貴到那么離譜——Google可以做，微軟可以做，中國(guó)幾個(gè)大公司能做，創(chuàng)業(yè)公司融錢也能做。
加在一起，范式的臨界點(diǎn)到了。拐點(diǎn)已經(jīng)到來。
稍微啰嗦幾句。我做自然語(yǔ)言20多年，原來的自然語(yǔ)言處理有14種任務(wù)，我能夠把動(dòng)詞找出來、名詞找出來、句子分析清楚。即使分析清楚，你知道這是形容詞，這是動(dòng)詞，這是名詞——那這個(gè)名詞是包香煙？還是你的舅舅？還是一個(gè)墳?zāi)梗窟€是個(gè)電影？No idea（不知道）。你需要的是知識(shí)。自然語(yǔ)言處理沒有知識(shí)永遠(yuǎn)沒用。
The only way to make natural language work is you have knowledge（讓自然語(yǔ)言處理有效的唯一路徑是你有知識(shí)）。正好Transformer把這么多知識(shí)壓縮在一起了，這是它的最大突破。
04
未來是一個(gè)模型無(wú)處不在的時(shí)代
OpenAI未來2-3年要做的——模型更稀疏一點(diǎn)，現(xiàn)在它對(duì)帶寬要求實(shí)在太高，要把a(bǔ)ttention window拉長(zhǎng)一點(diǎn)，或者是recursion causality推理的功能，包括brainstorming等一些工作要做。當(dāng)然有一些grounding的東西，包括亞符號(hào)、子概念的都可以做。更多的模態(tài)，更多的token空間，更多的模型穩(wěn)定性，更多的潛在空間（例如Latent Space對(duì)齊），更多的計(jì)算，更多的基礎(chǔ)架構(gòu)工具。2-3年基本排滿。也就是說，我們大概知道需要什么去把這個(gè)引擎繼續(xù)做大。
不過這個(gè)飛輪啟動(dòng)，主要是資本大量進(jìn)來。美國(guó)2023年1月到3月，擋也擋不住，錢全進(jìn)去了，每個(gè)月都在比上個(gè)月增長(zhǎng)。中國(guó)基本也一樣，商業(yè)模式、盈利模式有初步規(guī)模，基礎(chǔ)設(shè)施、平臺(tái)應(yīng)用、生態(tài)在加速開發(fā)，初創(chuàng)公司、大型企業(yè)都在進(jìn)入。
當(dāng)然社會(huì)的安全、監(jiān)管，一大堆問題——現(xiàn)在這些是OpenAI最頭痛的——Sam在美國(guó)花大量精力讓社會(huì)認(rèn)可這個(gè)技術(shù)。現(xiàn)在OpenAI核心做的是，把推進(jìn)速度變慢，每推進(jìn)新版本，都有足夠時(shí)間讓用戶給他們足夠反饋，找到潛在風(fēng)險(xiǎn)點(diǎn)，有足夠時(shí)間彌補(bǔ)。但加在一起，增長(zhǎng)飛輪的雛形基本上起來了。
有了飛輪，我認(rèn)為發(fā)展路徑核心是模型的可延伸性和未來模型的生態(tài)。是一個(gè)模型無(wú)處不在的時(shí)代。
未來的模型世界會(huì)怎么發(fā)展？首先是將有更多大模型會(huì)出來。更多更完整的模態(tài)和更完整的世界知識(shí)在這里。你有大量的知識(shí)、更多的模態(tài)，學(xué)習(xí)能力、泛化能力和泛化機(jī)制一定會(huì)加強(qiáng)。
此外，會(huì)有更多的對(duì)齊工作要做。OpenAI目前會(huì)關(guān)注什么呢？今天對(duì)齊基本上是做到，有一部分人能接受但你也得罪很多人，很多人每天罵GPT。他們想要做到是足夠?qū)挼囊粋€(gè)對(duì)齊，希望有個(gè)像美國(guó)憲章這樣一個(gè)結(jié)果，雖然ChatGPT不是大家都能夠認(rèn)可，但它足夠平穩(wěn)、綜合，大部分人能接受，這是對(duì)齊工程。自然語(yǔ)言也好，代碼也好，數(shù)學(xué)公式也好，表單也好，有大量對(duì)齊工作要做。
還有更多的模態(tài)對(duì)齊。這里先講human scale的模態(tài)，它主要是對(duì)人的描述，以人的語(yǔ)言為主，它的模態(tài)目前是語(yǔ)言和圖形，以后有更多的模態(tài)會(huì)接入。這是大模型層面。
在大模型之上建立的模型更多了。我判斷主要是有兩類模型和他們的組合。第一是事情的模型，人類每一類需求都有領(lǐng)域/工作模型，其中有結(jié)構(gòu)模型、流程模型、需求模型和任務(wù)模型，尤其是記憶和先驗(yàn)。
第二，人的模型，包括認(rèn)知/任務(wù)模型，它是個(gè)體的，其中有專業(yè)模型，有認(rèn)知模型、運(yùn)動(dòng)模型和人的記憶先驗(yàn)。人基本是這幾類模型的組合，律師也好，醫(yī)生也好，大量領(lǐng)域會(huì)有大量模型往前走。
人的模型和學(xué)的模型有本質(zhì)區(qū)別，這是我過去1-2個(gè)月個(gè)人收獲較多的。
首先，人一直在建立模型。人的模型好處是泛化的時(shí)候更深、更專業(yè)，基本是用符號(hào)（例如數(shù)學(xué)公式）或結(jié)構(gòu)（例如畫流程圖）。它具體用，說實(shí)話都不好用。人的模型要么像物理公式解決很宏觀的問題，要么解決很微觀的問題。我們?nèi)粘Ｉ畹膯栴}，物理一點(diǎn)用都沒有——沒法告訴我這個(gè)樹的葉子的形狀，狗的貓的顏色為什么是這樣子？沒有任何模型可以解這個(gè)。很大問題是它的模型是靜態(tài)的，不會(huì)場(chǎng)景變化。
今天有很多模型，比方說數(shù)字孿生，很難用。因?yàn)槲锢硎澜缫恢痹谧儯@個(gè)模型僵硬、不變，就用不起來。尤其是用知識(shí)圖譜建的模型，我做了幾十年，超級(jí)難算，函數(shù)結(jié)構(gòu)差得一塌糊涂。所以人的模型有好處，專業(yè)性強(qiáng)，但有很大缺點(diǎn)。
學(xué)出來的模型，首先，它本質(zhì)是場(chǎng)景化的，因?yàn)樗膖oken是場(chǎng)景化的。其次，它適應(yīng)性很強(qiáng)，環(huán)境變了，token也變了，模型自然會(huì)隨著環(huán)境變；第三，它的泛化拓展性有大量理論工作要做，但是目前子概念空間的泛化，看來是很有潛在發(fā)展空間的這樣一種模型的特性。它好用，因?yàn)樗梢詫?duì)齊人的使用傾向或人的自然語(yǔ)言、表格等等。它的計(jì)算性內(nèi)在是過程性的。這里有大的問題，就是人表達(dá)知識(shí)傾向運(yùn)用結(jié)構(gòu)，但真正能解決問題的是過程，人不適合用過程來表達(dá)。
ChatGPT代表的模型跟人的模型相輔相成，長(zhǎng)期可以融在一起。我們看到的未來是更多模型的生態(tài)，新的領(lǐng)域、新的專業(yè)、新的結(jié)構(gòu)、新的場(chǎng)景、新的適應(yīng)能力，形成閉環(huán)，不斷加強(qiáng)認(rèn)知和推理能力。當(dāng)然，最終還是要所謂叫g(shù)rounding，跟感知要ground，和接入行動(dòng)的能力，形成真正的智能。
某種意義上20-30年后，這個(gè)模型世界跟生物世界有很多類似的地方。大模型我覺得像基因，有不同的種類，然后進(jìn)化。我們目前能看到未來核心技術(shù)模型世界，它是用這個(gè)方法來向前驅(qū)動(dòng)。
我們基本對(duì)這個(gè)時(shí)代的范式有了結(jié)構(gòu)性的理解。那么接下來，我們?nèi)绾螕肀н@個(gè)時(shí)代？
05
每周都有“HOLY SHIT” moment
對(duì)每個(gè)人、每個(gè)行業(yè)都有結(jié)構(gòu)性影響
我個(gè)人過去10個(gè)月，每天看東西是挺多的，但最近實(shí)在受不了。就真的是跟不上。發(fā)展速度非常非常快。最近我們開始發(fā)行“大模型日?qǐng)?bào)”，是我實(shí)在不行了，論文實(shí)在是跟不上，代碼實(shí)在是跟不上——just too much（太多了）——基本上，每周都會(huì)有一兩個(gè)“HOLY SHIT” moment。
Holy shit！You can do this now。
世界在嘩嘩嘩地變。我曾經(jīng)說1995-1996年有這種感覺，但這個(gè)比1995-1996年還要強(qiáng)。為什么？模型的成本從邊際轉(zhuǎn)向固定，知識(shí)創(chuàng)造就是模型和知識(shí)的獲取，它結(jié)構(gòu)性做演變了。
生產(chǎn)資本從兩個(gè)層次全面提高。第一，所有動(dòng)腦筋的工作，可以降低成本、提升產(chǎn)能。我們目前有一個(gè)基本假設(shè)，碼農(nóng)成本會(huì)降低，但對(duì)碼農(nóng)的需求會(huì)大量增加，碼農(nóng)不用擔(dān)心。因?yàn)閷?duì)軟件的需求會(huì)大量增加，就是這個(gè)東西便宜了，都買嘛。軟件永遠(yuǎn)可以解決更多問題，但有些行業(yè)未必。這是生產(chǎn)資本的廣泛提高。
第二，生產(chǎn)資本深層提升。有一些行業(yè)的生產(chǎn)資本本質(zhì)是模型驅(qū)動(dòng)，比如醫(yī)療就是一個(gè)模型行業(yè)，一個(gè)好醫(yī)生是一個(gè)好模型，一個(gè)好護(hù)士是一種好模型。醫(yī)療這種產(chǎn)業(yè)，本質(zhì)是強(qiáng)模型驅(qū)動(dòng)。現(xiàn)在模型提高了，科學(xué)也隨之提高。在游戲核心產(chǎn)業(yè)，我們的產(chǎn)能將本質(zhì)性、深度提高。產(chǎn)業(yè)的發(fā)展速度會(huì)加快，因?yàn)榭茖W(xué)的發(fā)展速度加快了，開發(fā)的速度加快了，每個(gè)行業(yè)的心跳都會(huì)加快。因此，我們認(rèn)為下個(gè)拐點(diǎn)會(huì)加速。用大模型做機(jī)器人、自動(dòng)化、自動(dòng)駕駛，擋也擋不住。
它對(duì)每個(gè)人都將產(chǎn)生深遠(yuǎn)和系統(tǒng)性影響。我們的假設(shè)是每個(gè)人很快將有副駕駛員，不光是1個(gè)，可能5個(gè)、6個(gè)。有些副駕駛員足夠強(qiáng)，變成正駕駛員，他自動(dòng)可以去幫你做事。更長(zhǎng)期，我們每個(gè)人都有一個(gè)駕駛員團(tuán)隊(duì)服務(wù)。未來的人類組織是真人，加上他的副駕駛員和真駕駛員一起協(xié)同。
毫無(wú)疑問，每個(gè)行業(yè)也會(huì)有結(jié)構(gòu)性影響，會(huì)系統(tǒng)性重組。這里有一個(gè)簡(jiǎn)單公式。今天動(dòng)腦筋的人一天平均工資多少小時(shí)？減掉ChatGPT現(xiàn)在大概平均是15美元/小時(shí)，再過3年可能不到1美元，再過5年可能幾十美分。然后就乘一下有多少數(shù)量。降本或者增效，讓碼農(nóng)能變成super碼農(nóng)，醫(yī)生變成super醫(yī)生。
大家可以按這個(gè)公式算一算。如果你是華爾街的對(duì)沖基金，你可以做空一大堆行業(yè)。
舉個(gè)簡(jiǎn)單例子，律師在美國(guó)平均1500美元/小時(shí)，我在網(wǎng)上已經(jīng)看到每天有這種信息——如果你想離婚，不要找離婚律師，ChatGPT離婚很便宜啊！（全場(chǎng)笑）
開發(fā)人員、設(shè)計(jì)師、碼農(nóng)、研究人員都一樣，有些是更多需求，有些是成本下降。尤其是核心產(chǎn)業(yè)，科學(xué)、教育、醫(yī)療，這是OpenAI長(zhǎng)期最關(guān)注的3個(gè)行業(yè)，也是整個(gè)社會(huì)最根本的。
尤其是醫(yī)療。在中國(guó)，需求遠(yuǎn)遠(yuǎn)大于供給。而且，中國(guó)是大政府驅(qū)動(dòng)的市場(chǎng)經(jīng)濟(jì)，政府可以扮演更大角色，因?yàn)楣潭ǔ杀菊梢猿袚?dān)。
最為重要的是教育。如果你是大學(xué)，你第一擔(dān)心的是，考試怎么考？沒法考了。他一問ChatGPT，什么都知道。更重要的是，以后怎么定義是好的大學(xué)生呢？假定說有個(gè)大學(xué)生什么都不懂，物理也不懂、化學(xué)也不懂，但他懂怎么問ChatGPT，他算不算一個(gè)好的大學(xué)生？機(jī)會(huì)與挑戰(zhàn)并存。
總結(jié)一下，整個(gè)這個(gè)時(shí)代在高速地進(jìn)行，速度越來越快。它是結(jié)構(gòu)上決定的。勢(shì)不可擋。
06
大模型的淘金時(shí)代
對(duì)機(jī)會(huì)點(diǎn)進(jìn)行結(jié)構(gòu)性拆解
現(xiàn)在，我給大家一個(gè)結(jié)構(gòu)化思維框架。某種意義上你可以對(duì)號(hào)入座，知道我在這里，我怎么思考今天的機(jī)會(huì)點(diǎn)。
這張圖是整個(gè)人類技術(shù)驅(qū)動(dòng)的創(chuàng)業(yè)創(chuàng)新，所有事情的機(jī)會(huì)都在這張圖上。
首先，底層是數(shù)字化的技術(shù)，因?yàn)閿?shù)字化是人的延伸。數(shù)字化的基礎(chǔ)里有平臺(tái)，有發(fā)展基礎(chǔ)，包括開源的代碼、開源的設(shè)計(jì)、開源的數(shù)據(jù)；平臺(tái)有前端、后端等。這里有大量機(jī)會(huì)。
第二，波是用數(shù)字化的能力去解決人的需求。我們把數(shù)字化應(yīng)用完整放在這張表上。
1）C端，是把所有的人分成人群，每種人群24小時(shí)，他花時(shí)間干什么？有通訊、社交、內(nèi)容、游戲消費(fèi)、旅游、健身……C端有一類特殊的人，這類人是改變世界的，是碼農(nóng)、設(shè)計(jì)師、研究員。他們創(chuàng)造未來。微軟這么大的公司，是基于一個(gè)簡(jiǎn)單理念：微軟我們就是要寫更多軟件、幫別人寫更多軟件，因?yàn)閷戃浖俏磥怼?/p>
2）B端，企業(yè)需求也一樣，降本增效。它要生產(chǎn)，有供應(yīng)鏈、銷售、客服……有了這些需求之后，數(shù)字化看得見的體驗(yàn)結(jié)構(gòu)有6種：給你信息的，二維就夠；給你三維交互體驗(yàn)，在游戲、元宇宙；人和人之間抽象的關(guān)系，包括信任關(guān)系、Web 3；人在物理世界環(huán)中自動(dòng)駕駛、機(jī)器人等；人的內(nèi)在的用碳機(jī)植入到里面，今天是腦機(jī)接口，以后有更多，以后是可以用硅基；最后是給你模型。
最后，人類是挺奇怪的物種，不光要滿足這些需求，還要改變世界，我們?cè)跐M足世界時(shí)，也要獲得更多能源，所以需要有能源科技；需要轉(zhuǎn)化能源，用生命科學(xué)的形式，biological process轉(zhuǎn)化能源或者使用mechanical process，材料結(jié)構(gòu)來轉(zhuǎn)化能源，或者是新的空間。這是第三波。
所以創(chuàng)業(yè)公司基本上有三類：數(shù)字化基礎(chǔ)，用數(shù)字化去解決人的需求，去改變物理世界。有了這個(gè)大的框架，我們可以系統(tǒng)性地來看對(duì)號(hào)入座：我在哪個(gè)位置？如果我在這個(gè)位置，需要關(guān)注哪些點(diǎn)？
首先講數(shù)字化基礎(chǔ)，它有一個(gè)穩(wěn)定結(jié)構(gòu)，不管再怎么發(fā)展，結(jié)構(gòu)永遠(yuǎn)是這樣。過去30多年，大部分系統(tǒng)或多或少我都碰過，這個(gè)結(jié)構(gòu)確實(shí)相當(dāng)穩(wěn)定。
核心是前端和后端——前端是完整可延伸的體驗(yàn)，后端是完整可延伸的能力，有設(shè)備端，比方說電腦、手機(jī)、眼鏡、汽車等等，設(shè)備端里面是芯片、模組加上操作系統(tǒng)。萬(wàn)億美元的公司都在這一層。
其次是體驗(yàn)的容器，二維的容器，三維的容器，內(nèi)在嵌入的容器。
容器之上，寫代碼都知道畫布，畫布可以是文檔，可以是聊天，可以是代碼，可以是空間，可以是世界，可以是數(shù)字人，也可以是碳基里的蛋白質(zhì)等等。這是前端。
后端也一樣，底層式設(shè)備，服務(wù)器、交換機(jī)、數(shù)據(jù)中心等等，也是芯片、模組、操作系統(tǒng)。
中間這一層非常重要，網(wǎng)絡(luò)數(shù)據(jù)堆棧，分布式系統(tǒng)，區(qū)塊鏈等等。
最上面是云，是能力的供給。能力供給像自然水源，打開就是算力，有存儲(chǔ)和通訊能力。今天的模型時(shí)代，打開就是模型。
下面是數(shù)字化基礎(chǔ)。符號(hào)計(jì)算，或者所謂的深度學(xué)習(xí)，疊加向量的浮點(diǎn)計(jì)算，硅基的，碳基的。
如果你是這里的創(chuàng)業(yè)者，機(jī)會(huì)點(diǎn)在哪里？
① 首先搬運(yùn)信息，這個(gè)時(shí)代還有很多可以做。
② 如果你是做模型的，我現(xiàn)在判斷什么都要重做一遍。大模型為先。很多設(shè)備也要重做，你要支持大模型，容器要重做，這些都有機(jī)會(huì)。云、中間的基礎(chǔ)設(shè)施、底層的硬件，包括數(shù)字化發(fā)展核心的基礎(chǔ)，尤其是開源的體系，這里是真正意義上是有大量機(jī)會(huì)。
③ 第三代系統(tǒng)，即已經(jīng)開始做機(jī)器人、自動(dòng)化、自主系統(tǒng)。孫正義今天all in。這個(gè)也能用大模型做。馬斯克也看到這種機(jī)會(huì)。都是在第三代下一個(gè)拐點(diǎn)，創(chuàng)業(yè)公司完全可以把握的機(jī)會(huì)。
④ 同時(shí)并行的，我把它稱作“第三代++系統(tǒng)”，是碳基的生物計(jì)算，這一類公司有大量的量子計(jì)算，有很多機(jī)會(huì)。元宇宙和Web 3今天點(diǎn)冷，但從歷史長(zhǎng)河角度來講，只是時(shí)間問題，因?yàn)檫@些技術(shù)都能真正意義上帶來未來的人類價(jià)值。
所以如果是這個(gè)創(chuàng)業(yè)項(xiàng)目，基礎(chǔ)層機(jī)會(huì)就在這里。這是最好的生意。為什么？這個(gè)時(shí)代跟淘金時(shí)代很像。如果你那個(gè)時(shí)候去加州淘金，一大堆人會(huì)死掉，但是賣勺子的人、賣鏟子的人永遠(yuǎn)可以賺錢。所謂的shove and pick business。
大模型是平臺(tái)型機(jī)會(huì)。按照我們幾天的判斷，以模型為先的平臺(tái)，將比以信息為先的平臺(tái)體量更大。平臺(tái)有以下幾個(gè)特征：
① 它是開箱即用；
② 要有一個(gè)足夠簡(jiǎn)單和好的商業(yè)模式，平臺(tái)是開發(fā)者可以活在上面，可以賺足夠的錢、養(yǎng)活自己，不然不叫平臺(tái)；
③ 他有自己殺手級(jí)應(yīng)用。ChatGPT本身是個(gè)殺手應(yīng)用，今天平臺(tái)公司就是你在蘋果生態(tài)上，你做得再好，只要做大蘋果就把你沒收了，因?yàn)樗媚愕讓拥臇|西，所以你是平臺(tái)。平臺(tái)一般都有它的錨點(diǎn)，有很強(qiáng)的支撐點(diǎn)，長(zhǎng)期OpenAI設(shè)備機(jī)會(huì)有很多——有可能這是歷史上第一個(gè)10萬(wàn)億美元的公司。
這是一場(chǎng)激烈的競(jìng)爭(zhēng)平臺(tái)之戰(zhàn)，未來一個(gè)體量很大的公司。在這個(gè)領(lǐng)域競(jìng)爭(zhēng)是無(wú)比激烈。The price is too big（代價(jià)實(shí)在太大），錯(cuò)過太可惜。再怎么也得試一試。
今天的模型魯棒性、脆弱性，還是問題。用這個(gè)模型，你一定要一開始稍微窄一點(diǎn)，限制要嚴(yán)一點(diǎn)，這樣的話體驗(yàn)是穩(wěn)定的，等到模型能力越來越強(qiáng)再把它放寬，找到適當(dāng)?shù)膱?chǎng)景，循序漸進(jìn)。質(zhì)量和寬度之間的平衡很重要。另外發(fā)展路徑上，你要考慮今天產(chǎn)品要不要在這個(gè)上基礎(chǔ)上改，重啟爐灶，還是齊頭并進(jìn)。把這個(gè)團(tuán)隊(duì)給改了、重做，還到外面去買公司？
創(chuàng)新，尤其是創(chuàng)業(yè)公司落地，它永遠(yuǎn)是技術(shù)推動(dòng)和需求拉動(dòng)的組合。在落地的過程中，對(duì)需求理解的把控，掌握和滿足需求的方法是一切當(dāng)中最重要。長(zhǎng)期一定是技術(shù)驅(qū)動(dòng)為主，但在落地的時(shí)候?qū)π枨蟮牟鸾狻⒎治觥⑹崂恚芽睾眯枨螅且磺械囊磺小?/p>
有一個(gè)機(jī)密大家今天都知道了——OpenAI是用GPT-4做GPT-5，每個(gè)碼農(nóng)都是放大能力的碼農(nóng)。它規(guī)模效應(yīng)不一樣，馬太效應(yīng)不一樣，從此壁壘和競(jìng)爭(zhēng)格局不一樣，知識(shí)產(chǎn)權(quán)結(jié)果不一樣，國(guó)際化的格局也不一樣。中國(guó)顯然有機(jī)會(huì)。
07
我對(duì)創(chuàng)業(yè)者有幾點(diǎn)建議
創(chuàng)業(yè)公司的內(nèi)在結(jié)構(gòu)是人和事的組合。人，一開始是創(chuàng)始人/創(chuàng)始團(tuán)隊(duì)；他有初心，內(nèi)在驅(qū)動(dòng)力、外在驅(qū)動(dòng)力；他能獨(dú)立思考，判斷未來；他能行動(dòng)導(dǎo)向，解決問題；他能需求導(dǎo)向，找到價(jià)值；最終通過溝通獲得資源。接下來是產(chǎn)品市場(chǎng)匹配，這部分就是研發(fā)技術(shù)、研發(fā)產(chǎn)品、交付產(chǎn)品。商業(yè)模式是收到錢、更多增長(zhǎng)、觸達(dá)更多客戶、融更多錢、一直觸達(dá)到未來的價(jià)值。組織上，通過系統(tǒng)建設(shè)，開拓面向未來的人才、組織結(jié)構(gòu)和文化價(jià)值觀等等。這一切就是一家公司的總和。
我們對(duì)每位同學(xué)的建議是，不要輕舉妄動(dòng)，首先要思考。
① 不要浮夸，不能蹭熱。我個(gè)人最反對(duì)蹭熱，你要做大模型，想好到底做什么，大模型真正是怎么回事，跟你的創(chuàng)業(yè)方向在哪個(gè)或哪幾個(gè)維度有本質(zhì)關(guān)系。蹭熱是最不好的行為，會(huì)浪費(fèi)機(jī)會(huì)。
② 在這個(gè)階段要勤于學(xué)習(xí)。新范式有多個(gè)維度，有蠻大復(fù)雜性，該看到的論文要看，尤其現(xiàn)在發(fā)展實(shí)在太快，非確定性很大。我的判斷都有一定灰度，不能說看得很清楚，但大致是看到是這樣的結(jié)果。學(xué)習(xí)花時(shí)間，我強(qiáng)烈推薦。
③ 想清楚之后要行動(dòng)導(dǎo)向，要果斷、有規(guī)劃地采取行動(dòng)。如果這一次變革對(duì)你所在的產(chǎn)業(yè)帶來結(jié)構(gòu)性影響，不進(jìn)則退。你不往前走沒退路的，今天的位置守不住。如果你所在的產(chǎn)業(yè)被直接影響到，你只能采取行動(dòng)。
接下來我想講幾個(gè)維度——每個(gè)公司是一組能力的組合。
① 產(chǎn)品開發(fā)能力方面，如果你的公司以軟件為主，毫無(wú)疑問一定對(duì)你有影響，長(zhǎng)期影響大得不得了。尤其是如果你是做C端，用戶體驗(yàn)的設(shè)計(jì)一定有影響，你今天就要認(rèn)真考慮未來怎么辦。
② 如果你的公司是自己研發(fā)技術(shù)，短期有局部和間接影響，它可以幫助你思考技術(shù)的設(shè)計(jì)。長(zhǎng)期核心技術(shù)的研發(fā)也會(huì)受影響。今天芯片的設(shè)計(jì)是大量的工具，以后大模型一定會(huì)影響芯片研發(fā)。類似的，蛋白質(zhì)是蛋白質(zhì)結(jié)構(gòu)設(shè)計(jì)。不管你做什么，未來的技術(shù)它都影響。短期不直接影響，長(zhǎng)期可能有重大影響。
③ 滿足需求能力，滿足需求基本就要觸達(dá)用戶，供應(yīng)鏈或運(yùn)維一定受影響。軟件的運(yùn)維可以用GPT幫你做，硬件的供應(yīng)鏈未必。長(zhǎng)期來看有變革機(jī)會(huì)，因?yàn)樯舷掠谓Y(jié)構(gòu)會(huì)變。你要判斷你在這個(gè)產(chǎn)業(yè)的結(jié)構(gòu)會(huì)不會(huì)變。
④ 商業(yè)價(jià)值的探索、觸達(dá)用戶、融資，這一切它可以幫你思考、迭代。
最后是關(guān)于人才和組織。
① 首先講創(chuàng)始人。今天創(chuàng)始人技術(shù)能力強(qiáng)，好像很牛、很重要，未來真的不重要。技術(shù)ChatGPT以后都能幫你做。你作為創(chuàng)始人，越來越重要、越來越值錢的是愿力和心力。愿力是對(duì)于未來的獨(dú)到的判斷和信念，堅(jiān)持、有強(qiáng)的韌勁。這是未來的創(chuàng)始人越來越重要的核心素養(yǎng)。
② 對(duì)初創(chuàng)團(tuán)隊(duì)，工具能幫助探索方向，加速想法的迭代、產(chǎn)品的迭代，甚至資源獲取。
③ 對(duì)未來人才的培養(yǎng)，一方面學(xué)習(xí)工具，思考和探索機(jī)會(huì)，長(zhǎng)期適當(dāng)時(shí)候培養(yǎng)自己的prompt engineer（提示工程師）。
④ 最后講到組織文化建設(shè)，要更深入思考，及早做準(zhǔn)備，把握時(shí)代的機(jī)會(huì)。尤其是考慮有很多職能已經(jīng)有副駕駛員，寫代碼也好，做設(shè)計(jì)也好，這之間怎么協(xié)同？
我們面臨這樣一個(gè)時(shí)代的機(jī)會(huì)。它既是機(jī)會(huì)，也是挑戰(zhàn)。我們建議你就這個(gè)機(jī)會(huì)做全方位思考。
（如需交流歡迎添加作者微信號(hào)，Benita_ZhangJun，煩請(qǐng)備注公司和職務(wù)）
更多精彩內(nèi)容歡迎點(diǎn)擊==>>電子技術(shù)應(yīng)用-AET<<
