《電子技術應用》
您所在的位置:首頁 > 通信與網絡 > 業界動態 > Arm服務器芯片發展史

Arm服務器芯片發展史

2020-01-08
來源:半導體行業觀察
關鍵詞: ARM 服務器

  近年來,因為飛騰、Ampere、Marvell和華為等廠商的投入,Arm服務器芯片的熱潮又被再度燃起。但其實這并不是Arm在服務器芯片的第一次嘗試,而是一個從2008年就開始的規劃。

  下面,我們來跟隨作者的筆觸,來回顧Arm服務器芯片的發展歷程。

  Arm服務器的第一波浪潮,是一家叫Calexda開始,也是由它結束的。雖然我覺得2011的官宣Armv8架構,就是32bit 服務器的終結。但是第一波的浪潮的起伏,并不僅僅是32bit,64bit 那么簡單,還有一個詞Microserver,微服務器。也是當時產業界,包括x86陣營的共同探索。技術上,商業邏輯上,都不錯的產品,在市場上,沒有成功。

  我個人得到的一個觀察:服務器市場是個求穩的保守的市場,相對于活躍的終端市場。

  啟程 2008

  2008年,Arm內部開始醞釀服務器計劃。心動就行動,Arm參與投資了一家當時叫Smooth Stone,后來改名為Calxeda的startup公司。當時的第一輪總投資金額是$48M。

  Calxeda的一開始目標就是降低數據中心的耗能,并且提高相同空間的計算力密度。請記住這兩個目標,此時此刻,我們的初心依舊。

  那一年市面上還是Cortex-A8的產品,而基于第一款多核Ccortex-A9的產品要到3年后才上市。(好懷念那個2,3年才發布一款產品的慢速時代)。

  那時Intel的Xeon還是4個核,當然主頻已經3.xGhz了,而AMD的45nm Opteron CPU也剛剛上市。

  那一年IBM剛剛宣布Power產品線,而且上來就高山仰止的高達64個核。

  蘋果發布了iPhone 3G,就是iPhone2。(對,那時還是3G時代。)

  TSMC 的主流工藝是40nm,年收入$10B。

  我還在一家叫EZchip的公司做NP3,此處NP不是Neural Processor而是Network Processor。那是一個網絡處理器大繁榮的時代,我能說出一長串名字,可惜現在都湮滅了。低調的炫耀一下,其實我最擅長的部分是TM-Traffic Manager 而不僅僅是處理器部分,這也是這家100多人的以色列公司(年營收大約$60M)最突出的特色。此處省略若干文字,真講起來,我能一個人講一周的培訓,收美金的那種。

  Calxeda 2011

  2010年Smooth Stone正式改名字為Calxeda,把總部搬到了Austin。

  2011年 Calxeda發布它的芯片基于A9的芯片EnergyCore ECX-1000。

640.webp (39).jpg

  圖2.1CalexdaEnergyCore架構

  這其實是一個值得細看的一款設計,4核cortex-a9組成的處理器模塊,比較中規中矩,I/O controllers部分也是常規接口(常規接口并不容易,一個好產品的核心是常規部分做到業界一流)。但是管理引擎(management engine)和交換引擎(Fabric Switch)部分就是技術非常創新之舉。

  EnergyCore Fabric是一個集成的L2 switch支持mesh, butterfly tree, 2D Torus拓撲,虛擬端口之間的帶寬可以按1 Gb/sec, 2.5Gb/sec, 5 Gb/sec, 核10 Gb/sec的不同規格分配。通過它,服務器節點可以自己自主成網,不必通過on top switch,因此Calexda的一塊板塊上有4個芯片,也就是16個核心。因此才有可以高達480個核的服務器系統。

  這個設計理念是合理的,如果你設計一塊非常低成本的服務器芯片,但是配套的網絡仍然是昂貴的話,高密度的設計,只會增加成本。這個fabric可以將1024個系統板,也就是4096個芯片用10G網絡接口,集聯為系統。

  EnergyCore ManagementEngine是一個集成BMC,支持IMP2.0和DCMI,還支持遠程調試SoL協議。管理引擎最強的地方在于功耗管理,Calexda這款服務器芯片的功耗可以從4w到1w動態調整。

  每個節點的制造成本大約是$28。

640.webp (38).jpg

  圖2.2 4個節點的Calexda系統板

  2011年,我加入Arm網絡市場部。那時我關注的是還在設計階段的LSI Axxia AXM5500 16-core ARMCortex-A15, Freescale 的QorIQ Layerscape 系列,TI的KeyStone,還有海思的hixxxx系列,那真是一個Arm在網絡市場大爆發的時代。但是很快,一年后,我跟著當時的老板,一位有電影明星氣質的印度裔資深美女,從網絡市場轉為服務器市場,從那時到現在,全心全意的投入服務器市場與生態建設。

  Computex 2012

  2012年,Ian Ferguson在臺北Computex上的公開演講,大約是Arm第一次向公眾介紹服務器方面的努力。和他一起站臺的是Ubuntu的Mark(軟件生態是個大話題,本文主要集中在芯片方面,系統硬件設計和軟件話題另外開文再說)。他引用了Facebook的 Frank說的performance per watt per dollar的價值觀。

  提到Arm服務器,Ian Ferguson必須有姓名(他教我了一句做市場工作的最基本的一句話,“你是打算report news,還是make news?”,現在我也愿意和小伙伴一起說,來來來,我們一起搞事情。)如他在大會上的發言,從Arm打算考慮服務器市場的第一天起,整個業界都充滿了懷疑的論調。不僅僅懷疑是否能成功,甚至從根上,懷疑動機。

  這些問題,我并不著急回答,如果你有耐心讀到最后,一切都自有答案。

  Marvell Armada XP 2013

  在第一波服務器浪潮中,Marvell Armada XP 四核系列,也是要提到的。而且這里的core,不是A9,也不是A15,是Marvell的custom Core。

  也是因為Armada,我把什么叫架構授權,回答得滾瓜爛熟。

640.webp (37).jpg

  圖2.3 MarvellArmada XP

  這款集成度很高,功耗低的SoC非常適合存儲應用。Dell以此為核心,出了“Copper”的arm服務器系統。百度也曾經使用過。這是Arm服務器在互聯網公司的第一個案例。

  Calxeda 倒閉 2013

  如果Calxeda能籌集的第三輪投資,那么按照下面的路標,有一款A15的芯片馬上量產,2款Armv8的芯片在計劃中。但是很不幸,募資工作不成功。 Calxeda從2008年成立,到2013,總投資$103M ($48m in 2010 & $55m in 2012 ), 一共130員工。

  它的結業郵件中說,因為Arm服務器的出現,“the industry will be transformed forever”。從現在看,是的。

640.webp (36).jpg

  圖2.4 Calxeda 路標

  Insight 64 的分析師說,他們在32bit Arm服務器上花了太多錢。是的,2011年Arm宣布了64bit的Armv8,Applied Micro公布了X-gene的計劃,其實第二輪Armv8 的服務器的浪潮就已經展開。

  而Calxeda的倒閉,標志著第一輪的結束。

  第二波 Armv8.0 (2011-2018)

  雖然頂著編年史這種文藝的名字,我是想把它寫成一個技術分析文章,重點在Arm服務器芯片的特點與演進,不是解釋為什么這個公司成功,那個公司不成功。其實一個產品分析好做,一個公司的成敗,偶然因素真的影響很大。

  第二波的三個關鍵詞是自研核心(custom core),主流性能,標準設計。在Arm服務器的初始歲月里,芯片設計公司來自各個不同的領域,帶著自己對服務器CPU芯片的理解,各自交出了自己的產品。我把重點放在APM的X-gene,Cavium的ThunderX與高通的Centriq 2400上。同時也努力把所有的其它芯片都給一個線索,供有興趣的人,自己深入。

  我做了一個excel表格,努力的比對所有的服務器SoC,包括公司規模,投資與花費的人力資源。有緣線下做交流。

  再說一段,因為在這一段歷史中自研核占了多數,而且關于架構,ISA的爭論一直不斷,我不想展開說,因為會偏題。在一個做私有云的大牛那里學到一個詞,“累計優勢”,做CPU,做ISA,做芯片,其實也在一個緩慢的累計優勢。這些年,我有帶著客戶的需求,案例,測試數據,信心滿滿地前往公司總部找架構師或者產品經理,要求改設計,增加指令的時候(是的,我還管這事),結果么?我不能說我一次也沒有成功,但是我家架構師和產品經理,都是狠角色,在對拼數據和應用案例方面,鮮有敗績。

  另外,Hock Tan一定要提一下,這人簡直就是Arm服務器的發展道路和我職業生涯中的荊棘,一個拿了double kill 雙殺的男人。他先收購Broadcom,賣掉服務器芯片項目,然后提出收購 Qualcomm,高通的管理層為了自保,提出每年消減1B的開銷,因此自我了斷所有長期投資項目,運作良好的服務器項目就這樣躺槍了。

  AppliedMicro – X-gene (2011)

  2011年10月,在Arm第一次宣布ARMv8架構的同時,Applied Micro公布了它們的自架構x-gene計劃(大新聞都是和關鍵客戶一起發布的)。

  如果你在那個時代讀新聞,你會留意到SoC這個概念,當然現在,SoC這個概念不用解釋了。那個時候,還是需要強調 SoC等于chip + chipset的集成設計。

  X-gene的第一代是8個自研核心-Storm,兩個核共享256KB的L2 cache,這跟Arm的4個核一個cluster不同。下一章講的AMD的代號Seattle的Opteron A1100 processor,也沒有用4個Cortex-A57的一個cluster,兩個cluster的設計,而是2個A57,4個cluster的設計。AMD的A1100的兩個A57,共享1MB的L2 cache,比X-gene大4倍。但是X-gene的自研核Storm是4 issue的, A57仍然在3 issue的能效比的甜蜜點上。

640.webp (35).jpg

  圖3.1 APM的X-Gene spec

640.webp (34).jpg

  圖3.2 APM的X-Gene產品路標

  現在,連手機CPU都奔著6 issue去了,從這點上看,自研核,還是展現自己對業界發展洞見的好武器。

  X-gene為8個核,配了4個memory通道,這個也是在x86陣營中少見的CPU:memory比例。而且集成了2個10G NIC,支持RoCE,算是SoC的優勢。

  Applied Micro官方資料給出的能耗參數,滿負荷狀態,一個核2瓦,idle狀態,僅僅0.5w。

640.webp (33).jpg

  圖3.2 X-Gene的框架圖

  我對X-Gene設計印象最深的部分是MSLIM ,這是4個A5組成的小處理器cluster,提供加速功能。我不知道到底有沒有客戶使用這個處理器組,也不知道當年的設計理念。

  從設計到成品,有多少設計被客戶忽略,有多少設計到了客戶手里超常發揮,我覺得架構師也會感覺迷茫,工程的世界里竟然也有許多的不確定性。

640.webp (32).jpg

  圖3.3 X-Gene die

640.webp (31).jpg

  圖3.4 X-Gene CPU模塊

  沒有整個die的信息,不過有處理器模塊的信息。每個處理器模塊,有2個core,共享的L2,在40nm的工藝下,14.8 mm?,84M transistors。照著這個尺寸,我估計整個die是300 mm2

  Anandtech曾經有篇蠻詳細,也蠻負面的評測報告。中心意思就是尚未成熟,性能,能效比優勢也不明顯。它測試的是HPE的moonshot系統,HPE的官方文件其實對X-gene評價頗高,因為X-gene是第一款量產的Arm 64bit 服務器芯片,初期的軟件伙伴們,都是用著它家的系統的。

  我知道Applied Micro-APM的時候,它還叫AMCC。 AMCC團隊算是硅谷老牌做CPU的不多團隊之一,不過是做PowerPC的。它在多核路上不太順利,所以換了Arm重新開始。大約因為是老牌CPU設計團隊,他們一上手就選了最高難度的架構授權,自研核的路線。我曾經為了它和同事爭論到面紅耳赤,跟他說,我站起來是條漢子,倒下去還是條漢子。我同事,性別男,氣笑了,說,行,行,你是條漢子。

  X-gene2大體上是X-gene1的28nm的tick實現,略。

  eMAG-X-Gene3 2018

  我猶豫許久,不知道該把這顆Ampere重新設計的eMAG,歸為第二波尾巴,還是第三波的開頭。按照核心的原設計脫胎于X-Gene 3來說,還是第二波尾巴。

640.webp (30).jpg

  圖3.5 Ampere eMAG

640.webp (29).jpg

  圖3.6 Ampere 產品優勢

  32核List price 是 $850,一個相對非常有競爭力的價格。框架圖看起來很熟悉,不分析了。

640.webp (28).jpg

  圖3.6 Ampere eMag 框架圖

  AMD’s A1100 (2012)

  在Armv8架構推出一年之后,Arm發布了A57和A53兩款 cortex-A5x系列的產品,按照國際慣例,一個重磅的合作伙伴在發布會與Arm一起閃亮登場,AMD。

  這款內部代碼名為Seattle,屬于Opteron系列,后面的正式產品名字是A1100的芯片,現在在AMD主線產品歷史上找不到的產品。

  AMD當時花了蠻長的時間,解釋為什么要做Arm服務器,怎么定位公司內部的x86與Arm的產品線,甚至為了穩定外界的懷疑,推出了僅僅活在新聞中的K12 (2015)。

  如果我們回頭看2012年,有一個名詞,不能忽略,“microserver”,而那個時候,AMD剛買了SeaMicro,一個圍繞著 Freedom Fabric打造高密度,低功耗的系統的公司。這個Fabric,超高密度(very-high-density),低功耗,聽起來耳熟不? Calexda的路數啊。下圖是10U的尺寸,共有768個CPU,包括了四個GE交換機和一個流量均衡器(a loadbalancer)。

640.webp (27).jpg

  圖3.7 Calexda 10U系統

  在這樣的系統設計下,配一顆超低功耗的Arm處理器,合情合理多了吧?因此選Arm的標準核Cortex-A57,縮短開發時間,節省開發費用,也是順理成章的事情,都在合理邏輯之內。

  Cortex-A57的資料滿世界都是,我就不在這里羅列了。前一章有提,AMD選了2 core 4 cluster的配置,而不是手機AP常見的4 core 2 cluster。好處么,自己體會一下。

  這顆芯片的list price是$150,也是很有殺傷力。

640.webp (26).jpg

  圖3.8 AMD Opteron A1100框架圖

640.webp (25).jpg

  圖3.9 AMD Opteron A1100 Floorplan

  某種意義上,AMD這顆Seattle雖然被列入第二波浪潮中。它的設計理論完全是第一波的。K12才是第二波的。

  可是看看K12的設計目標,在AMD的框架下,為什么要做Arm,自然是x86啊。Jim Keller這個男人本來是跟K12聯系在一起的。但是… … ,這個風一樣不羈的男子啊。

  Intel的對于此輪浪潮的反應是14nm “Xeon-D”。

  Cavium ThunderX 2014

  某種程度上, Cavium的48核ThunderX 才是真正開啟第二波Arm服務器浪潮的產品。它湊齊了一顆主流服務器芯片應有的所有特點,例如雙路和性能。

  Cavium做為一家僅僅有AMD1/10大的公司,很早就有超多核處理器的設計能力,只是之前是MIPS網絡應用處理。

  雖然只有2 issue的自研核,單核性能較弱。但是整個SoC的設計,特別多路設計,是出色的。而且因為網絡處理器方面的積累,這顆芯片的加速引擎與IO接口非常豐富。

  而且為了降低功耗,可以有選擇的關閉加速引擎,變成4種不同的配置: 云計算版本,存儲版本, 運營商版本,安全版本。

640.webp (24).jpg

  圖3.10 Cavium ThunderX 框架圖

  Anandtech有個非常不錯的性能測試,有助于對 Cavium ThunderX的理解。

  BroadcomVulcan ThunderX2

  這是很糾結的一節。如果說Broadcom Vulcan,那是2016的左右的事情。如果說Cavium的Thunder X2 那是2018年的產品。然后就迅速變成了Marvell的ThunderX2。本來是同期規劃的產品,結果,各種曲折離奇的竟然二合一。有的時候,我都不相信,我們這個產業,也有這么多戲劇化的故事。

  說起來,源自RMI的Broadcom的CPU設計團隊,和Cavium的CPU設計團隊,有好多共同點,都是MIPS系的,都是做網絡出身。但是跟Cavium老是做2 issue小核不同,Broadcom團隊從一開始就擅長做多線程。因此在規劃的時候Vulcan就是逆天的4線程。此時ARM陣營里,還沒有多線程的處理器呢。

  Broadcom原先的設計目標是16nm,die size 600 mm2,32核,每核4線程,支持雙P系統。被Cavium收購之后,die size未披露。

  最高配的CN9980,32核,2.5Ghz,TDP 200W。2.2Ghz,180W的CN9980,價格在$1795,而16核的CN9960,1.6 Ghz,75W售價 $800

  而它的目標市場,或者說可見的design win集中在HPC市場。

640.webp (23).jpg

  圖3.11 ThunderX2的框架圖

640.webp (22).jpg

  圖3.12 ThunderX 2 布局

640.webp (21).jpg

  圖3.13 ThunderX2 IO接口

  Qualcomm 2017

  在2017年高通向市場推出原代號為“Amberwing”的48核10nm的Centriq 2400的同一周,高通公司接到了博通公司的$130收購要約。

  據估計,這顆Centriq 2400,歷時4年,花費在 $100M到 $125M,幾百名工程師的投入。期間,高通還做了一款24核的Centric 1200作為測試原型。

  Centriq 2400有18Btransistors,398mm2,三星的10nm工藝,比thunderX2小巧多了。雖然它是單P處理器,但是對多年多代服務器發展規律,這本來不成問題。

640.webp (20).jpg

  圖3.14 Centriq 2400

640.webp (19).jpg

  圖3.15 Centriq 2400的微架構對比

640.webp (18).jpg

  圖3.16 Centriq2400的框架圖

  這顆含著金鑰匙出生的芯片,一路順風順水的到tape out,直到那位叫Hock Tan的黑天鵝的出現。

  從價格功耗表上看,Centriq2400的定價與ThunderX2基本一致。

  Centriq 2400的CPU核名字為“Falkor”的自研核。最高2.6Ghz,是高通的第五代自研核。如果有的話,下一代核是“Saphira” ,芯片的名字叫“Firetail”。但是沒有然后了,高通取消了服務器芯片項目,也標志著第二輪Arm服務器的浪潮的尾聲。

  Samsung(2012-2014)

  主線寫完,支線也要寫。

  Samsung的Arm 服務器的故事,在國內知道的人少,但是上過華爾街日報的。Samsung也從來沒有官宣過,整個項目起的時候,大家是猜測,滅的時候,大家也都是傳聞。

  2007年 Samsung在Austin投資$3.5b建工廠,2010成立Samsung Austin Research Center,開始招芯片設計工程師,然后招了一位AMD的VP做Austin的VP。大家的猜測是服務器芯片也在這個Austin研究中心的計劃中。

  其實,Samsung進入服務器SoC設計的邏輯可以和高通很接近,但是當時高通有CEO的支持,還有那樣的黯然收場,而一家韓國公司的美國分支部門,想撐起一個大服務器芯片的設計,有多困難,可以想象。

  Nvidia Project Denver 2011-2014

  Nvidia是一個我非常尊敬的公司,也是硅谷現存的仍然是創始人做CEO的極少數公司了。但是這一章,我寫了幾次,都寫不下去。大約是Nvidia仍然是GPU為主線的公司,它的CPU的發展邏輯,屬于面向應用規劃的那種放飛型。

  這是一個從Tegra開始,到Carmel,集成Arm CPU在復雜功能芯片的路徑。 其實,看起來更像是系統公司的芯片規劃路徑。因為本文集中在通用服務器芯片的分析,否則Nvidia家的產品路線,絕對值得一個完整的大章分析。

640.webp (17).jpg

  圖3.17 Tegra Arm CPU

640.webp (16).jpg

  圖3.18 Eegra K1

640.webp (15).jpg

  圖3.19 Carmel CPU

  Balkal

  俄羅斯的第一顆28n芯片BE-M1000,其實不應該算在服務器類,不過它涵蓋了工作站。這個芯片公司跟日本的Fujitsu,中國的飛騰,一樣都是從超算項目中孵化出來,獨立運作,更注重商業成功一點。

  我當年是看過他們計劃的超強路標的。但是從路標到產品落地,這中間的三五年的時間,太多變數,因此風消云散的多了。

  說到做芯片這事,這是超算的同志們的傳統強項。前面說到的某個服務器SoC,其實也來自于超算市場的推動。后面,我會說到歐洲,歐洲的同志們也開始發奮圖強要自己動手做芯片了。

640.webp (14).jpg

  圖3.20 Balkal BE-M1000

  Phytium

  飛騰的芯片的公開信息,來自hotchips 2015。最新的路標,來自飛騰總經理竇強2019年12月19日的公開分享。

  恕不展開。

  HiSilicon 1616

  海思的1616是鯤鵬920的前一代,比較低調的一代。華為官網上沒有介紹。我也就不放任何外網資料。

  關于海思,我覺得可以按照《明朝那些事》的風格寫部史詩級的著作,再補一個《海思群雄譜》的人物傳記做后傳。文科生寫像海思這種公司,寫不出氣勢,得我這種理工科的文藝青年。萬事俱備,就差兩件事就可以動手,一是海思宣傳部預付的稿費,當然網友眾籌也可以考慮, 二是要等我退休哈。

  Socionext

  Socionext這顆"SynQuacer?" SC2A11大約是唯一一顆Cortex-A53的24核芯片了吧?

640.webp (13).jpg

  圖3.21Socionext SC2A11框圖

  這顆芯片,不能光看芯片,要看系統設計。

  圖3.22Socionext SC2A11服務器系統

640.webp (12).jpg

  這種小核,高密度系統,有相似感覺了吧?那個時代的設計。

  私評尾聲

  2012-2014這幾年,我飛臺灣飛到吐血。我在我的硬盤了找到一份當時的資料。當時臺灣的業界有個說法,ODM Direct模式改寫產業鏈生態。ODM Direct 模式確實立住了,但是生態系統中的強者并不是ODM,是End Users,是那些個寫著我們可以控制從power grid到gate的Hyperscale們。

  第二波浪潮還是半導體業界和系統廠商推動的,那么第三波,就是終端用戶自己下海弄潮了。

  第三波 Neoverse

  Drew Henry(建議大家去讀讀他在Linkedin上的簡介,堪稱高管簡歷模版)這個男人也是要在Arm 服務器歷史上留下名字的。在他加入Arm一年之后,2018年10月 Arm Tech上,他宣布Arm在Infrastructure 市場上有了自己的品牌(Neoverse)和冰公布了每年一代,每代提升30%的路線圖。

  這是第三波浪潮的開始,只是深水靜流,那個時候,世界還是靜悄悄的。

  而我還記得為了湊齊發布會上的那些大廠logo的那些瑣碎工作,還有伙伴們的給力支持。

640.webp (11).jpg

  圖4.1 Arm NEOVERSE路標

  Huawei Kunpeng 920

  2019年1月7日,有大徐總之稱的徐文偉發布了鯤鵬920。

  我只放我覺得重要的公開圖,怎么解讀,就看各位自己了。

  這是顆世界先進級的產品,無論哪個方面,包括關注的熱度。

640.webp (10).jpg

  圖4.2 鯤鵬920的發布會圖

640.webp (9).jpg

  圖4.4 鯤鵬920 4P互聯圖

  AWS Graviton2

640.webp (9).jpg

  圖4.5 Graviton1 & Graviton2

  即使2018年11月AWS發布了Graviton,并且用Neoverse稱呼了這個16個cortex A72 的自制芯片。世界并不震驚。現在看,16核A72 16nm@2.3GHz,確實更像是試水。

  特別是看看2017年AWS發布的也是由2015年收購的以色列創業公司Annapurna labs團隊開發的Nitro芯片。

  但是2019年的AWS Graviton 2就是驚艷級別的產品了。64核 Neoverse N1,30 Billion transistors,7nm的工藝,推測die size應該在 300-350mm?,官宣高于Intel Xeon-based 5th代處理器40%的性能,還有高達25 Gbps的網絡帶寬和18 Gbps of 優化EBS的帶寬。

640.webp (8).jpg

  圖4.6 SPEC cpu 2017

640.webp (7).jpg

  圖4.7 AWS Graviton2支持的EC2

  Ampere QuickSilver 2019

  Ampere順著AWS的graviton的正面風潮,透露了7nm 80核N1 代碼名字為QuickSilver的下一代計劃。最亮眼的是新芯片支持2 socket的配置,這要感謝Arm mesh IP (CMN-600)在CCIX方面的努力。

640.webp (6).jpg

  圖4.8 Ampere產品路標

  除了讓人覺得帥到炸裂的80核N1設計之外,QuickSilver擁有128 PCIe4 lanes這樣的豪華配置。還是Nividia家CUDA-on-ARM的核心伙伴。

  這是我2020最期望的一顆芯片,畢竟能買到啊,AWS的graviton只能買云服務。

  MarvellThunderX3

  接著AWS的熱度,公布自己下一代計劃的不僅僅有Ampere,還有我們的老牌公司Marvell,因此我們知道了ThunderX3 processor的自研核的名字是“Triton”,還看到了每兩年一代,每代性能翻倍的強勁產品路標。

640.webp (5).jpg

  圖4.9 ThunderX 路標

640.webp (4).jpg

  圖4.10 ThunderX3的增強部分

  Fujistu A64FX 2016

  最喜歡的要放到最后。我的同事,在跟與一位伙伴討論memory選擇的時候,說“高吞吐,大容量和便宜三者之間,你只能選兩個”,這句話非常有哲理了,如果有三項都可以兼顧的方案,大家就不糾結了。有糾結,肯定是有難選的地方,我個人偏好那種“除了貴,沒別的毛病”的方案,但是請放心,給伙伴推薦的時候,我絕對不會表露這種個人傾向性的。

  富士通的這款A64FX其實不是服務器芯片,是用來做超算的,恰恰就是那種“除了貴,沒別的毛病”的產品。

  2016年arm宣布了ArmV8的指令集擴展SVE- Scalable Vector Extension,國際慣例,一個大客戶會出來站臺,這就是是Fujistu-富士通,它的Post-K,傳聞中拿了$1.24 billion日本國家資金的超算項目,會采用Arm架構,而不是他們以前的SPARC。而且A64FX是第一款支持SVE的Arm處理器。

640.webp (3).jpg

  圖4.11 A64FX的緩存層級和速度

  2018年富士通在hotchips上公開介紹了A64FX這顆芯片。先看硬參數:8.8 billion transistors (這個不算多,AWS Graviton2 有30B) ,7nm。48個自研核加上4個同質的管理核,其實是4個處理器cluster,每個cluster是13個核。核間互聯是自研的第二代TOFU -6D mesh/torus片上網絡(第一代TOFU的口碑超級好),配的32GB HBM2 (超豪華配置),16PCIe 3.0 lanes (這個不算多,估計也不想接什么外設),1024 GB/s的存儲帶寬,2.7 TFLOPS @ 64bit,21.6 TFLOPS@8bit 的性能。Nvidia Tesla P4和P40,在8bit整數的時候,分別是22 TFlops和47TFLOPS,頗有一拼。

  A64FX的cache層級,吞吐很高,執行流水線,電源管理,RAS都很有特色,有興趣可以讀一下hotchips的文檔。

640.webp (2).jpg

  圖4.12 A64FX的floorplan

640.webp (1).jpg

  圖4.13 Fugaku節點(液冷的)

  A64FX這種強悍的性能,可以不用和GPU組合,因此Cray在和富士通合作,把A64FX做進 CS500 clusters和未來Shasta系統中。

  其它的新入者

  2019年11月,一家叫Nuvia的創業公司,在SC會議期間,浮出水面。這家公司創始人的背景,蘋果的訴訟,立刻登上了頭條。沒有產品之前,讓我們記住他們的口號"deliver industry-leading performance and energyefficiency for the data center" 。

  歐洲的歐洲處理器聯盟-EPI (https://www.european-processor-initiative.eu/project/epi/)也是一個以設計服務器級的CPU為目標的努力。不多說,看路標。

640.webp.jpg

  圖4.11 EPI路標圖

  總結

  我在試圖回答Arm為什么要做服務器的時候,我能想到的就是“先進生產力”這5個字。什么叫先進生產力, Frank Frankovsky,Facebook VP of Hardware Design and Supply Chain Operations 也是個要有名字的男人。他提出 the most useful work per watt per dollar。真正能用上的算力除以買服務器花費與運營服務器所花的電費就是這個服務器的代表的生產力,這個值標志了先進性。

  延伸一下,對產業鏈上的人就是the total useful work per total investment,提供有用計算力除以總投入的資金(時間,工程師的智慧與心血),這就是這個技術/方案/ISA/產品的生產力是否先進的指標。這也是我寫這篇編年史的一條暗線,多少投入,第三波浪潮會帶來多少產出。

  真正的先進生產力,是屬于全世界的,也是全世界共同努力的結果。

  先進的產品是一行行的代碼,一個個wafer累積出來的。

  祝大家2020萬事如意。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 免费毛儿一区二区十八岁 | 欧美视频黄色 | 亚洲经典千人经典日产 | 国产精自产拍久久久久久蜜 | 一级黄片一级毛片 | 久久视频在线观看免费 | 三级毛片网| 久久久久久久97 | 午夜小视频在线播放 | 欧美日本在线播放 | 精品无码人妻一区二区三区不卡 | 中国凸偷窥xxxx自由视频 | 久久91精品国产91久久跳 | 精品久久欧美熟妇www | 成人性视频在线 | 中文字幕一区二区三区有限公司 | 中文字幕熟妇人妻在线视频 | 色吧av| 小罗莉极品一线天在线 | 色呦呦网站在线观看 | 99久久99久久精品 | 国产伦精品一区二区三区千人斩 | 午夜剧场免费在线观看 | 又黄又爽的视频在线观看 | 爱色成人网 | 国产精品高潮呻吟久久av黑人 | 在线免费观看日本视频 | 少妇放荡的呻吟干柴烈火动漫 | 成人羞羞视频在线观看免费 | 国产美女av| 天天综合日韩 | 特黄视频免费看 | 久久久综合亚洲91久久98 | 狠狠色综合网久久久久久 | 男女视频久久 | 亚洲人体视频 | 亚洲经典一区二区三区 | 亚洲精品无人区 | 寂寞少妇让水电工爽了一小说 | 性生交大片免费全片 | 亚洲一区二区三区四区的 | 亚洲成人自拍 | 在线观看成人网 | 五月婷久久 | 日本精品入口免费视频 | 国产片网址 | 欧美午夜视频 | 精品国产髙清在线看国产毛片 | 禁止18在线观看 | 午夜dj在线观看免费视频 | 国产美女亚洲精品久久久毛片小说 | 久久久久女人精品毛片九一 | 免费中文av| 综合天堂av久久久久久久 | 亚洲综合另类小说色区一 | 91久久精品国产 | 在熟睡夫面前侵犯我在线播放 | 国产色频| 午夜欧美激情 | 国产伦精品一区二区三区综合网 | 另类图片婷婷 | 国产精品久久久久久福利一牛影视 | 亚洲精品色在线网站 | 又湿又紧又大又爽a视频国产 | 国产情侣一区二区 | 亚洲爆乳无码专区 | 一边捏奶头一边高潮视频 | 午夜在线观看视频 | 91免费看片 | 国产丝袜视频 | 国产又黄又爽又色的免费视频白丝 | 福利片一区二区三区 | 亚洲青青草原 | 国产精成人品日日拍夜夜免费 | 亚洲精品视频一区二区三区 | 亚洲桃花综合 | 狠狠操综合 | 成人午夜小视频 | 无码国内精品人妻少妇 | 欧美日本道 | 香港三日三级少妇三级99 | 蜜桃视频无码区在线观看 | 两个人日本www免费版 | 牛牛a级毛片在线播放 | www国产免费| 欧美极品jiizzhd欧美爆 | 91超碰caoporn97人人 | 又长又硬又粗一区二区三区 | 超碰在线人人干 | 狠狠色噜噜狠狠狠狠97俺也去 | 综合五月激情二区视频 | 嫩草福利视频 | 51免费看片视频在线播放 | 亚洲天堂一二三 | 国产日产亚洲系列最新 | 国产欧美一区二区三区四区 | 成人a v视频| 亚洲成人第一区 | 日日碰狠狠丁香久燥 | 久久99国产精一区二区三区 | 国产日韩亚洲 | 日韩欧美一区二区视频 | 粉嫩粉嫩一区性色av片 | 欧美日韩高清在线 | 久久久噜噜噜久久中文字幕色伊伊 | 亚洲精品一区二区三区在线观看 | 国产瑟瑟视频 | 亚洲精品久久久久久中文传媒 | 丁香五月亚洲综合在线 | 欧美俄罗斯乱妇 | 孕妇怀孕高潮潮喷视频孕妇 | 精品国产一区二区三区四区在线 | 午夜精品欧美 | 日本r级无打码中文 | 国产明星精品一区二区刘亦菲 | 无码专区天天躁天天躁在线 | 午夜在线免费视频 | 午夜精品久久久久久久久 | 色婷婷综合中文久久一本 | 色狠狠一区 | 欧美乱大交做爰xxxⅹ小说 | 美女又爽又黄网站视频 | 久久精品无码一区二区三区 | 色国产精品一区在线观看 | 欧美一乱一性一交一视频 | 制服丝袜在线播放 | 4438x五月天| 新91在线 | 美女18毛片 | 色呦呦麻豆 | 国产高清亚洲 | 欧美又大又色又爽aaaa片 | 亚洲日本一区二区一本一道 | 亚洲 美腿 欧美 偷拍 | 欧美成年黄网站色视频 | 国产福利av | 欧美精品久 | 51免费看片视频在线播放 | 黄色一级免费视频 | 欧美激情一区二区三级高清视频 | 2024av视频| 久久国产加勒比精品无码 | 精品无码午夜福利理论片 | 日韩一区国产二区欧美三区 | 欧美大胆少妇bbw | 婷婷丁香六月天 | 天天色综合色 | 日韩精品中文字幕无码一区 | 国产真实乱人偷精品人妻 | 亚洲精品日韩欧美 | 国产精品精品国产 | 在线a亚洲视频播放在线观看 | 青青草官网 | www日本在线观看 | 好吊视频一区二区三区四区 | 超碰在线日韩 | 狠狠操很很干 | 美女屁股眼视频网站 | 调教大乳女仆喷奶水 | 欧美日韩国产伦理 | 亚洲视频1区 | 高清乱码男女免费观看 | 91精品国产色综合久久久蜜香臀 | 热热久| 国产性猛交普通话对白 | 免费无遮挡无码永久视频 | 一本色道88久久加勒比精品 | 蜜桃av抽搐高潮一区二区 | 中文字幕在线一区 | 亚洲自偷自偷在线制服 | 四虎成人精品 | 亚洲国产精品久久久久秋霞不卡 | 国产999精品久久久影片官网 | 北条麻妃在线一区二区 | 国产crm系统91在线 | 国产精品va无码免费 | 精品动漫3d一区二区三区免费版 | 久久综合av| 最近日本免费观看高清视频 | 女人色偷偷aa久久天堂 | 中文字幕av日韩精品一区二区 | 老色69久久九九精品高潮 | 欧美精品韩国精品 | 在线不卡aⅴ片免费观看 | 精品国产91久久久 | 亚洲浮力影院久久久久久 | 999久久久无码国产精品 | xxx国产精品视频 | 日日摸夜夜添狠狠添久久精品成人 | 亚洲综合无码无在线观看 | 色婷婷国产| 久久国产麻豆 | 国产一区欧美 | 四虎影视4hu4虎成人 | 丰满的继牳3中文字幕系列 丰满的少妇xxxxx人伦理 | 黑白配高清在线观看免费版中文 | 日本一级大全 | 国产精品精品视频一区二区三区 | 337p日本欧洲亚洲大胆色噜噜 | 国产毛片久久久 | 国产深夜视频在线观看 | 91超碰在线免费观看 | 丰满多毛的大隂户视频 | 看黄a大片日本真人视频直播 | 草久久免费视频 | 与亲女洗澡时伦了毛片 | 欧美一级特黄视频 | 国产一区二区在线免费 | 欧美大成色www永久网站婷 | 精品黄色网 | 国产理论av | 四虎影视大全 | 91精品啪在线观看国产手机 | 欧美啪视频 | 黄色网久久 | 成人性生交视频免费看 | 老熟仑妇乱一区二区 | 91丨九色丨喷水 | 免费在线日本 | 又大又粗欧美黑人aaaaa片 | 四虎在线观看视频 | 超碰97免费在线 | 亚洲国产精品肉丝袜久久 | 日本少妇免费视频一三区 | 日韩中文字幕av | 日韩av无码免费播放 | 日本一区视频在线观看 | 视频福利一区 | 秋霞一级全黄大片 | 国产在线精品播放 | 亚洲精品一区二区三区在线 | 国产人成看黄久久久久久久久 | 国产又粗又硬又猛的免费视频 | 久草热视频 | 老司机亚洲精品影院无码 | 亚洲愉拍99热成人精品 | 亚洲精品日韩丝袜精品 | 精品久久人妻av中文字幕 | 青青青av| 97丨九色丨国产人妻熟女 | 国产精品久久国产三级国不卡顿 | 99在线观看免费视频 | 波多一区二区 | 色窝窝无码一区二区三区色欲 | 亚洲国产精久久久久久久 | 狠狠色噜噜狠狠狠8888米奇 | tushy超清4k欧美极品在线 | 亚洲精品无码av中文字幕电影网站 | 亚洲第一页视频 | 中文字幕日韩精品有码视频 | 亚洲一二三视频 | 免费av网站在线观看 | 片黄在线观看 | 99在线成人精品视频 | 中文字幕一区2区3区 | 殴美一级片 | 六月丁香在线视频 | 成人婷婷网色偷偷亚洲男人的天堂 | 欧美一区二 | 一级特黄特色的免费大片视频 | 人妻少妇被粗大爽9797pw | 天天插综合网 | 成人一区二区三区久久精品嫩草 | 小黄鸭精品密入口导航 | 愉拍自拍第43页免费 | 免费超爽大片黄 | 亚欧洲乱码视频 | 国产精品视频分类 | 久久精品久久综合 | 国产同性女女互磨在线播放 | 亚洲天堂av一区二区三区 | 人人妻人人澡人人爽国产一区 | 欧美精品在线一区二区三区 | 中文无码一区二区不卡αv 精品少妇人妻av免费久久洗澡 | 亚洲图片欧美激情 | 九九操| 中文字幕欧美人妻精品一区 | 免费人成年激情视频在线观看 | 丁香啪啪综合成人亚洲 | 欧美亚洲一级 | 国产做爰视频免费播放 | 91亚洲精华国产精华 | 亚洲国产字幕 | 性色生活片 | 国产91在线视频观看 | 一级做a爰片性色毛片视频停止 | 成人免费看片&#39 | 成年人在线观看视频免费 | 亚洲成人三区 | 欧美疯狂做受xxxxx高潮 | 国产农村妇女精品久久 | 又湿又紧又大又爽a视频国产 | 青青草网址| 97干干干 | 亚洲色偷偷男人的天堂 | 30一40一50老女人毛片 | 真人作爱90分钟免费看视频 | 一区二区三区视频免费在线观看 | 欧美在线视频免费观看 | 欧美老熟妇乱大交xxxxx | 精品成人av一区二区三区 | 日日色av | 国产真实乱人偷精品人妻 | 爱爱免费视频网站 | 日韩精品视频一区二区三区 | 国产无毛片 | 欧美做受高潮中文字幕 | 91精品国自产在线偷拍蜜桃 | 神马午夜在线观看 | 精品视频在线免费 | 精品乱码久久久久久中文字幕 | 无套内谢少妇毛片 | 亚洲日本乱码在线观看 | 性生交生活大片1 | 一级黄色毛片 | r级无码视频在线观看 | 又黄又爽又色成人免费体验 | 亚洲精品国产精品国自产 | 久久精品一区二区三区中文字幕 | 无码人妻精品一区二区三区东京热 | 成人精品鲁一区一区二区 | 国产亚洲性欧美日韩在线观看软件 | 亚洲激情在线视频 | 欧美生活一级片 | 日本少妇高潮喷水xxxxxxx | 久久国产精品_国产精品 | 中文字幕av无码一区二区三区 | 精品无码国产自产拍在线观看 | 成人做爰高潮片免费看 | 国产情侣真实露脸在线 | 精品成在人线av无码免费看 | 亚洲国产美女视频 | 欧美中文字幕在线播放 | 97久久人澡人人添人人爽 | 99热这里只有精品免费播放 | 葵司有码中文字幕二三区 | 黄色网页免费在线观看 | 日韩不卡高清 | 性生交大片免费视频网站 | 影虎的最新视频 | 久久免费视频在线观看 | 欧美一区二区免费 | 91丨九色丨国产丨porny | 欧美不卡一区二区 | 日韩国产片 | 日韩一级生活片 | 污片在线看 | 国产精品人妻在线观看 | 大屁股肥熟女流白浆 | 公么大龟弄得我好舒服秀婷视频 | 亚洲国产福利一区二区三区 | 青青草久久伊人 | 91网站免费在线观看 | 特级西西444www大精品视频 | 欧美大片免费观看 | 欧美一级免费看 | 国产一区二区99 | 五月婷婷综合在线观看 | 又色又爽又黄无遮挡的免费视频 | 人人妻人人爽人人澡av | 国产人免费人成免费视频喷水 | 性做爰过程免费视频美女按店 | 老妇肥熟凸凹丰满刺激小说 | 麻豆国产97在线 | 欧洲 | 国产精品人人爱一区二区白浆 | 小sao货水好多真紧h国产 | 日韩欧美小视频 | 欧美乱妇视频 | 免费看三级毛片 | 久久国产精品久久喷水 | 国产一区二区三区四 | 国产精品一二 | av地址在线 | 黄色三级免费网站 | 黄色精品网站 | 欧美激情亚洲色图 | 乱亲女h秽乱长久久久 | 色就是欧美 | 国产成人精品日本亚洲第一区 | 国产成人欧美一区二区三区的 | 99精品国产成人一区二区 | 天天爱天天舔 | 外国成人| 精品粉嫩超白一线天av | 岛国av动作片 | 中文字幕中文在线 | 成人精品视频一区二区 | 久爱视频在线观看 | 内地级a艳片高清免费播放 内谢老女人视频在线观看 嫩草99 | 一本大道一区二区 | 情人伊人久久综合亚洲 | 流白浆视频 | 久久一精品 | 色综合99久久久无码国产精品 | vr成人啪啪影视 | 日韩在线精品成人av在线 | 午夜国内精品a一区二区桃色 | 欧美美女性生活 | 女同三级bd高清在线播放 | 中文字幕无码日韩专区免费 | 向日葵视频在线播放 | 国产精品伦一区二区三区在线观看 | 欧美一区二区黄色 | 鸭子tv国产在线永久播放 | 欧美视频在线观看亚洲欧 | 日韩欧美国产一区二区 | 国产激情在线视频 | 鲁丝一区二区三区免费 | 久草视频一区 | 国产在线拍揄自揄拍无码视频 | 优优色综合 | youjizz.com自拍| 免费在线观看污网站 | 91av视频在线播放 | 中文韩国午夜理伦三级好看 | 中文字幕在线看人 | wwwyoujizzcom在线| 欧美一级三级在线观看 | 国产日韩欧美综合在线 | 日韩爽爽视频 | 人人妻人人添人人爽欧美一区 | 国产第一毛片 | 久久五月综合 | 国产精品特级毛片一区二区三区 | 久久999视频 | 色婷婷中文字幕 | 国产麻豆一区二区三区 | 乱中年女人伦av一区二区 | 蜜臀aⅴ精品一区二区三区 蜜臀aⅴ一区二区三区 | 怡红院av人人爰人人爽 | 国产精品无遮挡 | 亚洲精品视频三区 | 好男人影视www | 99国产偷伦视频在线观看 | 在线天堂视频 | 国产视频aaa | 玖玖成人| 国产午夜成人av在线播放 | 亚洲情热| 久久久久久久久久久久久久国产 | 欧美天堂久久 | 日本一区二区精品视频 | 免费看操片 | 欧洲国产伦久久久久久久 | 国产欧美一区二区精品性 | 亚洲精品国产精品乱码不99按摩 | 国产同性野外打野战 | 国产大屁股喷水视频在线观看 | 欧美一级黄色片 | 中文字幕+乱码+中文乱码91 | 国产第七页 | 潮喷大喷水系列无码久久精品 | 日韩精品人妻系列无码专区免费 | 在线看日韩 | 无码h黄肉3d动漫在线观看 | 久久97超碰 | 爱草在线视频 | 日韩欧美色图 | 亚洲一区免费视频 | 欧美a v在线播放 | www国产亚洲精品久久麻豆 | 亚洲精品av中文字幕在线在线 | www788com色淫免费 | 啪啪黄色网址 | 爱高潮www亚洲精品 爱搞国产 | 亚洲欧美一二三区 | 国产在线观看你懂的 | 一本到无吗专区 | 国产精品日韩av | 黑人巨大跨种族video | 一区二区三区欧美 | 久久精品日产第一区二区三区乱码 | 久久久美女视频 | 日韩精品四区 | 色播五月婷婷 | 鲁一鲁一鲁一鲁一色 | 少妇裸体淫交免费视频网站 | 日韩在线视屏 | 鲁一鲁在线视频 | 特黄一级大片 | 中文在线观看免费高清 | 国产精品69久久久 | 国产精品日韩 | 露脸啪啪清纯大学生美女 | 免费精品99久久国产综合精品 | 黄色免费网站在线 | 国产精品一区二区久久精品爱微奶 | 伊人精品成人久久综合软件 | 亚洲自拍偷拍图 | a级老太婆毛片老太婆毛片 a级毛片,黄,免费观看 m | 高清视频一区二区三区 | 日韩精品av一区二区三区 | 亚洲乱码精品 | 大j8福利视频导航 | 国产精品一区二区视频 | 小嫩批日出水视频 | 久久99精品国产.久久久久 | 无码精品人妻一区二区三区人妻斩 | 白嫩少妇xxxxx性hd美图 | 欧洲激情网 | 91手机在线视频 | 日韩小视频在线 | a免费观看| 精品免费二区三区三区高中清不卡 | 国产精品欧美一区二区三区不卡 | 色视频www在线播放国产成人 | 4399午夜理伦免费播放大全 | 精品一卡二卡三卡 | 亚洲精品久久久久久久久久久久久 | 久久国产精品偷任你爽任你 | 美女主播精品视频一二三四 | 女人被狂躁c到高潮喷水一区二区 | 深夜网站在线观看 | 国产热99 | 天堂在线视频免费 | 成人黄色免费观看 | 日韩视频在线观看视频 | 神马午夜激情 | 玖玖爱这里只有精品 | 51免费看成人啪啪片 | 旅行的意义3在线观看韩国 绿帽av | 欧美日韩亚洲激情 | 四川农村妇女野外毛片bd | 国产激情无套内精对白视频 | 91精品推荐| 国产又大又黑又粗免费视频 | 中国华裔少妇黑人内谢 | 一级做性色α爱片久久毛片色 | 久久青青视频 | 欧美 亚洲 一区 | 69视频在线免费观看 | 日本特黄视频 | 手机看黄色 | yes4444视频在线观看 | 少妇下面好紧好多水真爽播放 | 中文字幕一区二区三区在线乱码 | 五月丁香六月激情综合在线视频 | 无套内谢的新婚少妇国语播放 | 欧美精品一二区 | 精品91久久久久久 | 无码无遮挡又大又爽又黄的视频 | 91社区视频| 国产日本在线观看 | 亚洲日韩乱码中文无码蜜桃臀 | 农村妇女毛片精品久久久 | 黄色一集片 | 射死你天天日 | 91久久精品人人做人人爽综合 | 亚洲精品国产一区二区的区别 | 中文在线免费看视频 | 精品欧美黑人一区二区三区 | 久久久999国产精品 久久久999精品视频 | 96精品视频 | www.7788久久久久久久久 | 成人免费午夜无码视频在线播放 | 91狠狠躁少妇| 国产午夜精品一区二区三区欧美 | 国产一区二区三区91 | 免费久久片| 午夜精品在线免费观看 | 无码乱码av天堂一区二区 | 污污免费在线观看 | 国产精品丝袜久久久久久不卡 | 少妇口述公做爰全过程目录 | 丰满大乳一级淫片免费播放 | 夜夜嗨av | 亚洲综合网在线 | 乱中年女人伦av | 午夜寂寞少妇 | 欧美四区 | 国产亚洲视频在线 | 色视频在线观看视频 | 新超碰97| av资源一区 | 噜噜噜久久亚洲精品国产品91 | 潘金莲三级野外 | 97在线免费观看 | 91精品在线视频观看 | 国产午夜视频 | 欧美乱妇高清无乱码一级特黄 | 天堂8中文在线 | a级免费视频| 噜噜色网 | 69国产精品 | 亚洲精品有限公司 | 久99| 欧美日韩国语 | 老鸭窝视频在线观看 | 欧美抠逼视频 | 深夜福利网站在线观看 | 麻豆成人网| 天天色天天射综合网 | 自拍偷拍欧美亚洲 | 无码人妻av免费一区二区三区 | 久久久999久久久 | www成人在线视频 | 91精品无人区卡一卡二卡三 | 夜夜躁很很躁日日躁2020 | 四虎影院黄色 | 国产黄色理论片 | 色综久久综合桃花网 | 台湾佬中文娱乐网址 | 日韩 欧美 中文字幕 制服 | 福利在线免费观看 | 久久婷婷五月国产色综合 | 午夜欧美精品久久久久久久 | 久久69精品久久久久久国产越南 | 国产精品亚洲一区二区 | 18禁美女裸身无遮挡免费网站 | 成人www | 久久一级片视频 | 国产最新网址 | 午夜精品久久久久久久久久蜜桃 | 亚洲13一14sexvideos | 真人性囗交69视频 |