《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 電子元件 > 業(yè)界動態(tài) > AMD YES!背后不為人知的故事

AMD YES!背后不為人知的故事

2020-09-25
來源:EETOP
關(guān)鍵詞: AMD CPU

  AMD YES是近年來比較火的一句話,每當(dāng)EETOP發(fā)布關(guān)于AMD的相關(guān)文章,也總會收到網(wǎng)友的AMD YES!的留言。從字面翻譯過來就是AMD真好,AMD真香的意思。AMD YES實際上表示了AMD近幾年來逐漸走向成功,也得到了大家的認(rèn)可。

  那么為什么AMD 能達(dá)到今天的高度?最主要的功臣應(yīng)當(dāng)歸功于AMD Zen架構(gòu)的成功。今天我們就為大家扒一扒AMD Zen 成功背后不為人知的故事。

  以下內(nèi)容來自中國臺灣科技新報的專欄作者:癡漢水球的文章。

  正文:

  自從2017 年AMD 準(zhǔn)時推出「技術(shù)規(guī)格看起來稍微正常點」的Zen 微架構(gòu)CPU 后,總算脫身逃離了2011 年以來推土機(Bulldozer)家族4 年工地秀的泥沼,回到跟英特爾正面對決互毆的擂臺,而2019 年7 納米制程的Zen 2,在英特爾2015 年后就擠牙膏擠到青黃不接的當(dāng)下,更讓AMD「稍微」重現(xiàn)了十多年前K8 時代的輝煌。這些各位讀者都很熟悉的故事,就無需浪費篇幅錦上添花──即使背后充滿看不見的波濤。

微信圖片_20200925133518.png

微信圖片_20200925133524.png

  俗語說得好,失敗為成功之母,任何成功都建立在一路累積的基礎(chǔ)上,AMD 亦不能免俗,讓 Zen 成功的一切條件,無不是奠基于過往的遺產(chǎn)與教訓(xùn)。我們就由遠(yuǎn)到近,一步步抽絲剝繭,重新踏上這條 AMD 走了25 年的漫漫長路。

  Zen 才是真正的 K10

  AMD CPU 代號的 K 源自「(IntelPentium)Killer」,眾人皆知的 AMD 高效能 x86 CPU 演進(jìn)如下(不包含小核心 Bobcat 體系):

  K5(1996):由超標(biāo)量(Superscalar)架構(gòu)大師Mike Johnson親自操刀的「Pentium Killer」,但英特爾并未開誠布公的公開Pentium新增指令細(xì)節(jié),為了確保與100%跟Pentium相容,逆向工程搞了很久,上市日期一再推后,讓癡癡等待的Compaq等的“花兒也謝了”。K6(1997):直接購并NexGen,修改現(xiàn)成的Nx686,取消類似Pentium Pro的L2 Cache專用總線,到內(nèi)建L2 Cache的K6-2+和K6-III才算大功告成,但已時不我與。K7(1998):出身DEC Alpha團(tuán)隊的Dirk Meyer變成的「x86世界的Alpha 21264」,AMD首次能與英特爾全面性較量效能。K8(2003):Fred Weber主導(dǎo)的K7強化版+x86-64+服務(wù)器等級的RAS(Reliability, Availability and     Serviceability)+HyperTransport+整合型存儲器控制器,讓AMD悲愿成就,一舉攻入高獲利的企業(yè)服務(wù)器市場。K9:英文發(fā)音近似「狗」(Caine),太過負(fù)面,因此沒這個代號。K10(2007):4~6核K8強化版+整合式L3 Cache存儲器,AMD開始「包水餃」兩顆打一顆,也逐漸無力抵抗英特爾小步快跑的鐘擺(Tick     Tock)攻勢。K11(2011):由IBM Power4的總工程師Chuck Moore操刀,接連四代被英特爾鐘擺痛扁的「推土機」(Bulldozer)家族,叢集式多執(zhí)行緒(CMT)和模組化浮點運算器暗藏了AMD對Fusion大戰(zhàn)略的熊熊野心與對未來GPGPU局勢的離譜誤判。K12(預(yù)定2017):從頭到尾搞笑的「全新高效能64位元ARM處理器」,還沒開始就結(jié)束了,只活在簡報里,無愧當(dāng)時「簡報王」名號。Zen(2017):深度流水線、追求高時鐘頻率、同時多執(zhí)行緒(SMT),根本是Andy Glew原先的K10原案投胎轉(zhuǎn)世。

  總之,嚴(yán)格說來,Zen 才是「真正的 K10」。這句話你可以仔細(xì)再看一次,我會等你。

  1990 年代初期創(chuàng)造英特爾革命性P6 微架構(gòu)5 位總工程師之一的Andy Glew,對英特爾內(nèi)部提議代號「Yamhill」的64 位元x86 指令集被拒絕,2002 年跳槽到AMD 參與x86-64指令集的制定工作,并短暫擔(dān)任K10 總工程師。為何說「短暫」?他老兄原本提案的K10 是類似英特爾NetBurst 的設(shè)計:深度流水線、追求高時鐘頻率、未犧牲執(zhí)行單元寬度、同時多執(zhí)行緒(SMT),然后就又被打槍了,只是這次動手的換成AMD 高層。

  他老兄一不爽,又在2004 年跳回前東家英特爾,但恐怕運氣一直不太好,加入因太過「史詩級災(zāi)難」(單核心晶粒面積213mm? 幾乎是Prescott 兩倍,TDP 又超過150W上看166W)而慘遭腰斬的Tejas 開發(fā)案。2009 年再度離開英特爾,歷經(jīng) MIPS 和 nVidia。瞧瞧LinkedIn 的個人介紹,現(xiàn)在正待在搞 RISC-V 的SiFive。

  為何真正的 K10 會沉寂這么久才浮上臺面?這跟 AMD 研發(fā)能量明顯遠(yuǎn)不及英特爾、難以承擔(dān)精密復(fù)雜的微架構(gòu)有很大關(guān)系,一顆當(dāng)兩顆用的SMT 并不是便于開發(fā)驗證的東西。據(jù) AMD 在 1998 年申請的幾份專利文件,原始K8 有兩版,共同點只有一個:兩個簡單的「外寬內(nèi)窄」小核心,明眼人腦中應(yīng)該馬上浮現(xiàn)推土機的雛型了。

  但AMD 大概是靠K7 和K8 日子過太爽了,遑論K8 讓AMD 大舉入侵高利潤、市場動量又很持久(意思是產(chǎn)品暫時輸人,也不會很快被趕出來)的服務(wù)器市場, 「先講求不傷身體,再講求效果」的維穩(wěn)心態(tài)作祟,或在2006 年7 月耗費54 億美元購并ATI 這件事,燒了太多錢,不得不節(jié)約研發(fā)經(jīng)費,遲遲不見全新后繼接班人。

  此外,AMD 融合 CPU 和 GPU 的「Fusion 大戰(zhàn)略」(The Future Is Fusion)也影響了 CPU 發(fā)展策略。AMD 過度樂觀預(yù)期GPU 的泛用化進(jìn)程,認(rèn)定假以時日GPU 將可取代CPU 的浮點或部分SIMD整數(shù)運算,讓推土機變成依附Fusion 的附庸,擺明當(dāng)「天時、地利、人和」三者兼?zhèn)鋾r,直接用GPU 換掉兩個簡單整數(shù)運算核心共用的浮點運算器。

  不過推土機在商業(yè)競爭失敗,并不代表對之后Zen 的成功毫無貢獻(xiàn),除了讓AMD 得到足夠「不能亂搞流水線前端」的教訓(xùn),讓分支預(yù)測與指令流水線拖鉤的解耦式分支預(yù)測器( Decoupled Branch Predicator)是支撐Zen 效能競爭力的一大功臣,甚至是Zen 2 可實做「機器學(xué)習(xí)分支預(yù)測器」的地基。各位別急,后面會提到。

  反過來利用晶圓代工商業(yè)模式來提高晶體管密度與生產(chǎn)良率

  AMD 創(chuàng)辦人 Jerry Sanders 有一句名言「有晶圓廠才是真男人」(Real men have fabs),在今日真是莫大的諷刺。

  雖然像英特爾和昔日AMD 的高度垂直整合IDM(Integrated Design and Manufacture)商業(yè)模式,可確保設(shè)計和制程彼此最佳化,但在追求Time To Market 的世界,專業(yè)的無晶圓廠IC 設(shè)計公司(Fabless IC Design House)、IP 授權(quán)提供者、電子輔助設(shè)計工具(EDA Tool)與晶圓代工業(yè)者(Foundry)的高度分工,卻更能藉由成熟的「研發(fā)供應(yīng)鏈」互通有無,沿用早被諸多客戶千錘百煉的晶圓廠制程參數(shù)、現(xiàn)有IP 功能模組和函式庫,迅速完成產(chǎn)品的開發(fā)與驗證,并縮短時程降低成本。

  SPARC 兩位要角之一的Fujitsu,會在新世代HPC 產(chǎn)品A64FX 轉(zhuǎn)向ARM 并交由臺積電7 納米制程代工,其因在此,光曾被蘋果和眾多客戶「嚴(yán)刑拷打」的寶貴經(jīng)驗,對盡快搞定產(chǎn)品絕對是重中之重的無價之寶。

  這件事也發(fā)生在放棄自有晶圓廠的 AMD。K11 時代,AMD 反過來利用晶圓代工生產(chǎn)GPU 的高密度函式庫和自動化設(shè)計工具,砍掉多達(dá)30% 的CPU 芯片面積與耗電量,特別是過往「動用大量人力手工布線才能電路最佳化」的功能單元,如復(fù)雜的浮點運算器?!窯PU 的電路設(shè)計最佳化程度優(yōu)于 CPU」這檔事,在21 世紀(jì)初期的 AMD 連想都不敢想。

  這些經(jīng)驗和努力,對 Zen 的成功絕對舉足輕重。就商業(yè)角度來看,這也讓AMD 未來保有開發(fā)新型商業(yè)模式的彈性,中國中科海光(Hygon)的Dhyana 就是采用授權(quán)的Zen 核心,當(dāng)然美國政府愿意「樂觀其成」那又是另一回事了。

  「RISC86」與4 道 x86 指令解碼的先行者

  將指令格式與定址模式復(fù)雜到讓人頭痛的x86 指令,在指令解碼階段「轉(zhuǎn)譯」成一至數(shù)個固定長度、格式簡潔的「類RISC」微指令(Microinstruciton),以簡化處理器執(zhí)行單元與數(shù)據(jù)路徑的設(shè)計,利于提升時鐘頻率,并「將晶體管預(yù)算砸在最值得被加速的簡單指令,不常用到的復(fù)雜指令,就用微碼(Microcode)ROM 產(chǎn)生ROP 微程式慢慢跑」,已是20 年來x86 CPU 的共同特色,超標(biāo)量架構(gòu)大師Mike Johnson 領(lǐng)銜的K5 則是先驅(qū)(如果不限超標(biāo)量,NexGen Nx586 則稍早),將非固定長度的x86 指令解碼成平均59 Bits 長的ROP(RISC86Operation,發(fā)音是「ar-op」)。

  AMD K5 還有個值得紀(jì)念之處:x86 史上首款單一核心最多可同時解碼4 個x86 指令的CPU,下一款是相隔近十年的英特爾Merom 了,不提尷尬的K11,AMDZen 更晚了自家「前輩」超過20 年。

  強化非循序指令執(zhí)行效率的兩段式微指令轉(zhuǎn)譯與「類VLIW」的微指令派發(fā)

  x86 CPU 的指令解碼器將x86 指令轉(zhuǎn)成微指令,看起來好像很美好,但隨著CPU 可同時非循序執(zhí)行的指令數(shù)量越來越多,「微指令洪災(zāi)」就變成大麻煩,需要復(fù)雜的功能單元與相對應(yīng)的電路成本,監(jiān)控管理一海票微指令的生老病死與相依性,這也不利減少CPU 功耗。

  在這就非得岔題談一談「首款雙核心服務(wù)器CPU」的IBM Power4 了,為縮減指令控制邏輯的復(fù)雜度,Power4 一次將5 個解碼后的指令「打包」成一個「一個蘿卜一個坑、每個指令垂直對應(yīng)一個執(zhí)行單元」的超長指令(VLIW)包(一時腦筋轉(zhuǎn)不過來,可想一下AMD GPU 以前的VLIW5),里面5 個指令全部執(zhí)行完畢才能退返(Retire),控制邏輯單元只需管控相當(dāng)于100 個指令的20 個指令包,這讓Power4 這部分電路規(guī)模只有前代Power3 的一半,且更便于拉抬CPU 時鐘頻率。

  AMD 則是從K7 開始兩段式微指令轉(zhuǎn)譯,指令解碼器先將x86 指令解碼一至兩個MOP(Macro-Operation),到了內(nèi)部要在指令保留站(Reservation Station)「派發(fā)」(Dispatch)到執(zhí)行單元前,再拆成更小的uOP(發(fā)音「ur-op」),接著才「真槍實彈上陣」,避免一開始就把微指令拆光光,淹沒指令管理單元,也變相將指令解碼器的復(fù)雜度分散到「大后方」。

  關(guān)于無法直接用「Fast Path」指令解碼器處理成 MOP 的復(fù)雜指令,由「Vector Path」的微碼 ROM 產(chǎn)生一系列MOP 微程式。前面就提過,所謂「RISC86」真正的精神就如同 RISC:把經(jīng)常用到的情況盡可能加速(Make The Common Case Fast.),將最佳化資源集中在最常碰到的刀口。

  同期英特爾的手段就讓人莞爾,起源于Pentium M 的「Macro-Fusion」,英特爾直接藉由增加指令保留站的運算元數(shù)量,削減CPU 內(nèi)部微指令的總量,例如用一個三運算元(a =b+c)微指令代替兩個(a=a+b),說穿了也稱不上什么「融合」,或還不如說「本來就應(yīng)該這樣做」更貼切。

  相對英特爾從Merom 開始,指令保留站某些Port 擠滿了一堆不同性質(zhì)執(zhí)行單元的「爆漿撒尿牛丸」樣貌,AMD 那「整數(shù)浮點一邊一國的簡潔風(fēng)」在「簡單就是美」的推土機展露無疑,非?!竀LIW」,就算沒有像IBM Power4 那樣「指令打包送快遞」,但看在總工程師都是同一位如假包換的Chuck Moore 份上,企圖簡化復(fù)雜度以追求更高運作時鐘頻率與更高投資效益的意圖是一致的。

  盡管推土機家族的下場不是太好看,但類似理念也同樣被Zen繼承,反正各位只需了解一個殘酷的現(xiàn)實:畢竟AMD 的研發(fā)能量遠(yuǎn)不如英特爾,不見得有雄厚本錢采取過于精密復(fù)雜的架構(gòu)風(fēng)格,此類「窮人思維」在AMD CPU 發(fā)展史上無所不在。

  眾里尋他千百度才秾纖合度的分支預(yù)測

  「電腦」(Computer)和「計算器」(Calculator)的不同點在于:電腦具備「條件判斷」的能力,依據(jù)不同條件,執(zhí)行不同指令流。各位可將電腦程式的運作流程,想像成一個「棋盤」,以一個角落為起點,對角線的角落當(dāng)終點,在棋盤上反覆移動,不限制前進(jìn)或后退。如發(fā)生條件判斷的分支(Branch,必須先等待條件判斷的執(zhí)行結(jié)果,才能判定該分支「發(fā)生」),或無條件判斷的跳躍(Jump),就會變更指令流,并中斷指令流水線運作,尤其前者傷害指令流水線化的CPU 效能,才需要「以古鑒今」的分支預(yù)測(Branch Prediction)技術(shù)。

  「過猶不及」的「分支預(yù)測」一向公認(rèn)是AMD 落后英特爾的技術(shù)弱點,到了 Zen 才改觀。賈誼〈過秦論〉那句意謂秦始皇繼承六代功業(yè)的「奮六世之余烈」,套用到Zen看似突破性的分支預(yù)測技術(shù),實在再適合不過了,在Zen 之前,剛剛好也是6 世代:K5、K6、K7、K8、K10、K11,有夠巧。

  因 K11 的分支預(yù)測技術(shù)和前代相比簡直徹頭徹尾大相徑庭,故不列于下表。

  一般我們談到的是「動態(tài)」分支預(yù)測,透過小型化 Cache存儲器,記錄分支行為的歷史,并隨時搜集各類參考資訊,動態(tài)的修正預(yù)測的結(jié)果。近年來拜「CPU 安全漏洞」所賜,「預(yù)測執(zhí)行」(Speculative Execution)、「非循序執(zhí)行」(Out-Of-Order Execution)和「分支預(yù)測」等技術(shù)名詞,變得非常熱門也經(jīng)?;煜?。

  各位只要記得,對近代高效能CPU,「預(yù)測執(zhí)行=分支預(yù)測+非循序執(zhí)行」,CPU 根據(jù)分支預(yù)測的結(jié)果,先斬后奏「賭博」性執(zhí)行指令流,再藉由非循序執(zhí)行引擎維護(hù)指令執(zhí)行順序的一致性,以及當(dāng)預(yù)測錯誤時,回復(fù)該分支前的處理器狀態(tài)。

  分支預(yù)測究竟有多重要?假如有一顆CPU 沒有任何分支預(yù)測機制(或說有,但總是預(yù)測錯誤),當(dāng)執(zhí)行分支指令時,直到目標(biāo)指令被擷取,所需要的時鐘頻率周期數(shù)「分支傷害」(Branch Penalty)是3 個時鐘頻率周期,分支占了程式碼五分之一,那會損失多少效能?

  3 * ? =0.61 / (1+0.6) = 0.625

  我們就可簡單推算出,平均執(zhí)行每個指令都會多出 0.6 個時鐘頻率周期,等于增加60% 執(zhí)行時間,執(zhí)行效能僅剩下 62.5%。

  很不幸的,這個簡單的案例還真的有倒楣的苦主:AMD K5的初版「SSA/5」(PR75 到PR100),因不明原因,分支預(yù)測功能被關(guān)閉,還「附贈」奇怪的CPU 閑置狀態(tài),「完全體」5K86(PR120 到PR200)的同時鐘頻率效能就硬是多了整整30%。讓人極度好奇,假若 Compaq 知道他們死撐著不用 Pentium,只為了等待這樣的產(chǎn)品,會做何感想。

  K5 的分支預(yù)測超級陽春,準(zhǔn)確率僅75%。當(dāng)連續(xù)執(zhí)行分支指令時,等于每道指令平均多 0.75 個時鐘頻率周期,沿用上面「分支占五分之一」的算法是 0.15,效能僅剩 87%,怎么看分?jǐn)?shù)都不及格。但這時各位也應(yīng)心知肚明,后期 K5 多出來的 30% 效能大致上是怎么來的,分支預(yù)測的確發(fā)揮了關(guān)鍵性作用。

 ?。?5% * 0) + (25% * 3) = 0.750.75 * ? = 0.151 / (1 + 0.15) = 0.87

  購并NexGen 而來的K6 卻是AMD 史上罕見的「過度投資」,和K5 同為六階流水線、但最多只能解碼兩個x86 指令的K6,在分支預(yù)測暴力到整個過頭,足以傲視AMD 歷代CPU架構(gòu),但這是天大的浪費,況且分支預(yù)測越復(fù)雜,發(fā)生錯誤的回復(fù)時間也就越長,K6 的錯誤代價就硬比K5 多出一到兩個時鐘頻率周期(3 vs. 4 或5 )。

  K6 的分支預(yù)測準(zhǔn)確率號稱高達(dá)95%,我們可推算出執(zhí)行每個分支指令只會多出0.2 到0.25 個時鐘頻率周期,「分支占五分之一」就0.04 到0.05,效能維持在95%到96%,遠(yuǎn)勝過K5。

 ?。?5% * 0) + (5% * 4) = 0.2(95% * 0) + (5% * 5) = 0.251 / (1 + 0.04) = 0.961 / (1 + 0.05) = 0.95

  不知道是不是針對K6「過度投資」的反動,或是覺得過于復(fù)雜的分支預(yù)測只會帶來反效果,AMD 在1998 年MicroprocessorForum 揭露K7 的神秘面紗時,最讓人意外的不是和DECAlpha 21264 如出一轍的「體格」,而是「Long Pipeline, But SimpleBranch Predictor」。

  面對外界種種質(zhì)疑,AMD 堅持「更精確的分支預(yù)測器只會帶來更復(fù)雜的設(shè)計、更多的預(yù)測時鐘頻率周期與回復(fù)效能損失」,還更大膽的將標(biāo)準(zhǔn)的2 位元Smith 演算法4 種狀態(tài),砍成只剩下3 種(將Strongly not taken 和Weakly not take 合為一種not taken)。對照K7 壓倒性的龐大執(zhí)行單元,在這種小地方偷工減料,真的是莫大諷刺,但更扯的還在后頭。

  演進(jìn)自K7 的K8 與「壓榨K8 剩余價值」的K10,指令流水線更深,沒有擺爛裝死的借口,乍看之下「知恥近乎勇」亡羊補牢,但卻很精明的利用「L1 / L2 互斥性 Cache(ExclusiveCache)」的特性,趁著數(shù)據(jù)從L1 指令 Cache「被驅(qū)逐」(Evicted)寫入L2  Cache時,將分支選擇器「偷放」在L2  Cache存儲器包含指令的 Cache區(qū)塊之ECC 欄位,「節(jié)儉」至此,堪稱一絕。

  受制于不佳的分支預(yù)測精準(zhǔn)度與「連如此簡單的整數(shù)核心都喂不飽」的L1 指令 Cache存儲器,甚少人注意到指令流水線深達(dá)20 階的K11,解耦式分支預(yù)測器(DecoupledBranch Predicator)早已默默為Zen 2 的「機器學(xué)習(xí)分支預(yù)測器」TAGE(TAgged GEometric)分支預(yù)測器預(yù)先埋好了路基。

  相近于今日少為人知的Rise mP6,K11 不等發(fā)生指令 Cache誤失才去抓取目標(biāo)指令,推土機的分支預(yù)測機制與指令擷取「脫鉤」,主動標(biāo)定分支預(yù)測目標(biāo)的相對位址,如不存在于指令 Cache內(nèi),就「主動出擊」預(yù)先擷取,可掩蓋發(fā)生 Cache誤失時的延遲,并替更耗時的機器學(xué)習(xí)分支預(yù)測器「爭取訓(xùn)練的時間」。

  依照 AMD 的說法,Zen 2 的分支錯誤率比 Zen 減少了 30%,意味著 Zen 從 97% 的精確度提升到 Zen 2 的 98%。但不論解耦式分支預(yù)測器還是機器學(xué)習(xí)分支預(yù)測器 TAGE,都是英特爾研究多年并發(fā)表過學(xué)術(shù)論文的產(chǎn)物,很可能早就導(dǎo)入產(chǎn)品了,但沒刻意拿出來說嘴。不過花了這么長的時間,AMD 總算在分支預(yù)測趕上英特爾的水準(zhǔn),仍值得可喜可賀。

  激增有效實質(zhì)容量的互斥性 Cache架構(gòu)

  各位有沒有想過:Ryzen Threadripper3990X 的「288MB」 Cache容量究竟是怎么算出來的?

  答案是「64 核心× 512kB 第二階 Cache」加上「8個CCD × 2 個CCX × 16MB 第三階 Cache」,因兩邊的內(nèi)容是「互斥」(Exclusive)的,而第二階 Cache完全包含(Inclusive)了第一階 Cache的內(nèi)容,所以有效容量是32MB+256MB=288MB,這也是AMD CPU 從K7 后期至今,一個持之以恒的共同特征,而英特爾則從Nehalem 開始,走上另一條徹底相反的路線。

  互斥性 Cache架構(gòu)的發(fā)生背景是K7 從Thunderbird 開始,CPU直接整合256kB 或64kB 第二階 Cache存儲器,但K7 的第一階Cache總?cè)萘慷噙_(dá)128kB,不讓兩者「油水分離」,將會浪費大量的有效容量,如Duron 的L1 竟然還是L2 兩倍的蠢事(128kB vs. 64kB)。從 K7 到 K10 是 L1 / L2 互換,K11到 Zen 則調(diào)整成 L2 / L3 輪轉(zhuǎn)。

  K8 / K10 利用這點,趁L1 指令Cache的數(shù)據(jù)搬到L2 時,將分支選擇器隨著預(yù)先解碼(Pre-decoded)和奇偶校驗(Parity)欄位,一并寫入確定存放指令的L2  Cache區(qū)塊之ECC 欄位,但互斥性 Cache架構(gòu)也是AMD CPU 最末階 Cache延遲過長的元兇。

  服務(wù)器等級的存儲器自動偵測容錯機制

  服務(wù)器要的是RAS:可靠性(Reliability)、可用性(Availability)、可服務(wù)性(Serviceability),而最大的潛在威脅,莫過于構(gòu)成地球低強度背景輻射的帶電粒子,所引起位元翻轉(zhuǎn)的存儲器軟錯誤(Soft Error),動輒偶發(fā)的多位元錯誤更是一大挑戰(zhàn)。K8 之所以能替AMD 敲開服務(wù)器天堂的大門,被偵錯容錯機制高度保護(hù)的 Cache存儲器與主存儲器,以及檢測硬體錯誤并回報軟體進(jìn)行復(fù)原處理的硬體檢查架構(gòu)(Machine Check Architecture,MCA),統(tǒng)統(tǒng)功不可沒。

  從K8 到Zen,ECC(Error-CorrectingCode)越來越強悍,L1 數(shù)據(jù) Cache存儲器可「修復(fù)單位元錯誤,偵測雙位元錯誤」,L2 / L3  Cache存儲器更「修復(fù)雙位元錯誤,偵測三位元錯誤」,但「數(shù)據(jù)損壞了頂多重抓」的L1 指令 Cache「不太需要完善保護(hù),只須奇偶校驗」的原則毫無改變的跡象,事實上也沒必要,起碼節(jié)約成本。

  K8 整合式存儲器控制器支援防止存儲器多位元錯誤的 Chipkill 技術(shù),如何做到?下面這張圖闡述得非常清晰。

  既然存儲器模組使用的 ECC 演算法無法糾正超過單位元的錯誤,那么我們就「分而治之」,讓超過單位元的錯誤,不會出現(xiàn)在單一存儲器模組。假設(shè)有4 條存儲器模組,而存儲器模組顆粒數(shù)據(jù)總線的寬度為4 位元,我們各自分開存放ECC 偵錯碼的額外顆粒的4 條數(shù)據(jù)線,和另外3 條模組的數(shù)據(jù)線組成4 位元寬度,即可預(yù)防單一存儲器模組發(fā)生超過1 位元的錯誤。

  論服務(wù)器可靠性RAS,英特爾、AMD 是半斤八兩,像在Nehalem-EX(Xeon 7500 系列)時期,英特爾硬把Itanium 一整套搬到x86 平臺變成「MCA Recovery」,可在存儲器區(qū)塊標(biāo)示硬體無法修復(fù)的錯誤,通知作業(yè)系統(tǒng)或虛擬機器管理員不再使用這些單元,關(guān)閉標(biāo)示錯誤的數(shù)據(jù)并重新啟動程式,AMD 也從來沒有缺席(軟體支援性就見仁見智了),但AMD 在21 世紀(jì)初期曾短暫從英特爾手上奪過服務(wù)器的技術(shù)優(yōu)勢,依然值得大書特書。

  經(jīng)過千錘百煉的 Cache數(shù)據(jù)一致性協(xié)定

  Cache數(shù)據(jù)一致性協(xié)定(Cache CoherenceProtocol)對多核心與多處理器平臺的效能的重大影響,無論怎么說都是毋庸置疑的,不只服務(wù)器RAS,x86 CPU 在AMD K7 問世的MOESI協(xié)定,相較于行之有年的MESI,Owner 狀態(tài)允許尚未更新主存儲器的內(nèi)容前,不同CPU 之間可提前共享、并交換修改后的 Cache區(qū)塊,可大幅減輕系統(tǒng)總線的壓力,這因K8 整合存儲器控制器,而在多處理器環(huán)境,讓主存儲器分散在四處的NUMA(Non-Uniform Memory Access)架構(gòu),更是決定效能的關(guān)鍵。

  AMD 或多或少有英特爾的 MESIF 協(xié)定殷鑒在前,Zen 進(jìn)一步擴充成 MDOEFSI。

  L3  Cache「海納」L2  Cache標(biāo)簽(Tag)的巧思,使其搖身一變,成為可過濾 Cache一致性協(xié)定廣播的Probe Filter(或稱之為Snoop Filter,AMD 的行銷名稱是HT Assist) ,不必像K10 切割部分L3  Cache容量,或在系統(tǒng)芯片組塞一大塊SRAM 當(dāng)成記錄所有 Cache區(qū)塊狀態(tài)的目錄,僅付出低成本實現(xiàn)高效率的 Cache一致性。

  將MDOEFSI 協(xié)定的細(xì)節(jié)束之高閣,目前看來在實體CPU 芯片(CPU Complex)數(shù)量極多的EPYC 和Threadripper 運行還不錯,長期大型單一晶粒共用L3  Cache的英特爾卻沒有這樣的特殊考慮,也許當(dāng)英特爾哪天基于成本因素,被迫和AMD 一起「包水餃」,那時才是考驗英特爾 Cache一致性協(xié)定的最佳時機。

  支持大量處理器延展性的系統(tǒng)連結(jié)架構(gòu)

  最近 AMD 在財務(wù)分析師大會發(fā)表名為「Infinity Architecture」的 Infinity Fabric 3.0,不僅可連接多顆 CPU 和多顆 GPU,更可當(dāng)成CPU和 GPU 之間的橋梁。

  但這對AMD 來說并非新穎的概念,AMD 早在十幾年前K8 的HyperTransport就打算這樣干了,而Infinity Fabric 就是從HyperTranspor延展出來的「超集合」,擁有更完整的功能,從定義AMD內(nèi)部SoCIP 區(qū)塊的通用控制方式,到解決異構(gòu)數(shù)據(jù)一致性的互連方案,都是持續(xù)進(jìn)化中的Infinity Fabric 可大展身手的領(lǐng)域。

  AMD 未來面對的挑戰(zhàn)依舊嚴(yán)峻

  本文標(biāo)題并不表示 AMD 這間公司就此功德圓滿?;仡?5 年的AMD K 系列CPU 迢迢來時路,想必各位可漸漸感受到身為碩果僅存英特爾唯一x86 競爭者(好吧,勉強還有臺灣VIA 的Centaur 和俄羅斯的Elbrus),面對資源數(shù)倍于己的超級強敵,身處毫無犯錯余裕、如履薄冰、步步為營的艱困處境,研制產(chǎn)品時的取舍與掙扎,更是AMD 困境的縮影。

  至于時下的AMD 是否「已經(jīng)」成功,也是個巨大的問號,服務(wù)器市場市占率、營收與獲利仍遠(yuǎn)遠(yuǎn)不及K8 核心Opteron 全盛期水準(zhǔn),另一邊的GPU 戰(zhàn)場,還是被nVidia 壓著打,實際上只能算勉強站穩(wěn)腳步,離「成功」兩字仍有一段相當(dāng)長的距離。AMD 另一個比較大的潛在危機在于「未來性」,這和公司能真正「發(fā)大財」互為表里。

  如果對比「蘇媽」和「皮衣教主」的演講內(nèi)容,相信大多數(shù)人仍會覺得前者「相當(dāng)傳統(tǒng)保守」,后者「象征光明未來」。從量子計算、人工智能到自駕車等新興應(yīng)用,AMD 統(tǒng)統(tǒng)沾不上邊,連在高效能運算市場要反攻Top500 席次都還頗有難度,唯有鞏固并擴張數(shù)據(jù)中心的獲利與營收,才有足夠銀彈投資未來。偏偏這里又是英特爾重兵集結(jié)、拼死防御、明槍暗箭明招暗招毫無保留的「現(xiàn)金母牛」(Cash Cow),絕不會平白拱手讓人。

  AMD 能否守住得來不易的戰(zhàn)果,唯有寄望晶圓代工商業(yè)模式有機會讓英特爾的制程霸權(quán)從此一去不復(fù)返,或英特爾再度犯下重大戰(zhàn)略失策,但筆者對此的態(tài)度并不樂觀,2020 年第三季的Zen 3 與第三代EPYC「Milan」對AMD 將是極為重要的命運轉(zhuǎn)折點。從光鮮亮麗簡報溢出來的滿滿憂慮,其實都早寫在 AMD高層和無數(shù)員工的臉上,只是你沒看出來。

  好戲即將上演,就讓我們拭目以待。

  

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 午夜精品久久久久久久爽 | 日本三级吃奶头添泬 | 肉欲性毛片交38 | 色咪咪网站 | 他揉捏她两乳不停呻吟动态图 | 亚洲爱情岛论坛永久 | 欧美午夜一区二区三区 | 欧美国产日产一区二区 | 在线国产视频 | 欧美成人精品激情在线视频 | avtt国产| 欧美又大又色又爽bbbbb片 | 日韩少妇av | 亚洲色图36p | 亚洲国产精品无码专区影院 | 日本少妇高潮喷水xxxxxxx | 在线观看视频毛片 | 国产中文网| 国产特级毛片aaaaaa毛片 | 久久高清内射无套 | 欧美日韩经典 | www狠狠操| 丰满岳乱妇一区二区 | 久欠精品国国产99国产精2021 | 免费观看av的网站 | 久久精品79国产精品 | 在线观看老湿视频福利 | 欧美日韩在线视频免费 | 在线成人精品国产区免费 | 亚久久| 激情综合五月丁香亚洲 | 91麻豆精品国产91久久久点播时间 | 国产亚洲欧美在线观看 | 国产猛男猛女超爽免费视频网站 | 高h破瓜受孕龙精 | 性鲍视频在线 | 亚洲欧美在线一区 | 爽交换快高h中文字幕 | 国产精品丝袜黑色高跟鞋v18 | 成人传媒 | www日韩欧美 | 少妇愉情理伦片丰满丰满午夜 | 3d动漫精品啪啪一区二区下载 | 亚洲黄色在线视频 | 先锋影音人妻啪啪va资源网站 | 亚洲国产中文字幕在线视频综合 | 国产精品嫩草影院九色 | 国产真实的和子乱拍在线观看 | 91亚洲国产成人精品一区二区三 | 国产熟妇乱子伦视频在线观看 | 在线色站 | 爱爱视频天天干 | 亚洲精品一级片 | 日韩一区二区三区不卡 | 成熟老妇女视频 | 日韩欧洲亚洲 | 欧美激情区 | 久草手机在线视频 | 欧美aa大片欧美大片观看 | 丰满多毛的大隂户毛茸茸 | 青草伊人久久综在合线亚洲观看 | 国产片av国语在线观看 | 成人乱人伦精品小说 | 精品一区二区在线播放 | 色视频www在线播放国产成人 | 长篇乱肉合集乱500小说日本 | 999精欧美一区二区三区黑人 | 日韩精品久久久久久免费 | 亚洲人成网线在线播放 | 国产精品嫩草影院com | 又黄又爽又色的视频 | 国产污污视频在线观看 | 成年女人黄小视频 | 色哟色哟色精品 | 91丨九色丨蝌蚪丨对白 | 亚洲国产精品久久久久久女王 | 欧美午夜精品久久久久久人妖 | 国产午夜三级一区二区三 | 国产精品99久久久久 | 亚洲精品久久久久久久不卡四虎 | av网站的免费观看 | 国产又粗又大又爽视频 | 国精产品一品二品国精品69xx | 亚洲综合一区二区三区葵つかさ | 羞羞视频入口 | 国产日韩中文 | 国产精品19乱码一区二区三区 | 精品免费看 | 亚洲乱码一区二区三区在线观看 | 亚洲地区一二三色 | 伊人av影院 | 欧美狠狠 | 人人妻人人澡人人爽 | 亚洲国产精品日韩av不卡在线 | 色综合免费视频 | 中文字幕人成乱码熟女 | 亚洲国产成人久久综合一区77 | 一区二区三区视频免费观看 | 性生交大片免费看女人按摩 | 欧美日韩国产免费 | 天天爽天天爽夜夜爽毛片 | 午夜激情四射 | 91精品福利少妇午夜100集 | av不卡网 | 精品国产99高清一区二区三区 | 天堂中文网在线 | 黄色av网址在线观看 | av免费观看网址 | 精品久久久久久亚洲精品 | 91极品视频 | 日本少妇丰满大bbb的小乳沟 | 看免费黄色毛片 | 二区视频在线 | 国产97色在线 | 国产 | 亚洲色图吧 | 日少妇av | av无码免费岛国动作片 | 午夜精品久久久久久久白皮肤 | 性工作者十日谈 | xxxx日本黄色 | 又大又硬又黄的免费视频 | 久久久久免费视频 | 国产免费又黄又爽又刺激蜜月al | 99视频精品 | 国产精品女上位好爽在线观看 | 国产乡下妇女做爰视频 | 亚洲精品乱码久久久久久 | 亚洲午夜无码久久yy6080 | tube中国91xxxxx国产 | www成人精品免费网站青椒 | 国产成人精品在线视频 | 亚洲综合伊人久久大杳蕉 | 青草青草久热精品视频在线观看 | 99热网站| 美女隐私黄www网站免费 | 欧美日韩不卡视频 | 日本高清在线一区 | 综合激情四射 | 日韩久久高清 | 亚洲第一黄色片 | 日韩欧美偷拍 | 国产一区二区网站 | 国语自产少妇精品视频 | 特级全黄久久久久久久久 | 国产精品国产三级国产普通话蜜臀 | 狂野欧美性猛交免费视频 | 久在线观看视频 | 91久久精品一区二区 | 国产高清美女一级a毛片久久w | 久久免费福利 | 亚州福利| 欧美日韩1区2区 | 亚洲呦女专区 | 欧美日韩亚洲中文字幕一区二区三区 | 1024精品一区二区三区日韩 | 欧美福利视频一区二区 | 成人羞羞网站入口免费 | a级国产视频 | wwwyoujizzcom久久| 妞干网欧美| 在线成人 | 国产在线看一区 | 一区二区三区无码视频免费福利 | 精品一区二区久久久久久久网站 | 深夜福利视频在线 | 久久天天躁狠狠躁夜夜免费观看 | 麻豆91精品91久久久的优点 | 欧美日韩乱 | 久久久激情视频 | 欧美老熟妇欲乱高清视频 | 天天摸天天插 | 国产男女裸体做爰爽爽 | 蜜桃视频在线观看免费视频网站www | 好吊视频在线观看 | 特黄视频在线观看 | 中文字幕在线播放不卡 | 91看国产 | 中国字幕av | 欧美一级特黄aaaaaa大片在线观看 | 成人免费毛片视频 | 国产免费黄色av | 手机看片99 | 在线观看视频www | 国产精品色婷婷99久久精品 | 丰满饥渴老女人hd | 色综合久久88色综合天天 | 乱淫av| 一区二区三区波多野结衣 | 一级做受大片免费视频 | 亚洲欧美成人一区二区在线电影 | 中国特级黄色毛片 | 91九色丨porny丨朋友 | 国产精品免费视频一区二区三区 | 亚洲日本人的毛茸茸 | 国产免费视频一区二区裸体 | 久草精品视频在线看网站免费 | 激情综合色五月丁香六月亚洲 | 国产一级视频在线 | 色婷婷av一区二区三区软件 | 毛片黄片视频 | 国产一二区三区 | av大全在线观看 | 人妻体体内射精一区二区 | 国产成人免费在线观看 | 毛片网站在线播放 | 精品国产乱码久久久久久移动网络 | 欧美极品少妇 | 夜夜穞天天穞狠狠穞 | 久久夜色精品国产噜噜麻豆 | 性欧美1819性猛交 | 自拍亚洲欧美 | 国产乱码精品1区2区3区 | 国产精品无码aⅴ嫩草 | 尤物国产在线 | 久久99蜜桃综合影院免费观看 | 夜夜添无码试看一区二区三区 | 大人和孩做爰av | 精品一区二区三区无码视频 | 无码无套少妇毛多18p | 五月天婷婷激情网 | 国产熟人av一二三区 | 日剧大尺度床戏做爰 | 免费av在线网址 | 日韩激情无码免费毛片 | 国产一级视频免费播放 | a级免费黄色片 | 国产免费一区二区三区四在线播放 | 国产精品99久久久精品无码 | 97偷拍少妇性按摩spa全程 | 日本人操比 | 亚洲色偷偷av男人的天堂 | 国产成人无码a区在线视频无码dvd | 成人vr视频在线观看 | 无码137片内射在线影院 | 青草伊人久久 | 中文字幕一区二区三区中文字幕 | 81av在线| 无码人中文字幕 | 国产喷水福利在线视频 | 人人cao| 长河落日电视连续剧免费观看01 | 黑人狂躁中国少妇and | 91啪国产在线 | 在线无码av一区二区三区 | 欧美日韩三级在线观看 | 97国产最新 | 久中文字幕 | 色综合久久综合欧美综合网 | 性xxxx18免费观看视频 | 伊人网视频在线观看 | h网站免费在线观看 | 日本欧美黄色 | fc2ppv在线观看 | 国产偷v国产偷v精品视频 | 国产精品沙发午睡系列990531 | 91夜夜澡人人爽人人喊欧美 | 老太婆性杂交视频 | 亚洲加勒比久久88色综合 | 国产精品第一国产精品 | 久9在线 | 国产免费黄色录像 | 国产精品久久久久久久 | 亚洲va国产日韩欧美精品色婷婷 | 久久99成人 | 偷拍久久网 | 日韩一区二区三区国产 | 国产欧美日韩一区二区加勒比 | 亚洲区小说| 亚洲精品tv久久久久久久久久 | 国产freexxxx性播放麻豆 | 一级做a爰黑人又硬又粗 | 国产精品野外户外 | 国产一区二区三区小说 | 欧美78videosex性欧美 | 日韩欧美二区 | 国产精品久久久久影院色老大 | 亚洲综合av在线在线播放 | 日本亚洲免费 | 激情人妻另类人妻伦 | 欧美大喷水吹潮合集在线观看 | 国产乱xxxxx987国语对白 | av日韩国产 | 亚洲黄色片网站 | 三级慰安女妇威狂放播 | 五月婷婷网 | 成人免费观看a | 久久精品丝袜高跟鞋 | 国产性猛交普通话对白 | 日韩少妇乱码一区二区三区免费 | 国产免费一区二区三区网站免费 | 亚洲第一页在线观看 | 国产av新搬来的白领女邻居 | 国产成人精品日本亚洲第一区 | 国产亚洲精品久久久久5区 国产亚洲精品久久久久久 国产亚洲精品久久久久久国模美 | 台湾黄色网址 | 粉嫩av一区二区夜夜嗨 | 黄色爱爱视频 | 一本大道久久加勒比香蕉 | 日韩视频一区二区三区在线播放免费观看 | 很污很黄的网站 | 经典av在线 | 色综合久久久久综合体桃花网 | 草的我好爽视频 | 色国产精品一区在线观看 | 久久视频在线播放 | 欧美xxxx黑人又粗又大 | 日本中文字幕在线大 | 99久久国语露脸精品国产 | 日韩av日韩| 亚洲欧美韩国 | 亚洲成人一区在线观看 | 国产视频一区二区三区在线播放 | 欧美黄色a级 | 九九影院最新理论片 | 成人小视频在线 | 麻豆av影视 | 国产精品成人免费视频一区二区 | 黄色高清无遮挡 | 国产婷婷精品任我爽欧美 | 天天躁狠狠躁狠狠躁夜夜躁68 | 开心色站 | 大胸少妇午夜三级 | 婷婷色亚洲 | 无限看片在线版免费视频大全 | 久久久久日韩精品久久久男男 | 国产免费视频传媒 | 一本一道久久a久久综合精品 | 拔插拔插海外华人永久免费 | 97免费人妻在线视频 | 亚洲精品久久久久中文第一幕 | 夜夜躁狠狠躁日日躁202小说 | 亚洲成av人片在一线观看 | 人人人草 | 免费黄色看片网站 | 久久久久欧美 | 老牛影视av一区二区在线观看 | 7799国产精品久久99 | 天天躁夜夜躁天干天干200 | 99久久婷婷国产综合精品青草免费 | 美女野外找人搭讪啪啪 | 欧美无遮挡很黄裸交视频 | 黄色中文字幕 | 亚洲麻豆av| 日本一区二区三区免费播放 | 亚洲欧美国产欧美色欲 | 国产女爽爽视频精品免费 | 狠狠色狠狠色合久久伊人 | 自拍偷拍第一页 | 欧美午夜精品久久久久久浪潮 | 绯色av一区二区三区在线观看 | 欧美在线日韩 | 亚洲日本韩国欧美云霸高清 | 国产成人精品三级麻豆 | 国产精品1000夫妇激情啪 | 久久综合狠狠色综合伊人 | 粗大的内捧猛烈进出视频 | 9lporm自拍视频区九色 | 狠狠操一区| 亚洲区免费视频 | 日本精品视频 | 巨肉高h文从头做到尾肉短文 | 日本在线二区 | 欧美成人激情在线 | 日韩av一二区 | 亚洲蜜桃v妇女 | 亚洲肥老太bbw中国熟女 | 日韩在线精品强乱中文字幕 | 色激情综合 | 国产亚洲91 | 成人午夜视频免费在线观看 | 色欲av无码一区二区三区 | 欧美人与物videos另类xxxxx | 少妇一级淫片免费播放 | 人妻精品久久久久中文字幕69 | 久久久久久爱 | 亚洲另类春色 | 午夜女色国产在线观看 | 少妇人妻精品一区二区三区 | 久久三级黄色片 | 日韩激情在线 | 卡通动漫av | 操操操操网 | 亚洲欧美日韩在线不卡 | 国产精品久久一区性色av图片 | 亚洲国产av一区二区三区四区 | www.欧美在线 | 亚洲毛片在线观看 | 成人精品三级av在线看 | 天天舔天天摸 | 国产精品国产三级国产普通话蜜臀 | 18性夜影院午夜寂寞影院免费 | 国产精品久久一区二区三区 | 性生生活又硬又黄又爽 | 2019nv天堂香蕉在线观看 | 国产乱色国产精品播放视频 | 精品国产片一区二区三区 | 国产精品1000夫妇激情啪 | 女人18毛片九区毛片在线 | 亚洲成a人片在线www | 中文字幕avav | 秋霞网久久 | 日韩一级中文字幕 | 成人中文字幕在线观看 | 成人禁片又硬又粗太爽了 | 无码午夜福利视频一区 | 大乳三级a做爰大乳 | 日韩精品一区二区三区不卡 | 久久高清 | 蜜桃视频网站 | 亚洲免费在线 | 亚洲国产欧美日本视频 | va婷婷在线免费观看 | 少妇激情一区二区三区视频小说 | 美女福利影院 | 2021国产自在自线免 | 国产又黄又大又粗的视频 | 国产农村妇女露脸对白视频 | 2023亚洲精品国偷拍自产在线 | 韩国性生交大片免费观看视频 | 亚洲男人在线天堂 | 中文字幕在线视频第一页 | 久久亚洲精中文字幕冲田杏梨 | 给我免费的视频在线观看 | 他揉捏她两乳不停呻吟动态图 | 妹子色综合| 成人免费淫片 | 国产精品久久久久久久久久 | 特污兔网站免费观看 | 精品乱子伦一区二区三区 | 国产精品福利一区二区 | 国产精品久久久久久婷婷天堂 | 探花系列在线观看 | 色综合久久久无码中文字幕 | 欧美日韩中文在线视频 | 日韩欧美自拍 | 欧美激情国产日韩精品一区18 | 淫久久 | 人妻天天爽夜夜爽一区二区 | av网址网站| 国产精品igao视频网网址 | 亚洲日本va午夜蜜芽在线电影 | 午夜高清视频 | 男人和女人高潮做爰视频 | 男女啪啪免费网站 | 在线播放黄色av | 久久在线免费 | 丰满少妇高潮惨叫久久久久 | 午夜免费网站 | 亚洲国产日韩精品 | 天堂中文网在线 | 国内精品写真在线观看 | 欧美日韩国产精品 | 极品少妇被猛得白浆直流草莓视频 | 国产又黄又爽又猛免费视频网站 | 中文字幕狠狠 | 中日av乱码一区二区三区乱码 | 久草在线青青草 | 精品视频一区二区三区四区五区 | 天天做天天爱夜夜爽毛片 | 97色在线观看 | 少妇又紧又色又爽又刺激视频 | 性开放网站 | 在线免费黄色av | 中国妇女做爰视频 | 欧美啪视频 | 日韩中文在线播放 | 久久艹国产 | 少妇激情网| 波多野结衣视频网址 | 伊人狠狠色j香婷婷综合 | 亚洲三区av | 成人午夜高潮a∨猛片 | 伊人久久久 | 40岁成熟女人牲交片 | 毛葺葺老太做受视频 | 少妇的性事hd | 久久久成人精品 | 毛片在线视频观看 | 日本韩国欧美一区二区三区 | 国产精品999久久久 国产精品99精品 | 在线观看日本视频 | 国产成人免费观看 | 亚洲精品国产精品自产a区红杏吧 | 色婷婷激情av | 欧美视频网站www色 精品无码久久久久久久动漫 | 777爽死你无码免费看一二区 | 日韩一区二区视频在线 | 日日躁夜夜躁白天躁晚上 | 国产高清在线精品一区二区三区 | 免费日韩av在线 | 国色天香乱码区 | 公妇乱淫真实生活 | 亚洲第一页综合图片自拍 | 精品国产91 | www.国产在线 | 免费一级欧美片在线播放 | 婷婷激情丁香 | 亚洲无人区一区二区三区 | 国产成人剧情av麻豆果冻 | 无码少妇a片一区二区三区 免费无码av片在线观看网站 | 中日韩无砖码一线二线 | 99国产精品久久久久 | 1204人成网站色www | 最新2020无码中文字幕在线视频 | 亚洲色在线无码国产精品不卡 | 97久久久久人妻精品区一 | 欧美叫娇小xx人1314 | 精品无码专区久久久水蜜桃 | 国产免费高清 | 日韩精品视 | 日韩一级色片 | 亚洲黄色a | 亚洲黄色小视频在线观看 | 玖玖在线观看 | 91在线视频网址 | 一级看片免费视频囗交 | 性啪啪chinese东北老女人 | 色综合五月天 | 久久一区二区三区四区 | 做爰xxxⅹ高潮69网站 | 色版视频在线观看 | 美日韩一区二区 | 久久久久久无码午夜精品直播 | 无码aⅴ精品一区二区三区浪潮 | 特污兔网站免费观看 | 免费看小12萝裸体视频国产 | 天堂在线中文网www 亚洲中文字幕在线第六区 日本高清不卡aⅴ免费网站 | 天堂在线中文8 | 激情久久av一区av二区av三区 | 毛片在哪看 | 国产欧美a | 国产精品综合av一区二区国产馆 | 久久一热 | 国产精品美女一区二区视频 | 免费中文字幕日韩欧美 | 久久久久精 | 欧美一级鲁丝片 | 97超级碰碰人妻中文字幕 | 色8久久| 国产婷婷色一区二区三区在线 | 国产95在线 | 亚洲 | 欧美日韩在大午夜爽爽影院 | 国产精品久久久久久久av福利 | 精品www久久久久久奶水 | 国产精品www老牛影视 | 国产污视频在线观看 | 男女洗澡视频网站 | 欧美精品久久久久久久免费 | 国产亚洲美女精品久久久2020 | 在线欧美日韩国产 | 成人看片在线 | 九九热.com | 成人免费av片 | 亚洲天堂男人影院 | 国产免费一区二区三区四在线播放 | 91视频成人免费 | 国精产品999国精产 亚洲 欧美 综合 在线 精品 | 天天综合天天 | 女色综合| 中文字幕永久有效 | 伊人色综合久久天天五月婷 | av播播| 毛片一区二区三区 | 日韩精品无码一区二区 | 97久久超碰国产精品2021 | 久久精品国产露脸对白 | 亚洲欧美综合精品另类天天更新 | 中文乱码人妻系列一区二区 | 国产一区二区三区高清在线观看 | 奇米第四色一二三四区 | 亚洲五月激情 | 好吊色一区二区三区 | 精品国产一区二区三区久久影院 | av手机在线 | 伦理片在线播放无遮无挡 | 亚洲欧美国产高清va在线播放 | 99精品影视 | 国产女人叫床高潮大片免费 | 日日舔夜夜操 | 国产乱人伦精品一区二区 | 人妻熟女一区二区aⅴ向井蓝 | 国产精品福利视频一区 | 无码国产精品一区二区免费式直播 | 欧美在线观看视频免费 | 人妻少妇av无码一区二区 | 国产午夜三级一区二区三 | 精品无码国产av一区二区 | 免费爱爱视频 | 亚洲熟妇自偷自拍另欧美 | 欧美福利视频在线 | 亚洲777| 精品无码国产一区二区三区av | 日本免费在线观看 | 免费一级a毛片夜夜看 | 久久综合网欧美色妞网 | 日韩女优在线观看 | 国产在线拍揄自揄拍视频 | 马与人黄色毛片一部免费视频 | 福利视频第一页 | 成人性生交大片免费视频 | 日本女人一级片 | 日韩欧美国产成人 | 91最新国产 | 东北少妇白嫩bbwbbw | 日批日韩在线观看 | 精品性高朝久久久久久久 | 97无码人妻福利免费公开在线视频 | 亚洲精品一区二区三区丝袜 | 91一区二区视频 | 99精品国产一区二区三区2021 | 丝袜美腿亚洲一区二区图片 | 萌白酱国产一区二区 | 中国极品少妇xxxx | 全部免费毛片在线播放 | 久久久久久臀欲欧美日韩 |