《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 可編程邏輯 > 設(shè)計(jì)應(yīng)用 > 同構(gòu)與異構(gòu)片上多核系統(tǒng)的演進(jìn)過(guò)程
同構(gòu)與異構(gòu)片上多核系統(tǒng)的演進(jìn)過(guò)程
2017年電子技術(shù)應(yīng)用第3期
黃樂(lè)天1,別麗華2
1.電子科技大學(xué),四川 成都610054;2.華中農(nóng)業(yè)大學(xué) 信息學(xué)院,湖北 武漢430070
摘要: 系統(tǒng)級(jí)芯片是高端電子系統(tǒng)的核心,而片上多核系統(tǒng)是近年來(lái)系統(tǒng)級(jí)芯片的主要實(shí)現(xiàn)形式。近十年來(lái),片上多核系統(tǒng)一直是數(shù)字集成電路領(lǐng)域的熱點(diǎn),經(jīng)過(guò)眾多研究者的不斷努力誕生了大量很有意義的研究成果。但由于片上多核系統(tǒng)的研究者背景和應(yīng)用領(lǐng)域不同導(dǎo)致發(fā)展演進(jìn)過(guò)程較為復(fù)雜而難以理解。為減少這一問(wèn)題的影響,總結(jié)了片上多核系統(tǒng)的演進(jìn)歷史與現(xiàn)狀,并對(duì)片上多核系統(tǒng)未來(lái)的發(fā)展提出了一些看法。
中圖分類號(hào): TN4
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2017.03.001
中文引用格式: 黃樂(lè)天,別麗華. 同構(gòu)與異構(gòu)片上多核系統(tǒng)的演進(jìn)過(guò)程[J].電子技術(shù)應(yīng)用,2017,43(3):6-11,20.
英文引用格式: Huang Letian,Bie Lihua. Evaluation of homogeneous and heterogeneous multi-core System-on-Chip[J].Application of Electronic Technique,2017,43(3):6-11,20.
Evaluation of homogeneous and heterogeneous multi-core System-on-Chip
Huang Letian1,Bie Lihua2
1.University of Electronic Science and Technology of China,Chengdu 610054,China; 2.College of Informatics,Huazhong Agricultural University,Wuhan 430070,China
Abstract: The system level chips are the most important devices of high-end electronic system and the multi-core system on chips are the main architectures of system level chips. The multi-core system on chips are well developed by the researchers and engineers. Unfortunately,the evolution path of the multi-core system is too complex to understand because of different applications and researchers’ background. So,the history of the evolution path of the multi-core system is discussed and concluded in this paper. It would help the reader to understand the history and the future of multi-core system on chips.
Key words : multi-core system on chips;CMP;MPSoC

0 引言

    信息與通信行業(yè)的飛速發(fā)展使得人類生活發(fā)生了巨大變革,計(jì)算機(jī)技術(shù)作為整個(gè)信息與通信行業(yè)的關(guān)鍵支撐技術(shù),在強(qiáng)大需求的驅(qū)動(dòng)下得到了迅猛的發(fā)展。對(duì)計(jì)算能力的巨大需求和單芯片內(nèi)可集成的晶體管數(shù)目的不斷增長(zhǎng)促進(jìn)了片上多核系統(tǒng)的誕生[1]與發(fā)展[2-4]。通過(guò)將多個(gè)簡(jiǎn)單的核心集成在同一塊芯片內(nèi)使得在單個(gè)芯片內(nèi)部可同時(shí)執(zhí)行多個(gè)線程或任務(wù),進(jìn)程和任務(wù)間通信延遲也大為降低,極大地提高了系統(tǒng)的吞吐量[5]。自2010年以后,以大數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)為代表的新興信息技術(shù)領(lǐng)域的巨大發(fā)展,更進(jìn)一步加速了片上多核系統(tǒng)的發(fā)展。

    第一款被大眾所熟知的商用化片上多核系統(tǒng)是著名處理器芯片提供商之一的AMD公司面向個(gè)人電腦推出的ATHLON X2雙核中央處理器Central Processing Unit(CPU),該款CPU在商業(yè)上大獲成功。此后商用化片上多核系統(tǒng)的研制開(kāi)始進(jìn)入高潮。2005 年Intel發(fā)布了64位雙核處理器Montecito[6],IBM公司則發(fā)布了具有9個(gè)核心的Cell處理器[7]。此后的10年間,片上多核系統(tǒng)開(kāi)始大量被應(yīng)用于各種信息基礎(chǔ)設(shè)備,成為高性能計(jì)算與信息處理平臺(tái)的核心器件。

    但實(shí)際上片上多核系統(tǒng)的研究開(kāi)始于上個(gè)世紀(jì)90年代中期[1],在過(guò)去的20多年中片上多核系統(tǒng)架構(gòu)一直處于不斷發(fā)展和演進(jìn)中。由于應(yīng)用領(lǐng)域和研究人員的學(xué)術(shù)背景不同,片上多核系統(tǒng)的研究從一開(kāi)始就有著明顯的“流派”之分。隨著研究的的持續(xù)深入,片上多核系統(tǒng)出現(xiàn)了越來(lái)越多的技術(shù)分支。對(duì)于很多剛接觸片上多核系統(tǒng)研究的碩士生和低年級(jí)博士生而言,搞清楚這些技術(shù)分支的區(qū)別與聯(lián)系并不是一件輕松的工作。本文針對(duì)這一問(wèn)題,將總結(jié)片上多核系統(tǒng)近20年來(lái)的發(fā)展歷程,嘗試?yán)迩迤隙嗪讼到y(tǒng)發(fā)展的技術(shù)脈絡(luò)。希望通過(guò)這一分析總結(jié)出片上多核系統(tǒng)的發(fā)展趨勢(shì),為廣大學(xué)習(xí)片上多核系統(tǒng)的朋友們提供參考依據(jù)。

1 片上多核系統(tǒng)的分類

    片上多核系統(tǒng)由于起源不同、應(yīng)用領(lǐng)域不同以及研究者的學(xué)術(shù)背景不同等原因,發(fā)展出了不同的技術(shù)路線。上文提到的Intel公司發(fā)布的Montecito處理器[6]和IBM公司發(fā)布的Cell處理器[7]就代表了兩種最主要的技術(shù)路線。一類片上多核系統(tǒng)源于Symmetric Multi-Processing System(SMP)系統(tǒng),被稱之為Chip Multiprocessors (CMP)(國(guó)內(nèi)一般翻譯為單芯片多處理器),主要用于高性能通用計(jì)算領(lǐng)域。另一類片上多核系統(tǒng)則由片上系統(tǒng)Systemon-Chip(SoC)演進(jìn)而來(lái),被稱為Multi-Processors System-on-Chip(MPSoC)。這類片上多核系統(tǒng)主要作為一種高端的嵌入式處理器被應(yīng)用于通信、信號(hào)處理、多媒 體處理等領(lǐng)域。本文中將介紹這兩類片上多核系統(tǒng)的演進(jìn)歷史,在后文將分別使用CMP和MPSoC代稱這兩類片上多核系統(tǒng)架構(gòu)。

    采用CMP架構(gòu)的片上多核系統(tǒng)通常被應(yīng)用于工作站、服務(wù)器、云計(jì)算平臺(tái)等通用計(jì)算設(shè)備,所運(yùn)行的主要應(yīng)用通常是以科學(xué)計(jì)算、仿真模擬為代表的大數(shù)據(jù)量通用計(jì)算。這類片上多核系統(tǒng)大多采用數(shù)據(jù)并行的并行程序開(kāi)發(fā)模式,以共享存儲(chǔ)器的方式來(lái)交換數(shù)據(jù)。這樣的好處在于開(kāi)發(fā)難度較低、程序的通用性較好,可以借用類似于OpenMP[8]這樣已經(jīng)較為成熟的并行編程模型加以開(kāi)發(fā)。又由于科學(xué)計(jì)算、仿真模擬這類應(yīng)用的特點(diǎn)通常是數(shù)據(jù)量超大,但不同處理器上所運(yùn)行的核心程序往往是相同的。因此采用共享存儲(chǔ)的方式使得多個(gè)處理器核心可以很容易共享同一塊虛擬地址空間,這使得同一程序可以很方便地同時(shí)運(yùn)行在不同的核心上,也可以很方便地共享同一個(gè)操作系統(tǒng)或管理程序。

    MPSoC與CMP差不多同時(shí)開(kāi)始研究,但MPSoC的研究者主要來(lái)源于嵌入式處理器芯片設(shè)計(jì)領(lǐng)域。采用MPSoC架構(gòu)的片上多核系統(tǒng)通常面向通信、網(wǎng)絡(luò)、多媒體等高性能嵌入式計(jì)算應(yīng)用。參考文獻(xiàn)[9]和[10]歸納了運(yùn)行在MPSoC架構(gòu)的多核片上系統(tǒng)上的應(yīng)用的一些特征。這些特征包括:通常是存儲(chǔ)密集(memory-intensive)型的應(yīng)用、大多具備流計(jì)算的形式、對(duì)計(jì)算的實(shí)時(shí)性要求較高、可以被劃分為若干獨(dú)立的子任務(wù)或子系統(tǒng)等。由于這一類應(yīng)用通常可以被劃分成若干獨(dú)立的子任務(wù)或子系統(tǒng),因此各個(gè)核心通常被設(shè)計(jì)得相對(duì)獨(dú)立。數(shù)據(jù)通常被某一核心獨(dú)立處理后再傳遞給下一核心處理,因而MPSoC架構(gòu)的多核系統(tǒng)大多采用任務(wù)并行的開(kāi)發(fā)模式,一般不使用共享存儲(chǔ)機(jī)制而依靠核心之間的消息傳遞機(jī)制來(lái)直接完成數(shù)據(jù)的交換。

    但隨著研究的深入和技術(shù)的進(jìn)一步發(fā)展,CMP和MPSoC這兩類主流的片上多核系統(tǒng)的特點(diǎn)也在不斷變化。例如以Luca Benini為代表的一部分MPSoC的研究者也曾經(jīng)考慮開(kāi)發(fā)符合OpenMP標(biāo)準(zhǔn)的MPSoC架構(gòu)[11]。今后,全世界不同的研究者也必將在總結(jié)前人經(jīng)驗(yàn)的基礎(chǔ)上,根據(jù)新的應(yīng)用提出更多新的架構(gòu)。

2 單芯片多處理器(CMP)演進(jìn)歷史與現(xiàn)狀

2.1 早期的單芯片多處理器架構(gòu)分析

    Hydra處理器是1996年美國(guó)斯坦福大學(xué)研制集成了4個(gè)核心的處理器,它被認(rèn)為是首款具備CMP性質(zhì)的片上多核系統(tǒng)。Hydra處理器的架構(gòu)如圖1所示。

yg1-t1.gif

    Hydra處理器采用了4個(gè) MIPS 處理核心,每個(gè)核心擁有私有的指令緩存(I-Cache)和數(shù)據(jù)緩存(D-Cache)。二級(jí)緩存為4個(gè)核心共享,通過(guò)核心自身的存儲(chǔ)控制器(Memory Controller,MC)及一組總線與二級(jí)緩存(L2 Cache)、主存儲(chǔ)器接口(Main Memory Interface)和輸入輸出總線接口(I/O Bus Interface)互連。由于片上的二級(jí)緩存為4個(gè)核心所共享,因此4個(gè)核心實(shí)質(zhì)上在邏輯上具備單一的內(nèi)存地址空間。這也使得共享同一個(gè)操作系統(tǒng)或管理程序成為可能。

    Hydra處理器為后續(xù)CMP架構(gòu)片上多核系統(tǒng)的發(fā)展奠定了基礎(chǔ),這一架構(gòu)的片上多核系統(tǒng)在后續(xù)的演進(jìn)過(guò)程中始終被Hydra處理器的初始設(shè)計(jì)所影響。

2.2 單芯片多處理器架構(gòu)演進(jìn)過(guò)程

    單芯片多處理器自Hydra處理器之后持續(xù)演進(jìn),其改進(jìn)主要體現(xiàn)在內(nèi)部互聯(lián)結(jié)構(gòu)和片上存儲(chǔ)器的組織方式兩大方面。

    在內(nèi)部互聯(lián)結(jié)構(gòu)方面的演進(jìn)主要體現(xiàn)在使用更為復(fù)雜的互聯(lián)結(jié)構(gòu)替代原本單一的總線互聯(lián)模式。2000年由康柏計(jì)算機(jī)公司(Compaq Computer Corporation,后與惠普公司合并成為新惠普的一部分)發(fā)布的Piranh處理器[13]在繼承Hydra處理器架構(gòu)的基礎(chǔ)上采用片內(nèi)交換互連(Switch)結(jié)構(gòu)替代了總線,從而可以支持集成更多的核心。在很長(zhǎng)一段時(shí)期內(nèi),這種基于Switch的架構(gòu)成為CMP的主流架構(gòu),例如2009年我國(guó)自主研發(fā)的四核龍芯3A處理器[14]依然采用了基于片內(nèi)交換的互聯(lián)方式。

    圖2所示為Piranh處理器架構(gòu)圖,每個(gè)處理器芯片內(nèi)部包含有8個(gè)獨(dú)立的CPU單元,通過(guò)片內(nèi)的交換結(jié)構(gòu)和8個(gè)獨(dú)立的二級(jí)緩存模塊互聯(lián)。由于CPU可以通過(guò)內(nèi)部交換結(jié)構(gòu)訪問(wèn)8個(gè)獨(dú)立的二級(jí)緩存模塊中的任意一個(gè),因此8個(gè)獨(dú)立緩存模塊在邏輯上構(gòu)成了一個(gè)完整的共享二級(jí)緩存。片內(nèi)互聯(lián)結(jié)構(gòu)不但為CPU訪問(wèn)共享存儲(chǔ)提供了通道,CPU也可以通過(guò)片內(nèi)互聯(lián)結(jié)構(gòu)去訪問(wèn)一個(gè)共享的網(wǎng)絡(luò)引擎。通過(guò)網(wǎng)絡(luò)引擎不同的芯片可以實(shí)現(xiàn)板級(jí)或機(jī)柜級(jí)片間互聯(lián),從而構(gòu)成一個(gè)更大的并行計(jì)算機(jī)系統(tǒng)。

yg1-t2.gif

    但即使采用了Switch 的架構(gòu),依然難以讓片內(nèi)核心數(shù)目超過(guò)8個(gè),片上網(wǎng)絡(luò)(Network on Chip,NoC)逐步發(fā)展起來(lái)替代交換結(jié)構(gòu)成為CMP架構(gòu)片上多核系統(tǒng)內(nèi)部互聯(lián)的主流方案。早在1997 年麻省理工學(xué)院MPSoC所研制的RAW微處理器架構(gòu)就開(kāi)始探索網(wǎng)絡(luò)化互連的方式,其具體架構(gòu)如圖3所示。

yg1-t3.gif

    RAW微處理器架構(gòu)采用了一種被稱為Tile(有國(guó)內(nèi)文獻(xiàn)直譯為瓦片,為避免歧義本文中均使用英文原文指代)的模塊劃分方式。這種劃分方法把CPU、 私有Cache(L1 Cache)、共享Cache(L2 Cache)的一個(gè)Bank、網(wǎng)絡(luò)接口(Network Interface NI)等硬件資源構(gòu)建為一個(gè)獨(dú)立的Tile。不同的Tile在芯片規(guī)劃的平面內(nèi)按一定的規(guī)律整齊排列,Tile和Tile之間通過(guò)NoC加以互聯(lián)。這種采用Tile來(lái)劃分和組織片上多核系統(tǒng)的方式優(yōu)勢(shì)在于每個(gè)核心比較規(guī)整,有利于芯片后端設(shè)計(jì)并具備較好的可擴(kuò)展性。此后雖然有一些其他形式的核心劃分與組織方式的論文發(fā)表,但基于Tile的劃分與組織方式始終被絕大部分研究者所繼承。

    片上網(wǎng)絡(luò)成為CMP架構(gòu)的片上多核系統(tǒng)內(nèi)部互聯(lián)的主流方式之后,片上緩存的組織方式也相應(yīng)發(fā)生了改變。在使用總線或交換結(jié)構(gòu)的時(shí)代,CPU訪問(wèn)不同Cache Bank的時(shí)間是基本保持一致的。但在使用片上網(wǎng)絡(luò)作為內(nèi)部互聯(lián)以后,CPU訪問(wèn)不同的Cache Bank的時(shí)間已經(jīng)不可能保持一致了。因此一種被稱為非均勻高速緩存體系結(jié)構(gòu)(Non-Uniform Cache Architecture,NUCA)的概念被提出。NUCA是基于片上網(wǎng)絡(luò)的CMP片上多核系統(tǒng)所必然要面臨的問(wèn)題,但對(duì)NUMA(Non-Uniform Memory Architecture)的研究也推動(dòng)了基于片上網(wǎng)絡(luò)的CMP片上多核系統(tǒng)向前持續(xù)演進(jìn)。改進(jìn)NUMA條件下CMP架構(gòu)片上多核系統(tǒng)的訪存效率,也成為提升CMP架構(gòu)片上多核系統(tǒng)性能的主要途徑。由于這部分內(nèi)容涉及到較多存儲(chǔ)體系結(jié)構(gòu)方面的研究,超出了本文所討論的范圍,因而在此不再進(jìn)一步展開(kāi)討論。

    經(jīng)過(guò)多年的發(fā)展,以片上網(wǎng)絡(luò)為互聯(lián)基礎(chǔ),以按NUMA體系組織片上緩存的做法已經(jīng)成為CMP架構(gòu)片上多核系統(tǒng)的主流設(shè)計(jì)方法。例如圖4所示的32核心SPARC M7處理器[16]。該款處理器共有32個(gè)核心,每4個(gè)核心構(gòu)成一個(gè)組(文獻(xiàn)[16]中稱其為SCC),總共8個(gè)組。每個(gè)組內(nèi)部共享L2 Cache,但其他組不能訪問(wèn)。L3 Cache為全局共享Cache,可以被所有的所有核心訪問(wèn)。L3 Cache同樣被劃分為8個(gè)獨(dú)立的bank,和對(duì)應(yīng)的每個(gè)組一起組成了一個(gè)完整的Tile。

yg1-t4.gif

    SPARC M7處理器采用了片上網(wǎng)絡(luò)互聯(lián)不同的Tile。為了更有效地互聯(lián)各個(gè)不同的Tile,研究者為SPARC M7處理器設(shè)計(jì)了三套不同的片上網(wǎng)絡(luò),分別是采用環(huán)網(wǎng)(Ring)結(jié)構(gòu)的請(qǐng)求網(wǎng)絡(luò)(Request Network)、采用廣播(Broadcasting)結(jié)構(gòu)的響應(yīng)網(wǎng)絡(luò)(Responses Network)以及采用網(wǎng)格(Mesh)結(jié)構(gòu)的數(shù)據(jù)網(wǎng)絡(luò)(Data Network)。不同的片上網(wǎng)絡(luò)分別傳送不同的控制信息和數(shù)據(jù),從而使得訪問(wèn)Cache的效率能最大限度的提高。

    除SPARC M7處理器之外,Intel公司設(shè)計(jì)的E5-2600系列處理器[17]、IBM公司設(shè)計(jì)的Z系列處理器[18]等雖然實(shí)現(xiàn)細(xì)節(jié)上有所不同,但基本上都按照按NUMA體系組織片上緩存并使用了片上網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)互聯(lián)。這兩大特征已幾乎成為現(xiàn)代CMP架構(gòu)的多核片上系統(tǒng)的基本特征。

3 多處理器片上系統(tǒng)(MPSoC)演進(jìn)歷史與現(xiàn)狀

3.1 早期的多處理器片上系統(tǒng)架構(gòu)分析

    在MPSoC誕生初期的主要代表是一些集成了多個(gè)數(shù)字信號(hào)處理器(Digital Signal Processor DSP)和微處理器(Microprocessor Unit MPU)的專用芯片[19-21],主要被應(yīng)用于數(shù)字電視、多媒體播放器等信號(hào)處理設(shè)備。與追求高性能的通用計(jì)算不同,MPSoC 主要應(yīng)用領(lǐng)域所面臨的主要問(wèn)題是計(jì)算的實(shí)時(shí)性。由于計(jì)算任務(wù)的確定性更強(qiáng),使得MPSoC的設(shè)計(jì)者和使用者能夠也必須要精確地劃分任務(wù)并合理地分配任務(wù)以應(yīng)對(duì)各種挑戰(zhàn)。圖5所示的Viper處理器即為最早的一批MPSoC之一。

yg1-t5.gif

    從圖5中可以看出,整個(gè)芯片可以被劃分為兩個(gè)相對(duì)獨(dú)立的子系統(tǒng),分別以MIPS(PR3940)CPU和TriMedia(TM32)CPU為核心。圖5左側(cè)為以MIPS(PR3940)CPU為核心的子系統(tǒng),這部分子系統(tǒng)的架構(gòu)類似于一個(gè)通用的嵌入式SoC芯片,集成了如UART、IEEE 1394協(xié)議控制器之類的接口模塊。圖5右側(cè)為以TriMedia(TM32)CPU為核心,在這一子系統(tǒng)中集成了如MPEG-2視頻解碼器、視頻輸入處理器等多媒體處理單元,實(shí)質(zhì)上構(gòu)成了一個(gè)專用的多媒體處理器。因此可以很清楚地判斷Viper處理器中以MIPS(PR3940)CPU為核心的子系統(tǒng)主要負(fù)責(zé)通用處理器控制和數(shù)據(jù)傳輸方面的功能,而以TriMedia(TM32)CPU為核心的子系統(tǒng)則主要負(fù)責(zé)多媒體信號(hào)處理。兩個(gè)子系統(tǒng)相對(duì)獨(dú)立,通過(guò)Fast C-Bridge、MIPS C-Bridge以及C-Bridge 3個(gè)總線橋相互連接。

    Viper處理器的架構(gòu)很清晰地體現(xiàn)了MPSoC的一些典型特點(diǎn):按任務(wù)需求劃分為若干獨(dú)立的子系統(tǒng),每個(gè)子系統(tǒng)完成一個(gè)專門的功能,子系統(tǒng)之間相對(duì)獨(dú)立等。這種架構(gòu)設(shè)計(jì)方法充分體現(xiàn)了嵌入式系統(tǒng)的特性,因而被后來(lái)的研究者所繼承和發(fā)揚(yáng)。

3.2 多處理器片上系統(tǒng)架構(gòu)演進(jìn)過(guò)程

    和CMP架構(gòu)的片上多核系統(tǒng)類似,隨著MPSoC架構(gòu)片上多核系統(tǒng)中核心數(shù)量的增加,不同核心之間的互連方式也由總線演進(jìn)到了NoC這一過(guò)程。其后也有部分研究者提出采用交換矩陣(Crossbar Matrix)[22]或點(diǎn)對(duì)點(diǎn)直連[23]的方式來(lái)實(shí)現(xiàn)片上互聯(lián)。但這些片上互聯(lián)方法或受制于帶寬無(wú)法支持集成太多的核心,或自身復(fù)雜程度會(huì)隨著核心數(shù)量的增加而急劇增加。

    參考文獻(xiàn)[24]介紹了一種“過(guò)渡形態(tài)”的MPSoC架構(gòu)片上多核系統(tǒng)。在這顆芯片中采用了6×6陣列的形式來(lái)排列36個(gè)簡(jiǎn)單的DSP處理器核心,其具體架構(gòu)如圖6所示。

yg1-t6.gif

    AsAP核心內(nèi)部有一個(gè)包含算術(shù)運(yùn)算單元(ALU)、乘累加單元(MAC)以及控制邏輯的運(yùn)算模塊。以該模塊為核心增加64個(gè)字的指令存儲(chǔ)器和128個(gè)字的數(shù)據(jù)存儲(chǔ)器構(gòu)成了一個(gè)精簡(jiǎn)的可編程數(shù)字信號(hào)處理器。通過(guò)兩個(gè)深度為32個(gè)字的FIFO構(gòu)成了處理器與其他處理器通信的接口。某一個(gè)AsAP核心只能支持和周圍相鄰的核心通信,而無(wú)法做到與更多的核心通信。由于很多信號(hào)處理類應(yīng)用都可以被抽象成流水線結(jié)構(gòu),因此AsAP的互聯(lián)方式也可以支持大量的應(yīng)用。文獻(xiàn)[24]中就給出了實(shí)現(xiàn)DCT變換和802.11a/g基帶信號(hào)處理兩個(gè)案例。

    AsAP的架構(gòu)雖然可以支持很多信號(hào)處理類的應(yīng)用,但互聯(lián)的靈活性確實(shí)受到了很大的限制。隨著核心數(shù)目和應(yīng)用復(fù)雜度的持續(xù)增加,后續(xù)提出MPSoC架構(gòu)的片上多核系統(tǒng)都普遍采用了片上網(wǎng)絡(luò)來(lái)作為核間互聯(lián)的方式。

    除互聯(lián)方式的演進(jìn)外,MPSoC架構(gòu)的片上多核系統(tǒng)在演進(jìn)的過(guò)程中還出現(xiàn)了“同構(gòu)多核”和“異構(gòu)多核”兩種不同的發(fā)展路線。

    參考文獻(xiàn)[25]給出了一種典型的同構(gòu)MPSoC架構(gòu)片上多核系統(tǒng),這種芯片采用集成同構(gòu)處理器陣列來(lái)構(gòu)建MPSoC架構(gòu)片上多核系統(tǒng)。每一個(gè)獨(dú)立的處理器可以運(yùn)行某個(gè)特定的信號(hào)處理算法,核心之間按照數(shù)據(jù)流的方式來(lái)組織多核互聯(lián)。同構(gòu)多核的優(yōu)勢(shì)在于通用性很好,可以被用于實(shí)現(xiàn)不同的嵌入式系統(tǒng)。

    參考文獻(xiàn)[26]則介紹了一種名為Tomahawk2的異構(gòu)MPSoC架構(gòu)片上多核系統(tǒng),這種芯片往往是針對(duì)不同的應(yīng)用而專門定制的,更接近于SoC技術(shù)的本源。圖7給出了Tomahawk2的詳細(xì)架構(gòu)。

yg1-t7.gif

    從圖7可以看出,Tomahawk2中包含了Duo-PE、CM、APP幾種不同類型的處理器核心和FEC、SD等專用算法IP核以及FPGA、DDR-SDRAM等專用接口IP核。CM(Core Manager)核用于芯片的管理,主要負(fù)責(zé)任務(wù)的映射和動(dòng)態(tài)調(diào)度。APP(Application Processor)為應(yīng)用處理器,負(fù)責(zé)運(yùn)行操作系統(tǒng)與應(yīng)用程序。Duo-PE是Tomahawk2中的主要運(yùn)算單元,包含了一個(gè)DSP處理器和一個(gè)RISC處理器,可以支持執(zhí)行各類信號(hào)處理以及運(yùn)算任務(wù)。每個(gè)核心均涉及了獨(dú)立的時(shí)鐘生成模塊——ADPLL以及獨(dú)立的功耗管理模塊PMGT。因此從宏觀上來(lái)說(shuō)每一個(gè)核心都可以工作在不同的電壓與頻率上,整個(gè)芯片從全局上來(lái)看處于異步工作的狀態(tài)。為解決不同核心之間異步通信的問(wèn)題,Tomahawk2采用了片上網(wǎng)絡(luò)來(lái)互聯(lián)各個(gè)核心。不同的核心通過(guò)NI與片上網(wǎng)絡(luò)連接,而NI本身包含一個(gè)異步FIFO,從而實(shí)質(zhì)上起到了連接兩個(gè)不同時(shí)鐘域的作用。Tomahawk2可以加載/配置不同的程序以及設(shè)置不同的連接方式,從而實(shí)現(xiàn)不同的應(yīng)用。除Tomahawk2外,后續(xù)發(fā)布的如FAUST[27]等MPSoC架構(gòu)的片上多核系統(tǒng)也都采用了異構(gòu)集成的方式。隨著對(duì)芯片能效需求的提升,根據(jù)實(shí)際的需求設(shè)計(jì)并集成專用處理器核從而最大化能效成為片上多核系統(tǒng)的主流趨勢(shì)。因此異構(gòu)MPSoC架構(gòu)的片上多核系統(tǒng)目前已經(jīng)成為主流。

    雖然MPSoC架構(gòu)的片上多核系統(tǒng)的形態(tài)差異相當(dāng)大,但卻基本都具備各核心之間相對(duì)獨(dú)立、數(shù)據(jù)傳輸依靠不同核心之間直接建立傳輸途徑而非通過(guò)共享存儲(chǔ)器中轉(zhuǎn)等特點(diǎn)。這些特點(diǎn)使得設(shè)計(jì)MPSoC架構(gòu)的片上多核系統(tǒng)時(shí),如何合理地將系統(tǒng)劃分為不同核心為中心的子系統(tǒng)并用適當(dāng)?shù)姆绞郊右越M織和管理成為主要問(wèn)題。這一過(guò)程一般被抽象為任務(wù)劃分和任務(wù)映射問(wèn)題。但由于這兩大問(wèn)題涉及到更多的內(nèi)容,在本文中將不做詳細(xì)的介紹。

4 片上多核系統(tǒng)研究展望

    經(jīng)過(guò)近20年的發(fā)展,片上多核系統(tǒng)已經(jīng)經(jīng)歷了從萌芽到成熟的整個(gè)歷程。無(wú)論是CMP架構(gòu)的片上多核系統(tǒng)還是MPSoC架構(gòu)的片上多核系統(tǒng)的相關(guān)研究都已經(jīng)取得了長(zhǎng)足的進(jìn)展,并有大量研究成果已經(jīng)大量應(yīng)用到實(shí)際的高端系統(tǒng)級(jí)芯片中。

    雖然片上多核系統(tǒng)已經(jīng)進(jìn)入到了成熟期,但人類對(duì)于產(chǎn)品性能的永不滿足追求依然將推動(dòng)片上多核持續(xù)發(fā)展。從目前來(lái)看,片上多核系統(tǒng)的研究主要呈現(xiàn)以下趨勢(shì):

    (1)片上多核系統(tǒng)內(nèi)部互聯(lián)方式復(fù)雜化,多樣化。雖然片上網(wǎng)絡(luò)已幾乎成為片上多核系統(tǒng)互聯(lián)的必然選擇,但其內(nèi)涵與外延都已發(fā)生了很大變化。采用標(biāo)準(zhǔn)Mesh拓?fù)浜桶粨Q的經(jīng)典片上網(wǎng)絡(luò)在實(shí)際的產(chǎn)品中并未廣泛采用,而混合了多種不同互聯(lián)形式的定制化片上網(wǎng)絡(luò)以及總線與網(wǎng)絡(luò)混合的互聯(lián)結(jié)構(gòu)卻大行其道。可以預(yù)見(jiàn)未來(lái)會(huì)有更多更新的片上互聯(lián)結(jié)構(gòu)被提出。

    (2)由于加速器或?qū)S锰幚砥髟谕瓿商囟ㄈ蝿?wù)時(shí)具有較高的能效,在系統(tǒng)中集成越來(lái)越多的專用而非通用的核心將成為必然。同時(shí)CMP和MPSoC兩種架構(gòu)也在逐步走向融合。參考文獻(xiàn)[28]給出了一種現(xiàn)代異構(gòu)多核片上系統(tǒng)的架構(gòu),在處理器節(jié)點(diǎn)內(nèi)部采用了CMP架構(gòu),而整個(gè)片上系統(tǒng)宏觀上來(lái)看卻是一種MPSoC架構(gòu)。這種混合架構(gòu)必將對(duì)片上多核系統(tǒng)的架構(gòu)組織和運(yùn)行管理提出更大的挑戰(zhàn),也將成為未來(lái)的一大研究熱點(diǎn)。

    (3)與片上多核系統(tǒng)往“異構(gòu)”發(fā)展相適應(yīng)的是以“軟件為核心”的設(shè)計(jì)方法將成為未來(lái)設(shè)計(jì)的主流思潮。以往的設(shè)計(jì)方法是先有基礎(chǔ)的硬件平臺(tái),在此基礎(chǔ)上再設(shè)計(jì)相應(yīng)的軟件來(lái)實(shí)現(xiàn)功能。而“以軟件為核心”的設(shè)計(jì)方法則要求硬件設(shè)計(jì)服從軟件設(shè)計(jì)的需求,通過(guò)定制專用的核心實(shí)現(xiàn)軟件處理的加速。目前這一方法尚在研究中,還缺乏成熟的設(shè)計(jì)流程和設(shè)計(jì)模式。

    片上多核系統(tǒng)是系統(tǒng)級(jí)芯片發(fā)展到一定階段的必然產(chǎn)物,也是當(dāng)前高端系統(tǒng)級(jí)芯片的主要實(shí)現(xiàn)形式。隨著技術(shù)的進(jìn)步和需求的推動(dòng),未來(lái)片上多核系統(tǒng)仍然將不斷有新的研究熱點(diǎn)出現(xiàn)。

參考文獻(xiàn)

[1] OLUKOTUN K,NAYFEH B A,HAMMOND L,et al.The case for a single-chip multiprocessor[J].Acm Sigops Operating Systems Review,1996,31(9):2-11.

[2] WAINGOLD E,TAYLOR M,SRIKRISHNA D,et al.Baring it all to software:Raw machines[J].Computer,1997,30(9):86-93.

[3] TAYLOR M B,KIM J,MILLER J,et al.The raw micropro-cessor:A computational fabric for software circuits and general-purpose programs[J].IEEE Micro,2002,22(2):25-35.

[4] TAYLOR M B,LEE W,MILLER J,et al.Evaluation of the raw microprocessor:An exposed-wire delay architecture for ILP and streams[J].Acm Sigarch Computer Architecture News,2004,32(2):2-13.

[5] GORDON M I,THIES W,AMARASINGHE S.Exploiting coarse-grained task,data,and pipelineparallelism in stream programs[J].Acm Sigarch Computer Architecture News,2010,41(11):151-162.

[6] MCNAIRY C,BHATIA R.Montecito:A dual-core,dual-thread itanium processor[J].IEEE Micro,2005,25(2):10-20.

[7] KAHLE J.The cell processor architecture[C].38th annual IEEE/ACM International Symposium on Microarchitecture,Washington,DC,2005:49-56.

[8] DAGUM L,MENON R.OpenMP:an industry standard API for shared-memory programming[J].IEEE Computational Science and Engineering,1998,5(1):46-55.

[9] WOLF W.Multiprocessor system-on-chip technology[J].IEEE Signal Processing Magazine,2009,26(6):50-54.

文獻(xiàn)[10-28]略


作者信息:

黃樂(lè)天1,別麗華2

(1.電子科技大學(xué),四川 成都610054;2.華中農(nóng)業(yè)大學(xué) 信息學(xué)院,湖北 武漢430070)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 国产一大二大不卡专区 | 2018天天干天天射 | 日韩美女免费视频 | 免费黄网站在线观看 | 免费无码又爽又刺激软件下载直播 | 青青草视频免费看 | 亚洲一二三视频 | 成人国产一区二区三区 | 九色蜜桃臀丨porny丨自拍 | 亚洲国产精品精华液999 | 欧美s码亚洲码精品m码 | 亚洲国产成人精品女人久久久 | 伊人春色在线视频 | 国内精品国产成人国产三级粉色 | 亚洲阿v天堂在线 | 直接看毛片 | 欧美久久99 | 国产一级一片射内视频 | 免费看污的网站 | 粉嫩小箩莉奶水四溅在线观看 | tube极品少妇videos | aaa一区二区 | 天天摸天天做天天爽水多 | 国精产品999国精产品蜜臀 | 中文字幕亚洲精品久久女人 | 在线观看成人无码中文av天堂 | 精品国产乱码久久久久久果冻传媒 | 亚洲狠狠丁香综合一区 | 91久久国产婷婷一区二区 | а天堂中文最新一区二区三区 | 五月婷婷,六月丁香 | 亚洲视频不卡 | 国产粉嫩av | 中文字幕在线亚洲精品 | www.亚洲人| 亚洲精品久久午夜无码一区二区 | 亚洲精品久久久久久久久久久久久久 | 国产亚洲综合在线 | 成人涩涩日本国产一区 | 欧美性视频播放 | 国产区图片区小说区亚洲区 | 亚洲国产无线乱码在线观看 | 一本加勒比hezyo东京图库 | 中文字幕在线免费观看视频 | 特大黑人巨交性xxxx | 国产男女精品视频 | 一本一道久久a久久精品综合 | 九色porny丨首页入口在线 | 99精品视频在线看 | 黄色小网站在线观看 | 中文在线а√在线8 | 亚洲欧美中文日韩v在线观看 | 欧美日韩www | kk视频在线观看 | 色偷偷av一区二区三区 | 少妇呻吟白浆高潮啪啪69 | 亚洲天堂2020 | 国产日韩一级片 | 亚洲精品久久久久午夜福禁果tⅴ | 九九热在线视频观看这里只有精品 | 黑人性较视频免费视频 | 婷婷伊人综合亚洲综合网 | 真实国产乱子伦对白视频 | 亚洲黄色一区 | 91精品国产综合久久久久久丝袜 | 大地资源影视在线播放观看高清视频 | 久久久在线 | 欧美乱妇高清无乱码在线观看 | 伊人久久在线 | 中文字幕系列 | 色网址在线观看 | 开心激情av | 成人在线免费网址 | 国产精品一区在线观看你懂的 | 国产精品推荐天天看天天爽 | 男女瑟瑟网站 | 无码一区二区波多野结衣播放搜索 | 国产精品爽爽久久久久久豆腐 | 国产美女视频91 | 日韩精品一区在线观看 | 欧美精品亚洲精品日韩专区 | 偷窥福利视频 | 综合在线一区 | 亚洲一区二区三区四区的 | 超碰99在线 | 久久久91精品国产一区二区精品 | 免费性爱视频 | 国产成人亚洲综合无码 | 欧美叫娇小xx人1314 | 一二三四国产精品 | 99国产精品久久久蜜芽 | 一边吃奶一边做爰爽到爆视频 | 亚洲 欧美 国产 日韩 精品 | 成午夜精品一区二区三区软件 | 亚洲成人激情av | 91精品国产99久久久久 | 91麻豆精品国产91久久久更新时间 | 色久综合在线 | 成 人片 黄 色 大 片 | 2018国产精华国产精品 | 亚洲精品视频网址 | 天天天干干干 | 欧美日韩在线视频免费观看 | 国产人妻丰满熟妇嗷嗷叫 | 欧美大波乳人伦免费视频 | 欧美乱妇日本无乱码特黄大片 | 国产福利免费 | 国产成人精品日本亚洲第一区 | 欧美成人高清在线 | 中文字幕永久免费视频 | 人妻激情另类乱人伦人妻 | 久久福利网站 | 成片免费观看视频大全 | 国产成人av片 | 3d动漫精品啪啪一区二区下载 | 黄色一区二区三区 | 亚洲国产精品无码久久一区二区 | 人与善交xuanwen3d | 久久久久久av | 日日噜噜噜噜夜夜爽亚洲精品 | 少妇富婆一区二区三区夜夜 | 久久久久人妻啪啪一区二区 | 富婆按摩av国产hd | 欧美日韩在线免费视频 | 草啪啪 | 肉体公尝中文字幕第三部 | 91激情视频在线观看 | 日韩深夜影院 | 国产精品a级 | 我要看免费黄色片 | 色婷婷综合久久久中文字幕 | 国产欧美熟妇另类久久久 | 成人免费观看a | 天天色综合av | 亚州综合网 | 国产伦理丿天美传媒av | 美女视频毛片 | 久久密av | 肉欲性大交毛片 | 欧美日韩黄色一级片 | 国产在线aaa片一区二区99 | 尤物视频在线播放 | 少妇做爰免费视看片 | 激情综合亚洲色婷婷五月app | 中文天堂在线播放 | brazzers欧美一区二区 | 欧美 变态 另类 人妖 | 亚洲国产精品久久久久久久久久 | 久久99热狠狠色精品一区 | 亚洲日韩欧美一区二区在线 | 酒店大战丝袜高跟鞋人妻 | 久久精品天天中文字幕人妻 | wwwyoujizzcom在线| 欧美精品毛片 | 伊人色爱| 草1024榴社区成人 | 国产激情综合五月久久 | 成人免费毛片明星色大师 | 国产日韩精品中文字无码 | 少妇又紧又色又爽又黄又刺激 | 少妇亲子伦av | 狼色精品人妻在线视频 | 巨大荫蒂视频欧美大片 | 国产精品18久久久久vr使用方法 | 精品视频久久久久 | 国产周晓琳在线另类视频 | 91久久精品国产91久久 | 欧美寡妇性猛交 | 欧美视频在线播放 | 色又黄又爽18禁免费网站现观看 | 伦理片在线播放无遮无挡 | 麻豆一区二区三区精品视频 | 国产精品 精品国内自产拍 日韩精品一区二区三区中文 | 中国美女牲交视频 | 精品一区二区国产 | 国产精品一区二区含羞草 | 国产白丝无码免费视频 | 特黄特色大片免费视频观看 | а√在线中文网新版地址在线 | 一级国产航空美女毛片内谢 | 国产69精品久久久久777糖心 | 国产精品美女www爽爽爽动态图 | 久久这里只有精品99 | 欧美激情性做爰免费视频 | 手机在线成人av | 天天躁日日躁狠狠的躁天龙影院 | 高清不卡一区二区三区 | 在线播放a | 无码人妻精品一区二区蜜桃网站 | 亚洲国产欧美精品 | 91绿帽黑人系列一区 | 毛片a久久99亚洲欧美毛片 | 亚洲欧美日韩制服 | 狂野欧美性猛xxxx乱大交 | 在线男人天堂 | 青青草成人av | 国产成人综合亚洲 | 成人高清视频免费观看 | 不卡av在线播放 | 一区久久| 成人小视频免费观看 | 夫妻一区二区 | 理论片中文字幕 | 一级真人毛片 | 国产成人精品999 | 欧美成人欧美edvon | 污视频在线观看网址 | 国产一二三四ts人妖 | 日韩欧美视频二区 | 国产精品久久久久久久久久久天堂 | 久久久久久久久成人 | 精品乱码久久久久久久 | 91人人揉日日捏人人看 | a级特黄的片子 | 国产极品网站 | 在线观看久 | 久久福利视频导航 | 欧美久久久久久久久久 | 久久影视av | 他掀开裙子舌头进去69式 | 四虎综合网 | 免费无遮挡无码视频在线观看 | 日本亚洲欧美 | 国产精品69久久久 | 天干天干天啪啪夜爽爽av软件 | 国产精品久久久久久av免费看 | 亚洲va欧美va国产综合先锋 | 国产乱妇无码大片在线观看 | 国语播放老妇呻吟对白 | 亚洲午夜高清 | 91极品欧美视频 | 久久精品www人人爽人人 | a级淫片一二三区在线播放 a天堂v | 国产男女视频在线观看 | 久久精国 | 亚洲网站视频 | 国产李沁av在线播放 | 国产精品av一区 | 日韩毛片在线免费观看 | 藏春阁福利视频 | 久久国产精品一区二区三区 | 丰满少妇高潮在线播放不卡 | 91精品国产一区二区三区 | 992tv成人国产福利在线观看 | 精品久久久久久久久久久 | 欧美一区二区网站 | 狠狠久久| 国产福利视频 | 精品一区二区三区久久久 | 99精品一区二区三区无码吞精 | 日韩人妻少妇一区二区三区 | 精品国产乱码久久久久久久软件 | 国产又黄又爽又刺激的免费网址 | 国产色视频免费 | 五月婷婷六月丁香 | 黑人巨大跨种族video | 少妇性l交大片免费观看冫 少妇性l交大片免费快色 | 日韩高清在线播放 | 欧美13一14娇小xxxx | 高清国产一区二区三区 | 国产成人黄色 | 欧美日韩黄色大片 | 日韩加勒比一本无码精品 | 国产精品黄在线观看免费软件 | 中国女人内谢69xxxxⅹ视频 | 久久免费视频在线观看 | 公妇乱淫1~6集全观看不了啦 | 日韩成av人片在线观看 | 国产精品爱久久久久久久 | 日本少妇高潮喷水视频 | 成人毛片100部 | 日韩欧美一区天天躁噜噜 | 国产一级内谢 | 六月婷婷久香在线视频 | 久久99精品久久久久久蜜芽 | 草草影院发布页 | 亚洲 欧美 变态 另类 制服 | 羞羞午夜福利免费视频 | 黑人巨大猛烈捣出白浆 | 99国产欧美精品久久久蜜芽 | 日韩美女亚洲99久久二区 | 做爰猛烈叫床91 | 8x拔播拔播x8国产精品 | 黄色高清免费 | 国产伦子伦视频在线观看 | 亚洲一二三区在线 | 美女18网站| 国产成年无码久久久久下载 | 国产精品久久久久久久久久久久 | 日日操狠狠干 | 又湿又紧又大又爽a视频 | 日韩精品av一区二区三区 | 伊人久久五月丁香综合中文亚洲 | 久久叉 | 国产日韩一区二区三区 | 巨胸爆乳美女露双奶头挤奶 | 国产精品二区视频 | 亚洲人成久久婷婷精品五码 | 日韩另类视频 | 欧美色啪| 欧美日韩国产精品一区 | 午夜激情啪啪 | 色妞色视频一区二区三区四区 | 三级免费黄录像 | 最新日韩av| 日韩三级精品 | 欧美乱妇高清无乱码 | 色网站免费看 | 糖心vlog一区二区三区在线 | 男女啪祼交视频 | 少妇搡xxxx少妇搡xxxx | 懂色av一二三三区免费 | 午夜国产精品入口 | 欧美一级爆毛片 | 午夜嫩草嘿嘿福利777777 | 91视频免费观看 | 国产精久久久久久妇女av | 久操国产视频 | 一夲道无码人妻精品一区二区 | 麻豆精品导航 | 亚洲天堂热 | 日韩成人激情视频 | 久久久精品一区aaa片 | 欧洲精品国产 | 亚洲精品一区二区不卡 | 人妻无码不卡中文字幕系列 | 久久久国产亚洲精品 | 欧美国产影院 | 国产传媒精品 | 久久中文字幕在线观看 | 欧美精品91爱爱 | 免费看黄在线 | 国产亚洲综合av | 奇米四色777| 国产精品无码mv在线观看 | 蜜桃一本色道久久综合亚洲精品冫 | eeuss影院在线奇兵区145 | 国产成人精品一区二区三区免费 | 欧美日本道| 国产人妻久久精品二区三区特黄 | 国产天堂久久 | 顶级少妇做爰视频在线观看 | 精品久久久无码中文字幕边打电话 | av片在线看免费高清网站 | 国产成人麻豆精品午夜在线 | 偷拍亚洲另类 | 国产黄色一区 | 亚洲第一毛片18我少妇 | 午夜影院在线播放 | 亚洲日韩看片无码超清 | 亚洲xxxx天美| 性开放肉日记高hnp 性开放少妇xxx视频 | 品久久久久久久久久96高清 | 潮喷大喷水系列无码久久精品 | 麻豆导航 | 激情六月丁香 | 久久九九爱 | 亚洲男男无套gv大学生 | 美女脱了内裤张开腿让男人桶网站 | 国产女主播视频一区二区三区 | 午夜dj高清免费观看视频 | 老妇女性较大毛片 | 国产成人精品日本亚洲i8 | 欧美巨鞭大战丰满少妇 | 狠狠色成人综合 | 99久久99久久免费精品蜜桃 | 香蕉色综合| 台湾综合色 | 91亚洲精品一区二区 | 91日本在线 | 成人综合在线视频 | 国产精品黄在线观看免费软件 | 久久逼逼 | 色诱久久av | 高潮流白浆潮喷在线播放视频 | 欧美激情一区二区三区 | 九色精品 | 久久激情影院 | 亚洲天堂在线视频播放 | 九九精品99久久久香蕉 | 国产精品一区在线播放 | 99精品国产兔费观看久久 | 成人18视频免费69 | 久久短视频 | 区二三区四区精华日产一线二线三 | 浪荡受张腿灌满双性h男男 老妇肥熟凸凹丰满刺激小说 | 亚洲无线码在线一区观看 | 国产日韩免费视频 | 久久久com| 视频国产在线 | yy6080理aa级伦大片一级 | 深夜成人在线 | 影音先锋欧美在线 | 精品国产一二 | 美女隐私免费看 | 新国产三级在线观看播放 | 国产91精品一区 | 欧美午夜性生活 | 麻豆福利视频 | 日韩av手机在线 | 日本女人hd | 国产精品久久av一区二区三区 | 国产色视频网站 | 国产亚洲欧美精品久久久久久 | 欧美日韩精品久久久免费观看 | 四虎影视在线永久免费观看 | 亚洲成a v人片在线观看 | 亚洲国产成人精品无色码 | xfplay2023成人资源站 | 凹凸精品熟女在线观看 | 日日躁夜夜躁人人揉av五月天 | 国产精品午夜影院 | 午夜精品福利一区二区三区蜜桃 | 人妻 丝袜美腿 中文字幕 | 日本最新免费二区 | 久久免费看少妇a高潮一片黄特 | 性欧美视频videos6一9 | 色综合久久久久综合体桃花网 | aaaaa少妇高潮大片在按摩线 | 农村乡下女人毛片 | 合欢视频在线观看 | www久久久久久久久久 | 国产小视频免费观看 | 久久久噜噜噜久久中文字幕色伊伊 | 国产在线观看无码免费视频 | 性欧美videos 另类喷潮 | 国产成人黄色 | 国产乱理伦片在线观看 | 国精产品999国精产品官网 | 大地资源中文在线观看官网第二页 | 国产成人在线视频免费观看 | 欧美69视频| 亚洲乱码精品久久久久 | 国产成人无码av一区二区 | 亚洲永久精品ww47 | 黄色录像一级大片 | 青青青在线免费 | 亚洲一区观看 | 精品国产欧美一区二区 | 亚洲a∨无码无在线观看 | 一本色道久久综合狠狠躁篇怎么玩 | 国产人与禽zoz0性伦免费视频 | 久久av免费看 | 五十路av在线 | 欧美xxxx免费虐 | 欧美一级性生活 | www99精品 | 青青草视频播放 | 亚洲视频播放 | 男女18禁啪啪无遮挡 | 免费a级毛片出奶水 | 日韩欧美激情 | 欧美乱大交xxxxx古装 | 狠狠色噜噜狠狠狠狠色综合久 | 国产性猛交xxxx免费看久久 | 久久久久久久久久久动漫 | 日日躁夜夜躁白天躁晚上 | 亚洲做受高潮欧美裸体 | 日韩av手机在线 | 国产精品怡红院永久免费 | 91精品国产美女在线观看 | 久青草影院在线观看国产 | 五月天小说网 | 草草久久久无码国产专区 | 亚州av久久精品美女模特图片 | 亚洲激情图片 | 91欧美一区二区三区 | 亚洲精品国产精品国自产观看浪潮 | 亚精区在二线三线区别99 | 爱欲av| 亚洲精品在线看 | 天天想天天干 | 亚洲国产午夜精品理论片在线播放 | 在线免费视频你懂的 | 国产又黄又猛 | 屁屁影院ccyy国产第一页 | 成人妇女淫片aaaa视频 | 在线日韩精品视频 | 紧身裙女教师三上悠亚红杏 | 国产无套粉嫩白浆内精品 | 俺来也av | 白嫩少妇和二男三p爽的大声呻吟 | 国模无码视频一区 | 嫩草av久久伊人妇女超级a | 伊人精品视频 | 精品伊人 | 亚洲成人精品av | 久久丁香 | 成人网免费视频m3u8 | 亚洲精品久久久中文字幕痴女 | 尤物网站在线 | 成人午夜高潮a∨猛片 | 国产精品视频第一区二区三区 | 青草在线视频 | 一级视频片 | 在线免费一级片 | 久久国色 | 日本精品入口免费视频 | 国产日韩欧美视频 | 亚洲区久久| 久久久九九九热 | 亚洲精品日韩激情欧美 | 中文字幕一区二区在线播放 | 亚洲伦理在线观看 | 无码专区人妻系列日韩精品 | 日韩精品无码一本二本三本色 | a视频在线观看免费 | 少妇毛片| 亚洲精品国产第一综合99久久 | 小丽的性荡生活 | 成人午夜精品 | 亚洲一区无 | 人妻av乱片av出轨 | 一区二区三区视频 | 加勒比毛片 | 色综合自拍 | 新久草在线视频 | 久久久无码精品亚洲日韩蜜桃 | 不卡视频国产 | 色橹橹欧美在线观看视频高清 | 欧美特一级 | 亚洲人成人天堂h久久 | 天干天干天啪啪夜爽爽av软件 | 国语自产拍91在线a拍拍 | 我爱我色成人网 | 黄色一级大片在线免费看国产一 | 激情综合色五月六月婷婷 | 久久丁香网 | 17婷婷久久www| 国产免费又爽又刺激在线观看 | 亚洲一区精品二人人爽久久 | 国产日韩欧美精品在线观看 | 91人人爽人人爽人人精88v | 午夜久久视频 | 欧美大尺度做爰啪啪免费 | 一性一乱一乱一爱一频 | 久久精品国产曰本波多野结衣 | 亚洲黄色第一页 | 成人性视频在线 | 欧美破处女 | 无码不卡av东京热毛片 | 国产无套粉嫩白浆内谢软件 | 亚洲专区视频 | 日本黄色免费视频 | a网站在线 | 国内视频一区 | 亚洲码欧美码一区二区三区 | 乱lun合集小可的奶水 | 久久久久久免费观看 | 久久久涩 | 少妇高跟鞋做爰20p 少妇和黑人老外做爰av | 在线国产区 | 少妇高潮惨叫久久久久久 | 国产女人久久精品视 | 亚洲另类激情视频 | av网址在线免费观看 | 一级α片免费看刺激高潮视频 | 狠狠干狠狠操视频 | 久久视频免费看 | 久久精品人成免费 | 欧美亚洲一级片 | 亚洲熟女少妇一区二区 | 偷拍视频久久 | 免费观看性行为视频的网站 | av网址在线播放 | 污网站免费 | 天天草天天干 | 风韵犹存少妇69xx视频 | 久久精品成人无码观看免费 | 亚洲区视频在线观看 | 国产精品色在线网站 | 天堂在线中文字幕 | 久久久久女教师免费一区 | 色婷婷综合久久久中文字幕 | 色哟哟在线网站 | 国产精品情侣 | 朝鲜女人大白屁股ass孕交 | 欧美成人国产精品高潮 | 天干夜天干天天天爽视频 | 亚洲影院丰满少妇中文字幕无码 | 991本久久精品久久久久 | 亚洲另类中文字幕 | 福利视频99 | 国产超碰人人爽人人做人人添 | 亚洲天堂性 | 99er热精品视频国产 | 国产精品久久9 | 少妇浴室精油按摩2 | 在线成人免费视频 | 久久精品中文字幕无码绿巨人 | 一区二区日韩欧美 | 日本熟妇ⅹxx毛片分类 | 成熟丰满熟妇av无码区 | 国产亚洲精品久久久久久久久动漫 | 亚洲精品一区二区三区98年 | 精品一区在线播放 | 国产在线拍揄自揄视精品按摩 | 亚洲a∨无码一区二区三区 国产乱子伦精品免费女 | 亚洲国产一级 | 娜娜麻豆国产电影 | 精品人伦一区二区三区潘金莲 | 色偷偷成人 | 轻点好疼好大好爽视频 | 亚洲乱码一区二区三区三上悠亚 | 久久久久久不卡 | 日韩精品在线播放 | 欧美中文字幕无线码视频 | 2023毛片| 乱色熟女综合一区二区三区 | 国产日产欧产精品浪潮安卓版特色 | 国产成人一级 | 毛片黄色片 | 成人乱淫av日日摸夜夜爽 | 成人性做爰aaa片免费看曹查理 | 一区二区三区不卡视频 |