1. 引言
多核數字信號處理器（DSP）是近年來針對高性能嵌入式應用而出現的一類多核微處理器（CMP）。相比傳統的單核處理器，多核處理器在提高并行處理能力的同時也需要更高的存儲帶寬和更靈活的存儲結構。便箋存儲器（SPM）是一種小容量的片上存儲器，具有全局地址空間，可以由訪存指令直接訪問。SPM僅僅包含存儲陣列和譯碼邏輯，沒有Cache那樣復雜的Tag比較邏輯和替換策略，在電路面積和功耗方面比Cache更具優勢。另外，SPM采用固定的存儲映射方式，沒有訪問失效問題，能夠保證單拍（或確定節拍）的訪問時間，便于用戶顯式地管理和調度其中的數據，適合嵌入式實時計算的特點。
根據多核DSP的應用需求，并結合SPM的結構特征和共享存儲的編程優勢，本文提出了一種面向多核DSP的快速共享數據緩沖池FSDP，對其進行了設計實現和模擬分析。分析結果表明，FSDP對于DSP核間細粒度共享數據（例如某些全局變量、公共系數矩陣等）的傳輸具有很高的效率，相比類似的VS-SPM結構能夠將程序性能提高37%，與傳統的共享數據Cache結合使用能夠將異構多核DSP的性能提高13%。
本文的組織結構如下。第2部分介紹了國內外的研究現狀，第3部分介紹了異構多核DSP的總體結構原型，第4部分詳細介紹了FSDP的組成結構、訪問方法和同步機制。第5部分介紹了設計優化方法，構建了關于最佳單體容量的分析模型。第6部分介紹了設計實現和模擬分析結果。最后一部分總結了全文。
2. 相關工作
近年來，國外學者在SPM領域已經展開了積極的研究。Banakar等人針對計算密集型應用，使用專用工具（CACTI）計算出了各種容量的SPM和Cache的面積和功耗，使用Trace模擬器進行了性能對比。結果表明，同樣容量的SPM的平均功耗比Cache降低了40%。Issenin等人也認為，如果通過數據重用技術，將經常使用的數據放在小容量的SPM中，用片內局部傳輸代替片外全局傳輸，不但可以節省約一半的功耗，而且大大提高了傳輸效率。Kandemir和Suhendra等人基于一種虛擬共享便箋式存儲器（VS-SPM）的多核處理器原型，如圖1所示。通過任務映射、調度、SPM劃分和數據分配等編譯優化算法，提高片內數據重用性，減少不必要的片外訪存，其宣稱的實驗結果能夠把嵌入式應用的性能提高80%。
這些已有的工作主要是從軟件的角度研究如何優化SPM的存儲分配與管理，而且大部分是基于單核處理器的研究，對于多核處理器環境下SPM的體系結構研究還不夠充分。特別在共享存儲的方式下，必須根據實際應用中核間數據共享與傳輸的特點，研究速度快、結構靈活的SPM存儲結構。本文提出的FSDP采用多體并行和交叉訪問的方式，訪問延遲小，存取速度快；提供了硬件信號燈和軟件查詢兩種同步機制，同步開銷低，編程使用靈活。
3. 異構多核DSP總體結構
圖1 異構多核DSP“SDSP”的總體結構
異構多核DSP“SDSP”的總體結構如圖1所示，它由四個精簡的32位浮點DSP核與一個32位的RISC核構成。DSP核采用課題組自行研制的32位高性能浮點DSP“YHFT-DSP700”的精簡內核。該DSP內核主頻300MHz，8流出超長指令字（VLIW）結構。四個DSP內核共享存儲空間。每個DSP核具有私有的一級數據Cache（L1D）和一級指令Cache（L1P），共享二級Cache/SRAM（L2）和FSDP。FSDP與L1D處于同一個存儲層次，具有不可Cache的全局存儲空間，可以被四個DSP核的訪存指令直接訪問。
RISC核采用開放體系結構與源碼的LEON處理器。LEON是一款高度可配置的32位通用RISC處理器，兼容SPARC V8指令集，采用7級整數流水線，指令Cache和數據Cache分離。片上集成了AMBA 2.0總線，掛接存儲控制器、PCI模塊、CAN接口等外設模塊。
4. 快速共享數據緩沖池FSDP體系結構
FSDP是一個四通道共享存儲結構，每個DSP核對應一個通道，每個通道包括兩個大小相同的存儲體SAi和SBi（i=1,2,3,4）、存控邏輯和讀寫隊列。四個通道依次順序編址，通過高速交叉開關（Crossbar）構成整個共享數據緩沖池，如圖2所示。另外，FSDP采用了一組控制寄存器，通過公共的配置總線與四個DSP核相連，用于同步/互斥、狀態查詢、優先級控制等操作。
圖2 FSDP的組成結構及其與DSP核的連接關系
FSDP采用多體并行交叉訪問的機制，提供了“私有”和“共享”兩種工作模式，支持多個DSP核的并行訪問與核間數據流的傳輸。FSDP基于釋放一致性共享存儲模型，為用戶提供了硬件自動阻塞和軟件手工查詢兩種同步機制。多核DSP程序產生 的中間結果、公共變量、系數常量、查找表等數據結構都可以通過FSDP實現快速的細粒度數據傳輸與交換。而大批量的全局數據和用戶程序則存放在片外存儲器中，通過兩級Cache進行訪問。下面，本文將詳細介紹FSDP的組成結構和關鍵技術。
4.1 帶旁路的讀寫隊列與解耦的存控邏輯
為了緩存因訪問沖突或同步失敗而被阻塞的讀/寫訪問，我們為每個DSP核分別設置了讀/寫隊列，直接緩存各個DSP核Load/Store單元發出的訪問請求。為了縮短訪問延遲，我們為讀/寫隊列設置了旁路邏輯。當沒有訪問沖突且核間同步握手成功時，讀寫請求不需進入讀寫隊列，由旁路邏輯將請求直接發送給相應的存控邏輯。這一設計縮短了訪問延遲，有效增強了FSDP的傳輸效率。下圖3給出了帶旁路的讀寫隊列結構。為了加快地址譯碼速度，本文將地址譯碼邏輯和訪問控制邏輯進行了解耦處理，將譯碼器置于旁路邏輯之前，縮短控制邏輯的關鍵路徑，提高了FSDP的訪問速度。
圖3 帶旁路的讀寫隊列
4.2 雙模式操作與交叉訪問
本文為FSDP設計了“私有”和“共享”兩種工作模式。
在私有模式下，任意DSP核DSP-i只能讀寫與其對應通道內的兩個存儲體SAi和SBi（i=1,2,3,4），不能訪問其他的通道；
在共享模式下，每個DSP核可以讀取另外三個通道的數據，但不能向其中寫入數據。任意DSP核必須通過其對應通道的兩個存儲體與其他DSP核交換共享數據。
可見，在私有模式下，所有的存儲體都不存在訪問競爭，訪問速度快。在共享模式下，FSDP不存在多核寫沖突的問題，簡化了維護數據一致性的硬件開銷，提高了核間共享數據的傳輸速度，有利于提高嵌入式應用的實時性。
在任務流水的計算模式下，DSP核間的共享數據相繼構成“生產者-消費者”關系：前一個核的計算輸出直接作為下一個核的計算輸入。為了有效支持這種傳輸模式，我們在FSDP中采用了交叉訪問的機制：
當“生產者”DSP-i向存儲體SAi寫入第一塊共享數據之后，釋放該存儲體，轉而向SBi寫入第二塊共享數據；
“消費者”DSP-j（j≠i）啟動讀訪問，從SAi讀出第一塊共享數據；
當這一過程完成后，雙方交叉，DSP-i釋放存儲體SBi，向SAi寫入第三塊共享數據，DSP-j則從SBi讀出第二塊共享數據，依此類推，直至傳輸完成。
因此，在寫入第一塊共享數據之后，讀寫操作就可以并行執行。當雙方的計算負載均衡，速度匹配的時候，DSP核之間可以進行流水傳輸，同步等待延遲最小，傳輸效率達到最高。
4.3 釋放一致性模型與基于信號燈的快速同步機制
在共享存儲的釋放一致性（RC）模型中，同步操作包括“獲取”和“釋放”兩種操作，分別用于取得對共享存儲單元的獨占性訪問權和解除這一訪問權。參照基本的RC模型，本文為FSDP設計了一套簡潔、高效的控制邏輯和同步機制。
首先，為每個存儲體設置3個“信號燈”寄存器，分別對應除本通道之外的其他3個DSP核，作為同步/互斥操作的硬件鎖。“信號燈”寄存器映射了全局共享的物理地址，通過公共配置總線與四個DSP核相連。每個“信號燈”具有“點亮”和“熄滅”兩種狀態，分別表示存儲體內的共享數據“已寫入”和“已讀出”。DSP核通過同步指令改寫“信號燈”寄存器的狀態，實現核間的同步操作。具體的數據一致性協議為：
當“生產者”DSP-i向某個存儲體寫入共享數據后，將其“信號燈”置為“點亮”狀態。若這批共享數據有2～3個“消費者”，則點亮相應的2～3個“信號燈”。在某個“信號燈”處于“熄滅”狀態時，相應的DSP核對該存儲體的讀請求全部進入讀隊列等待。
當“消費者”DSP-j讀出某個存儲體的共享數據后，將該存儲體與自己對應的“信號燈”置為“熄滅”狀態。當某個存儲體的所有3個“信號燈”都“熄滅”時，該存儲體被釋放，處于可寫狀態；否則，DSP核對該存儲體的寫請求全部進入寫隊列等待。
“點亮”和“熄滅”信號燈的順序一致性由DSP核對公共配置總線的獨占性訪問來保證。
需要說明的是，DSP核不一定要將其對應的存儲體寫滿才能點亮“信號燈”，一次同步操作所傳輸的數據量最小可以是一個字節，最大不超過單個存儲體的容量。
由于FSDP的訪存通路與同步操作通路（即配置總線）是相互分離的，因此可能出現同步操作指令通過配置總線先于訪存指令提前執行的錯誤情況。本文通過軟件延遲槽的方式解決這一問題：由編譯器通過指令調度技術，在最后一條共享數據的讀指令和“熄燈”指令之間插入1～2條無關指令或空操作（NOP），作為等待共享數據返回的延遲槽，確保最后一個讀請求被處理之后再執行“熄燈”操作。具體所需的軟件延遲槽數量取決于DSP流水線的設計。對于本文而言，如果DSP核在發出Load指 令的第3拍沒有接收到返回的數據，則暫停指令派發，因此只需要2個延遲槽。圖4給出了兩個DSP核i和j傳遞共享數據的實例。
（a）延遲槽與同步操作的程序實例
（b）存儲體的內容變化與信號燈狀態
圖4 兩個DSP核通過兩個存儲體傳遞共享數據的例子
本文最終的優化設計表明，任意兩個DSP核利用一對LOAD-STORE指令再加上一次同步操作，總共只需4拍即可完成一個共享數據字的傳遞，從而實現了核間細粒度共享數據的快速傳輸。當需要傳輸的共享數據量超過FSDP單通道存儲容量時，可以將數據分塊，進行多次傳輸。
除了這種對程序員透明的硬件同步機制之外，FSDP還支持基于軟件查詢的同步機制。即在每次改變信號燈狀態前，插入一段查詢“信號燈”狀態的例程，然后根據查詢的結果決定程序的流向。
4.4 消除讀訪問沖突
在FSDP的共享模式下存在多DSP核同時讀一個存儲體的沖突。雖然利用仲裁邏輯配合隊列機制可以緩解沖突，但是，這種方式降低了FSDP的并行性。另外，可以采用存儲體復制或者采用多端口存儲體的方式。為此，本文進行了對比實驗，結果表明，4個1KB大小的單端口SRAM在工作頻率和面積上都優于4端口1KB的全定制SRAM模塊，而且單端口SRAM可以由EDA工具快速編譯生成，便于設計實現。因此，對于FSDP這類小容量的便箋存儲器，本文采用存儲體復制的方式解決訪問沖突：將原來的每個存儲體換成4個同樣大小的單端口存儲體，構成具有4個虛擬端口的存儲體，如圖5所示。
在處理讀寫訪問時，存控邏輯自動進行數據寫復制和讀端口的分配工作，讀寫過程中對用戶都是透明的。這種方式完全消除了多核的讀訪問沖突，實現了最大的共享訪問帶寬，提高了FSDP的并行性和實時性。
圖5 存儲體復制構成虛擬多端口存儲體
5. 性能分析
5.1 分析模型與設計實現
本文構建了整個SDSP的C語言模擬器SDSP-Sim。SDSP-Sim是一個時鐘精確的模擬器，能夠運行經過編譯和手工分配的多核DSP應用程序，報告程序運行的各種統計信息和計算結果。每個處理器核占用一個模擬進程，RISC與DSP核之間采用進程通信的方式傳輸控制信息。本文以MediaBench基準程序集為基礎，選擇了6組典型的多媒體類與通信類應用程序，用于評測FSDP的性能，如表1所示。為了滿足多核DSP的并行計算需求，對于原來復雜度較低的一些測試程序，例如PEGWIT和JPEG_c，本文擴大了它們的數據集。對于MP3解碼程序MP3_d則將其擴展為兩路并行解碼器2MP3_d。由于SDSP的并行編譯器開發工作還沒有完成，本文仍采用手工的方式對測試程序進行并行化映射。
表1 用于性能評測的測試程序說明
本文采用SMIC 0.13μm CMOS工藝庫對FSDP進行了設計實現。其中各存儲體采用EDA工具生成的單端口SRAM。下表2給出了FSDP的各項設計指標。其中，“無阻塞讀延遲”是指在同步成功且沒有沖突的情況下，從DSP核發出讀請求到獲得返回數據之間的時間間隔。
表2 0.13μm CMOS工藝下四通道FSDP的各項性能指標
5.2 性能對比
對于多核處理器共享SPM的研究，前人的工作主要是針對SPM的編譯優化和數據劃分算法的研究。文獻0介紹的VS-SPM（虛擬共享便箋存儲器）原型結構與本文的FSDP有類似之處，它根據SPM與處理器核的關系，將SPM分成本地SPM和遠程SPM，各個處理器核通過共享總線訪問各SPM模塊。下表3對比了本文的FSDP與VS-SPM在結構上的差異。VS-SPM主要是針對編譯優化和數據劃分算法優化而設計的，其硬件優化程度和訪問速度都不及FSDP，而且沒有解決多個處理器核并行訪問沖突的問題，不支持核間數據的流水傳輸。
表3 FSDP與VS-SPM的結構對比
本文建立了VS-SPM的結構模型，將DSP核間同樣一批共享數據先后映射到VS-SPM和FSDP的存儲空間上，分別得到兩種結構下程序的執行時間TVS-SPM和TF-SDP，然后按照（1）式計算出FSDP相對VS-SPM的性能加速比。
圖6給出了6組測試程序的實驗結果。結果表明，通過FSDP在DSP核之間傳輸共享數據相比通過VS-SPM傳輸具有明顯的性能優勢，6組程序的平均性能加速比達到了1.37。
圖6 FSDP相對VS-SPM的性能加速比
在引入FSDP之前，異構多核DSP主要通過共享L2 Cache傳輸DSP核間的共享數據。為了評測FSDP對系統性能的加速作用，本文比較了下列三種數據映射方式下異構多核DSP的計算性能：
僅用L2 Cache：DSP核間的共享數據全部通過L2傳輸；
僅用FSDP：DSP核間的共享數據全部通過FSDP傳輸；
FSDP + L2：將DSP核間的不規則共享數據映射到FSDP的地址空間，其余的共享數據流仍通過L2傳輸。
利用SDSP-Sim軟件模擬器分別得到上述三種映射方式下程序的執行時間，然后以第一種映射方式下的執行時間為基準，計算出另外兩種方式的性能加速比，結果如圖7所示：
圖7 三種數據映射方式下系統的計算性能對比
實驗結果表明，在FSDP + L2 Cache方式下，程序的性能是最高的。6組程序的平均性能加速比為1.13。本文分析認為：
對于核間共享數據包含大量細粒度數據和不規則數據流的應用程序（例如PEGWIT和RASTA），僅用FSDP相比僅通過L2 Cache傳輸共享數據具有更高的計算性能；
對于核間共享數據量較大和數據流分布比較密集的應用程序（例如2MP3_d和MPEG2_e），僅用FSDP傳輸共享數據的計算性能較低，這是因為FSDP對共享數據的分塊處理使得同步開銷在執行時間中的比例增大，影響了總執行時間；
FSDP與共享數據Cache結合使用進一步提高了共享存儲多核DSP的片內數據重用性，減少了對片外數據的長延遲訪問，因而能夠獲得最佳的計算性能。其中，對于需要緊耦合共享的小容量數據或者非常不規則的短數據流，優先選擇通過FSDP傳輸，減少通過共享Cache的長延遲訪問開銷；反之，對于大塊數據的共享或者規則數據流的傳輸，則宜采用共享Cache的方式，降低數據頻繁分塊的同步開銷。
5.3 擴展性分析
在消除了FSDP的訪問沖突之后，所有DSP核可以同時訪問不同的存儲體。理論上來看，FSDP的訪問帶寬可以隨著DSP核數量的增長而線性增長，具有良好的可擴展性。為此，我們進行了分析與實驗。定義B為FSDP的有效訪問帶寬，即在考慮訪存延遲和工作頻率的情況下所有DSP核訪問FSDP的實際存儲帶寬；N表示DSP核的數量。本文在N=1～8的情況下分別對FSDP進行了單獨的設計實現，得到了B與N的關系，如圖8所示。
圖8 FSDP有效訪問帶寬與DSP核數量的關系
由實驗結果可見，當N小于5時， B快速增長，與N呈近似的線性關系。隨著N的進一步增大，DSP核與存儲體之間的控制邏輯開銷、互連總線和交叉開關端口數量以O(N2)量級增長，FSDP的工作頻率開始下降，訪問延遲越來越大，FSDP的有效訪問帶寬增長十分緩慢。因此，FSDP更適合于5核以內的多核DSP。當DSP核數量超過8核以上時，我們將以4核為一個超節點進行結構擴展。超節點內部采用FSDP實現緊耦合的數據傳輸，超節點之間通過片上網絡（NoC）或者其他共享存儲結構進行數據傳輸。
7 結束語
相比傳統的Cache結構，便箋式存儲器具有更靈活的結構、簡潔的控制邏輯、更低的訪問延遲和方便的數據管理等諸多優勢。本文針對多核DSP架構設計的快速共享數據緩沖池FSDP結合了便箋式存儲器的結構特點和共享存儲結構的編程需要，采用軟/硬件聯合的設計方法，為多核DSP之間傳輸細粒度共享數據提供了一個緊耦合的快速通路，相比共享二級Cache和DMA傳輸方式具有更好的傳輸效率，是一種新型而實用的、可擴展多核共享存儲結構。今后，我們將深入研究面向多核處理器的高性能共享存儲結構，增強片上存儲的可擴展性和可重構能力，進一步提高多核SoC的存儲帶寬。