摘要：隨著信息技術和計算機技術的飛速發展，大量的語音、數據、圖像、圖形等信息需要計算平臺進行實時感知和處理，用戶對高性能、高帶寬、抗惡劣環境計算平臺也提出了越來越高的要求。本文提出一種基于VPX總線設計的高級計算平臺，為高性能、高帶寬、適應惡劣環境計算平臺的實現提供了技術路線和方法。
關鍵詞：VPX總線高級計算平臺多CPU高速互聯智能平臺管理軟件
第一作者介紹：陳志列（1963年），男，高級工程師，研究方向為特種計算機
AdvancedComputingPlatformBasedonVPXBus
Abstract:Alongwiththerapiddevelopmentoftheinformationtechnologyandthecomputertechnology,alargequantityofinformationsuchasvoice,data,imageandgraphics,etcrequiresreal-timeperceptionandprocessing;higherrequirementsareraisedforthehighperformance,highbandwidthandhushenvironmentresistantcomputingplatform.AnadvancedcomputingplatformbasedonVPXbusisdiscussedinthepaper,whichprovidesthetechnologyroutesandmethodstorealizethehigh-performance,highbandwidthandhushenvironmentresistantcomputingplatform.
Keywords:VPXbus;advancedcomputingplatform;versatileCPUhigh-speedinterconnection;intelligentplatformmanagementsoftware
引言
隨著信息技術和計算機技術的飛速發展，未來社會將是一個高效的數字化社會，大量的語音、數據、圖像、圖形等信息需要計算平臺進行實時感知和處理。而伴隨著計算機在各個領域的深入，特別是在航空航天控制、海底勘探考察、地震火山的災難檢測、大規模導彈發射控制、雷達監測及電子對抗、以及地外星球科考等高端測控領域，用戶對高性能、抗惡劣環境計算平臺也提出了越來越高的要求，使得傳統的并行總線正在逐漸退出歷史舞臺，出現了新一代的串行總線。但在惡劣環境適應性方面，商用總線技術在堅固性方面不能長期適應惡劣工作環境的需求，而在接口的模塊化、動態重組等方面也難以滿足應用需要，其可靠性不高且維修極不方便。并且近年來CPCI總線工控機和VME總線工控機處在一個共同競爭和發展的并存狀況[1]，由于先入為主的緣故，VME總線在高性能的實時工業應用領域一直處于主導地位。但CPCI后來居上，其開放性的架構體系和通用的操作系統等優勢，使CPCI總線自誕生起在PC機、工控機和軍用裝備等各個領域受到廣泛關注并被普遍采用。遺憾的是，在這個以帶寬為生命的海量數據時代，目前這兩種總線均顯得力不從心。迫于生存和競爭，VITA于2006年首次推出VPX總線技術標準（VITA46）和REDI加固增強的機械設計規范（VITA48），不僅在帶寬上突破Gigabytes傳輸，而且非常好的解決了加固，高速互聯，管理等各個方面的問題，可以廣泛的應用在航空、航天、雷達、海底勘探、通信等領域。
VPX總線的發展歷史
VPX（VersatileProtocolSwitch多協議交換）是由VITA（VMEbusInternationalTradeAssociation）組織制定的用以滿足惡劣環境下高可靠性、高帶寬要求的下一代高級計算平臺標準。由原先的VME（VersaModuleEurocard）總線升級而來，并且兼容了XMC、FibreChannel、PCI-Express、RapidIO、Hypertransport等高速串行總線協議。誕生于近30年前的VME總線是一種通用的計算機總線，結合了Motorola公司Versa總線的電氣規范和Eurocard機械封裝標準，是一種開放式架構，支持并獨立于多處理器計算機系統。1984年，VITA成立，致力于推動VME總線的市場和發展。1987年，VME總線被IEEE正式接納為萬用背板總線（VersatileBackPlaneBus）標準，標準號為ANSI/IEEE-1014，總線接口為兩個96芯的針孔連接器，數據寬度為32位，帶寬為40MB/s，市場名稱為VME32。伴隨電子技術的發展，VITA先后多次推出升級版本，如VME64、VME64x、VME320。其中，VME64數據寬度從原先的32位擴展為64位，把P1/J1和P2/J2連接器從三行96針改為5行160針，帶寬為80MB/s，增加了總線鎖定周期和第一插槽探測功能，并加入了對熱插拔的支持；VME64x相對于VME64，在P1/J1和P2/J2之間加入了一個P0/J0連接器，傳輸協議從四沿傳輸變為雙沿信號傳輸，數據速率可達到160MB/s；其后VME320在VME64x基礎上進一步采用雙沿源同步傳輸協議（2eSST），可將理論帶寬提高到320MB/s，但用戶對VME的帶寬進展速度不滿意，此外，設備性能的大幅提高也帶來了發熱量迅速增加和可靠性降低等派生問題。近幾年，為了滿足更大帶寬和更強制冷能力的要求，VITA先后推出VXS（VITA41）、VPX（VITA46）和REDI（VITA48）等一系列新的模塊標準。其中，VPX全部采用的MultiGigRT2連接器具有連接緊密、插入損耗小和誤碼率底等優點；通過結合REDI構成的VPX-REDI平臺可以滿足苛刻環境和大帶寬的需求。
VPX定義了新型的高速連接器標準，每個模塊最多支持728個信號引腳，所有連接器均支持高速差分信號，能夠支持PCI-Express，10GEthernet，SerialRapidIO等協議；定義了風冷，傳導，水冷等5種加固散熱結構；定義了中央交換，分布式交換的背板結構；定義了模擬信號和光信號的模塊背板互聯標準；定義了電源標準；定義了基于IPMI的智能管理，非常好的解決了加固，高速互聯，管理等各個方面的問題。
基于VPX總線的高級計算平臺需要解決的關鍵問題
基于VPX總線的高級計算平臺，需要研究多協議高速互連、高性能CPU硬件平臺、高可靠性保護、智能管理、冗余設計、傳導散熱結構等關鍵技術。要解決如下關鍵技術問題：1）VPX高級計算平臺的環境適應性問題，平臺需滿足對航空航天控制、導彈/火箭發射、海底勘探、災難監測等抗沖擊能力強、溫度變化劇烈下的環境應用要求，因此需要解決VPX高級計算平臺的連接可靠性、環境適應性的難題；2）VPX高級計算平臺的多核CPU的AMP、SMP處理問題，平臺的處理板均采用多核處理器，而產品在應用中需要采用對稱多處理模式、非對稱多處理模式或者兩者結合的方式，這就要求對多核處理做深入研究，實現SMP和AMP方式，以滿足實際應用的需求；3）多CPU高速互聯總線協同處理問題，平臺需要支持PCI-E/SerialRapidIO/Ethernet互聯，需要能支持多塊處理板通過互聯總線實現多CPU處理，實現同步或異步的協同處理機制，在VPX智能平臺系統板上還需實現SerialRapidIO協議棧，解決SerialRapidIO互聯，多CPU啟動機制，多CPU配置等技術難題；4）高度靈活的XMC/PMC擴展問題，平臺的處理板需要支持XMC/PMC擴展，支持各種存儲板、DSP板、交換板等，因XMC走線多為差分信號，對信號質量提出了很高的要求，同時為了加強環境適應性，處理板均有三層鋁合金保護殼，布局布線均有諸多限制；5）智能平臺管理控制問題，平臺每塊單板包括一個單獨的處理模塊（VMC），用來實現IPMI功能對整個機箱進行管理，此模塊獨立于主處理模塊，實現溫度自動監控，模塊上下電等功能，需要軟硬件協調配合才能實現實時的風扇監控、溫度監控、電壓監控等功能；6）多層次數據總線設計問題，平臺支持四個層次的通道：采用全網拓撲結構的PCI-Express/Serial-RapidIO/10GEthernet的數據通道，采用雙星拓撲結構的千兆以太控制通道，基于I2C的IPMI冗余總線以及通用總線，它們之間的交互以及協同處理需要統一考慮。
基于VPX總線的高級計算平臺的架構[2]
本論文設計的基于VPX總線的高級計算平臺參照VPX系列協議VITA46、VITA48規范、VITA65標準來實現，其架構如圖1所示包括4類通道：通用通道，IPMI通道，數據通道和控制通道。
通用通道實現總線拓撲，其中包括了電源通道提供不同伏值的電源、復位通道、模塊地址配置等。IPMI通道實現冗余總線拓撲，實現兩條總線型的IPMI通道。發送方在兩個通道同時發送相同的數據，而接收方VMC接收進程實時監聽通道的狀態，其正常工作時使用其中的一個通道，當出現延遲或者鏈路斷開時，VMC接收方自動切換到另一通道。數據通道提供在1-5槽實現全網狀拓撲設計，用于實現大數據量的高速傳輸，其每個槽位作為一個節點，與其他四個槽位分別實現4X全雙工通信。控制通道通過第六槽交換槽實現雙星冗余拓撲，交互板作為中央交換單元，每個處理槽位有兩個千兆以太網通道同中央交換單元互聯，中央交換單元將每個通道連接到一個交換矩陣，實現雙星拓撲結構。
圖1VPX高級計算平臺架構圖
VPX背板用來互聯各個處理模塊及后IO模塊，交換模塊，周邊模塊，存儲模塊，提供四種通路以及SATA等用戶可自定義的通道。背板還互聯電源模塊和其它模塊，除此之外，背板為IPMI管理還提供了一個存儲單元，用于存儲CHMC的SDR，SEL等信息。本論文設計的平臺背板為6U、6槽的VPX背板，其中5個Payload（負載）槽位，1個網絡控制交換槽。5個Payload槽的數據通道（J1）進行分布式互連，每個槽位有4路×4的差分信號（PCI-Express或者Serial-RapidIO），可分為A、B、C、D四個通道，分別與其它4個槽位的A、B、C、D四個通道進行互連，其連接方案如圖2所示。
圖2背板數據通道互連框圖
基于VPX總線的高級計算平臺的具體設計[3]
本論文具體設計中主要介紹了基于FreescaleQorIQP40808核CPU并支持SerialRapidIO/PCI-Express交換的VPX高級計算平臺處理板，基于MPC8377和Broadcom方案的VPX高級計算平臺交換板，VPX智能平臺管理軟件等。
基于FreescaleQorIQP4080[4]的8核CPU的處理板
VPX高級計算平臺處理板是VPX系統的核心，它通過VPX背板和其他處理板或周邊板配合完成業務需求。比如它可以通過PCI-E互聯擴展網絡，存儲，顯示等周邊功能，也可以通過RapidIO互聯擴展DSP，FPGA等用于處理數字信號，圖像語音處理。除此之外，VPX處理板提供了兩個PMC/XMC擴展槽，可以用于擴展1553B等軍用總線。采用PowerPC最新的QorQ平臺，8核CPUP4080，同時支持PCI-Express和SerialRapidIO板內交換，如圖3所示。
圖3基于FreescaleQorIQP4080的8核CPU的處理板
采用PowerPC最新的QorIQ平臺，8核CPUP4080，支持對稱多處理和非對稱多處理，并能實現一塊CPU支持多種操作系統，圖4為該處理板的多核方案：
圖4多核CPU方案
在本論文VPX平臺上我們將同時支持Linux的SMP系統，VxWorks的SMP和AMP系統。實現一顆CPU多操作系統的配置，或某些單獨的核實現RAWCODE。
針對多CPU高速互聯總線協同處理問題：我們采用的解決方案是通過在處理板上增加PCI-Express和Serial-RapidIO交換，以PCI-Express交換提供周邊擴展，以Serial-RapidIO交換實現多CPU協同工作。提供啟動Flash，每個Flash中劃分8個區域，每個區域提供一個Bootloader和操作系統，并實現兩塊flash冗余，用以支持AMP的多核處理。系統啟動后，由第一槽（系統槽）首先啟動，其啟動代碼對Serial-RapidIO進行配置，配置轉發端口和路由策略，配置成功后啟動其他CPU的Bootloader，啟動其他CPU。
針對多核CPU的AMP、SMP處理問題：基于P4080的VPXSBC支持SMP和AMP模式。系統提供大容量的NORFlash并進行分區。高端地址用于存放啟動代碼，低端地址用于存放用戶數據。啟動代碼區被分為16個部分，為P4080中的每一個內核提供2個可選的啟動區域。為避免因Flash數據被破壞而無法啟動，系統提供了一個ROM存放啟動代碼，用于系統恢復。
基于MPC8377和Broadcom方案的交換板
VPX高級計算平臺的交換板主要是提供控制通道的以太網數據交換，我們在實現時采用單交換矩陣，共劃分為兩個VLAN，每個VLAN內包括處理板，周邊板的一路千兆以太網接口。提供二三層交換路由協議STP，RSTP，MSTP，RIP，OSPF，IGMP等，提供二三層協議處理和路由交換管理；對用戶提供CLI，WEB，SNMP的管理接口；提供IPMI的機架管理功能CHMC，對VPX平臺內的所有VMC的SDR，SEL，FRU，Sensor進行管理，同時提供對熱插拔的支持；支持OpenVPXSLT6-SWH-4F24T-10.4.4，使用MPC8377CPU和Broadcom交換芯片，支持單矩陣交換。
圖5VPX高級計算平臺交換板框圖
VPX高級計算平臺的交換板實現框圖如圖5所示。數據層面采用Broadcom千兆交換芯片，提供L2表，路由表，組播表，ACL，VLAN等功能進行數據轉發，管理層面采用freescaleMPC8377處理器，運行各種協議，實現管理接口。
VPX高級計算平臺管理軟件
圖6為VPX系統管理軟件的架構[5]圖，根據功能從上往下依次可以劃分為：系統管理層、平臺管理層和系統驅動層。其中系統管理是上層管理軟件，向用戶提供一個系統管理接口；平臺管理則是VPX系統管理軟件設計的核心部分，位于VPX系統管理軟件架構的中間層，負責整個平臺管理，向上與SystemManager通信，向下與VMC控制器進行通信；系統驅動層包括操作系統移植和驅動程序。
圖中中間框起來的部分為平臺管理的核心部分，由一個MessageHandler和若干平臺管理功能模塊組成。根據所管理范圍的不同，我們將這些管理模塊分成ChassisManagement和BoardManagement兩部分，其中ChassisManagement包括SEL、PEF、FRUDiscover&Control、CoolingManagement以及PowerSupplyManagement；BoardManagement包括SDRManagement、FRUInfornationManagement、FRUStateManagement、SensorManagement（FRUHealthMonitor、ThresholdSensorPolling以及Self&PayloadTest）。平臺管理軟件在初始化的時候獲取SYS_CON*信號狀態（或者直接根據槽位號），如果為低則啟動ChassisManagement功能，否則僅啟動BoardManagement功能。
為了調試和管理的方便，本系統還設計了一個內嵌的CLI接口，該CLI接口通過CHMC的調試串口同用戶交互，可以用于本地實現一些簡單的查詢和操作命令，如SEL查詢及清理、SDR和FRU信息的查詢、Sensor列表及狀態的查詢、FRUControl操作等。
圖6VPX系統管理軟件的架構圖
針對智能平臺管理控制，每塊單板包括一個單獨的處理模塊，用來實現IPMI功能對整個機箱進行管理，此模塊獨立于主處理模塊，實現溫度自動監控，模塊上下電等功能，需要軟硬件協調配合實現。采用脈寬調制方法由IPMI控制風扇工作狀態，每個風扇各自配有故障告警信號和風速控制信號來進行風扇監控。在交換控制板、背板和節點板上設置溫度傳感器，交換控制板通過IPMI接口對各發熱點進行檢測來進行溫度監控。交換控制板和節點板上電壓種類較多，一旦電壓波動超出系統要求范圍，需要交換控制板CPU進行報警，由IPMI接口控制觸發電壓保護電路來進行電壓監控保護。
總結
本設計平臺性能高、帶寬高、穩定性好，抗干擾能力強，維護方便，適用于惡劣工作環境。本設計平臺產品已在不同環境下進行了長時間測試，運行穩定可靠，各項技術指標良好。伴隨著信息與工業化不斷融合，計算機在各個領域的不斷深入，基于VPX總線的高級計算平臺必將在未來數字化社會里被廣泛應用。
[參考文獻]
1、張天林，張思敏，《CPCI-E與VPX總線標準的比較分析》，工業控制計算機，2009.7
（共3頁）
2、《AmericanNationalStandardforVPXBaselineStandard》，ANSI/VITA46.0-2007，2007.10（18-48）
3、《AmericanNationalStandardforEnvironments,DesignandConstruction,Safety,andQualityforPlug-InUnitsStandard》，ANSI/VITA47-2005（2007），2007.9（共21頁）
4、《P4080QorIQ™IntegratedMulticoreCommunicationProcessorFamilyReferenceManual》，Freescale，2010.4(1-48)
5、《IntelligentPlatformManagementInterfaceSpecificationv1.5》2002.2（40-68）