隨著信息時代的到來，世界發(fā)生了驚人的變化。最新的思科(Cisco)公司視覺網(wǎng)絡(luò)指數(shù)(VNI)顯示，人們對多信息源(流媒體)的需求迅速增長。思科估計，到2016年，互聯(lián)網(wǎng)協(xié)議(IP)數(shù)據(jù)傳輸流量的復(fù)合年增長率為29%。
所有這些需求都匯集到安放在大量低成本電源附近的服務(wù)器群。這種增長速度難倒了眾多的服務(wù)提供商(Google等信息提供商及將這些信息帶到電腦或手機的提供商)。人們需要更大的數(shù)據(jù)傳輸通道，而要滿足這種需求，卻面臨著眾多挑戰(zhàn)。
速度更快
自萬維網(wǎng)普及以來，對于速度的需求就一直困擾著通信行業(yè)。在1983年左右，隨著10Mb(同軸半雙工CSMA/CD)以太網(wǎng)的出現(xiàn)，計算機開始相互連接到一起。局域網(wǎng)(LAN)和廣域網(wǎng)(WAN)的節(jié)點數(shù)增加到一定程度以后，骨干網(wǎng)聚合便成了問題。
光纖傳輸?shù)耐黄萍安ǚ謴?fù)用技術(shù)的實現(xiàn)大大提高了現(xiàn)代互聯(lián)網(wǎng)的傳輸速度。但是，大多數(shù)家庭接入互聯(lián)網(wǎng)使用的傳統(tǒng)雙絞線很快便達到了其香農(nóng)極限。撥號用調(diào)制解調(diào)器和DSL速度已達極限。盡管節(jié)點(用戶)數(shù)仍在持續(xù)穩(wěn)步增長，但信息傳輸容量需求的增長卻受到了限制。
當(dāng)人們開始應(yīng)用混合光纖/同軸系統(tǒng)以便通過數(shù)字機頂盒提供HDTV(高清電視)時，超大帶寬也達到了極限。有線電纜數(shù)據(jù)服務(wù)接口規(guī)范(DOCSIS)電纜調(diào)制解調(diào)器的發(fā)展，實現(xiàn)了每秒數(shù)兆位的傳輸速度，消費者紛紛開始要求使用這種技術(shù)。
DOCSIS調(diào)制解調(diào)器和光纖到戶(FTTH)成為推動互聯(lián)網(wǎng)不斷發(fā)展的催化劑。智能手機和長期演進(LTE)無線網(wǎng)絡(luò)的出現(xiàn)再一次為消費者拓展了帶寬，使他們不再受線纜的束縛。但是，智能手機供應(yīng)商忽略了一些基本的東西：消費者將如何使用他們的上網(wǎng)手機。
供應(yīng)商簡單地認為，人們偶爾會需要定位，查看聯(lián)系人電話號碼，或者執(zhí)行其他一些要求互聯(lián)網(wǎng)提供服務(wù)的小任務(wù)。當(dāng)人們開始使用手機在網(wǎng)上“沖浪”時，這些供應(yīng)商完全不知所措。他們的下行網(wǎng)絡(luò)完全超負荷運行，因此，他們開始提供一些“套餐”，旨在限制數(shù)據(jù)服務(wù)消費——至少現(xiàn)在是這樣一種情況。
在源頭解決所有問題
連接的節(jié)點越多，速度越快，需要的網(wǎng)絡(luò)容量和信息服務(wù)提供商運營能力也就越高。這不斷推動著對互聯(lián)速度需求的增長。有意思的是，大多數(shù)數(shù)據(jù)中心的IP數(shù)據(jù)傳輸(例如：亞馬遜和Google等)都在數(shù)據(jù)中心內(nèi)部的計算機之間完成，而并未通過網(wǎng)絡(luò)連接的客戶端之間。
在網(wǎng)購時，點擊“購買”按鈕之后，在兩臺服務(wù)器之間便開始進行大量的事務(wù)處理，以驗證用戶身份和支付方式，確認距離最近的發(fā)貨倉庫，記錄所有資金交易情況，收集買家統(tǒng)計數(shù)據(jù)，以及執(zhí)行其他相關(guān)任務(wù)。完成所有這些事務(wù)所需的時間越長，消費者等待訂單確認的時間也就越長。
在線進行股票交易、游戲、銀行轉(zhuǎn)賬和其他電子商務(wù)時原理相同。這種“多事務(wù)”數(shù)據(jù)傳輸和大量交易請求推動局域網(wǎng)互聯(lián)速度從每通道10Gb/s提高至25Gb/s。
大多數(shù)現(xiàn)代數(shù)據(jù)中心都使用小型可插拔(SFP)或者四通道SFP(QSFP)連接來實現(xiàn)10Gb以太網(wǎng)。這些連接方法可以使用光纖或者特殊的高性能銅線，具體取決于要求的傳輸距離。但是，由于許多設(shè)備廠商為了增加相同空間的容量而不斷增加端口密度，出現(xiàn)了許多問題。
一個問題是，在設(shè)備冷卻系統(tǒng)的散熱口放置大量的光纖模塊，并且相互靠近。單個光纖模塊的功耗一般為1W。將這些模塊(例如一個48端口的10Gb/s交換機)相互靠近放置，從設(shè)備排出的氣體溫度又很高，這會縮短光纖模塊的壽命并且存在安全隱患。
數(shù)據(jù)中心管理員將注意力轉(zhuǎn)向了無源線纜，這種線纜有望降低功耗和光纖模塊的成本。最近，連接距離小于15米的情況，開始使用集成了半導(dǎo)體線性均衡器和轉(zhuǎn)接驅(qū)動器的“有源”線纜，以調(diào)節(jié)信號和提高信號完整性。有源線纜可以匹配較短的互聯(lián)，允許使用與光纖芯徑差不多大小的小規(guī)格標(biāo)準(zhǔn)線，而且功耗和成本都更低。
另外，這些管理員還可以使用具有多種功能的“智能線纜”，這些功能包括時域反射計(TDR)和眼圖監(jiān)視器等，可以持續(xù)管理連接的完整性。SFP和QSFP規(guī)范通過連接器上的一個兩引腳串聯(lián)管理端口實現(xiàn)這種通信。這種設(shè)備可以識別線纜類型及其性能，從而讓系統(tǒng)設(shè)計人員能夠?qū)⑦@些功能集成到管理系統(tǒng)中。
得更遠
有趣的是，標(biāo)準(zhǔn)一旦被制定出來，就會存在相當(dāng)長的時間。據(jù)傳，現(xiàn)代英國鐵路軌距可能直接源自羅馬帝國二輪戰(zhàn)車的輪距。這個問題無需再深入討論。影響數(shù)據(jù)中心的標(biāo)準(zhǔn)包括基礎(chǔ)設(shè)施內(nèi)的機架尺寸和間隔。典型機架為19英寸寬，42英寸長，7英尺高。這一標(biāo)準(zhǔn)已沿用了許多年。在某些行業(yè)，機架寬23英寸，目的是為了適用于電信交換機設(shè)備等應(yīng)用。即使CMOS尺寸縮小帶來了更高密度的集成，這些機架的體積也沒有相應(yīng)縮小。實際上，由于功耗和布線要求更高，它們的體積反而在不斷增加。最近，開放運算項目針對一種被稱為“開放式機架”(21英寸寬)的新標(biāo)準(zhǔn)制定了一些計劃。不僅寬度增加，機架也變得更高。一些機架的高度甚至要達到9英尺，以最大化服務(wù)器密度。
隨著機架尺寸的增加，與設(shè)備內(nèi)部電子器件相關(guān)的連接器布局也要調(diào)整。同時，CMOS密度的增加，讓硅制造廠商可以將原來安裝在外部的物理層(PHY)器件集成到內(nèi)核交換ASIC并靠近連接器。這種情況會產(chǎn)生兩個結(jié)果：外部連接器和電子器件之間的距離增加；連接數(shù)據(jù)速率提高。這將對設(shè)計的信號完整性產(chǎn)生極大的影響。在許多情況下，它要求增加有源器件，對數(shù)據(jù)進行恢復(fù)和重新計時，以達到連接器的規(guī)范(圖1)。現(xiàn)在，10Gbps傳輸線路受到高抖動問題的困擾，同時面臨最初四通道(x4)2.5Gbps版信號的衰減問題。
圖1：高速互連的發(fā)展。
對10Gbps以太網(wǎng)以及存儲和計算來說，這就成了問題。第3版PCI Express(PCIe)等標(biāo)準(zhǔn)將通道帶寬從500Mbps增加至1Gbps。通過更加高效的編碼，并將傳輸速率從5Gbps增加至8Gbps，便可以達到這個目標(biāo)。更高的傳輸速率會帶來相同傳輸距離連接器規(guī)范不達標(biāo)的問題，而在這一距離，使用FR4無源傳輸線時，PCIe 2.0卻可以工作得很好。在許多情況下，面臨的問題是使用更獨特的PCB材料，還是有源平衡器/轉(zhuǎn)接驅(qū)動器，以電學(xué)方式縮短傳輸線路。這可沒有它看起來那么簡單，因為PCIe標(biāo)準(zhǔn)使用帶外(OOB)信號傳輸，在根組件和PCIe節(jié)點之間建立起一個有效鏈路。半導(dǎo)體廠商一般會提供允許這種標(biāo)準(zhǔn)在更長距離工作的硅組件。PCIe 4.0規(guī)范使用16Gbps通道。在機架式服務(wù)器和設(shè)備尺寸不斷增大的情況下，要想達到這種標(biāo)準(zhǔn)實現(xiàn)通用性將變得越來越困難。
存儲接口標(biāo)準(zhǔn)也做了同樣的修訂。在企業(yè)存儲世界，標(biāo)準(zhǔn)是串行連接SCSI(SAS)，它是小型計算機系統(tǒng)接口(SCSI)的串行版本。SAS-2.0規(guī)范使用6Gbps通道，利用精密細致的FR4 PCB布局方法和高性能連接器可以讓它再次發(fā)揮作用。SAS-3.0使用12Gbps通道，并面臨與其它高速標(biāo)準(zhǔn)相同的信號完整性問題。現(xiàn)在，使用連接器和線纜將某個驅(qū)動器連接至系統(tǒng)使得這個問題變得錯綜復(fù)雜。線纜廠商現(xiàn)在正推出一種新的高性能連接器(小型SAS HD)和介電材料，以應(yīng)對信號完整性降低問題。但是，要解決這個問題卻并不容易，因為系統(tǒng)中驅(qū)動器可能會移動到更遠的地方，這就要求使用更長的連接器。
功耗原則
正如前文所述，功耗是運營商和設(shè)備廠商共同關(guān)心的主要問題。即使用于設(shè)計高性能通信設(shè)備的大多數(shù)ASIC都是CMOS，但相比一些老型號產(chǎn)品，更新(更快)的設(shè)備實際功耗也更高。另外，有意思的是，盡管晶體管幾何尺寸不斷縮小并且越來越高效，但是電路設(shè)計人員卻利用這種小體積優(yōu)勢將更多的晶體管封裝到這些器件中。CMOS電路的功耗與時鐘頻率比例關(guān)系，因此，盡管每個晶體管的功效越來越高，但是它們的時鐘頻率卻比早期產(chǎn)品快了數(shù)倍。
這種發(fā)展趨勢仍將持續(xù)，并在一定程度上推動機架空間變得越來越大，從而實現(xiàn)更好的空氣流動和更優(yōu)的線纜管理。電線管理的改進可讓設(shè)備的連接器具有更好的空間間隔，從而使其本身的互連不妨礙設(shè)備風(fēng)扇排出的氣流。但是，連接器密度遲早會擴展到填滿所有有效空間的程度。
超越10Gb/s
在一些現(xiàn)代的數(shù)據(jù)中心，大多數(shù)互連均為銅纜或者光纖的10Gbps以太網(wǎng)。這些通道均為單(SFP+)通道或者分組四通道(QSFP)。不管是哪種情況，這些線纜都為全雙工。今天的一些標(biāo)準(zhǔn)傳輸速度都超過了10Gbps以太網(wǎng)。一種是光纖通道，現(xiàn)在的速度已經(jīng)達到16Gbps(另外還有20Gbps標(biāo)準(zhǔn))。互聯(lián)網(wǎng)協(xié)議(IP)等協(xié)議標(biāo)準(zhǔn)都可以映射FC數(shù)據(jù)包，并允許使用光纖和銅纜實現(xiàn)更高速的互連。
就以太網(wǎng)而言，使用多條10Gbps通道進行數(shù)據(jù)傳輸可以實現(xiàn)更高的總帶寬，但要達到100Gbps，需要使用10條通道。100Gbps以太網(wǎng)光纖模塊利用一個超高速的10:4/4:10串行器/解串器(SerDes)將10通道的10Gbps數(shù)據(jù)轉(zhuǎn)換為4個25Gbps流。這4個數(shù)據(jù)流饋送給使用波分復(fù)用(WDM)方案配置的4條不同顏色的激光。SerDes較為昂貴并且功耗很高，而10條通道又會占用連接器空間。下一代產(chǎn)品將使用25Gbps，直接向光纖模塊傳送數(shù)據(jù)。這種方法無需使用SerDes，并且連接器占用空間非常小。
數(shù)據(jù)傳輸能耗指標(biāo)
過去，我們可以說某個系統(tǒng)以“X”bps的速度將一些比特從“A”點移至“B”點。但在服務(wù)器群有10,000臺服務(wù)器和千兆存儲以后，我們就不能這么說了。今天，設(shè)備按照其傳輸信息時的無誤差(BER>10-12)和高效程度來分級。因此引起了一場有關(guān)信息傳輸效率的競賽——誰的功耗最低，誰就是獲勝者。企業(yè)運營商關(guān)心的是服務(wù)器性能和數(shù)據(jù)傳輸速度以及系統(tǒng)的能耗。設(shè)備運行所需的所有能量以廢熱的形式存在，因此需要將這種廢熱排出去，而這個過程又會消耗更多的能量。
這種方式來看數(shù)據(jù)傳輸可能過于簡單，但是，不管是用于驅(qū)動某條數(shù)據(jù)通道的集成電路，還是一個每秒數(shù)Gb的高性能交換機，任何解決方案的性能計算都應(yīng)包括功耗。這種衡量指標(biāo)很像以“納公頃/兩周”為單位表示的硅生產(chǎn)率。從大的方面看，它是對目標(biāo)本質(zhì)的簡化和概括。在系統(tǒng)周圍，使用最少的能源，以最快的速度，實現(xiàn)數(shù)據(jù)傳輸。
以下方程式表示了效率分類指標(biāo)
其中，P為功率(瓦特)，REF為無誤差通道速率(比特/秒)，D為距離(米)。它可以簡化為焦耳每比特米(J/b?m)，也就是1秒無誤差時將1比特數(shù)據(jù)傳輸1米所需要的功耗，或者無誤差條件下，1比特數(shù)據(jù)移動1米所消耗的能量。它對各種媒介和編碼進行了標(biāo)準(zhǔn)化，并允許使用并排比較技術(shù)。
100+ Gbps挑戰(zhàn)
由于我們已經(jīng)介紹過一種比較各種通信技術(shù)的方法，我們將直接討論數(shù)據(jù)速率超過100Gbps以后的相關(guān)問題。100Gbps數(shù)據(jù)傳輸媒介有兩種可供選擇：光纖和銅線。后一種受限于集膚效應(yīng)和介電損耗，近遠端串?dāng)_以及許多其他影響比特誤碼率的現(xiàn)象。光纖傳輸過于復(fù)雜，并且要求大量功耗，用于將數(shù)條電信號轉(zhuǎn)換為通過光纖傳輸?shù)囊粋€或者多個經(jīng)過調(diào)制的激光束，然后再由激光束轉(zhuǎn)換回電信號(圖2)。
圖2：100Gbps CFP光纖模塊與QSFP有源線纜對比。
半導(dǎo)體行業(yè)的主要進展是硅工藝，此外構(gòu)架方面也獲得了一定程度的改進。一些供應(yīng)商(例如TI)開始使用新的超高性能硅鍺工藝實現(xiàn)超低功耗和高成本效益。使用SiGe時，相比CMOS實現(xiàn)方法，驅(qū)動器中的發(fā)射振幅更高，因而擁有更高的信號完整性。這些工藝結(jié)合了新的時鐘恢復(fù)和前饋均衡技術(shù)，可以輕松達到每通道25+ Gbps。下一代設(shè)備有望擁有這一數(shù)據(jù)速率，并計劃于2013底上市銷售。
對比現(xiàn)有100Gbps通道的傳輸效率，驅(qū)動遠距離傳輸時光纖模塊擁有明顯優(yōu)勢。但是，當(dāng)涉及企業(yè)內(nèi)部10米以下的數(shù)據(jù)傳輸時，現(xiàn)在所使用的銅纜再次閃耀出它的光芒。1米標(biāo)準(zhǔn)時，光纖無誤差傳輸1比特的能耗大概為80微微焦耳(使用100Gbps CFP，每端的功耗為4W)，而銅纜傳輸1比特的能耗僅為20微微焦耳(使用100 Gbps QSFP，線纜每端的功耗為600mW)。以25Gbps運行的4條原生通道，使用設(shè)備對設(shè)備(box-to-box)配置時，能耗更低。令人吃驚的是，企業(yè)環(huán)境的大多數(shù)互連距離都小于1米。
超越100Gb/s
通過基板和線纜傳輸串行化比特的傳統(tǒng)方法大多包含非歸零(NRZ)二進制編碼和誤差編碼(例如8b/10b)。但是，使用可變長度CAT5/6 UTP線纜的以太網(wǎng)標(biāo)準(zhǔn)(例如1Gbase-T)除外。這種標(biāo)準(zhǔn)的復(fù)雜度要求極高，原因是所用導(dǎo)線的帶寬有限(<350MHz)，并且通道損耗存在不確定性。為了彌補這些不足，標(biāo)準(zhǔn)采用了多層符號編碼、位交錯、前向糾錯、回波消除和大量的其他技術(shù)，并與動態(tài)鏈路訓(xùn)練結(jié)合，以建立最快的無誤差連接。所有這些導(dǎo)致其功耗高于NRZ版本，但在這些情況下，也很難找出一種更好的替代方法。
如果行業(yè)把銅線的數(shù)據(jù)連接速度推高至25Gbps以上，那么問題是，雙層(二進制)NRZ編碼還會存在嗎？即使現(xiàn)在，還有人會說應(yīng)該放開對25Gbps數(shù)據(jù)速率的限制。Intel公司建議在企業(yè)內(nèi)部和基層之間也都使用多層編碼。由于符號編碼比特密度更高，這樣可以實現(xiàn)高數(shù)據(jù)速率，但是能耗也肯定會增高。在今天的市場上，Broadcom和其他公司提供的10Gbase-T解決方案復(fù)雜程度也有不斷增加的趨勢。正如其以前的一些產(chǎn)品，這些器件利用多層信號傳輸，通過符號編碼增加比特密度。利用多條通道(一條CAT7線纜4對)，該標(biāo)準(zhǔn)可支持約500MHz有限通道帶寬的情況下10Gbps數(shù)據(jù)傳輸速率。那么，隨著這個行業(yè)向40Gbps通道發(fā)展，多層方案會代替二進制編碼嗎？可能會，但是二進制NRZ成熟易懂。市場上有大量的NRZ誤碼率測試儀及完善的基礎(chǔ)設(shè)施。另外，還有發(fā)射器和接收器復(fù)雜性問題。即使CMOS幾何尺寸減小至40nm標(biāo)準(zhǔn)以下，功耗和成本都是需要解決的問題。
本文小結(jié)
考慮到未來4年市場所需要的器件絕對數(shù)量，思科VNI的預(yù)測數(shù)據(jù)相當(dāng)令人激動。同時，它也為有線和無線基礎(chǔ)設(shè)施供應(yīng)商以及提供媒體和信息的數(shù)據(jù)服務(wù)器帶來了一些問題。所有這些共同推動了企業(yè)和基礎(chǔ)設(shè)施使用更高的互連速度。25Gbps可能會馬上到來，然后迅速向40Gbps進發(fā)，并會使用先進的NRZ或者多層技術(shù)，確保實現(xiàn)無誤差數(shù)據(jù)通信。但是，當(dāng)行業(yè)把連接速度從100Gbps再次推高至250Gbps甚至更高時，又會出現(xiàn)哪些標(biāo)準(zhǔn)，并在激烈的市場競爭中勝出呢？
