趙  磊1，張  健2，郭乃網1

　　（1.國家電網上海市電力公司電力科學研究院，上海200437；2.國家電網上海市電力公司奉賢供電公司，上海201400）

　　摘  要： 數據中心是數據集中存儲和管理的中心，也是當前及未來發展的方向，國家電網作為國民經濟的基礎支撐行業，數據中心的發展對企業經營管理、電力生產、社會能源節約具有重要現實意義。本文總結了國家電網公司數據中心發展演變過程，闡述不同發展時期主要的技術特點。

　　關鍵詞： 國家電網；數據中心；演進

　　0 引言

　　數據中心(Data Center，DC)是數據集中存儲和管理的中心。在互聯網大背景下，各行業業務數據類型正在發生著巨大的變化，數據中心是互聯網當前及未來發展的方向。數據中心通過實現統一的數據定義與命名規范集中的數據環境，從而達到數據共享與利用的目標。按規模劃分為部門級數據中心、企業級數據中心、互聯網數據中心以及主機托管數據中心等。另外，根據2014年初公布的數據中心年報顯示，在當前超大規模（hyperscale）數據中心統計中，服務器超過10萬臺的公司屬于Tier1（第一等級），共有十幾家，國外包括美國Google、Amazon、微軟、IBM等8家，國內只有BAT（Baidu，Alibaba，Tencent）三家屬于超大型數據中心范疇[1]。一個典型的數據中心常常跨多個供應商和多個產品的組件，包括主機設備、數據備份設備、數據存儲設備、高可用系統、數據安全系統、數據庫系統、基礎設施平臺等。這些組件需要放在一起，確保它們能作為一個整體運行。

　　電力行業是國民經濟的基礎支撐行業，電力行業信息化和電力生產自動化的發展與應用在電力企業產生了海量的數據。隨著物聯網、云計算、電子商務等技術在電力行業的應用，電力企業數據中心數據量從幾百 TB 快速增長到幾千 TB，數據增長速度越來越快，電力行業步入大數據時代。數據中心作為電力數據的有效載體，電力企業數據中心的發展直接關系數據價值的挖掘，對電力企業經營管理、電力生產、社會能源節約都具有重要的現實意義。本文主要對國家電網數據中心發展情況進行闡述。

1 電網企業信息化基礎建設

　　2003年3月5日，國家電網公司成立信息化領導小組，強調加快電力信息化建設步伐。為實現“一強三優”現代公司（電網堅強、資產優良、服務優質、業績優秀）發展戰略目標,落實“三抓一創”工作思路，加快推進信息化建設，國家電網公司制定了“十一五”信息發展規劃，并于2006年4月開始全面實施“SG186”工程（SG是國家電網公司英文縮寫）,“1”是指構筑一體化企業級信息平臺；“8”是指建設安全生產管理、營銷管理、項目管理、人力資源管理、財務資金管理、物資管理、協同辦公、綜合管理八大業務系統；“6”是指建立健全管理控制體系、評價考核體系、安全防護體系、技術研究體系、人才隊伍體系六個保障體系[2]。 “SG186”構筑一體化信息平臺，建設八大業務系統,建立健全六個保障體系，為公司發展提供信息支撐。2009年底“SG186”工程全面完成，實現了業務管理的縱向貫通、橫向集成。國家電網公司的信息化水平達到國內領先、國際先進，初步建成數字化電網、信息化企業。

2 數據中心建設

　　“十一五”通過SG186工程建成了覆蓋公司各級單位的一體化企業級信息系統，同時也建成了覆蓋總部、省(市)兩級屬地化數據中心。2009年6月，國家電網公司提出“十二五”信息發展規劃，根據公司信息化集約發展需求，分三階段建設集中式信息系統數據(災備)中心，即“十二五”完成數據級和應用級災備建設，并初步建成集中式數據中心，“十三五”全面完成集中式數據中心建設[3]。

　　2.1 數據級災備中心

　　2011年5月，國家電網公司在國內三個城市建成數據災備中心實現公司各類數據本端到災備端的數據復制，災難發生后，災備端數據回傳本端恢復使用。數據災備中心的關注點在于數據，即災難發生后可以確保國家電網公司的業務數據不會丟失或者遭到破壞，實現信息系統快速恢復，確保業務的連續性。數據級災備中心示意圖如圖1所示。

　　數據級災備中心通過使用數據庫復制技術（Oracle Golden Gate，OGG）和存儲虛擬化復制技術實現了災備中心的數據復制技術整體架構，其中OGG軟件是一種基于日志的結構化數據復制備份軟件，它通過解析源數據庫在線日志或歸檔日志來獲得數據的增量變化，再將這些變化應用到目標數據庫，從而實現源數據庫與目標數據庫同步。OGG可以在異構的IT基礎（幾乎包括所有常用OS平臺和數據庫平臺）之間實現大量數據亞秒級的實時復制，從而可以在應急系統、在線報表、實時數據倉庫供應、交易跟蹤、數據同步、集中/分發、容災、數據庫升級和移植、雙業務中心等多個場景下應用，同時它可以實現一對一、廣播（一對多）、聚聚合（多對一）、雙向、點對點、級聯等多種靈活的拓撲結構[4]。

　　存儲虛擬化就是通過映射或抽象的方式將邏輯映像與物理存儲分開，增加一個資源虛擬視圖的管理層面，激活一種資源并使之更易于透明控制。該技術可有效簡化基礎設施的管理，提高IT資源的利用率和能力，如服務器、網絡或存儲。國網公司選擇異構模式，采取多對一的復制關系，在異構模式中使用存儲虛擬化技術進行日常數據的復制及通過產生數據的快照進行數據驗證。

　　2.2 應用級災備中心

　　在數據級災備基礎上，利用應用同步技術與應用切換技術實現本端與災備端的應用系統同步即應用級災備中心，災難發生后，用戶經另一匯聚點訪問災備端應用，如圖2所示。在應用級災備數據中心，為了實現災備端能順利接管應用的運行，在生產端的數據能恢復到災備端，要求整個應用環境能夠再現災備端。充分利用環境鏡像更新、應用系統存儲復制等技術確保災備端與生產端應用配置、用戶信息保持一致。兩項同步技術對生成和恢復鏡像工具、網絡帶寬、存儲空間、應用服務器連接SAN環境等均有較高要求[5]。

　　利用DNS的切換技術在實現同步后進行相應數據訪問。當生產中心服務器發生災難時，災備從域服務器自動接管生產中心主域服務器 DNS解析，修改 DNS 服務器對應域名的 A記錄為災備中心服務器IP。應用該DNS切換技術，網絡結構無需特別改動，切換時不必操作客戶端和服務器地址，只需修改DNS中服務器域名解析即可，體現了非常高的性價比。

3 集中式數據中心

　　在數據級災備中心及應用級災備中心的基礎上，國家電網公司提出集中式數據中心計劃，并于2015年底初步建成集中式數據中心，將三地災備中心升級為主要生產數據中心，本地主要保留網絡匯集功能，用戶遠程集中訪問，三地互備，實現本端與災備端的應用系統同步。災難發生后，用戶經另一匯聚點訪問災備端應用，推動數據共享和業務融合，降低信息系統建設和運維費用[6]，如圖3所示。

　　數據中心變革的驅動與發展，主要來自于業務發展要求以及信息化的角色職能的變化。隨著國網公司業務不斷優化整合，從而要求系統更快速的響應，減少業務系統升級和推廣時間；管理集約化的發展需要信息更集中統一，數據實時反應，支撐業務集中管控；流程標準化則要求實現流程統一、固化，業務應用功能規范，數據一致；專業深度融合需要信息共享集成，提升數據集成共享水平，促進業務集成融合。基于上述需求，結合國內外行業最佳實踐，形成國網集中式數據中心技術架構，如圖4所示，此架構涵蓋網絡建設、存儲建設、系統軟件建設及平臺服務等多個方面。

　　3.1 網絡建設

　　基于業務功能模塊化和網絡拓撲層次化的設計方法，使得網絡架構在功能、容量、覆蓋能力等各方面具有良好擴展能力。建設穩健高速的廣域網，以支持用戶的高速應用訪問、跨數據中心高效的應用集成交互和災備數據恢復，使用TRILL、OTV、LISP等虛擬化技術提高了二層網絡擴展性，支持跨數據中心的資源調度。基于云計算數據中心的網絡架構標準，在各個層次構建虛擬化和冗余、以支持網絡的快速收斂、容錯、虛擬機感知、移動的安全策略、無打擾網絡和主機管理模式。基于國網等級保護安全合規性，應用集中部署和災備策略，構建數據中心網絡分區。基于網絡虛擬化和主機虛擬化技術特點，標準化網絡建設，如IP地址規劃、VLAN規劃、路由規劃、QoS策略規劃、安全策略規劃和設備選型等。

　　3.2 存儲建設

　　基于三個災備中心、網省SAN網絡現狀、災備和統一備份需求，數據中心內SAN采用雙Fabric架構，核心交換機冗余架構，數據中心間的SAN互聯采取SAN路由技術，基于存儲虛擬化的數據復制通過FCOIP實現，使存儲網絡能夠擴展到廣域網，實現SAN網絡之間透明互連和數據壓縮傳輸。建設LAN、LAN-Free和快照+LAN-Free多種備份通道，為主機配置獨立的備份HBA卡，虛擬的備份Virutual Fabric降低對生產的影響，并實現備份SAN和生產SAN的邏輯隔離。建設存儲虛擬化和基于block的自動分級存儲。建設分級存儲的存儲架構，部署存儲資源池的分層服務體系。集中監控和管理復雜的異構核心存儲系統，實現端到端可視化、可控化和自動化的存儲資源統一管理。

　　3.3 系統軟件（中間件、數據庫）建設

　　標準化中間件、數據庫、操作系統的種類及版本，并規范配置，簡化集中后運維管理。基于中間件架構的最佳實踐，構建冗余的硬件服務器平臺和多中間件集群來承載應用，并結合冗余的硬件負載均衡平臺實現流量分發和容錯，以支持可持續的高并發業務應用訪問和應用的彈性擴展。基于數據清理、表分區、數據庫集群、分布式數據庫（橫縱、讀寫、生產/歷史/歸檔分庫）等技術以應對數據總量大、并發請求高的集中挑戰。基于等級保護主機安全基本要求、國網安全基線管理和主機安全評估系統，完成系統軟件的安全加固。基于自動化監控和自動化管理，減少運維的人工操作，降低運維難度與風險，屏蔽部分運維工作的復雜度。構建云資源管理和運維監控系統對中間件和數據庫平臺的負載感知，實現集中式數據中心自動化的資源調度（集群級、資源池級和數據中心級）。

　　3.4 平臺服務建設

　　針對信息展現，企業門戶和目錄權限分別使用1+N和3+N模式集中部署，針對應用集成的ESB采用3+N，ESR采用1，BPM采用3+N,BAM采用1模式集中部署，針對數據中心，ODS采用3+N，EDW采用1，非結構化平臺采用3+N模式集中部署。基于“縱橫向級聯、三總線貫通、本地化服務、集中化管控”的思想，打造“高效支撐、靈活擴展、集中管理、易于運維”的平臺服務。

4 結論

　　本文總結了國家電網公司數據中心的發展情況，按照公司信息化發展規劃綱要闡述了信息化基礎建設、數據災備中心、應用災備中心、集中式數據中心四個方面層層遞進的發展關系，梳理各個時期的相關發展的技術要點，為理解國家電網公司數據中心發展提供參考。

　　參考文獻

　　[1] 張廣彬，盤駿，曾智強.數據中心2013：硬件重構&軟件定義[R].ZDNet企業解決方案中心|年度技術報告，2014.

　　[2] 謝洪濤.電力企業數據中心的架構設計研究[D].上海：復旦大學，2009.

　　[3] 馬永波.電網企業數據中心網絡虛擬化研究與應用[D].上海：上海交通大學，2012.

　　[4] 劉信，朱凱進.國家電網公司數據災備中心數據復制方式研究[J].硅谷，2012(14)：94-95.

　　[5] 朱洪斌，王重.應用級災備關鍵技術研究[J].電力信息化，2011，9(12)：40-43.

　　[6] 趙偉.2013年信息化架構調考培訓材料集中式數據中心部分[Z].國網信通部技術處集中式數據中心組，2013.