當前網絡與信息安全領域，正在面臨著多種挑戰。一方面，企業和組織安全體系架構日趨復雜，各種類型的安全數據越來越多，傳統的分析能力明顯不再適應；另一方面，新型威脅興起，內控與合規深入，傳統的分析方法存在諸多缺陷，越來越需要分析更多的安全信息，更加快速地做出判定和響應。
網絡信息安全數據自身也面臨大數據化的挑戰。
1）數據越來越多。網絡已經從吉比特每秒邁向了萬兆比特每秒的速率，網絡安全設備要分析的數據分組數據量急劇上升。同時，隨著安全防御的縱深化，安全監測的內容不斷細化，除了傳統的攻擊監測，還出現了應用監測、用戶行為監測等。此外，隨著APT等新型威脅的興起，全分組捕獲技術逐步應用，海量數據處理問題也日益凸顯。
2）處理越來越快。對于網絡設備而言，包處理和轉發的速度需要更快；對于安全管理平臺、事件分析平臺而言，數據源的事件發送速率越來越快。因此，對安全數據處理的性能將直接影響大數據的服務質量。
3）形態越來越泛。除了協議數據分組、設備日志數據，安全信息還涉及漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應用信息、業務信息、外部情報信息、網絡環境數據等等。針對安全數據形態多樣化、非結構化的發展趨勢，統一的數據表述方法也變得越來越關鍵。
正是因為安全數據自身的大數據化，因此業界開始研究如何將大數據技術應用于安全領域，形成大數據安全服務。
1. 網絡安全大數據態勢感知
隨著網絡規模和應用的迅速擴大，網絡安全威脅不斷增加，單一的網絡安全防護技術已經不能滿足需要。網絡安全態勢感知能夠從整體上動態反映網絡安全狀況并對網絡安全的發展趨勢進行預測，大數據的特點為大規模網絡安全態勢感知研究的突破創造了機遇。
網絡安全態勢感知就是利用數據融合、數據挖掘、智能分析和可視化等技術，直觀顯示網絡環境的實時安全狀況，為網絡安全提供保障。借助網絡安全態勢感知，網絡監管人員可以及時了解網絡的狀態、受攻擊情況、攻擊來源以及哪些服務易受到攻擊等情況，對發起攻擊的網絡采取措施；網絡用戶可以清楚地掌握所在網絡的安全狀態和趨勢，做好相應的防范準備，避免和減少網絡中病毒和惡意攻擊帶來的損失；應急響應組織也可以從網絡安全態勢中了解所服務網絡的安全狀況和發展趨勢，為制定有預見性的應急預案提供基礎。
安全態勢感知通過對系統環境中潛在的安全影響要素進行獲取和理解，以實現對未來安全發展趨勢的預測，是制定安全防御策略的基礎。主要研究包含情報數據采集、安全數據整理、數據可視化展現、情報和事件匯聚處理分析、安全態勢展示等步驟，關鍵技術如下。
（1）多源異構數據的融合
網絡運行環境、協議和應用場景等難以統一描述，網絡安全態勢感知首先需解決多源異構數據的融合。數據融合主要研究跨領域數據的一體化表示機理，不確定條件下的多源數據融合算法，以及異質時序數據的模式挖掘方法等關鍵技術，進而解決基于多源異質數據融合的安全態勢感知方法、基于安全知識模型的安全態勢感知方法，以及安全態勢感知結果的自適應融合策略等關鍵問題。
（2）網絡特征的選擇提取
隨著信息網絡的復雜程度不斷提升，網絡數據異常龐大，即便是經過數據融合后的信息，用戶依然無法有效使用。大數據分析技術，能夠滿足用戶從網絡大數據中獲得信息的需求，對得到的數據特征信息進一步智能分析，并轉述為更高層次的網絡特征。精準的網絡特征能夠有效描述網絡安全狀態和受攻擊的風險程度，方便進行全網態勢評估和預測。
（3）安全態勢感知與預警
網絡威脅是動態的，具有不固定性，為實現主動防御，需采用動態預測措施，以便能夠根據當前網絡走勢判斷未來網絡安全情況；為用戶提供安全策略，以便做出更正確的決策。網絡安全態勢預警的核心問題就是利用網絡安全大數據模型，實現對網絡安全態勢的實時感知與預測。
圖1為針對某個企業的網絡安全態勢感知示意，可對云上所有網絡資產進行安全告警，并用機器學習發現潛在的入侵和高隱蔽性攻擊、回溯攻擊歷史、預測安全事件等，主要功能包括安全事件告警和檢索、原始日志存儲和分析、安全風險量化和預測等。
圖1 網絡安全態勢感知示意
安全感知是安全防御體系的核心，面對APT高級隱蔽攻擊和滲透測試等，是否能夠第一時間識別和發現安全異常，已逐步成為衡量安全體系優劣的關鍵準則。
2. 網絡安全大數據的可視化
網絡大數據帶來的是海量、高速、多變的信息資產，需要尋求經濟的、創新的信息處理方式，快速獲得超越數據客觀信息的洞察力和決策力，可視化技術就在這樣的背景下應運而生。數據可視化容易被人們感知數據信息，可以快速識別數據模式和數據差異并發現數據異常，能夠快速識別并直觀聚類，還能快速發現新的攻擊模式并對攻擊趨勢做出預測。因此，針對信息安全問題，諸多企業希望將其監測到的大數據轉化為信息可視化呈現的各種形式，數據可視化已逐步成為網絡安全技術和管理的一個關鍵配置。
數據可視化通常是在一個具體的問題目標框架下，利用宏觀模式視角、微觀單點視角、關聯關系視角，通過形狀、位置、尺寸、方向、色彩、紋理等視覺要素設計，得到數據的圖形化展示。網絡安全可視化則是利用人類視覺對模型和結構的獲取能力，將抽象的網絡和系統數據以圖形圖像的方式展現出來，將網絡異構數據整合到一起，相互搭配進行可視化展示能夠從多個角度來全面準確地監測分析一個網絡事件，體現當前網絡及設備的數據傳輸、網絡流量來源及流動方向、受到的攻擊類型等安全情況，從而幫助人們快速分析網絡狀況，識別網絡異常或網絡入侵行為，預測網絡安全事件發展趨勢。
目前，網絡態勢可視化技術作為一項新技術，是網絡安全態勢感知與可視化技術的結合。網絡中蘊涵的態勢狀況可以通過可視化圖形方式展示給用戶，利用對圖形圖像的強大處理能力，實現對網絡異常行為的分析和檢測。網絡態勢可視化充分結合了計算機和人腦在圖像處理方面的優勢，提高了對數據的綜合分析能力，能夠有效降低誤報率和漏報率，提高系統檢測效率，減小反應時間，還具備較強的異常行為預測能力。
安全態勢可視化的目的是生成網絡安全綜合態勢圖，以多視圖、多角度、多尺度的方式與用戶進行交互，面臨的主要挑戰是如何實時顯示、處理大規模網絡數據，如何支持多數據源、多視圖、多平臺協同的分析，最終協助網絡空間安全專家實現智能化、自動化預警和防御體系。
下面簡要介紹幾款常用的大數據可視化分析工具。
D3.js 是一款優秀的數據可視化工具庫。運行在 JavaScript 上，并使用 HTML、CSS和SVG。D3.js是開源工具，使用數據驅動的方式創建漂亮的網頁，可實現實時交互。
ChartBlocks是一個易于使用的在線工具，它無需編碼，便能從電子表格、數據庫中構建可視化圖表。整個過程可以在圖表向導的指導下完成，在 HTML5 框架下使用 JavaScript 庫D3.js創建圖表。
Google Charts 以HTML5和SVG為基礎，充分考慮了跨瀏覽器的兼容性，并通過VML支持舊版本的IE瀏覽器，并提供一個非常好的、全面的模板庫。
Highcharts是JavaScript API與jQuery的集成產品，使用SVG格式，并使用VML支持舊版瀏覽器。它提供了兩個專門的圖表類型——Highstock和Highmaps，并且配備了一系列的插件，還提供Highcharts云服務。
Tableau 是一款企業級的大數據可視化工具，可輕松創建圖形、表格和地圖。它不僅提供了PC桌面版，還提供了云服務器解決方案，支持在線生成可視化報告。
Plotly 是一個非常人性化的網絡工具，可在幾分鐘內啟動，從簡單的電子表格中開始創建漂亮的圖表，并為JavaScript和Python等編程語言提供API接口。
Visual.ly是一個可視化的內容服務。它提供專門的大數據可視化的服務，支持外包服務：你只需描述你的項目，服務團隊將在項目的整個持續時間內提供可視化開發服務。
3. 網絡安全大數據分析平臺
OpenSOC 是一個針對網絡分組和流的大數據分析框架，是大數據與安全分析技術相融合的平臺，能夠實時檢測網絡異常情況并且可不斷擴展節點，存儲采用 Hadoop，實時索引采用 ElasticSearch，在線流分析采用 Storm。
目前，OpenSOC已加入Apache工程，名為Apache Metron。體系架構如圖2所示。
圖2 OpenSOC體系架構
OpenSOC主要功能如下。
擴展性較強的平臺框架，支持各種Telemetry數據流；
通過可擴展的接收器和分析器可監視任何Telemetry數據源；
支持對Telemetry數據流的異常檢測和基于規則的實時告警；
通過預設時間使用Hadoop存儲Telemetry的數據流；
支持ElasticSearch實現自動化實時索引Telemetry數據流；
支持Hive實現SQL查詢Hadoop數據；
能夠兼容ODBC/JDBC和繼承已有的分析工具；
具有豐富的分析應用，且能夠集成已有的分析工具；
支持實時的Telemetry搜索和跨Telemetry的匹配；
支持自動生成報告、異常報警等；
支持原數據分組的抓取、存儲、重組等；
支持數據驅動的安全檢測與分析模型。
OpenSOC 平臺特色包括：
免費、開源、基于Apache協議授權；
基于高可擴展平臺的（Hadoop、Kafka、Storm）實現；
基于可擴展的插件式設計；
具有靈活的部署模式，支持企業內部或云端部署；
具有集中化的人員和數據管理流程。
