論文引用格式：
寧庭勇， 熊婕， 胡永波。 人工智能應用面臨的安全威脅研究[J]. 信息通信技術與政策， 2021,47（8）：64-68.
人工智能應用面臨的安全威脅研究
寧庭勇 熊婕 胡永波
（云賽智聯股份有限公司，上海 200233）
摘要：當前自動駕駛技術、智能助理、人臉識別、智能工廠、智慧城市等人工智能技術已廣泛落地，但相關領域安全事件的快速增長，使得消費者和業界對人工智能網絡安全問題和威脅的關注度也在不斷提高。人工智能應用的安全與智能化應用所帶來的紅利，猶如一個硬幣的兩面，永遠同時存在且重要性凸顯。通過對近年來人工智能安全的政策、技術發展特點及人工智能應用落地所面臨的安全威脅進行探討，提出了一套可參考的安全框架和落地實施方法。
關鍵詞：人工智能；模型安全；數據安全；人工智能安全；可信人工智能
中圖分類號：TP393.08 文獻標識碼：A
引用格式：寧庭勇， 熊婕， 胡永波。 人工智能應用面臨的安全威脅研究[J]. 信息通信技術與政策， 2021,47（8）：64-68.
doi：10.12267/j.issn.2096-5931.2021.08.010
0 引言
縱觀當今社會，人工智能（Artificial Intelligence，AI）已廣泛滲透經濟生產活動的各個環節。AI將催生新技術、新產品、新產業、新業態、新模式，實現社會生產力的整體躍升，推動社會進入智能經濟時代。目前，我國大型企業基本都已在持續規劃投入實施AI項目，已有超過10%的企業將AI與其主營業務相結合，實現產業地位的提高和經營效益的優化[1-2]。雖然AI技術已經開始在眾多行業中找到落地場景，成為助推傳統業務數字化轉型的重要工具，但AI技術在工程化和應用落地過程中還面臨諸多挑戰[3]。例如，產品能力參差不齊、缺乏行業基準和標桿、用戶選型存在困難、由算法缺陷和應用安全隱患所衍生的安全事件頻發等，這些問題制約了AI技術產業的深入發展。
1 人工智能領域應用面臨安全考驗
1.1 安全現狀
根據艾瑞咨詢研究院的報告[2]，過去幾年AI安全研究論文呈現爆炸式增長。近兩年，全球政府、學術界和工業界發布的AI安全性方面的研究論文多達3500 篇[2]，美國、中國、歐盟之間的激烈競爭預計將在可信AI競賽中繼續。現實中的AI安全事件正在快速增長，尤其在汽車、生物識別、機器人技術和互聯網行業。作為AI的早期采用者，最受關注的行業是互聯網（23%）、網絡安全（17%）、生物識別技術（16%）和自治（13%）[1-2]。AI行業對于現實世界的黑客攻擊還沒有做好充分的準備，60種最常用的機器學習（ML）模型平均至少有一個安全漏洞[4]。
1.2 芯片、算法和數據的安全可控變得十分重要
隨著近5年AI滲透率在各行業的提升，AI的局限和問題逐漸暴露，如對抗樣本帶來的安全隱患、原理不可解釋等。能真正落地，并用于關鍵應用場景的AI方案必須是安全、可控、可理解的，否則很難說服用戶買單，尤其是企業級、政府級客戶。國內近些年在AI安全標準方面建樹不少。中國信息通信研究院自2018年就啟動了AI第三方評測工作[3]，針對產業實際問題，建設權威的測試數據集和軟硬件環境，牽頭完成AI評測標準體系，其中《ITU-T F.748.11（2020）》是國際首個AI芯片評測標準；2018年7月，中國電子工業標準化技術協會發布由中國人工智能開源軟件發展聯盟起草的《T/CESA 1026-2018人工智能深度學習算法評估規范》團標；2021年3月，中國金融標準化技術委員會正式發布了由中國人民銀行提出的《人工智能算法金融應用評價規范》（JR/T 0221-2021）行標。這些研究和標準研究機構正在從芯片、算法、應用等各個層面不斷地給與市場指導規范。
1.3 人工智能的發展也在改變網絡安全的發展
AI技術的發展在很大程度上也改變了原有的網絡攻防模式，自動化攻防的出現更是加速了整個網絡空間安全領域的發展。AI與安全是相輔相成的關系，AI的應用給網絡空間賦予了新的內涵，網絡安全和大數據技術的進步也能讓AI在更多的領域得以應用[5]。國內主要的安全廠商如安恒信息、深信服、360等都先后在自身的安全產品中加入了大數據和AI技術用以抗衡網絡攻防中巨量數據分析和攻擊特征識別等問題。
2 人工智能應用安全架構
2.1 人工智能技術應用所面臨的安全問題類別
從AI產業層次來看，AI分為基礎能力層、感知與認知技術層、領域應用賦能層[6]。基礎層主要是AI的三大基本要素，即算力、算法和數據[7]；技術層主要是基于AI的研究方向分類，主要分為感知類技術和認知類技術；應用層主要為AI技術落地在各領域智能化場景實現AI賦能，具體參見圖1。
圖1 人工智能產業發展技術層級
整體上看，AI系統面臨以下幾個方面的安全挑戰：從軟件及硬件方面來看，理論上應用、模型、平臺和芯片的編碼都可能存在漏洞或后門，一旦攻擊者發現，則能夠利用這些漏洞或后門實施高級攻擊。從算法模型方面來看，攻擊者同樣可能在模型中植入后門并實施高級攻擊，由于部分模型的不可解釋性，在模型中植入的惡意后門會很難被檢測。在模型參數層面，服務提供者往往只希望提供模型查詢服務，而不希望暴露自己訓練的模型，但通過多次查詢，攻擊者能夠構建出一個相似的模型，進而獲得模型的相關信息，甚至可以訓練出對抗樣本用以攻擊原有模型。同樣，如果訓練模型時的樣本覆蓋性不足，會使模型魯棒性不強，當面對惡意樣本攻擊時，模型也會無法給出正確的判斷結果。從數據安全方面來看，如果攻擊者能夠在訓練階段摻入惡意數據，則會影響模型推理能力，如果攻擊者在推理階段對要判斷的數據加入少量噪音，就會產生刻意改變判斷結果的嚴重問題。在用戶提供訓練數據的場景下，攻擊者有可能通過反復查詢訓練好的模型獲得用戶的隱私信息進而產生敏感數據泄露的問題[8]。以上這些問題有的存在于基礎層，有的存在于技術層面，大部分都是在應用層使用后暴露出來，如近年來特斯拉自動駕駛發生的Autopilot安全事故[9]，有很大一部分都是訓練樣本不足或現實環境中的對抗樣本識別出現偏差后造成的嚴重后果。
面對如上眾多而又廣泛的安全問題，AI系統部署到業務場景時需要在三個層次實施防御和安全增強。一是注意對已知攻擊進行有針對性地防御；二是通過各種措施提升模型健壯性；三是使用數據安全技術保證數據的安全和隱私保密；最后，就是在模型部署的業務中設計各種安全機制保證架構的安全。參考AI應用架構，其主要分為模型訓練環境和生產環境兩個部分，一般情況下兩個環境是相對隔離并運行在不同的物理或云環境中（見圖2）。
圖2 人工智能應用架構
2.2 人工智能訓練環境中的安全威脅
在訓練環境中，樣本數據準備環節要防范數據投毒攻擊以造成模型傾斜，為模型提供可解釋性樣本數據的同時要注意反饋機制規避虛假數據導入，并要保證系統的數據自洽性；在模型訓練環節，要防止閃避和后門攻擊，同時在模型設計方面要保證模型的可驗證性及樣本數據足夠完整，并要充分考慮數據噪聲，訓練出足夠健壯的模型；訓練出的推理模型要針對模型竊取攻擊進行測試和驗證，并對模型的可解釋性進行充分的分析，同時針對應用場景需求，可以設計多個模型進行適配。
2.3 人工智能推理環境中的安全威脅
在生產環境中，數據采集環節要防止數據過度采集，對個人屬性的生物特征，如人臉、指紋、聲音等信息要適度進行脫敏或轉換后再進行利用，在數據傳輸和應用環節可適當采用數據加密技術和訪問控制手段進行保護；在業務系統模型管理方面，要有專門的模型倉庫管理和監控機制，要保障模型的安全訪問和使用情況審計，對每個不同的模型實例都要有詳細的訪問控制和調用的日志管理；在最終的業務邏輯中，在滿足業務穩定運行的條件約束下，系統需要分析識別最佳方案并發送至控制系統進行驗證并實施。通常業務安全架構要對各個功能模塊進行隔離，并設置對模塊之間的訪問控制機制，以減少攻擊程序針對推理程序的攻擊面。在業務系統中，使用持續監控和攻擊檢測程序，用以綜合分析系統安全狀態，給出當前威脅風險級別。當威脅風險較大時，綜合決策可以不采納自動系統的建議，將最終控制權交回界面，通過人員判斷保證在遭受可疑攻擊情況下的可控性。在業務系統進行關鍵操作時，業務程序要對AI推理給出的分析結果進行確定性分析，當確定性低于閾值時交回界面人工處理。在業務模型可選的情況下，可以搭建業務“多模型架構”，通過對關鍵業務部署多個AI模型，避免單個模型出現異常時不影響業務最終決策，從而提升整個系統的強壯性。
3 人工智能應用安全生命周期
為了應對AI應用所面對的各種威脅，筆者建議使用AI安全生命周期框架來啟動AI應用安全計劃（見圖3）。
圖3 人工智能應用安全生命周期
在AI應用安全生命周期中，4個區域代表了AI系統從開始規劃設計到部署應用成熟使用的各個階段，并不斷循環進行持續改進。這些步驟從基本到復雜依次進行，后面的步驟依賴于前面的結果。AI生命周期參考了NIST網絡安全框架和Gartner的自適應安全架構（網絡安全生命周期管理的流行參考框架）。
3.1 識別階段
該階段的目標是通過資產管理、威脅建模和風險評估活動了解當前人工智能安全態勢。其行動為：通過資產管理，識別和記錄所有使用的人工智能模型、數據集、云平臺和供應商；通過威脅建模，了解破壞模型、數據集、環境和供應鏈的風險；通過風險評估，執行安全審計并確定模型、數據集和其環境中的漏洞優先級。
3.2 保護階段
該階段的目標是實施保護性控制，如安全意識、系統強化和安全人工智能開發實踐。其行動為：通過建立安全意識，從管理、產品安全和人工智能開發等各方面對利益相關者進行安全風險教育；使用模型強化措施，對模型的攻擊應用進行安全防御，確保安全輸入，防止數據外泄；通過安全開發，完善應用程序安全的常規流程，涵蓋從開發到落地的整個過程。
3.3 檢測階段
該階段的目標是通過定期滲透測試，驗證安全監控和威脅檢測系統抵御主動攻擊。其行動為：通過安全監控，收集和分析來自業務系統中推理業務的事件和異常，如訪問、錯誤和度量問題；通過威脅檢測，檢測并阻止針對業務系統機密性、完整性和可用性的對抗性攻擊[10]；通過滲透測試，進行紅藍對抗演習，以評估系統的穩健性，并檢查檢測和響應控制機制是否可靠。
3.4 響應階段
該階段的目標是通過引入調查、遏制實踐、緩解工具、技術和程序，為人工智能安全事件做好準備。其行動為：通過特征提取，建立人工智能安全事件分類、影響分析和技術調查的專業知識；通過事故響應，制定事故控制和與利益相關者溝通的行動指導手冊；通過建立應急預案，改善技術控制和組織政策，以減少重復發生人工智能安全事件的機會。
4 結束語
綜上所述，人工智能應用的大規模普及和發展需要很強的安全性保證。本文主要從當前人工智能應用所面臨的主要安全威脅進行分類描述，對人工智能應用落地的訓練和推理環境所面臨的三大安全威脅進行了剖析。最后，結合安全領域的現有經驗，提出了人工智能應用安全生命周期的階段和具體方法論，供業內實施人工智能應用時予以參考。
參考文獻
[1] Adversa. 人工智能面臨十大安全威脅[EB/OL]. （2021-04-27）[2021-05-10]. https://zhuanlan.51cto.com/art/202104/659922.htm.
[2] 艾瑞咨詢研究院。 2020年中國人工智能產業研究報告[EB/OL]. 2020[2021-05-10]. http://report.iresearch.cn/report_pdf.aspx?id=3707.
[3] 中國信息通信研究院。 中國信通院2021年首批“可信AI評測”正式啟動，即可報名！[EB/OL]. （2021-02-08）[2021-05-10]. https://www.sohu.com/a/449513509_735021.
[4] Adversa. The road to secure and trusted AI[EB/OL]. （2020-09-01）[2021-05-10]. https://adversa.ai/reportsecure-and-trusted-ai/.
[5] 陳映村。 淺談人工智能在計算機網絡領域的應用[J].數碼世界， 2017（11）：186.
[6] 秦健， 劉鑫。 人工智能專利技術市場運營的風險與應對[J]. 電子知識產權， 2019（2）：66-71.
[7] 胡文穎。 回顧人工智能以史為鏡， 正視未來[J]. 通信世界， 2018（20）：30-31.
[8] 華為技術有限公司。 華為AI安全白皮書[R], 2018.
[9] 雷鋒網。 特斯拉Autopilot 系列事故最詳細梳理|系列之一[EB/OL]. （ 2017-03-31）[2021-05-10]. http://www.sohu.com/a/131377916_114877.
[10] 方濱興， 時金橋， 王忠儒， 等。 人工智能賦能網絡攻擊的安全威脅及應對策略[J]. 中國工程科學， 2021,23（3）：60-66.
Research on security threats of AI application landing
NING Tingyong, XIONG Jie, HU Yongbo
（Inesa Intelligent Tech Inc., Shanghai 200233, China）
Abstract: With the rapid popularization of automatic driving technology, intelligent assistant, face recognition, intelligent factory, smart city and other AI Artificial intelligence technologies and the rapid growth of related security incidents, consumers and the industry are paying more and more attention to AI network security issues and threats. The security of artificial intelligence applications and the dividends brought by intelligent applications, like two sides of a coin, always exist at the same time and the importance is highlighted. This paper discusses the development process of AI security in recent years and the security threats faced by AI application landing, and puts forward a set of reference security framework and landing implementation methods.
Keywords: artificial intelligence; model security; data security; artificial intelligence security; trusted artificial intelligence
