2017年7月，國務院印發《新一代人工智能發展規劃》，對我國未來人工智能工作提出了明確要求。《規劃》指出“加強人工智能標準框架體系研究，逐步建立并完善人工智能基礎共性、互聯互通、行業應用、網絡安全、隱私保護等技術標準”。人工智能安全標準是人工智能標準體系中一類重要標準，因此需加強安全標準化工作，保障人工智能產業安全健康發展。
人工智能安全風險分析
國家安全影響。人工智能在國防領域、涉密系統、關鍵信息基礎設施中的應用，可能對國家安全產生影響。根據美國近期發布的《人工智能與國家安全》報告，未來的人工智能技術有可能與核武器、飛機、計算機和生物技術一樣，成為給國家安全帶來深刻變化的顛覆性技術。
社會安全風險。人工智能可使機器實現自動化、智能化操作，這將對某些類型工作和行業帶來潛在影響，導致工作薪水降低、中低技術要求的職業消失，從而影響社會安全。2014年皮尤研究中心做了一項關于人工智能與就業的調查研究，認為自動化的普及已經很大程度影響到了藍領的就業，而以人工智能為首的下一輪科技創新很可能會顛覆白領的勞動市場。
人身安全風險。隨著人工智能與物聯網的深入結合，智能產品日益應用到人們的家居、醫療、交通等工作生活中，一旦這些智能產品（如智能醫療設備、無人汽車等）遭受網絡攻擊，可能危害人身安全。2016年，針對心臟病設備等智能醫療產品存在嚴重安全漏洞等問題，美國食品藥品監督管理局（FDA）頒布了《售后醫療設備網絡安全管理》，并成立了一個小組協助監管人工智能醫療產品。
網絡安全風險。人工智能算法、系統和應用可能遭受惡意網絡攻擊，例如通過實施一些干擾技術，計算機在進行深度學習時容易被欺騙；利用數據欺詐等手段遠程控制無人汽車，讓汽車偏航甚至逼停汽車造成事故；APT攻擊利用人工智能技術實現高度自動化，并在黑市廣泛出售等。
隱私保護風險。人工智能驅動的應用需要建立起豐富的數據集，數據收集使用時可能面臨數據安全和隱私保護問題。以無人駕駛為例，自動駕駛車輛網絡的有效運轉需要依賴大量位置數據及其他個人數據，這種大規模的數據實踐可能帶來諸多層面的數據安全和隱私保護風險。
法律倫理挑戰。人工智能的目標是使機器像人類一樣去理性思考和行動，但隨著人工智能的應用推廣和智能化程度提高，會面臨現有法律、社會規范和道德倫理的挑戰，如何確定人工智能產品或系統的法律主體、權利、義務和責任，及如何確保研究人員開發出與現有法律、社會規范和道德倫理一致或相符的算法和架構等方面都面臨挑戰。
人工智能安全標準現狀
人工智能安全標準，是與人工智能安全、倫理、隱私保護等相關的標準規范。從廣義來說，人工智能安全標準涉及人工智能本身、平臺、技術、產品和應用相關的安全標準。國內外對人工智能標準化工作也越來越重視。2017年10月，國際標準化組織ISO/IEC JTC1在俄羅斯召開會議，決定JTC1新成立人工智能的分委員會SC42，負責人工智能標準化工作，SC42將建立基礎標準（Foundational Standards）、計算方法（Computational Methods）、可信賴（Trustworthiness）、社會關注（Societal Concerns）4個工作組，并將ISO/IEC JTC1 WG9（大數據工作組）放到人工智能SC42。
人工智能基礎安全標準
20世紀90年代，ISO/IEC JTC1發布了ISO/IEC 2382-28：1996《信息技術詞匯第28部分：人工智能基本概念與專家系統》、《信息技術詞匯第29部分：人工智能語音識別與合成》，ISO/IEC 2382-31：1997《信息技術詞匯第31部分：人工智能機器學習》，ISO/IEC 2382-34：1999《信息技術詞匯第34部分：人工智能神經網絡》等4項標準。目前，上述詞匯標準已經廢止，相關術語收錄在2015年發布的ISO/IEC 2382:2015《信息技術詞匯》中。
IEEE標準協會正在努力確保人工智能技術的設計者，在其工作中優先考慮道德。2017年3月，IEEE在《IEEE機器人與自動化》雜志發表了名為“旨在推進人工智能和自治系統的倫理設計的IEEE全球倡議書”，倡議通過基于倫理的設計原則和標準幫助人們避免對人工智能技術的恐懼和盲目崇拜，從而推動人工智能技術的創新。2017年底，IEEE將發布《以倫理為基準的設計：人工智能及自主系統中將人類福祉擺在優先地位的愿景（第二版）》報告，新版本收集了250多名在全球從事人工智能、法律和倫理、哲學、政策相關工作的專家，對人工智能及自主系統領域的問題見解及建議。
目前，IEEE工作組正在開發IEEE P7000系列中涉及道德規范的7項倫理標準，分別對系統設計中倫理問題、自治系統透明度、系統/軟件收集個人信息的倫理問題、消除算法負偏差、兒童和學生數據安全、人工智能代理等方面進行規范，包括：IEEE P7000《在系統設計中處理倫理問題的模型過程》、IEEE P7001《自治系統的透明度》、IEEE P7002《數據隱私處理》、IEEE P7003《算法偏差注意事項》、IEEE P7004《兒童和學生數據治理標準》、IEEE P7005《透明雇主數據治理標準》、IEEE P7006《個人數據人工智能代理標準》、IEEE P7007《道德驅動的機器人和自動化系統的本體標準》、IEEE P7008《機器人、智能和自治系統的倫理驅動推進標準》、IEEE P7009《自治和半自治系統的故障安全設計標準》和IEEE P7010《道德人工智能與自主系統的健康度量標準》。
人工智能應用安全標準
目前，全國信息安全標準化技術委員會（TC260）已在生物特征識別、汽車電子、智能制造等部分人工智能技術、產品或應用安全方面開展了一些標準化工作。在生物特征識別安全方面，TC260已發布GB/T 20979-2007《信息安全技術 虹膜識別系統技術要求》標準，正在研制《基于可信環境的生物特征識別身份鑒別協議》《指紋識別系統技術要求》《網絡人臉識別認證系統安全技術要求》等標準；在自動駕駛安全方面，2017年TC260立項《信息安全技術 汽車電子系統網絡安全指南》標準項目，這是我國在汽車電子領域第一個網絡安全國家標準；在智能制造安全方面，TC260正在研制《工業控制網絡監測安全技術要求及測試評價方法》《工業控制網絡安全隔離與信息交換系統安全技術要求》《工業控制系統產品信息安全通用評估準則》《工業控制系統風險評估實施指南》等工控安全標準。
國際和國外標準化組織在生物特征識別、自動駕駛等領域也開展了許多安全標準工作。以自動駕駛領域為例，2012年歐洲電信標準化協會（ETSI）發布ETSI TS 102941《智能交通系統可信和隱私管理》；2014年美國國家標準技術研究院（NIST）發布《車聯網網絡攻擊防護安全框架》；2016年美國汽車工程師學會（SAE）發布SAE J3061《信息物理汽車系統網絡安全指南》；ISO/TC22（道路車輛技術委員會）正在研制ISO/TR 15497《道路車輛——車用軟件開發指南》等標準。
人工智能安全支撐標準
由于人工智能通常以大數據為基礎，并且會面臨大量隱私保護的需求，因此大數據安全、隱私保護方面的標準可作為人工智能安全標準的重要支撐。ISO/IEC JTC1 SC27和TC260均開展了隱私保護、大數據安全等標準研究，如ISO/IEC 29100《隱私框架》、ISO/IEC 29134《隱私影響評估指南》、ISO/IEC 29151《個人標識信息保護實用規則》、ISO/IEC 20547-4《信息技術—大數據參考架構—第4部分：安全和隱私架構》等國際標準，以及TC260即將發布的《信息安全技術 個人信息安全規范》《信息安全技術 大數據服務安全能力要求》等國內標準。
人工智能安全標準化工作建議
當前，人工智能技術和產業正在蓬勃發展，國內在人工智能的網絡安全應用、智慧城市安全、生物特征識別安全、汽車電子安全等方面已有初步的產業實踐。同時，人工智能可能面臨國家安全、社會安全、人身安全、網絡安全、數據安全的風險及法律倫理方面的挑戰。因此，需要加強人工智能安全標準化工作，為我國人工智能產業的健康發展保駕護航。針對國內人工智能安全標準現狀，根據《新一代人工智能發展規劃》對人工智能標準和安全的要求，提出以下建議。
統籌規劃人工智能安全標準體系
為確保人工智能安全標準研制工作有序推進，建議統籌規劃人工智能安全標準化工作，通過調研國內人工智能產業發展現狀和國外標準化現狀，分析國內人工智能安全標準化需求，優先開展人工智能安全標準體系研究。建議標準體系能覆蓋人工智能的基礎、平臺、技術、產品、應用等多個對象的安全需求，能明確與大數據安全、個人信息保護、云計算安全、物聯網安全等相關標準的關系。在標準體系研究的基礎上，加快啟動人工智能安全標準化工作，充分吸收人工智能技術、服務、產品、安全、運營等相關領域的企業、科研院所、高等院校、行業協會或產業聯盟參與研制標準。
加強人工智能安全基礎標準研究
目前，我國人工智能安全標準主要集中在應用安全領域，缺乏人工智能自身安全或基礎共性的安全標準。建議加強人工智能基礎安全標準研究，根據《新一代人工智能發展規劃》對人工智能安全提出的監測預警、風險評估、安全問責、研發設計人員安全準則等要求，針對人工智能安全的參考架構、安全風險、倫理設計、安全評估等方面開展標準研究，并規范人工智能算法、產品和系統的安全要求和測評方法。
深化人工智能應用安全標準工作
雖然TC260在生物特征識別、汽車電子安全、智能制造安全、大數據安全等領域已經開展了一些標準研究，但現有這些標準大多是規范相關領域產品或系統的自動化行為，離智能化行為安全還有差距。因此，建議進一步深化人工智能應用安全標準工作，針對已有標準完善智能安全要求，并繼續開展網絡安全領域的人工智能應用安全、智能機器人安全、自動駕駛安全、智能家居安全、智能交通安全、智能物流安全、智慧城市安全等領域的標準研究。