什么是對抗性機器學習 （AML）？AML 是對數據或代碼進行有目的的操作，以導致機器學習 （ML） 算法出現故障或出現錯誤預測。AML 的一個流行例子來自 Google 的一個團隊，他們在 GoogLeNet 上進行了一項實驗，GoogLeNet 是一種卷積神經網絡架構，在 2014 年贏得了 ImageNet 大規模視覺識別挑戰。該程序可以更高度地預測圖像是否是長臂猿。這種類型的操作相對容易執行，只需在原始算法中插入幾位代碼即可。

　　資料來源： 解釋和利用對抗性示例，Goodfellow 等人，ICLR 2015。

　　在論文“大規模對抗性機器學習”中，Alexey Kurakin、Ian Goodfellow 和 Sam Bengio 強調機器學習模型通常容易受到對抗性操縱，最重要的是，許多機器學習算法非常容易受到基于模型的小修改或輸入的攻擊。AML 的核心是利用 ML 基礎設施的高度脆弱性來改變預測。AML 技術的列表越來越多，但其中大多數攻擊都有可能未被發現。一些研究人員正在關注更有效的方法來對 ML 程序進行 AML 攻擊或微調他們的技術。其他人則專注于提高其 ML 算法的魯棒性。例如，當算法必須針對“真實世界”數據執行時，算法的性能指標會降低。研究人員有目的地使用一些 AML 技術來提高其 ML 算法的魯棒性，以便模型可以處理它在現實世界中可能遇到的自然擾動。一些研究致力于識別和防御 AML 攻擊。例如，DARPA 有一個名為“保證 AI 魯棒性反欺騙”的研究機構（GARD ） 是一個框架，組織可以使用它來識別系統漏洞、表征將增強系統健壯性的屬性，并鼓勵創建有效的防御。與 ML 一樣，AML 世界并不新鮮，但由于技術進步，AML 社區每天都有重大發現。這使美國國防部 （DoD） 處于有利地位，可以利用 AML 社區已經進行的研究并創建 AI 紅隊。仍有一些挑戰必須首先解決。

　　美國國防部正在積極努力縮小國防與工業之間人工智能 （AI） 和機器學習方面的技術差距，因為商業行業處于領先地位。美國人工智能國家安全委員會在其最近發布的報告中提出了三個重要觀點。 首先，要讓軍方在人工智能和機器學習方面保持競爭優勢，美國國防部技術采購流程和文化思維需要發生重大轉變。其次，美國國防部必須到 2025 年“準備好人工智能”，但缺乏這樣做所需的數字勞動力和技術人才。第三，反洗錢是一種真正的威脅，但決策者并未將其列為優先事項。這三個發現是美國國防部應考慮創建 AI 紅隊的關鍵。

　　解決美國國防部 AI 和 ML 算法存在的漏洞將是 AI 紅隊的主要任務，但隨著團隊的成熟，它可能還會提供其他功能。首先，該團隊將負責評估、演示和推薦可提高美國國防部算法穩健性的行動。有了專門的 AI 紅隊，美國國防部將有一個中央團隊來解決和評估 AI 和 ML 漏洞。在短期內，這個團隊很可能會嚴重依賴研究社區和行業合作伙伴，但美國國防部必須從某個地方開始。通過建立 AI 紅隊，它為 AML 合作伙伴關系提供了一個國防部聯絡點。這將包括全國的研究實驗室、外國合作伙伴、其他聯邦機構和學術機構。隨著研究和學術界在人工智能、機器學習和對抗性機器學習領域不斷取得驚人的飛躍，美國國防部將在談判桌前占有一席之地，分享想法、新 TTP 和項目合作伙伴。此外，美國國防部將能夠縮小其隊伍中的培訓和專業知識差距。雖然該團隊最初可能因缺乏技術專長而陷入困境，但他們的運營專長仍然有助于了解 AML 攻擊可能造成的運營影響。

　　在短期內，國防部可能不得不依靠外包 ML 和 AI 人才，但在專門處理 AML 問題集的任務后，由運營專家和經驗豐富的技術專業人員組成的聯合團隊將迅速開發必要的 AI 和 ML 技能集。不難看出未來，美國國防部人工智能紅隊的選擇將變得類似于申請空軍武器學校或初級密碼學職業。最后，重要的是該組織是由美國國防部領導、國防部賦予任務、國防部派出人員，以及國防部具有創建和執行權力，因為戰爭的某些部分不應外包或承包。通過建立人工智能紅隊，它為美國國防部提供了一支通過戰爭視角專注于人工智能、機器學習和反洗錢的部門。創造的工具和技術，培養的人才，解決的問題，所創造的成果將受到國防領域的推動。在 AI 和 ML 方面，美國國防部讓行業處于領先地位。當談到反洗錢時，美國國防部必須得到作為國家安全的授權。

　　Rena DeHenre 是美國空軍的一名情報官員。她最近在 MIT-Lincoln Labs 完成了研究獎學金，她專注于 AML 及其在網絡領域的影響。她現在是高級航空航天學院的一名學生。