清華大學(xué)聯(lián)合阿里安全、瑞萊智慧 RealAI 等頂尖團(tuán)隊(duì)發(fā)布首個(gè)公平、全面的 AI 對(duì)抗攻防基準(zhǔn)平臺(tái)。AI 模型究竟是否安全，攻擊和防御能力幾何？只需提交至該平臺(tái)，就可見能力排行。

　　從發(fā)展的角度來看，人工智能正在從第一代的知識(shí)驅(qū)動(dòng)和第二代的數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)向第三代的多元驅(qū)動(dòng)，知識(shí)、數(shù)據(jù)、算法和算力成為四大因素。安全可控也成為第三代人工智能的核心發(fā)展目標(biāo)，數(shù)據(jù)與算法安全成為學(xué)界和業(yè)界人士重點(diǎn)關(guān)注的研究主題之一。其中，在數(shù)據(jù)安全層面，數(shù)據(jù)泄露和投毒是造成數(shù)據(jù)安全風(fēng)險(xiǎn)的兩個(gè)重要根源；在算法安全層面，對(duì)抗樣本對(duì)人臉識(shí)別、身份認(rèn)證以及刷臉閘機(jī)等人工智能應(yīng)用的安全性構(gòu)成了巨大的挑戰(zhàn)。

　　近年來，我們更是看到了很多場景中 AI 算法被攻破的典型案例。自 2016 年以來，特斯拉 Model S、Model X 和車輛搭載的 Autopilot 自動(dòng)輔助駕駛系統(tǒng)曾先后被騰訊科恩安全實(shí)驗(yàn)室攻破，高危安全漏洞和 AI 算法的缺陷使車輛處于危險(xiǎn)的狀態(tài)，并嚴(yán)重威脅人身和財(cái)產(chǎn)安全；2021 年，19 款使用 2D 人臉識(shí)別技術(shù)的國產(chǎn)安卓手機(jī)被 RealAI 利用具備對(duì)抗攻擊能力的特制眼鏡成功解鎖，由此引發(fā)了人們對(duì)人臉支付、線上身份驗(yàn)證等的擔(dān)憂。

　　在 AI 模型和算法面臨種種挑戰(zhàn)的情況下，如何準(zhǔn)確地探知各個(gè) AI 攻防模型的攻防能力變得愈加重要。這時(shí)，如果出現(xiàn)一個(gè)平臺(tái)能夠?qū)?AI 模型和算法的攻防能力做出排名，那么我們就能夠及時(shí)地調(diào)整改進(jìn)，并有的放矢地采取防范措施，也就可以降低技術(shù)落地過程中的安全風(fēng)險(xiǎn)。

　　在 2021 年北京智源大會(huì)上，清華大學(xué)聯(lián)合阿里安全、瑞萊智慧 RealAI 發(fā)布了業(yè)內(nèi)最新的基于深度學(xué)習(xí)模型的對(duì)抗攻防基準(zhǔn)平臺(tái)（Adversarial Robustness Benchmark），此基準(zhǔn)可以更加公平、全面地衡量不同 AI 攻防算法的效果，提供方便使用的魯棒性測試工具，全面衡量 AI 攻防模型的攻防能力。用戶可以通過提交模型的方式獲取攻防能力排名。

　　構(gòu)建公平、全面 AI 對(duì)抗攻防基準(zhǔn)平臺(tái)的必要性

　　深入研究潛在針對(duì)機(jī)器學(xué)習(xí)模型的攻擊算法，對(duì)提高機(jī)器學(xué)習(xí)安全性與可信賴性有重要意義。以往，研究者在衡量模型的防御性能時(shí)，基本只在一種攻擊算法下進(jìn)行測試，顯然不夠全面。攻擊算法是經(jīng)常變化的，需要考慮模型在多種攻擊算法和更強(qiáng)攻擊下的防御能力，這樣才能比較系統(tǒng)地評(píng)估 AI 模型的防御能力。

　　與此同時(shí)，業(yè)界此前提出的各種「攻擊算法排行榜」只包含一些零散的算法，測量攻擊算法的環(huán)境也只包含單一的防御算法，用于評(píng)測的數(shù)據(jù)集也不多，更沒有合適的統(tǒng)計(jì)和度量標(biāo)準(zhǔn)。

　　因此，此次推出的 AI 對(duì)抗安全基準(zhǔn)基本上包含了目前主流的人工智能對(duì)抗攻防模型，涵蓋了數(shù)十種典型的攻防算法。不同算法比測的過程中盡量采用了相同的實(shí)驗(yàn)設(shè)定和一致的度量標(biāo)準(zhǔn)，從而在最大限度上保證了比較的公平性。

　　AI 算法的攻擊結(jié)果和防御結(jié)果排名示例，左為防御算法排名，右為攻擊算法排名。

　　基準(zhǔn)測試平臺(tái)網(wǎng)站：http://ml.cs.tsinghua.edu.cn/adv-bench

　　通過對(duì) AI 算法的攻擊結(jié)果和防御結(jié)果進(jìn)行排名、比較不同算法的性能，對(duì)于建立 AI 安全基準(zhǔn)具有重要學(xué)術(shù)意義，可以更加公平、全面地衡量不同算法的效果。

　　阿里巴巴安全部技術(shù)總監(jiān)薛暉表示，「參與推進(jìn)這項(xiàng)研究工作，除了幫助 AI 模型進(jìn)行安全性的科學(xué)評(píng)估，也是為了促進(jìn) AI 行業(yè)進(jìn)一步打造『強(qiáng)壯』的 AI。

　　AI 攻防基準(zhǔn)平臺(tái)的發(fā)展及意義

　　近幾年來，關(guān)于 AI 對(duì)抗攻防的國際賽事不斷涌現(xiàn)，如生成對(duì)抗網(wǎng)絡(luò)之父 Ian Goodfellow 牽頭組織的 NIPS 2017 對(duì)抗樣本攻防競賽、2018 DEFCON CAAD CTF 對(duì)抗攻防賽等。其中，在 NIPS 2017 對(duì)抗樣本攻防競賽，朱軍教授團(tuán)隊(duì)包攬全部三個(gè)項(xiàng)目的冠軍。

　　2020 年，清華大學(xué)人工智能研究院研發(fā)并開源了 AI 對(duì)抗安全算法平臺(tái) ARES（Adversarial Robustness Evaluation for Safety）。這是一個(gè)用于對(duì)抗機(jī)器學(xué)習(xí)研究的 Python 庫，致力于對(duì)圖像分類任務(wù)上不同模型的對(duì)抗魯棒性進(jìn)行準(zhǔn)確和全面的基準(zhǔn)測試。這個(gè)算法平臺(tái)也是本次發(fā)布的 AI 對(duì)抗魯棒測評(píng)基準(zhǔn)的主要依托。

　　GitHub 項(xiàng)目地址：https://github.com/thu-ml/ares

　　論文地址：https://arxiv.org/pdf/1912.11852.pdf

　　在該基準(zhǔn)測試中，研究者將 16 種防御模型（CIFAR-10 和 ImageNet 數(shù)據(jù)集上各占一半）和 15 種攻擊方法用于對(duì)抗魯棒性評(píng)估。下圖（上）為防御模型，圖（下）為攻擊方法（其中 FGSM、BIM 和 MIM 分別采用了白盒和基于遷移的攻擊）。該基準(zhǔn)測試匯集了當(dāng)前主流和代表性的對(duì)抗攻擊和防御算法，論文也入選了 CVPR 2020 Oral。

　　除了數(shù)十種典型的攻防算法之外，本次發(fā)布的 AI 安全排行榜也包括了剛剛結(jié)束的 CVPR 2021 人工智能攻防競賽中誕生的排名前 5 代表隊(duì)的攻擊算法。此次競賽吸引到了全球 2000 多支代表隊(duì)提交最新算法，選手基于 ARES 平臺(tái)提交攻擊算法，對(duì)已有對(duì)抗防御模型進(jìn)行準(zhǔn)確的魯棒性測試，進(jìn)一步提升了該安全基準(zhǔn)的科學(xué)性和可信性。

　　CVPR 2021 人工智能攻防競賽中「賽道 1 防御模型白盒對(duì)抗攻擊」排名前 5 的隊(duì)伍。

　　因此，基于前期研究成果以及 CVPR 2021 人工智能攻防競賽中提交的算法，清華大學(xué)聯(lián)合阿里安全、RealAI 發(fā)布了最新的 AI 對(duì)抗魯棒性測評(píng)基準(zhǔn)平臺(tái)。完整時(shí)間線如下：

　　RealAI 副總裁唐家渝表示：「該基準(zhǔn)評(píng)測平臺(tái)利用典型的攻防算法和 CVPR 2021 比賽積累的多個(gè)性能優(yōu)越的算法進(jìn)行互相評(píng)估，代表當(dāng)前安全與穩(wěn)定性測量的國際標(biāo)準(zhǔn)。」

　　清華、阿里安全和 RealAI 三方均強(qiáng)調(diào)，該基準(zhǔn)評(píng)測平臺(tái)不是專屬于某一家機(jī)構(gòu)或者公司搭建的平臺(tái)，需要工業(yè)界和學(xué)術(shù)界的共同參與才能把它打造為真正受認(rèn)可的全面、權(quán)威的 AI 安全評(píng)估平臺(tái)。因此，三方將聯(lián)合不斷在排行榜中注入新的攻擊和防御算法，并且歡迎學(xué)術(shù)界和產(chǎn)業(yè)界的團(tuán)隊(duì)通過 ARES 平臺(tái)提交新的攻防模型。

　　該平臺(tái)的發(fā)布對(duì)工業(yè)界和學(xué)術(shù)界都能帶來正面的影響，比如工業(yè)界可以使用該平臺(tái)評(píng)估目前 AI 服務(wù)的安全性，發(fā)現(xiàn)模型的安全漏洞。同時(shí)，也可為學(xué)術(shù)界提供一個(gè)全面、客觀、公平、科學(xué)的行業(yè)標(biāo)準(zhǔn)，推動(dòng)整個(gè)學(xué)術(shù)界在 AI 對(duì)抗攻防領(lǐng)域的快速發(fā)展。