分類的準確度長期以來都是評價圖像分類模型性能的最核心甚至唯一標準。但最近研究表明，即使是充分訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型也很容易被對抗攻擊算法攻破。對抗攻擊是指在圖像上加入特定的且人眼無法察覺的微量噪聲，使得目標模型對加噪之后得到的對抗樣本做出錯誤分類。

對抗樣本有可能會導(dǎo)致財產(chǎn)損失乃至威脅生命。比如，Eykholt 等人 [1] 的研究表明一個經(jīng)過稍加修改的實體停車標志能夠使得一個實時的物體識別系統(tǒng)將其誤識別為限速標志，從而可能造成交通事故。為了揭示深度神經(jīng)網(wǎng)絡(luò)模型的魯棒性和準確性之間的關(guān)系，來自 IBM 研究院，加州大學(xué)戴維斯分校，麻省理工學(xué)院以及京東 AI 研究院的研究人員，系統(tǒng)性地度量了 18 個被學(xué)術(shù)界和工業(yè)界廣泛接受并使用的 ImageNet 深度神經(jīng)網(wǎng)絡(luò)模型，如 AlexNet、VGG Nets、Inception Nets、ResNets、DenseNets、MobileNets、NASNets 等的魯棒性。

該研究發(fā)現(xiàn)了多個非常有趣的現(xiàn)象，包括:1) 準確度越高的模型的普遍魯棒性越差，且分類錯誤率的對數(shù)和模型魯棒性存在線性關(guān)系；2) 相比于模型的大小，模型的結(jié)構(gòu)對于魯棒性的影響更大；3) 黑盒遷移攻擊是一直以來都比較困難的任務(wù)，但在 VGG 系列模型上生成的對抗樣本可以比較容易地直接攻擊其它的模型。該項工作對于理解深度神經(jīng)網(wǎng)絡(luò)準確性和魯棒性之間關(guān)系提供了一個較完備的圖景。此項研究的論文「Is Robustness the Cost of Accuracy? – A Comprehensive Study on the Robustness of 18 Deep Image Classification Models」已被歐洲計算機視覺大會（ECCV 2018）接收，并且預(yù)印版和代碼都已公開。

自從 2012 年 AlexNet 在 ImageNet 競賽大放異彩之后，研究者們不斷設(shè)計出更深和更復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型以期獲得更好的分類精度。雖然這些模型能夠取得圖像識別正確率的穩(wěn)定增長，但它們在對抗攻擊下的魯棒性尚未得到充分研究。為了評估深度神經(jīng)網(wǎng)絡(luò)的魯棒性，一個直觀的方法是使用對抗攻擊。這種攻擊生成視覺上和原圖難以察覺區(qū)別的對抗樣本使得深度神經(jīng)網(wǎng)絡(luò)做出錯誤分類。一般來講，對于一個深度神經(jīng)網(wǎng)絡(luò)，如果在其上構(gòu)建對抗樣本越容易、所添加的噪聲越小、則該網(wǎng)絡(luò)越不魯棒。除了對抗攻擊之外，神經(jīng)網(wǎng)絡(luò)的魯棒性也可以用一種獨立于攻擊的方式來衡量。例如 Szegedy 等人 [2] 和 Hein 等人 [3] 使用神經(jīng)網(wǎng)絡(luò)模型的全局和局部的 Lipschitz 常量對某些簡單模型的魯棒性進行了理論分析。Weng 等人 [4] 提出使用極值理論來估計為了生成有效的對抗樣本所需要的最小噪聲的尺度。

在這篇論文中，研究者們同時使用了上述兩種方式評估了 18 個在 ImageNet 競賽中脫穎而出的 DNN 模型，包括 AlexNet, VGG Nets, Inceptin Nets, ResNets, DenseNets, MobileNets 和 NASNets 等。這 18 個模型具有不同的大小，分類準確度和結(jié)構(gòu)，因此具有充分的代表性，從而能更好地分析出影響模型魯棒性的不同因素。在使用對抗攻擊來評估魯棒性的方式中，研究者們使用了目前最好最常用的幾種攻擊算法，包括 Fast Gradient Sign Method（FGSM）[5]、Iterative FGSM（I-FGSM）[6]、Carlini & Wagner（C&W）算法 [7]，以及 Elastic-Net Attack under L1 norm（EAD-L1）算法 [8]。此外，在獨立于攻擊的魯棒性評估方式中，研究者們選用了目前最為有效的 CLEVER Score[4] 來評估深度神經(jīng)網(wǎng)絡(luò)的魯棒性。

這篇論文通過對 18 個 ImageNet 模型在 C&W 攻擊和 I-FGSM 攻擊下的魯棒性的實驗分析，發(fā)現(xiàn)當已有模型僅僅追求更高的分類準確度時，往往會犧牲在對抗攻擊下的魯棒性。圖 1 展示了在 I-FGSM 的攻擊下，生成對抗樣本所帶來的扭曲 (以 l-infinity 度量) 與模型的分類錯誤率的對數(shù)值呈現(xiàn)出線性關(guān)系。因此，當分類器具有非常低的分類錯誤率的時候，在對抗攻擊下它將變得非常脆弱。所以本論文作者們建議 DNN 的設(shè)計者在構(gòu)建網(wǎng)絡(luò)的時候，應(yīng)該參考本論文提出的準確度-魯棒性的帕累托邊界來評估其所構(gòu)建模型的魯棒性。

同時，圖 1 也明確地揭示了屬于同一網(wǎng)絡(luò)結(jié)構(gòu)家族的網(wǎng)絡(luò)都有著相近的魯棒性。這就意味著相比于網(wǎng)絡(luò)的大小，網(wǎng)絡(luò)結(jié)構(gòu)對于魯棒性的影響更大。

在對抗樣本的黑盒轉(zhuǎn)移攻擊方面，研究者們對于 18 個 ImageNet 的模型之間的每一對模型（共計 306 對）都進行了在 FGSM, I-FGSM, C&W 和 EAD-L1 攻擊下的黑盒轉(zhuǎn)移攻擊的實驗。這是迄今為止在黑盒轉(zhuǎn)移攻擊上最大規(guī)模的實驗。圖 2 展示了對大多數(shù)網(wǎng)絡(luò)來說，在它上面生成的對抗樣本只能在本家族的網(wǎng)絡(luò)之間有較好的黑盒轉(zhuǎn)移攻擊成功率。唯一的例外是 VGG 家族：基于 VGG 家族的網(wǎng)絡(luò)生成的對抗樣本在黑盒轉(zhuǎn)移攻擊其他的 17 個網(wǎng)絡(luò)上都有著很高的成功率。這一發(fā)現(xiàn)也為逆向工程黑盒模型的結(jié)構(gòu)提供了一定的曙光。

圖 1：I-FGSM 攻擊下，關(guān)于模型分類準確度（x 坐標）和模型魯棒性度量 l-infinity distortion（y 坐標）之間的擬合的帕累托邊界（紅色曲線），即 

圖 2：I-FGSM 攻擊下 18 個模型（306 對）之間的黑盒轉(zhuǎn)移攻擊的成功率。每一行的子圖分別對應(yīng)了 I-FGSM 輪數(shù)為 10，30 和 50。第一列的子圖對應(yīng)于非針對性（untargeted）攻擊，第二列子圖對應(yīng)于針對性（targeted）攻擊。在每一幅熱力圖中，第 i 行第 j 列上的數(shù)值是用第 i 個模型生成的對抗樣本來攻擊第 j 個模型的成功率。對角線上的值就等價于模型在白盒攻擊下成功率。對于非針對性攻擊，報告的數(shù)值是成功率。對于針對性攻擊，報告的數(shù)值是 top-5 匹配率。與其他模型相比，VGG-16 和 VGG-19（每張圖中最下兩行）展現(xiàn)出了明顯更高的轉(zhuǎn)移攻擊的成功率。

論文鏈接：https://arxiv.org/pdf/1808.01688.pdf

代碼鏈接：https://github.com/huanzhang12/Adversarial_Survey 

參考文獻：

[1] Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Prakash, A., Kohno, T., Song, D.: Robust physical-world attacks on deep learning visual classification. CVPR 2018.

[2] Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., Fergus, R.: Intriguing properties of neural networks. ICLR 2014.

[3] Hein, M., Andriushchenko, M.: Formal guarantees on the robustness of a classifier against adversarial manipulation. NIPS 2017.

[4] Weng, T.W., Zhang, H., Chen, P.Y., Yi, J., Su, D., Gao, Y., Hsieh, C.J., Daniel, L.: Evaluating the robustness of neural networks: An extreme value theory approach. ICLR 2018.

[5] Goodfellow, I., Shlens, J., Szegedy, C.: Explaining and harnessing adversarial examples. ICLR 2015.

[6] Kurakin, A., Goodfellow, I.J., Bengio, S.: Adversarial machine learning at scale. ICLR 2017.

[7] Carlini, N., Wagner, D.A.: Towards evaluating the robustness of neural networks. Oakland 2017.

[8] Chen, P.Y., Sharma, Y., Zhang, H., Yi, J., Hsieh, C.J.: Ead: Elastic-net attacks to deep neural networks via adversarial examples. AAAI 2018.