chinesemature老熟,免费的视频网站入口,欧美多人疯狂性战派对

基于權值交互思想的卷積神經網絡量化算法

2020年電子技術應用第10期

肖國麟，楊春玲，陳宇

哈爾濱工業大學電氣工程及自動化學院，黑龍江哈爾濱150001

摘要： 傳統的卷積神經網絡量化算法廣泛使用對稱均勻量化操作對模型權值進行量化，沒有考慮到相鄰權值量化之間的相互關系，即上一個權值的量化操作產生的量化噪聲可以通過調整之后權值的量化方向加以彌補。針對上述問題，提出了一種基于權值交互思想的三值卷積神經網絡量化算法，達到了16倍的模型壓縮比，以ImageNet作為數據集，量化后的AlexNet和ResNet-18網絡上模型預測準確率只下降了不到3%。該方法達到了較高的模型壓縮比，具有較高的精度，可以用于將卷積神經網絡移植到計算資源有限的移動端平臺上。

關鍵詞： 三值量化卷積神經網絡權值交互模型壓縮

中圖分類號： TN911.73；TP391
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.200263
中文引用格式： 肖國麟，楊春玲，陳宇. 基于權值交互思想的卷積神經網絡量化算法[J].電子技術應用，2020，46(10)：39-41.
英文引用格式： Xiao Guolin，Yang Chunling，Chen Yu. Convolutional neural network quantization algorithm based on weight interaction ideas[J]. Application of Electronic Technique，2020，46(10)：39-41.

Convolutional neural network quantization algorithm based on weight interaction ideas

Xiao Guolin，Yang Chunling，Chen Yu

School of Electrical Engineering and Automation，Harbin Institute of Technology，Harbin 150001，China

Abstract： Traditional convolutional neural network quantization algorithms widely use symmetric uniform quantization operations to quantize models′ weights, without taking into account the correlation between the quantization of adjacent weights, that is, the quantization noise generated by the quantization operation of the previous weight can be made up after adjusting the quantitative direction of the next weights. Aiming at the above problems, a ternary convolutional neural network quantization algorithm based on the idea of weight interaction is proposed, the model compression ratio is 16 times. On the ImageNet dataset, the model prediction accuracy of ternarized AlexNet and ResNet-18 network only decrease less than 3%. This method achieves a high model compression ratio, has higher accuracy, and can be used to transplant convolutional neural networks to mobile platforms with limited computing resources.

Key words : ternary quantization；convolutional neural network；weight interaction；model compression

0 引言

隨著深度學習的飛速發展，卷積神經網絡(CNN)被越來越多地應用于各個領域，如圖像識別^[1-2]和目標檢測^[3-4]。然而，隨著應用要求的提高，CNN的結構越來越深，導致其對于計算力和內存的需求大大提高。同時由于移動端設備的飛速發展，設備小型化的需求和市場不斷擴大，將CNN應用到小型移動端設備的需求也隨之增加。然而，受限于電源、內存及功耗，移動端平臺無法滿足高性能CNN對于硬件性能、功耗及內存的要求，因此優化CNN模型從而降低其對于計算資源的要求非常必要^[5]。

CNN權值量化是目前一種主流的CNN模型優化方法，而三值量化其中一種能夠將權值由32位量化到2位（0，±α）從而達到16倍壓縮比的低位量化方法。自從2016年三值化網絡被LI F等人提出以來^[6]，其方法不斷改進，性能不斷提高。其中MELLEMPUDI N等人于2017年提出的細粒度三值化網絡^[7]，將激活函數量化到8或4位，將權重量化至2位，將每N個權值分為一個組，分組量化，兩組之間相互獨立，其中N=2，4，8，16，…。該方法主要通過嘗試不同的分組和暴力搜索解空間以及二次訓練的方式得到最優解，但相比原精度的32位卷積網絡仍有較大性能差距。目前的三值量化網絡性能不佳的其中一個問題在于都使用對稱均勻量化操作，只考慮了單個權值的量化，忽視了相鄰權值量化之間的相互關系，量化噪音直接相互累加，導致每一層網絡的噪聲積累過高，使得量化模型的預測準確率有極大的下降。

針對此問題，本文提出一種新的CNN模型三值量化算法，基于權值交互思想，在同一卷積核內，將先前量化產生的積累噪聲作為一個負變量加入到下一個權值的量化操作中，使得對下一個權值朝著能減小積累噪聲的方向進行量化。然后，通過層級貪婪搜索算法逐層搜索局部最優解，得到效果近似最優解的優化解，降低搜索算法復雜度，極大減少搜索所需時間。實驗證明，相比于其他使用對稱均勻量化操作的算法，本文的算法極大地減小了由于量化操作導致的模型預測準確率的損失。

本文詳細內容請下載:http://www.shi-ke.cn/resource/share/2000003017

作者信息:

肖國麟，楊春玲，陳宇

(哈爾濱工業大學電氣工程及自動化學院，黑龍江哈爾濱150001)

原創聲明：此內容為AET網站原創，未經授權禁止轉載。

相關內容