張俊俊，何良華

　　（同濟大學 電子與信息工程學院，上海 201800）

        摘要：深度學習是一類新興的多層神經網絡學習算法，因其緩解了傳統訓練算法的局部最小性，故引起機器學習領域的廣泛關注。但是，如何使一個網絡模型在選取任意數值的隱藏層節點數時都能夠得到一個比較合適的網絡結構是目前深度學習界普遍存在的一個開放性問題。文章提出了一種能夠動態地學習模型結構的算法——最大判別能力轉換法，根據Fisher準則來評估隱藏層每一個節點的判別性能，然后通過動態地選擇部分隱層節點來構建最優的模型結構。

　　關鍵詞：深度學習；最大判別能力轉換法；Fisher準則；深度信念網絡

　　中圖分類號：TP183文獻標識碼：ADOI： 10.19358/j.issn.1674-7720.2017.01.018

　　引用格式：張俊俊，何良華. 動態深度信念網絡模型構建［J］.微型機與應用，2017,36（1）：59-61，65.

0引言

　　深度學習可以讓那些擁有多個處理層的計算模型來學習具有多層次抽象的數據的表示。這些方法在許多方面都帶來了顯著的改善，包括最先進的語音識別、視覺對象識別、對象檢測和許多其他領域，例如藥物發現和基因組學等。

　　然而，在很多應用問題中，經常會遇到很高維度的數據，高維度的數據會造成很多問題，例如導致算法運行性能以及準確性的降低。特征選取（Feature Selection）技術的目標是找到原始數據維度中的一個有用的子集，再運用一些有效的算法，實現數據的聚類、分類以及檢索等任務。好的特征可以提供數據的語義和結構信息，使簡單的模型結構也能取得良好的學習效果。然而，如何選取恰當的特征并獲取一個準確的模型結構仍然是深度學習模型構建的一個開放性問題。近年來很多相關工作［12］被提出，使得特征選取越來越多地受到關注，另外一些關于數據譜分析以及L1正則化模型的研究，也啟發了特征選取問題一些新的工作的開展。并且，隨著計算機與網絡的發展，人們越來越多地關注大規模數據的處理問題，使得研究與應用能夠真正銜接在一起。傳統的特征選取方法普遍采用依賴于經驗或者模型參數的調整，例如dropout［3］、dropconnect［4］等。這些方法都要求在模型使用的初始時結構就必須確定下來，并在模型的整個訓練過程中結構都不再發生變化。這在一定程度上限制了模型的表達能力。

　　基于此，本文提出一種能夠動態地學習模型結構的算法——最大判別能力轉換法，來根據Fisher準則評估隱藏層每一個節點的判別性能，然后通過動態地選擇部分隱層節點來構建最優的模型結構。其中，對于隱藏層節點數目的選取是通過考慮模型計算復雜度以及信息保留程度權衡后的計算結果。

1深度信念網絡

　　深度學習是具有多層隱藏層的神經網絡結構，這種網絡具有更好的學習特征的能力，對原始特征具有更本質的描述，從而更利于可視化或分類。其中，深度信念網絡［5］（Deep Belief Network, DBN）是比較具有代表性的模型之一，也是最簡單的深度學習模型。為了有效克服深度神經網絡在訓練上的難度，其采用了無監督貪婪學習的逐層初始化方式（即BP算法）。

　　深度信念網絡是一種生成型概率模型，是由多個限制玻爾茲曼機（Restricted Boltzmann Machine，RBM）堆疊組成的層次結構。

　　DBN是通過堆疊RBMs而成，如圖1所示，使用輸入樣本觀測值作為第一層RBM的輸入，將由輸入訓練出的輸出作為第二層RBM的輸入，以此類推，通過疊加RBM模型完成深度模型的構建。

　　RBM訓練模式受物理學的能量模型啟發，事物在能量最低時所處的狀態是最穩定的，于是構建RBM的穩態就成了狀態優化的問題，這一問題可以進一步轉化為求極值與優化的問題。對于圖1所示的RBM模型，假設輸入層節點為v，隱藏層輸出節點為h，輸入輸出層之間的權重為w，那么輸入層向量v與輸出層向量h之間的能量函數E為：

　　其中，a、b分別為對應可視層和隱藏層的偏移，V、H分別表示可視層和隱藏層的節點數。那么，由能量函數得到可視層v與隱藏層h之間聯合函數為：

　　其中尖括號的運算表示相對于下標的預期分布內積，由此，log似然函數梯度權重的更新規則如下：

　　Δwij=ε(<vihj>data-<vihj>model)(8)

　　其中ε表示學習率。然而上式中計算后一項需要花費很多額外的時間，為了減小這種額外花費，對比散度（Contrastive Divergence）方法被用來計算梯度，所以新的更新規則如下：

　　Δwij=ε(<vihj>data-<vihj>recon)(9)

　　后一項表明了重構后的可視層與隱藏層的期望值，實踐證明該方法得到充分應用后具有良好的特性。相比于傳統的Sigmod信度網絡，通過以上方式學習的RBM具有權值容易學習的優點。

　　深度學習是具有多層隱藏層的神經網絡結構，這種網絡具有更好的學習特征的能力，對原始特征具有更本質的描述，從而更利于可視化或分類。為了有效克服深度神經網絡在訓練上的難度，采用了無監督貪婪學習的逐層初始化方式。深度信念網是其中比較具有代表性的模型之一，也是最簡單的深度學習模型。

2結構計算

　　每一個隱藏層節點代表了映射空間中的一個維度，將可視層映射到隱藏層的過程就類似于一種空間變換，也就是把源數據轉換到了一個更加容易區分的新的映射空間。然而，這種空間變換的方式，例如：PCA、ICA、LDA等，所產生的各個維度在不同的空間中有不同的判別能力。

　　故本文基于Fisher準則［6］，評估每個節點的判別能力，然后根據最大判別能力轉換法選取部分隱藏層節點來構成新的映射空間，剔除冗余或者對判別能力產生副作用的投影維度，來提高此投影空間判別性能。

　　2.1節點評估

　　Fisher準則函數通過計算每個節點的類間與類內的比值來確定其在此投影空間中每個維度的判別能力。

　　定義數據集中共有N個樣本屬于C類，每一類分別包含Nc個樣本，uc、u分別表示樣本Xc在第c類的均值以及所有樣本的均值。第j個特征的Fisher的值表示為：

　　2.2最具判別能力轉換法

　　Fisher準則僅僅能夠判別每個特征的判別性能，卻無法計算每層隱藏層具體多少個節點能夠獲取最大的描述能力以及判別能力。本文基于能夠最大程度縮減原始高維輸入樣本與重構后的輸入樣本之間的誤差來提取部分特征，以此來提高模型的整體判別性能。

　　誤差計算方式如下：

　　其中，xi是原始的輸入樣本，hjWji是重構后的輸入樣本。

　　W*=argminWR(14)

3實驗結果

　　實驗從兩方面來驗證最具判別能力轉換法（MDT）的有效性以及可行性。第一個實驗基于Iris數據庫，通過對比Laplacian Score［7］方法與Data variance方法來驗證Fisher Score方法的優越性能；第二個實驗是基于Mnist數據庫來評估MDT算法。

　　3.1Iris數據庫

　　Iris數據庫也稱鳶尾花卉數據集，是一類多重變量分析的數據集。數據庫包含150個數據集，分為3類，每類50個數據，每個數據包含4個屬性（F1：sepal length；F2：sepal width；F3：petal length；F4：petal width）。大量研究證明對分類起顯著作用的屬性為F3與F4。

　　Data variance方法被認為是最簡單的無監督分類算法，它可以作為一種對特征選擇與提取的標準之一，另一種標準是Laplacian Score，它是根據Laplacian Eigenmaps與Locality reserving Projection來評判的。實驗結果如圖2所示。

　　圖2顯示，根據Data variance標準，特征排序為：F3，F4，F1，F2；根據Laplacian Score排序結果為：F4，F3，F1，F2；而根據Fisher Score排序結果為：F3，F4，F1，F2。由此可知，Fisher Score能夠實現比較好的特征評估。

　　3.2Mnist數據庫

　　Mnist數據庫包含有60 000個訓練樣本和10 000個測試樣本，每個樣本大小為28×28，共分為10類。

　　本實驗通過對比深度信念網絡（DBN）不同隱層節點數目發現，當第一隱層節點為500、第二隱層節點為2 000時，模型訓練效果最好，誤差最低，結果如表1表示。基于該最優結構，我們希望MDT算法能夠進一步降低模型分類誤差。首先計算出第一層隱藏層中每一個節點的Fisher Score值，如圖3所示。

　　然后，圖4展示了依次刪除第一層隱藏層不同節點數目后模型的錯誤率以及MDF值。最后，發現刪除100個節點時，MDF值最小并且模型的錯誤率也達到最小。　　

4結論

　　本文提出了一種新穎的構建DBN模型結構的算法，其基于Fisher準則以及最大判別能力轉換法來動態地刪除隱層節點以達到優化結構的目的，不同于現有的各種針對DBN模型所做的規則化算法。基于多個數據庫的實驗結果也證實了本算法確定能夠獲得比較好的隱層節點數目。

參考文獻

　　［1］ HINTON G E,SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks［J］. Science, 2006, 313(5786):504-507.

　　［2］ SALAKHUTDINV R, HINTON G. Semantic hashing［J］. International Journal of Approximate Reasoning, 2009, 50(7):969-978.

　　［3］ HINTON G E, SRIVASTAVA N,KRIZHEVSKY A, et al. Improving neural networks by preventing coadaptation of feature detectors［J］. Computer Science, 2012, 3(4):212-223.

　　［4］ SRIVASTAVA N. Improving neural networks with dropout［J］. Journal of Chemical Information and Modeling, 2015, 53(9):1689-1699.

　　［5］ HINTON G E,OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets［J］. Neural Computation, 1960, 18(7):1527-1554.