0 引言

    大數(shù)據(jù)處理項目中，資源消耗最為突出的是數(shù)據(jù)的收集和預(yù)處理，大約占項目資源支出的80%，其中數(shù)據(jù)預(yù)處理工作量就要占60%左右^[1]。究其原因，是因為實際應(yīng)用系統(tǒng)收集數(shù)據(jù)時，由于數(shù)據(jù)源的區(qū)別、考慮因素不同及數(shù)據(jù)收集工具和數(shù)據(jù)傳輸問題等造成收集到的數(shù)據(jù)存在數(shù)據(jù)不完整、重要屬性缺失、有噪聲和數(shù)據(jù)不一致等問題。要得到高質(zhì)量的決策，必然要求高質(zhì)量的數(shù)據(jù)，所以數(shù)據(jù)預(yù)處理在數(shù)據(jù)分析工作量中占比最大，目的是給數(shù)據(jù)挖掘提供準(zhǔn)確、一致、及時、權(quán)威的數(shù)據(jù)集。數(shù)據(jù)預(yù)處理工作包括缺失值（空值）處理、異常值處理、數(shù)據(jù)集成和數(shù)據(jù)規(guī)約，其中數(shù)據(jù)規(guī)約是影響大型數(shù)據(jù)集預(yù)處理效果的主要瓶頸。文獻(xiàn)[2]中提出基于聚類方法實現(xiàn)數(shù)據(jù)分層；文獻(xiàn)[3]-[4]中提出離群值檢測進(jìn)行異常值處理，進(jìn)而數(shù)量規(guī)約；文獻(xiàn)[5]-[6]中提出基于相似連接實現(xiàn)數(shù)據(jù)并行處理；文獻(xiàn)[7]-[9]提出了選用二維離散小波進(jìn)行維度規(guī)約的數(shù)據(jù)預(yù)處理；文獻(xiàn)[10]-[11]提出了針對稀疏數(shù)據(jù)進(jìn)行數(shù)量規(guī)約的方法。而針對存在相關(guān)性的多個變量，目前廣泛使用主成分分析(Principal Component Analysis，PCA)方法進(jìn)行降維，從而使用較少的綜合指標(biāo)來代表原變量中的各類信息，降低數(shù)據(jù)分析的復(fù)雜性。

1 主成分分析PCA

    PCA的思想是將n維特征映射到k維(k<n)全新的正交特征(即主成分)上^[12]。其算法描述為：

    (1)輸入：n維特征數(shù)據(jù)集；

    (2)計算樣本均值：

    (3)計算樣本方差S²：

    (7)得到降序排列的前k個λ_i對應(yīng)的特征向量z_i組成的矩陣；

    (8)輸出：轉(zhuǎn)換到k個特征向量構(gòu)建的新空間數(shù)據(jù)集。

    由算法描述可知，PCA方法即通過基變換實現(xiàn)降維。為了保證最優(yōu)變換，PCA采用最大方差來確保基保留信息量的最大化。

    使用PCA方法進(jìn)行數(shù)據(jù)維規(guī)約時，計算易于實現(xiàn)，只需要考慮原數(shù)據(jù)集的協(xié)方差矩陣大小，且k個主成分各自獨立^[13]。但PCA方法降維后，主成分的各個特征解釋性有所降低，而且未被選擇的非主成分也可能含有對樣本差異的重要信息，從而造成新的數(shù)據(jù)不完整。

2 改進(jìn)的PCA數(shù)據(jù)預(yù)處理方法

    使用PCA方法進(jìn)行維規(guī)約時，首先需要對原數(shù)據(jù)集中的數(shù)據(jù)中心化，其后也沒有人為設(shè)定參數(shù)或參照經(jīng)驗?zāi)Ｐ瓦M(jìn)行計算，從而保證結(jié)果和數(shù)據(jù)相關(guān)，且獨立于用戶^[14]。由于均值易受極端值影，簡單地使用與均值相減實現(xiàn)數(shù)據(jù)中心化是造成映射所得主成分的特征解釋性降低的原因之一。為了解決這一問題，在對數(shù)據(jù)中心化時，用加權(quán)規(guī)范化均值來代替均值實現(xiàn)數(shù)據(jù)中心化。加權(quán)規(guī)范化均值計算公式為：

其中，I_d為數(shù)據(jù)集中的元素，d為元素與均值差，w_d為每個元素對應(yīng)d所分配的權(quán)值，滿足∑w_d＝1。

    改進(jìn)后的PCA算法描述為：

    (1)輸入：n維數(shù)據(jù)集X={x₁，x₂，…，x_n}；

    (5)計算目標(biāo)函數(shù)，其中v為單位向量：

    (6)得到max(f(v))的必要條件為Cv=λv，則v為協(xié)方差矩陣的特征向量，其保存的信息量為特征值λ；

    (7)將協(xié)方差矩陣C對角化，得到n個不同的特征值λ_i，降序排列；

    (8)while(k<=n){

    (9)輸出：映射到新基集的數(shù)據(jù)集。

3 算法驗證實驗

3.1 原始數(shù)據(jù)集概況

    實驗采用的數(shù)據(jù)集為長江流域夾江揚州三江營點位南水北調(diào)東線取水口斷面2018年52期水質(zhì)自動監(jiān)測數(shù)據(jù)共364條，水質(zhì)監(jiān)測指標(biāo)包括PH值、溶解氧DO、高錳酸鉀指數(shù)CODMn、氨氮 NH3-N、總磷TP、總氮TN和總有機碳TOC共7個變量，數(shù)據(jù)集片段如圖1所示。

3.2 數(shù)據(jù)中心化處理

    PCA方法對每個特征變量求均值，即計算=xi-，得到中心化后的數(shù)據(jù)集片段如圖2所示。

3.3 基于協(xié)方差矩陣的特征值確定主成分?jǐn)?shù)量

    根據(jù)計算Rayleigh商和Cattell碎石檢驗原則，使用改進(jìn)PCA方法前后，基于特征值對應(yīng)的主成分選擇如圖4所示。

    由圖4(a)可知，根據(jù)特征值對應(yīng)選擇第1、2、3和7個特征變量即可以表示數(shù)據(jù)集，數(shù)據(jù)集由346×7降為346×4，且變量TOC和CODMn、TN和NH3-N相關(guān)性較強，但注意到變量TP沒有被解釋。

    由圖4(b)可知，根據(jù)特征值對應(yīng)選擇第1、2、3、4和7個特征變量即可以表示數(shù)據(jù)集，數(shù)據(jù)集由346×7降為346×5，且變量TOC和CODMn、TN和NH3-N相關(guān)性較強，可以進(jìn)行合并，并且沒有丟失變量TP的特征數(shù)據(jù)。

3.4 根據(jù)特征向量矩陣生成新數(shù)據(jù)集

    將特征值對應(yīng)的特征向量構(gòu)造矩陣，得到數(shù)據(jù)降維轉(zhuǎn)換基，轉(zhuǎn)換前后數(shù)據(jù)集特征值示意圖如圖5所示。

    由圖5可知，使用PCA方法進(jìn)行降維處理后，仍然可以保留原始數(shù)據(jù)集的大部分變量特征值，但實驗證明改進(jìn)后的PCA方法尋找主成分更為謹(jǐn)慎，對特征特征值描述更加清晰。

4 結(jié)論

    主成分分析(PCA)是通過正交變換將n個可能相關(guān)的變量轉(zhuǎn)換為k個（k<n）不相關(guān)的變量，從而尋找到代表原數(shù)據(jù)集的主成分變量的一種統(tǒng)計方法，是目前使用最廣泛的數(shù)據(jù)維規(guī)約算法。理想的PCA方法使用要求最大方差和最少非主成分?jǐn)?shù)據(jù)丟失，故使用PCA方法時要關(guān)注生成的協(xié)方差矩陣質(zhì)量和特征值的選取數(shù)量。中心化數(shù)據(jù)時將均值計算轉(zhuǎn)變?yōu)榧訖?quán)規(guī)范平均值的計算，可以充分考慮各變量特征值的統(tǒng)計性能，保證生成的協(xié)方差矩陣質(zhì)量。通過Rayleigh商和Cattell碎石檢驗原則可以選擇更合理的特征值數(shù)目，盡可能避免出現(xiàn)非主成分含有對樣本差異的重要信息丟失。實驗結(jié)果表明，改進(jìn)后的PCA算法更能保證數(shù)據(jù)完整性，雖然可能會降低維規(guī)約的效率，但數(shù)據(jù)完整是高質(zhì)量的數(shù)據(jù)源首先應(yīng)該考慮的。

參考文獻(xiàn)

[1] 曾祥坤，張俊輝，石拓，等.基于主題提取模型的交通違法行為文本數(shù)據(jù)的挖掘[J].電子技術(shù)應(yīng)用，2019，45(6)：41-45.

[2] 文若晴，馬昂，潘曉.基于密度聚類的簽到軌跡大數(shù)據(jù)分層預(yù)處理研究[J].計算機應(yīng)用與軟件，2019，36(3)：20-28.

[3] ZHANG Y，MERATNIA N，HAVINGA P.Outlier detection tech-niques for wireless sensor networks：a survey[J].IEEE Com-munications Surveys ＆ Tutorials，2010，12(2)：159-170.

[4] LEI P R.A framework for anomaly detection in maritime traj-ectory behavior[J].Knowledge and Information Systems，2016，47(1)：189-214.

[5] 郭方方，潮洛蒙，朱建文.基于相似連接的多源數(shù)據(jù)并行預(yù)處理方法[J].計算機應(yīng)用，2019，39(1)：57-60.

[6] CHEN Y F，ZHAO X，HE P J，et al.BMGSJoin：a MapReduce based graph similarity join algorithm[J].Pattern Recognition & Artificial Intelligence，2015，28(5)：472-480.

[7] 張璽君，袁占亭，張紅，等.交通軌跡大數(shù)據(jù)預(yù)處理方法研究[J].計算機工程，2019，45(6)：26-31.

[8] 崔光照，曹祥，張華.基于小波變換的基因表達(dá)數(shù)據(jù)去噪聚類分析[J].信號處理，2005，21(s1)：463-466.

[9] SU H，ZHENG K，WANG H，et al.Calibrating trajectory data for similarity-based analysis[C].ACM SIGMOD International Conference on Management of Data.ACM，2013：833-844.

[10] 李志平，付冬梅，穆志純.基于稀疏數(shù)據(jù)規(guī)約的CMAC大氣腐蝕數(shù)據(jù)補償方法[J].計算機應(yīng)用研究，2016，33(9)：2645-2647.

[11] TAGHAVIPOUR A，F(xiàn)OUMANI M S，BOROUSHAKI M.Implementation of an optimal control strategy for a hydraulic hybrid vehicle using CMAC and RBF networks[J].Scientia Iranica，2012，19(2):327-334.

[12] 范葉平，李玉，楊德勝，等.基于深度集成學(xué)習(xí)的人臉智能反饋認(rèn)知方法[J].電子技術(shù)應(yīng)用，2019，45(5)：5-8，13.

[13] 謝霖銓，徐浩，陳希邦，等.基于PCA的決策樹優(yōu)化算法[J].軟件導(dǎo)刊，2019，18(9)：69-71，76.

[14] 張云龍.基于PCA的高維流式數(shù)據(jù)聚類算法[J].電子技術(shù)與軟件工程，2019(8)：175-176.

作者信息:

陳  燕1，陳亞林2，鄭  軍1

(1.貴陽學(xué)院 數(shù)學(xué)與信息科學(xué)學(xué)院，貴州 貴陽550002；2.南京財經(jīng)大學(xué) 管理科學(xué)與工程學(xué)院，江蘇 南京210046)