高維數(shù)據(jù)降維處理關(guān)鍵技術(shù)研究.pdf

1、隨著信息科學(xué)技術(shù)的飛速發(fā)展，信息的表示越來(lái)越全面，人們獲取數(shù)據(jù)越來(lái)越容易、關(guān)注的數(shù)據(jù)對(duì)象日漸復(fù)雜，業(yè)界對(duì)數(shù)據(jù)分析、處理技術(shù)的需求最為迫切，特別是對(duì)高維數(shù)據(jù)的分析與處理。高維數(shù)據(jù)降維一直備受計(jì)算機(jī)科研相關(guān)領(lǐng)域的關(guān)注。在這個(gè)并行計(jì)算、分布式計(jì)算火熱的信息化時(shí)代，如何使用分布式實(shí)現(xiàn)對(duì)海量高維數(shù)據(jù)的分析處理，是當(dāng)今研究所面臨且亟待解決的挑戰(zhàn)性問題，具有重要的現(xiàn)實(shí)應(yīng)用的意義和研究?jī)r(jià)值。直接處理高維數(shù)據(jù)面臨“維數(shù)災(zāi)難”、“算法失效”等困難，一種有效

2、的解決辦法就是對(duì)高維數(shù)據(jù)進(jìn)行降維。主成分分析（PCA）算法是經(jīng)典的線性降維技術(shù)，算法簡(jiǎn)單，具有無(wú)線性誤差、無(wú)參數(shù)限制等優(yōu)點(diǎn)，適用于線性數(shù)據(jù)，但內(nèi)存消耗大，計(jì)算復(fù)雜度高。當(dāng)PCA用于高維稀疏大數(shù)據(jù)的降維時(shí)，存在內(nèi)存消耗巨大、處理時(shí)間很長(zhǎng)，計(jì)算特征之間的協(xié)方差矩陣存在很大困難。
　　針對(duì)上述問題，本文所做主要工作如下：
　　1）提出基于信息熵的高維稀疏大數(shù)據(jù)降維算法E-PCA
　　針對(duì)PCA算法用于高維稀疏大數(shù)據(jù)降維時(shí)，由

3、于特征維數(shù)太高，無(wú)法一次性將所有數(shù)據(jù)特征讀入內(nèi)存以進(jìn)行線性變換的問題，采用分塊處理技術(shù)進(jìn)行處理時(shí)，耗時(shí)太長(zhǎng)s，不能滿足實(shí)際應(yīng)用需求，提出基于信息熵的高維稀疏大數(shù)據(jù)降維算法（E-PCA）。根據(jù)特征的信息熵值做特征選擇，大大降低了特征數(shù)量，再通過(guò)矩陣變換進(jìn)行特征提取，達(dá)到雙重降維的目的。仿真實(shí)驗(yàn)從內(nèi)存占用、運(yùn)行時(shí)間、降維后的結(jié)果維數(shù)以及分類準(zhǔn)確率四個(gè)方面，對(duì)PCA和E-PCA進(jìn)行對(duì)比分析，證明E-PCA的高效性。
　　2）提出基于Ma