基于云平臺的文本特征選擇算法研究.pdf

1、近來伴隨互聯(lián)網(wǎng)信息技術和產(chǎn)業(yè)鏈迅猛發(fā)展，各行業(yè)數(shù)據(jù)規(guī)模均呈現(xiàn)指數(shù)級增長，尤其以電商和社交網(wǎng)絡為服務內(nèi)容的企業(yè)數(shù)據(jù)中心。盡管數(shù)據(jù)量規(guī)模巨大，方便基本事務都有跡可循，但數(shù)據(jù)結(jié)構(gòu)混亂，大規(guī)模數(shù)據(jù)沒有合理得被分門歸類，導致隱含的價值無法被提取，因而容易陷入面對茫茫數(shù)據(jù)而無計可施的困境。
　　怎么從龐大文本數(shù)據(jù)集中獲取有價值的信息，已經(jīng)成為研究人員探索的熱點。以機器學習、數(shù)據(jù)挖掘和自然語言處理為基礎的文本分類可以把不規(guī)則的數(shù)據(jù)根據(jù)給定的算法

2、分門歸類，其作為核心技術，能夠從海量文本數(shù)據(jù)集中獲取所需信息。經(jīng)分析調(diào)研，文本分類不同的階段對最終文本分類的效果有著不同程度的影響，尤其是特征選擇環(huán)節(jié)更是起著決定性的作用，同時特征選擇也能夠有效一定程度上解決高維稀疏引發(fā)的高計算復雜度和低分類精度問題。
　　所以，本文以特征選擇展開研究，針對經(jīng)典文本特征選擇算法沒有對類內(nèi)文檔特征詞頻度、類間集中度、類內(nèi)分散度的綜合衡量，提出了基于卡方統(tǒng)計(CHI)和互信息(MI)的改進型組合特征選

3、擇算法CHMI，并在公開中文語料庫上和經(jīng)典文本特征選擇算法做了對比，驗證了CHMI較經(jīng)典算法在分類效果上有所提高。
　　雖然本文提出的CHMI算法在文本分類效果上較經(jīng)典特征選擇算法具有一定的優(yōu)勢，但是面對龐大的數(shù)據(jù)集，該算法還是無法解決自身算法復雜度高而引發(fā)的時間消耗和空間消耗大的問題。
　　因此本文將CHMI算法和Hadoop云平臺下的MapReduce模型相結(jié)合，提出了基于云平臺的文本特征選擇算法MRCHMI，實驗驗證了