基于SPARK的中文文本特征提取及分類方法研究與實(shí)現(xiàn).pdf

1、隨著數(shù)字化中文文本信息的爆發(fā)式增長，如何快速有效地挖掘這些數(shù)據(jù)背后的價(jià)值已經(jīng)成為擺在人們面前的一個(gè)挑戰(zhàn)。中文文本分類是中文文本處理和分析的關(guān)鍵技術(shù)之一，可以幫助人們解決信息雜亂的問題。而當(dāng)數(shù)據(jù)規(guī)模比較大時(shí)，單機(jī)版的分類處理會(huì)出現(xiàn)存儲(chǔ)和計(jì)算速度的瓶頸。針對(duì)這個(gè)問題，可以借助于目前的分布式存儲(chǔ)和分布式計(jì)算技術(shù)來解決。HDFS是Hadoop的核心模塊之一，作為一個(gè)分布式文件系統(tǒng)可以很好的滿足分布式存儲(chǔ)的需要。Spark是MapReduce的繼

2、承者，最大的特點(diǎn)就是就是利用內(nèi)存進(jìn)行計(jì)算，因而比MapReduce更快。
　　本文在中文文本特征提取及分類方法的工作主要如下：
　?。?）提出新的文本特征選擇方法，并與傳統(tǒng)的特征選擇方法做對(duì)比。該特征選擇方法綜合考慮詞在類內(nèi)和類間的文檔頻率分布情況，并運(yùn)用統(tǒng)計(jì)學(xué)中的方差思想，刻畫詞在文本分類中的重要程度從而進(jìn)行詞的篩選。
　?。?）研究了基于文檔類別向量分布的文本特征表示方法和基于選舉思想的文本分類方法。文本特征表示一

3、般采用向量空間模型，在經(jīng)典的文本特征表示方法中，文檔向量的一個(gè)元素對(duì)應(yīng)于該文檔中一個(gè)詞項(xiàng)。而在本文研究的方法中，文檔向量的一個(gè)元素對(duì)應(yīng)于該文檔屬于某一類別的概率估計(jì)。為了得到其中的概率估計(jì)，本文探索了兩種方法，一種方法是基于樸素貝葉斯，另一種方法是基于選舉的思想。不像樸素貝葉斯方法存在著獨(dú)立性假設(shè)，基于選舉思想的文本分類方法僅僅把詞視作選民，由它們投票決定文檔屬于哪個(gè)類別及其類別向量分布。對(duì)于訓(xùn)練集中的每個(gè)詞而言，通過統(tǒng)計(jì)分析，可以獲得

4、它們屬于各個(gè)類別的概率估計(jì)。這種概率估計(jì)可以視作是一個(gè)詞投給各個(gè)類別的選票。本文類比樸素貝葉斯的兩種文本分類模型BIM和MM，提出了兩種選舉策略，此外還考慮了每個(gè)詞具有不同投票權(quán)重的情形。最后，利用以上思路改進(jìn)基于LDA的文本分類方法。在傳統(tǒng)的方式中，LDA獲取測試集的主題向量分布是通過Gibbs Sampling，存在速度慢的問題。本文探索了基于選舉思想的測試集主題向量分布獲取，并通過相同的方法重新獲取訓(xùn)練集的主題向量分布，最后再用分