基于SPARK的中文文本特征提取及分類方法研究與實現(xiàn).pdf

1、隨著數(shù)字化中文文本信息的爆發(fā)式增長，如何快速有效地挖掘這些數(shù)據(jù)背后的價值已經(jīng)成為擺在人們面前的一個挑戰(zhàn)。中文文本分類是中文文本處理和分析的關鍵技術之一，可以幫助人們解決信息雜亂的問題。而當數(shù)據(jù)規(guī)模比較大時，單機版的分類處理會出現(xiàn)存儲和計算速度的瓶頸。針對這個問題，可以借助于目前的分布式存儲和分布式計算技術來解決。HDFS是Hadoop的核心模塊之一，作為一個分布式文件系統(tǒng)可以很好的滿足分布式存儲的需要。Spark是MapReduce的繼

2、承者，最大的特點就是就是利用內(nèi)存進行計算，因而比MapReduce更快。
　　本文在中文文本特征提取及分類方法的工作主要如下：
　?。?）提出新的文本特征選擇方法，并與傳統(tǒng)的特征選擇方法做對比。該特征選擇方法綜合考慮詞在類內(nèi)和類間的文檔頻率分布情況，并運用統(tǒng)計學中的方差思想，刻畫詞在文本分類中的重要程度從而進行詞的篩選。
　?。?）研究了基于文檔類別向量分布的文本特征表示方法和基于選舉思想的文本分類方法。文本特征表示一

3、般采用向量空間模型，在經(jīng)典的文本特征表示方法中，文檔向量的一個元素對應于該文檔中一個詞項。而在本文研究的方法中，文檔向量的一個元素對應于該文檔屬于某一類別的概率估計。為了得到其中的概率估計，本文探索了兩種方法，一種方法是基于樸素貝葉斯，另一種方法是基于選舉的思想。不像樸素貝葉斯方法存在著獨立性假設，基于選舉思想的文本分類方法僅僅把詞視作選民，由它們投票決定文檔屬于哪個類別及其類別向量分布。對于訓練集中的每個詞而言，通過統(tǒng)計分析，可以獲得

4、它們屬于各個類別的概率估計。這種概率估計可以視作是一個詞投給各個類別的選票。本文類比樸素貝葉斯的兩種文本分類模型BIM和MM，提出了兩種選舉策略，此外還考慮了每個詞具有不同投票權重的情形。最后，利用以上思路改進基于LDA的文本分類方法。在傳統(tǒng)的方式中，LDA獲取測試集的主題向量分布是通過Gibbs Sampling，存在速度慢的問題。本文探索了基于選舉思想的測試集主題向量分布獲取，并通過相同的方法重新獲取訓練集的主題向量分布，最后再用分