超大規(guī)模的短文本聚類研究.pdf

1、近幾年，由于移動互聯網的逐步成長，以及計算機技術的普及應用，此刻的社會正以我們想象不到的速度產生數據。一些新型交流平臺每分鐘發(fā)布的信息高達10萬條之多，這些平臺以BBS、微信、Twitter及微博為代表。這些海量的數據時時刻刻都影響著我們的生活，它成為人們獲取信息來源的有效途徑，但是這些數據都具有數據量大、多樣化、動態(tài)性及字數少等特點，人們因此也稱它為短文本數據。目前最重要的是如何從這些海量的短文本數據中快速、準確、方便地挖掘出用戶隱藏

2、的信息，以便及時了解用戶的需要和創(chuàng)造商機。所以，在這種情況下誕生了文本挖掘技術，文本挖掘可以從海量的文本數據出搜索出用戶隱藏的有價值的信息，這正是我們挖掘的目的。而文本挖掘技術的核心就是算法，一個好的算法可以提高挖掘的速度及質量，由于要考慮到這些短文本數據具有海量性及多樣性的特點，而聚類又是基于無監(jiān)督學習的，所以適合于短文本的處理，基于以上各方面的考慮本文提出了兩個解決方法：
　　(1)本文選取的聚類算法是K-means，因為該算

3、法效率高、容易實現，且該算法在計算各個數據點和簇形心距離時都是獨立操作的，這樣可以實現算法的并行化。但是該算法也有其缺點，如初始值的選擇以及陷入局部最優(yōu)等等。由于粒子群(PSO)算法具有全局尋優(yōu)的能力，所以，本文利用PSO來改進該算法以便克服該算法的缺點。
　　(2)處理海量數據遠遠超出IT架構的計算能力，面對這一難題，本文引入了Hadoop集群架構，因為在Hadoop系統上可以實現海量數據的分塊存儲，將這些海量的數據分布在不同的

4、機器上，同時存儲在不同計算機上的數據又可以實現并行處理，這樣不僅解決了單機模式內存不足的問題，而且超大規(guī)模數據的處理耗時長的問題也得到了解決。
　　根據上面的解決方法，要想實現大規(guī)模短文本的處理，需要可以實現并行化的高效率的聚類算法，綜合各方面的因素，本文提出了分布式并行化聚類算法DPSOKmeans。經過試驗表明該聚類算法在Hadoop框架上運行，有很好的收斂行、聚類質量也比較高及可以處理海量的數據等等。但是該算法還是有一定的缺