Web中文文本聚類研究.pdf

1、隨著互聯(lián)網(wǎng)的普及，網(wǎng)頁上的文本信息呈現(xiàn)出爆炸式增長的趨勢。如何索引，檢索，管理，挖掘網(wǎng)頁上的海量文本信息已經(jīng)成為計算科學(xué)領(lǐng)域所面臨的一個巨大挑戰(zhàn)。文本聚類技術(shù)的出現(xiàn)為海量文本信息的分類管理及可視化提供了一條有效的途徑。文本聚類技術(shù)作為一種無監(jiān)督的機器學(xué)習(xí)方法，近年來在信息檢索、多文本自動摘要等互聯(lián)網(wǎng)領(lǐng)域獲得了廣泛的應(yīng)用。
　　 本文的討論對象是中文網(wǎng)頁的文本聚類，在查閱了國內(nèi)外的已有的學(xué)術(shù)成果以及最新的研究發(fā)現(xiàn)的基礎(chǔ)上，較深入地

2、研究其在兩種典型場景中的應(yīng)用：(1)新聞門戶網(wǎng)站中的海量文本數(shù)目的中文文本聚類；(2)中文搜索引擎返回結(jié)果等場景中的實時聚類。
　　 在第一個場景中，本文在MapReduce這個分布式并行計算框架上設(shè)計了文本聚類相關(guān)的一系列分布式改進算法。在文本預(yù)處理階段，為了評價某一詞語對文本集中某一文本的重要程度，本文在MapReduce上設(shè)計實現(xiàn)了一個計算詞語tfidf權(quán)重的新的迭代算法。在文本聚類階段，先采用一個粗略的距離度量把文本集合

3、中的各個文本劃分到了可重疊的子集里。然后又在上一步聚類的基礎(chǔ)上進一步設(shè)計了分布式的K-平均文本聚類算法，這一步采用的文本間距離度量比較精確，但算法復(fù)雜度也相當(dāng)較高。最后，利用上面在MapReduce平臺上給出的一系列新的改進算法，實現(xiàn)了一個分布式中文文本聚類的系統(tǒng)，該系統(tǒng)能高效而穩(wěn)定的運行海量文本聚類任務(wù)。在實際中文語料上的實驗顯示，本文提出的方法能有效應(yīng)對大文本集的聚類問題，在一定范圍內(nèi)文本數(shù)大小和聚類時間成線性關(guān)系，并取得了比較滿意

4、的聚類質(zhì)量。
　　 在第二個場景中，本文結(jié)合向量空間模型的權(quán)重計算，提出了一個基于后綴樹的針對中文文本片段進行聚類的方法。首先在文本預(yù)處理階段，利用中文分詞工具對中文文本片段集中的每一句挑選出有意義的詞語(一般是動詞或名詞)。在用線性算法構(gòu)建中文后綴樹之后，過濾掉具有太高文檔頻率的節(jié)點(短語)，并且利用本文所提出的一個公式計算節(jié)點(短語)的得分，選擇得分高的短語作為最終的文本特征。然后利用文本特征重新定義了中文文本片段之間的相似