短文本聚類及聚類結果描述方法研究.pdf

1、碩士學位論文ResearchonShortTextClusteringandClusterDescriptionMethod學21111051大連理工大學DalianUniversityofTechnology大連理工大學碩士學位論文摘要Web20技術和移動互聯網技術的高速發(fā)展催生了大量新型的互聯網應用，如交互式問答系統、微信、微博等。這些互聯網應用產生了大量的短文本信息并且改變了當前互聯網信息展現形式。短文本與傳統的篇章型網頁有很大的

2、不同，短文本表達簡潔，用詞不規(guī)范，大量使用流行語、網絡詞并且增長迅速。短文本的這些特點使得針對長文本的傳統文本聚類方法不再適用，因此，發(fā)展針對于短文本的聚類算法對獲取短文本中蘊含的豐富信息具有重大意義。本論文對文本信息聚類的關鍵技術進行了深入的探討，在分析了短文本的特點后，提出針對短文本的聚類方法和聚類結果描述方法，論文的主要研究內容如下：首先，本文提出了一種兩階段的短文本聚類方法。該方法為了有效的解決短文本動態(tài)增長以及數據量巨大的問題

3、，采用了分而治之的策略。首先，本文設定一個合理的窗口大小，使其在動態(tài)增長的短文本上依次滑動，對窗口內的短文本采用傳統的層次聚類方法進行聚類，得到小的類簇，稱之為微簇。接著，本文采用基于信息熵的方法對不同窗口間得到的微簇進行歸并，并且在歸并的過程中進行兩點處理：第一、在多次歸并過程中沒有改變的類簇，如果其中包含的短文本個數較少，則認為該類簇所包含的短文本構成孤立點和異常點，對其進行刪除操作；第二、對剩余的類簇計算穩(wěn)定度，如果穩(wěn)定度到達一定

4、值，本文認為該類簇進入一個穩(wěn)定態(tài)，從類簇集合中拿出保存為最終結果。其次，本文提出了一種短文本聚類結果描述方法。該方法從兩個角度對類簇進行描述：第一、本文采用基于PageRank的短文本排序算法對類簇中的短文本進行排序，選擇最具代表性的前k個短文本作為類簇代表；第二、對得到的k個短文本進行詞匯權重計算，選取若干詞匯作為類簇標簽。一方面，類簇短文本代表可以增強類簇的易讀性；另一方面，類簇標簽可以作為類簇的標識，起到類似于標題的作用。最后，本