中文微博話題發(fā)現(xiàn)技術研究.pdf

1、伴隨著Web2.0技術與移動通信技術的快速發(fā)展，微博開始興起，并發(fā)展成為用戶發(fā)布、分享個人信息，以及獲取他人信息的主要平臺。微博平臺簡單、便捷的使用功能，引吸了越來越多的網(wǎng)民成為微博用戶；而且微博信息裂變式的傳播特點也導致眾多文本信息出現(xiàn)在微博平臺中，以致人們陷入了信息過載的困境。研究針對中文微博文本（本文提到的微博均指中文微博）的話題發(fā)現(xiàn)技術，對微博文本數(shù)據(jù)進行組織、歸類，有助于應對信息過載，使用戶快速了解整個微博空間中所存在的話題信

2、息；對微博熱點話題發(fā)現(xiàn)與跟蹤等奠定堅實的基礎，也為用戶制定合理的決策提供依據(jù)，可及時發(fā)現(xiàn)網(wǎng)絡謠言并采取措施遏制其迅速傳播、擴散，以正確引導網(wǎng)絡輿論、凈化網(wǎng)絡環(huán)境，促進微博平臺健康地發(fā)展。
　　微博話題發(fā)現(xiàn)主要涉及到微博數(shù)據(jù)獲取、文本預處理、文本特征詞選擇、文本相似性度量及文本聚類等方面的技術，本文主要研究了其中的特征詞選擇與文本相似性度量這兩個關鍵技術，針對其所存在的問題，提出了相應的改進算法。
　　其一，在特征詞選擇方面，

3、針對微博文本內(nèi)容長度短、信息量少，以致有效特征稀疏、難以提取的問題，提出一種基于統(tǒng)計與語義信息相結(jié)合的微博文本特征詞選擇算法。該算法依次根據(jù)詞性組合匹配規(guī)則、基于詞項多因子（TF-IDF、詞性與詞長）構(gòu)造的綜合評估函數(shù)以及詞項與文本內(nèi)容語義相關度對微博文本進行特征詞選取，并與樸素貝葉斯分類算法結(jié)合以對微博分類語料集進行實驗，結(jié)果表明，相較于傳統(tǒng)的特征詞選擇算法，該算法提取出來的特征詞，能夠更準確地表示微博文本內(nèi)容主題。
　　其二，

4、在文本相似性度量方面，針對微博文本的特征稀疏性阻礙了文本相似性的精確度量，且傳統(tǒng)的文本相似性度量算法未能很好地考慮詞與詞之間的語義關聯(lián)性、微博文本的結(jié)構(gòu)化信息的問題，提出了基于語義、時間與社會化關系的微博文本相似性度量算法。該算法先擴展了公共塊的定義，并構(gòu)建基于公共塊序列的語義相似度；然后利用微博文本發(fā)布時間、轉(zhuǎn)發(fā)與評論信息修正該語義相似度，以此來度量微博文本之間的相似性；最后將該算法融入Single-pass聚類算法中以實現(xiàn)微博話題發(fā)