中文微博話題發(fā)現(xiàn)技術(shù)研究.pdf

1、伴隨著Web2.0技術(shù)與移動通信技術(shù)的快速發(fā)展，微博開始興起，并發(fā)展成為用戶發(fā)布、分享個人信息，以及獲取他人信息的主要平臺。微博平臺簡單、便捷的使用功能，引吸了越來越多的網(wǎng)民成為微博用戶；而且微博信息裂變式的傳播特點也導致眾多文本信息出現(xiàn)在微博平臺中，以致人們陷入了信息過載的困境。研究針對中文微博文本（本文提到的微博均指中文微博）的話題發(fā)現(xiàn)技術(shù)，對微博文本數(shù)據(jù)進行組織、歸類，有助于應(yīng)對信息過載，使用戶快速了解整個微博空間中所存在的話題信

2、息；對微博熱點話題發(fā)現(xiàn)與跟蹤等奠定堅實的基礎(chǔ)，也為用戶制定合理的決策提供依據(jù)，可及時發(fā)現(xiàn)網(wǎng)絡(luò)謠言并采取措施遏制其迅速傳播、擴散，以正確引導網(wǎng)絡(luò)輿論、凈化網(wǎng)絡(luò)環(huán)境，促進微博平臺健康地發(fā)展。
　　微博話題發(fā)現(xiàn)主要涉及到微博數(shù)據(jù)獲取、文本預(yù)處理、文本特征詞選擇、文本相似性度量及文本聚類等方面的技術(shù)，本文主要研究了其中的特征詞選擇與文本相似性度量這兩個關(guān)鍵技術(shù)，針對其所存在的問題，提出了相應(yīng)的改進算法。
　　其一，在特征詞選擇方面，

3、針對微博文本內(nèi)容長度短、信息量少，以致有效特征稀疏、難以提取的問題，提出一種基于統(tǒng)計與語義信息相結(jié)合的微博文本特征詞選擇算法。該算法依次根據(jù)詞性組合匹配規(guī)則、基于詞項多因子（TF-IDF、詞性與詞長）構(gòu)造的綜合評估函數(shù)以及詞項與文本內(nèi)容語義相關(guān)度對微博文本進行特征詞選取，并與樸素貝葉斯分類算法結(jié)合以對微博分類語料集進行實驗，結(jié)果表明，相較于傳統(tǒng)的特征詞選擇算法，該算法提取出來的特征詞，能夠更準確地表示微博文本內(nèi)容主題。
　　其二，

4、在文本相似性度量方面，針對微博文本的特征稀疏性阻礙了文本相似性的精確度量，且傳統(tǒng)的文本相似性度量算法未能很好地考慮詞與詞之間的語義關(guān)聯(lián)性、微博文本的結(jié)構(gòu)化信息的問題，提出了基于語義、時間與社會化關(guān)系的微博文本相似性度量算法。該算法先擴展了公共塊的定義，并構(gòu)建基于公共塊序列的語義相似度；然后利用微博文本發(fā)布時間、轉(zhuǎn)發(fā)與評論信息修正該語義相似度，以此來度量微博文本之間的相似性；最后將該算法融入Single-pass聚類算法中以實現(xiàn)微博話題發(fā)