基于多語言話題發(fā)現(xiàn)的聚類算法改進(jìn).pdf

1、移動設(shè)備的快速發(fā)展，已經(jīng)以超出人們想象的速度占領(lǐng)了用戶終端市場，尤其是以手機終端設(shè)備為代表，互聯(lián)網(wǎng)已成為公眾傳播和獲取信息的重要平臺，微博在互聯(lián)網(wǎng)生活中有著深刻的影響力，民眾得到信息的最廣泛直接的渠道成為了互聯(lián)網(wǎng)。網(wǎng)絡(luò)時代的到來，不僅使信息來源變得日益廣泛，用戶對信息的準(zhǔn)確度、廣泛度、實時性和公正性也提出了越來越高的要求，我國民眾已經(jīng)不僅僅滿足于獲得國內(nèi)的相關(guān)資訊，更期待同步了解國際大眾對于同一信息的反饋，根據(jù)相關(guān)權(quán)威發(fā)布，目前世界上使

2、用范圍最廣的語言是英語、法語，而英語、漢語、法語是網(wǎng)絡(luò)新聞中的使用頻度最高的幾門語言[1]。同一事件，在不同的國度，不同的文化背景下，觀點和看法不一致，用戶更希望通過多語言、不同視角的報道中獲取更全面、更完整的信息，為了從海量信息中及時快速廣泛地得到用戶需要的信息，研究者一直沒有放棄對CLTDT（Cross Language Topic Detection and Tracking，多語言話題檢測與跟蹤）的研究。
　　本文中，多語

3、言話題發(fā)現(xiàn)系統(tǒng)模型共分五層：信息采集層、預(yù)處理和凈化層、多語言轉(zhuǎn)化層、文本聚類層和信息展示層，在每一層使用的算法中，都結(jié)合新聞媒體特點的進(jìn)行了算法的改進(jìn)和優(yōu)化，形成了新聞話題發(fā)現(xiàn)系統(tǒng)的模型。首先，在多語言轉(zhuǎn)化層中，鑒于目前機器翻譯的水平已非常精確，本文將多語言通過Babylon翻譯軟件全部翻譯為公共語言的漢語文檔。其次，LDA（Latent Dirichlet Allocation，隱含狄利克雷分布）算法能快速找到核心詞匯，不過身處大數(shù)

4、據(jù)時代，在精準(zhǔn)度方面還有欠缺，而TF-IDF（term frequency-inverse document frequency，詞頻-逆向文件頻率）算法可以將出現(xiàn)頻次很高但并非實用的常用詞匯進(jìn)行剔除，本文中將二者結(jié)合使用在核心詞匯獲取中。同時，考慮到篩選出的核心詞匯對文檔來說都有其重要程度，因此，我們引進(jìn)了核心詞匯的權(quán)值計算，在這個算法設(shè)計里，本文應(yīng)用了文獻(xiàn)23提出的特征項權(quán)值計算方法，也就是TF-IDF中IDF部分的解決思路。通過相

5、似度矩陣計算、核心詞匯聚類發(fā)現(xiàn)話題和建立文本與話題關(guān)聯(lián)完成了核心詞匯的聚類。同時，在本文話題發(fā)現(xiàn)系統(tǒng)中，由于單通道聚類算法耗時少，符合新聞報道自身特點，但又存在聚類誤差的缺陷，而層次聚類算法卻可以隨時定義簇的起始位置，將兩種算法應(yīng)用在文本聚類的不同階段，有效結(jié)合使用，實現(xiàn)了話題聚類的在線更新。最后，在多語言話題發(fā)現(xiàn)系統(tǒng)中，由于本文的研究對象是網(wǎng)絡(luò)新聞媒體，而新聞媒體的時間特性尤為重要，研究中借鑒了文獻(xiàn)49中的思想，提出了利用邏輯函數(shù)Lo