基于信息聚合的科技新聞服務研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)媒體和用戶分享渠道的增加，信息的海量增長造成了嚴重的信息過載問題。此時，相比于傳統(tǒng)的信息聚合主要關注如何提供更加豐富的資源，信息篩選與過濾反而成為更加有價值的技術。如何幫助用戶快速獲取真正感興趣的信息，提高用戶接受知識的效率成為信息聚合技術新的挑戰(zhàn)。
　　本文針對科技新聞服務中的信息過載問題，探索了結合文本挖掘方法的信息篩選與過濾技術。基于句子語義相似度計算方法，提出融合文本語義特征的消重算法和文本聚類算法，用于新聞去重

2、、社會關注熱點挖掘、用戶感興趣話題的精準定位。具體工作內容與成果包括:
　　1.提出了一種基于語義的短文本消重技術。針對新聞聚合中的信息冗余問題，提出了一種不僅能檢測出字面上重復或者近似重復，還能檢測出“話題重復”——報導同一事件的新聞的消重算法。文中首先探討了句子語義相似度計算的一般方法，并對基于Word Embedding詞向量計算句子相似度的方法進行了改進，將句子語義相似度計算用于判定新聞的話題相似度。實驗證明，和單純的基于

3、字面的消重算法對比，該算法能在保持較高消重準確率的前提下，較大幅度提高召回率，因而該算法能夠更大程度上去除新聞聚合的冗余。
　　2.提出了一種基于語義和圖的短文本聚類算法。傳統(tǒng)的文本聚類算法往往采用詞包(Bag-of-words)模型，忽略了文本包含的語義信息;而基于中心劃分的聚類算法，容易將概念相關的自然簇強制分開。本文通過融合詞向量語義模型和能發(fā)現(xiàn)強連接自然簇的圖聚類算法，提出了一種短文本聚類算法，彌補了傳統(tǒng)算法的不足。通過對