基于內容的多源新聞聚合關鍵技術研究與實現.pdf

1、在當今信息大爆炸的時代，用戶如何在浩如煙海的信息中高效地篩選并整合對自己有利的信息成了難題。而另一方面，隨著網絡的不斷發(fā)展，網絡新聞的盛行，傳統(tǒng)媒體與網絡這一“第四媒體”之間的界限將越來越模糊。
　　 所以在新聞領域，為了跨越傳統(tǒng)媒體與網絡媒體之間的界限，同時又可以幫助用戶快速地將所需的新聞聚合在一起，本文對多形式多來源的新聞聚合技術進行了研究。
　　 作者研究了多形式新聞聚合所需關鍵技術，在現在盛行的信息聚合工具RSS

2、技術的基礎上，提出了應用于新聞領域的，基于內容的多形式新聞自動聚合解決方案。本文的關鍵研究內容概括如下：
　　 利用Agent的自治能力和合作能力，本文將不同新聞源不同形式的新聞的處理交由不同的功能Agent完成，同時又結合了關鍵詞自動抽取技術以及特征向量相似度匹配技術，提出了基于內容的多形式多來源新聞聚合系統(tǒng)架構C-NSSA(Content Based News Syndication System Architecture)

3、，用于指導多源多形式新聞的自動聚合。該架構采用Multi-Agent結構，實現了新聞的采集、預處理、關鍵詞提取、匹配集合、與用戶交互等功能，具有高并行性、高可靠性和高可擴展性。
　　 在系統(tǒng)架構C-NSSA的指導下，本文對新聞自動聚合的核心技術，包括新聞頁面解析技術、新聞文檔關鍵詞自動提取技術以及表示新聞內容的關鍵詞集合匹配技術，進行了深入的研究。
　　 在新聞頁面解析階段，本文提出了基于新聞頁面結構特征的頁而解析方法。

4、該方法在HTML DOM技術的基礎之上，首先將html文本轉化成DOM樹，然后通過新聞頁面的結構特征研究結果，根據文本節(jié)點分組總大小，以及一個分組內文本節(jié)點大小分析，來實現新聞標題以及正文的提取。使得頁面解析算法更適用于本系統(tǒng)架構的實際應用情況。在新聞關鍵詞提取階段，本文利用詞的共現性原理，對原有的TF*IDF方法進行了改進。該方法以傳統(tǒng)的關鍵詞權重計算方法TF*IDF為基礎，綜合考慮了新聞的內容分類，又結合新聞的特點得出詞語的位置信息

5、特征，以及詞與詞之間的共現性特征，使得該關鍵詞權重訃算方法更適用于針對新聞文檔的關鍵詞提取。而在最后的新聞密切度匹配上，本文借鑒了應用廣泛的向量空間模型(VSM)以及余弦系數的算法用來計算特征向量的相似性。同時又考慮到本系統(tǒng)的特殊情況，視頻新聞沒有文本，只基于內容的多源新聞聚合關鍵技術研究與實現有個數有限的關鍵詞，若獨獨采用相似度計算的方法可能會影響匹配效果，于是再次加入詞共現性特征的計算。綜合考慮了詞的相似度以及關聯度兩個因素，得到了