基于LDA的新聞?wù)诰蛳到y(tǒng)的設(shè)計與實現(xiàn).pdf

1、個性化新聞推薦是一種根據(jù)個人興趣對海量新聞進行篩選的處理方法，但是個性化新聞推薦僅僅降低了用戶的篩選信息的成本而沒有從根本上解決互聯(lián)網(wǎng)自媒體發(fā)展帶來的新聞信息碎片化的問題。利用主題模型對互聯(lián)網(wǎng)中抽取抓取的新聞抽取新聞?wù)⑦M行同主題新聞的聚類是解決這個問題一種有效手段。
　　在新聞?wù)诰蛳到y(tǒng)中，使用網(wǎng)絡(luò)爬蟲框架實時增量抓取新浪國內(nèi)新聞作為系統(tǒng)的數(shù)據(jù)源，對新聞使用隱對狄利克雷分布主題模型挖掘新聞主題詞，并且將獲取的新聞主題詞作為新

2、聞?wù)涑槿〉囊罁?jù)。在中文維基百科數(shù)據(jù)集上訓(xùn)練詞向量模型作為靜態(tài)知識，結(jié)合詞袋模型以及詞向量模型，將新聞主題詞以及新聞句子分別分詞后映射到公共詞典構(gòu)造的特征向量上獲得新聞主題特征向量以及新聞中每一個短句的特征向量；向量中每一個維度的值是該維度特征詞跟待處理句子中最相關(guān)的詞的相關(guān)度。通過計算主題詞特征向量和新聞每個句子特征向量之間的余弦值得到句子的相關(guān)度。選取最相關(guān)的句子作為該新聞?wù)?。用戶交互使用Lucene全文檢索工具完成對特定主題的

3、新聞的檢索，使用信息熵對檢索內(nèi)容盡心篩選。對每個檢索的新聞抽取主題摘要句，將檢索的摘要句按照時序最終呈現(xiàn)給用戶。
　　通過使用檢索技術(shù)收集新聞數(shù)據(jù)，使用隱狄利克雷模型（LDA）等自然語言處理模型對收集數(shù)據(jù)進行隱藏信息挖掘，通過這種方法將碎片化新聞數(shù)據(jù)整合到一起，為解決新聞信息碎片化問題提供幫助。經(jīng)過測試，系統(tǒng)各個功能模塊經(jīng)過評估能夠達到性能要求，系統(tǒng)整體能夠有效的精簡、篩選、整理同一主題下的新聞數(shù)據(jù)，能夠從深度上整合碎片化新聞數(shù)據(jù)