基于LDA的新聞?wù)诰蛳到y(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、個(gè)性化新聞推薦是一種根據(jù)個(gè)人興趣對(duì)海量新聞進(jìn)行篩選的處理方法，但是個(gè)性化新聞推薦僅僅降低了用戶(hù)的篩選信息的成本而沒(méi)有從根本上解決互聯(lián)網(wǎng)自媒體發(fā)展帶來(lái)的新聞信息碎片化的問(wèn)題。利用主題模型對(duì)互聯(lián)網(wǎng)中抽取抓取的新聞抽取新聞?wù)⑦M(jìn)行同主題新聞的聚類(lèi)是解決這個(gè)問(wèn)題一種有效手段。
　　在新聞?wù)诰蛳到y(tǒng)中，使用網(wǎng)絡(luò)爬蟲(chóng)框架實(shí)時(shí)增量抓取新浪國(guó)內(nèi)新聞作為系統(tǒng)的數(shù)據(jù)源，對(duì)新聞使用隱對(duì)狄利克雷分布主題模型挖掘新聞主題詞，并且將獲取的新聞主題詞作為新

2、聞?wù)涑槿〉囊罁?jù)。在中文維基百科數(shù)據(jù)集上訓(xùn)練詞向量模型作為靜態(tài)知識(shí)，結(jié)合詞袋模型以及詞向量模型，將新聞主題詞以及新聞句子分別分詞后映射到公共詞典構(gòu)造的特征向量上獲得新聞主題特征向量以及新聞中每一個(gè)短句的特征向量；向量中每一個(gè)維度的值是該維度特征詞跟待處理句子中最相關(guān)的詞的相關(guān)度。通過(guò)計(jì)算主題詞特征向量和新聞每個(gè)句子特征向量之間的余弦值得到句子的相關(guān)度。選取最相關(guān)的句子作為該新聞?wù)?。用?hù)交互使用Lucene全文檢索工具完成對(duì)特定主題的

3、新聞的檢索，使用信息熵對(duì)檢索內(nèi)容盡心篩選。對(duì)每個(gè)檢索的新聞抽取主題摘要句，將檢索的摘要句按照時(shí)序最終呈現(xiàn)給用戶(hù)。
　　通過(guò)使用檢索技術(shù)收集新聞數(shù)據(jù)，使用隱狄利克雷模型（LDA）等自然語(yǔ)言處理模型對(duì)收集數(shù)據(jù)進(jìn)行隱藏信息挖掘，通過(guò)這種方法將碎片化新聞數(shù)據(jù)整合到一起，為解決新聞信息碎片化問(wèn)題提供幫助。經(jīng)過(guò)測(cè)試，系統(tǒng)各個(gè)功能模塊經(jīng)過(guò)評(píng)估能夠達(dá)到性能要求，系統(tǒng)整體能夠有效的精簡(jiǎn)、篩選、整理同一主題下的新聞數(shù)據(jù)，能夠從深度上整合碎片化新聞數(shù)據(jù)