基于單事件新聞多文檔聚類及自動文摘的設計與實現(xiàn)

1、廈門大學學位論文原創(chuàng)性聲明本人呈交的學位論文是本人在導師指導下，獨立完成的研究成果。本人在論文寫作中參考其他個人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當方式明確標明，并符合法律規(guī)范和《廈門大學研究生學術活動規(guī)范( 試行) 》。另外，該學位論文為( ) 課題( 組) 的研究成果，獲得( )課題( 組) 經(jīng)費或?qū)嶒炇业馁Y助，在( ) 實驗室完成。( 請在以上括號內(nèi)填寫課題或課題組負責人或?qū)嶒炇颐Q，未有此項聲明內(nèi)容的，可以不作特別聲明。)聲

2、明人( 簽名) ：沁章茜汐l 阻年P 月浙摘要現(xiàn)今網(wǎng)上各大新聞網(wǎng)站繽紛繚亂，人們每天都面對大量沒有經(jīng)過整理的原始新聞，往往會發(fā)現(xiàn)自己難以跟上信息更新的速度。人們越來越迫切地需要一個快速瀏覽新聞的工具，不僅能夠?qū)Ω鞔笮侣劸W(wǎng)站的報道進行匯總分門別類，并且能夠?qū)⑼恢黝}的新聞報道求同存異。通過運用這樣的加工工具，人們既能更有針對性的瀏覽相關感興趣的新聞報道，又能閱讀到精煉匯總的新聞資源，有效地節(jié)省了人們的寶貴時間。本文通過對話題檢測和多文檔文

3、摘的相關技術進行研究，構建了一個單事件新聞聚類及摘要系統(tǒng)的雛形，著重解決新聞分類、單事件聚類、基于單事件的多文檔自動文摘三個方面的問題。本文的工作主要包括以下兩個方面：( 1 ) 實現(xiàn)單事件新聞聚類系統(tǒng)的主要模塊算法。首先，在深入研究L D A ( L a t e n t D i r i c h l e t 舢l o c a t i o n ) 模型的基礎上，對文檔集合進行L D A 主題建模，將L D A 模型與V S M ( v e

4、 c t o r S p a C eM o d e l ) 模型結合計算文本間的相似度。其次，以復合相似度運用到基于相似度加權表決的l ；淪N ( KN e a r e s tN e i g h b o r ) 算法對新聞報道集合進行分類。將分類后的文檔集合，以復合相似度運用S i n g l e P a S s 算法將新聞報道按單事件聚類。并通過實驗驗證改進后K N N 算法以及改進后S i I l g l e P a S s 算法的

5、效果。( 2 ) 設計并實現(xiàn)多文檔文摘系統(tǒng)。在文本表示模塊中，通過引入知網(wǎng)，從語義層次將特征詞合并、構造同義詞集合，構建基于同義詞集合的V S M 模型。在句子權重計算模塊中，通過L e x R ￡m k 算法結合一些句子特征計算得到句子的最終權重，并依照句子權重從高到低對候選摘要句排序。在句子抽取模塊中，采用最大邊緣相關( M a X i m a l M a 昭i n a l R e l e v 趾c e ) 算法去除冗余來抽取摘要句