基于SinglePass與隱馬爾可夫算法結(jié)合的自動文摘.pdf_第1頁
已閱讀1頁,還剩64頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、在現(xiàn)代,互聯(lián)網(wǎng)技術(shù)發(fā)展得越來越快,互聯(lián)網(wǎng)技術(shù)的發(fā)展意味著信息時代的進(jìn)入了人們的生活。人們也就離不開信息生活。新聞媒體也隨著信息技術(shù)的發(fā)展而逐漸壯大。各大新聞報道的事件豐富了人們的生活。對于同時發(fā)生的同一事件,各大新聞媒體都在及時進(jìn)行報道。人們在生活中,每天都得面對很多的原始新聞,這些新聞并沒有得到及時的整理就被報道出來的。面對這樣的一種狀況,人們會因為跟不上新聞的更新速度而忽略某些重要的新聞信息。此時會發(fā)現(xiàn),他們會越來越需要一種工具,而

2、這種工具能夠幫人們整理各大新聞報道,對所有的信息新聞事件按照一定的規(guī)律進(jìn)行分類匯總,方便人們進(jìn)行快速瀏覽閱讀的新聞工具,并且這種工具能夠?qū)ν惶囟ǖ男侣勈录蟮狼笸娈?。如果有了這樣的一種工具,人們就可以有針對性地去瀏覽閱讀自身所關(guān)心的一類或者多類新聞報道。這樣,人們不但能夠快速閱讀相關(guān)匯總過的信息,更重要的是能節(jié)省人們的寶貴時間。本文通過針對互聯(lián)網(wǎng)上的各大新聞事件,利用對話題的檢測和單事件聚類技術(shù),開發(fā)一個單事件的多文檔文摘系統(tǒng)。該系

3、統(tǒng)能夠?qū)问录侣勥M(jìn)行聚類,把在網(wǎng)上獲取的新聞信息進(jìn)行整合并壓縮成自動摘要,遞交給用戶。本文的研究內(nèi)容主要是:
  (1)針對單事件聚類的主要算法系統(tǒng)設(shè)計。第一,分類采用的是SVM算法。也就是對于單事件集的合進(jìn)行相似度加權(quán)表決的方法來進(jìn)行分類。第二,學(xué)習(xí)研究LDA模型。在學(xué)習(xí)的過程中,對文檔可以同時進(jìn)行建模,文檔在建模前必須先利用SVM算法進(jìn)行分類。分類過后最主要的是進(jìn)行相似度的計算,那么相似度的計算在本文中使用的是LDA模型與S

4、VM相結(jié)合的算法。最后,運(yùn)用Single-Pass和馬爾可夫結(jié)合的算法,把分類計算過后得到的新聞文檔集合按單事件進(jìn)行聚類。
  (2)單事件的多文檔自動文摘系統(tǒng)的設(shè)計與實現(xiàn)。該系統(tǒng)涉及的基礎(chǔ)技術(shù)有很多,其中有個是文本的表示。在該模塊里面,在傳統(tǒng)的向量空間里面加入了知網(wǎng)的表示。該表示結(jié)合了所有相關(guān)的特征詞。用結(jié)合一起的特征詞去構(gòu)造同義詞。把構(gòu)造出的同義詞集合一起,搭建SVM模型。在句子權(quán)重的計算中,使用LexRank算法。用該算法計

5、算得出句子的權(quán)重。在這模塊首先做的就是結(jié)合句子它本身的特征,結(jié)合過后把這些得到的結(jié)果再進(jìn)行一個線性的組合。最后,取得句子的權(quán)重,權(quán)重則是通過計算得到。在抽取模塊,使用MMR算法。MMR算法也稱為最大邊緣相關(guān)算法。該算法是一種抽取摘要句用去除冗余的方法。該算法得到的結(jié)果過后,得到的句子通過一定的規(guī)則進(jìn)行排序再輸出,這樣的話最后得到的是比較通順的文摘。
  針對上面描述的工作內(nèi)容,研究的自動文摘系統(tǒng)很符合上述的需求。在實驗中采取的哈爾

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論