文本自動摘要技術(shù)的研究.pdf

1、復(fù)旦大學(xué)碩十學(xué)位論文文本自動摘要技術(shù)的研究摘要丫651808隨著互聯(lián)網(wǎng)的迅速發(fā)展，可獲得的信息越來越多。信息的爆炸也帶來了“信息負(fù)擔(dān)”過重的問題。我們可以獲取太多的信息，以致沒有足夠的時間什么讀一遍，但有時候我們又不得不根據(jù)這些信息作出重要的決定。在這種情況下，自動文摘就顯得必不可少。本文介紹了作者在攻讀碩士學(xué)位期間所做的自動文摘研究。本文首先對自然語言處理以及自動文摘的技術(shù)進行了綜述，隨后提出一個句子被抽取成為摘要句必須滿足的三個條件

2、:1)信息量大、概括性強，所含信息在文本中比較重要2)與話題(或用戶、任務(wù))相關(guān):3)與其他摘要句之間信息冗余小。判斷一個句子是否滿足這三個條件，是作者研究工作中的中心內(nèi)容。本文亦以這三個條件為主線，創(chuàng)新地提出了多種自動文摘的方法:q自動文摘中的機器學(xué)習(xí)方法屯基于實體名的自動文摘方法屯位置與其他特征之間的互訓(xùn)練算法屯基于矢量模型的文本自動摘要方法吟嘗試將句法分析技術(shù)用于文摘的自動生成對這些方法，作者既做了理論上的分析，還通過實驗對其性能

3、進行評價。在對自動文摘的方法進行探索的同時，作者先后開發(fā)了多個自動文摘系統(tǒng)。這些系統(tǒng)在2003年和2004年兩屆文本理解會議的統(tǒng)一評測中，取得了令人鼓舞的成績。關(guān)鍵詞:自動文摘，自然語言處理，神經(jīng)網(wǎng)絡(luò)，模糊數(shù)學(xué)，實體名復(fù)旦大學(xué)碩士學(xué)位論文文本自動摘要技術(shù)的研究第一章緒論，.，本文研究的背景和意義我們正處在信息爆炸的時代，在享受多樣信息所帶來了各種便利的同時，人們越來越迫切地希望能夠?qū)π畔⑦M行標(biāo)引、提煉與濃縮，以較少的文字表達主要內(nèi)容和中

4、心意思，從而減少信息獲取的時間。因此，人們把注意力轉(zhuǎn)向了文摘，文摘所具備的簡潔性、準(zhǔn)確性和清晰性正好滿足了人們的這一要求。盡管大多數(shù)科技論文都附有作者自己編制的手工文摘，但是社會科學(xué)領(lǐng)域的許多文章、新聞報道以及其他文字資料都沒有手工文摘。手工編寫文摘要求對原文的內(nèi)容有較為全面的了解，因此文摘的手工編制過程相當(dāng)花費時間。對于某些專業(yè)領(lǐng)域的文獻而言，文摘的手工編制還需要一定的專業(yè)知識和豐富的經(jīng)驗，而具有這種水平而又愿意參與文摘編制的人是相當(dāng)

5、少的。同時，互聯(lián)網(wǎng)的迅速崛起致使文本信息呈爆炸式增長，這就使得手工編制文摘的工作需要越來越多的人力，顯然這是不現(xiàn)實的。因此，文摘編制的自動化，進行自動文摘的研究是必然的選擇。自動文摘是自然語言處理的一個重要分支，在信息檢索領(lǐng)域中有著重要的用途。自動文摘的目標(biāo)為:從信息源中提取內(nèi)容，采用壓縮的形式和與用戶(或應(yīng)用)需求相關(guān)的方式，將最重要的內(nèi)容呈現(xiàn)給用戶。(I.Mani20011早在1958年4月，H.P.Luhn首先提出自動文摘的概念【

6、H.P.Luhn19581，拉開了自動文摘研究的序幕。但是早期的研究工作僅僅以滿足圖書管理、情報收集、檔案管理、科學(xué)文獻管理等領(lǐng)域?qū)ψ詣游恼夹g(shù)的需要為目的，并沒有得到人們廣泛的重視，同時自動文摘研究本身也遇到了一些問題IH.P.Edmundson19641.其中，一個主要的問題為輸入問題，與當(dāng)時的計算機硬件條件有關(guān)。由于上述原因，自動文摘研究的發(fā)展一直比較緩慢。直到九十年代，互聯(lián)網(wǎng)開始逐步普及，以驚人方式遞增的網(wǎng)上信息使人們普遍感到無

7、所適從，面向WWW的信息采集和加工成為急迫的需求，自動文摘研究因為直接受到了市場需求的推動而驟然升溫。我們不妨仔細考察一下自動文摘技術(shù)的研究在信息時代所具有的意義。作為信息檢索研究的重要成果，不少搜索引擎己經(jīng)投入實用，譬如GoogleYaho?；蛘咚押?。但這些搜索引擎還遠遠不夠完美。當(dāng)用戶輸入一個查詢請求，搜索引擎會返回大量的相關(guān)網(wǎng)頁。但要較為全面地了解相關(guān)的重要信息，用戶必須逐個地瀏覽返回頁面。搜索引擎所返回網(wǎng)頁的數(shù)目非常巨大，所以在