文本自動摘要技術的研究.pdf

1、復旦大學碩十學位論文文本自動摘要技術的研究摘要丫651808隨著互聯(lián)網(wǎng)的迅速發(fā)展，可獲得的信息越來越多。信息的爆炸也帶來了“信息負擔”過重的問題。我們可以獲取太多的信息，以致沒有足夠的時間什么讀一遍，但有時候我們又不得不根據(jù)這些信息作出重要的決定。在這種情況下，自動文摘就顯得必不可少。本文介紹了作者在攻讀碩士學位期間所做的自動文摘研究。本文首先對自然語言處理以及自動文摘的技術進行了綜述，隨后提出一個句子被抽取成為摘要句必須滿足的三個條件

2、:1)信息量大、概括性強，所含信息在文本中比較重要2)與話題(或用戶、任務)相關:3)與其他摘要句之間信息冗余小。判斷一個句子是否滿足這三個條件，是作者研究工作中的中心內容。本文亦以這三個條件為主線，創(chuàng)新地提出了多種自動文摘的方法:q自動文摘中的機器學習方法屯基于實體名的自動文摘方法屯位置與其他特征之間的互訓練算法屯基于矢量模型的文本自動摘要方法吟嘗試將句法分析技術用于文摘的自動生成對這些方法，作者既做了理論上的分析，還通過實驗對其性能

3、進行評價。在對自動文摘的方法進行探索的同時，作者先后開發(fā)了多個自動文摘系統(tǒng)。這些系統(tǒng)在2003年和2004年兩屆文本理解會議的統(tǒng)一評測中，取得了令人鼓舞的成績。關鍵詞:自動文摘，自然語言處理，神經(jīng)網(wǎng)絡，模糊數(shù)學，實體名復旦大學碩士學位論文文本自動摘要技術的研究第一章緒論，.，本文研究的背景和意義我們正處在信息爆炸的時代，在享受多樣信息所帶來了各種便利的同時，人們越來越迫切地希望能夠對信息進行標引、提煉與濃縮，以較少的文字表達主要內容和中

4、心意思，從而減少信息獲取的時間。因此，人們把注意力轉向了文摘，文摘所具備的簡潔性、準確性和清晰性正好滿足了人們的這一要求。盡管大多數(shù)科技論文都附有作者自己編制的手工文摘，但是社會科學領域的許多文章、新聞報道以及其他文字資料都沒有手工文摘。手工編寫文摘要求對原文的內容有較為全面的了解，因此文摘的手工編制過程相當花費時間。對于某些專業(yè)領域的文獻而言，文摘的手工編制還需要一定的專業(yè)知識和豐富的經(jīng)驗，而具有這種水平而又愿意參與文摘編制的人是相當

5、少的。同時，互聯(lián)網(wǎng)的迅速崛起致使文本信息呈爆炸式增長，這就使得手工編制文摘的工作需要越來越多的人力，顯然這是不現(xiàn)實的。因此，文摘編制的自動化，進行自動文摘的研究是必然的選擇。自動文摘是自然語言處理的一個重要分支，在信息檢索領域中有著重要的用途。自動文摘的目標為:從信息源中提取內容，采用壓縮的形式和與用戶(或應用)需求相關的方式，將最重要的內容呈現(xiàn)給用戶。(I.Mani20011早在1958年4月，H.P.Luhn首先提出自動文摘的概念【

6、H.P.Luhn19581，拉開了自動文摘研究的序幕。但是早期的研究工作僅僅以滿足圖書管理、情報收集、檔案管理、科學文獻管理等領域對自動文摘技術的需要為目的，并沒有得到人們廣泛的重視，同時自動文摘研究本身也遇到了一些問題IH.P.Edmundson19641.其中，一個主要的問題為輸入問題，與當時的計算機硬件條件有關。由于上述原因，自動文摘研究的發(fā)展一直比較緩慢。直到九十年代，互聯(lián)網(wǎng)開始逐步普及，以驚人方式遞增的網(wǎng)上信息使人們普遍感到無

7、所適從，面向WWW的信息采集和加工成為急迫的需求，自動文摘研究因為直接受到了市場需求的推動而驟然升溫。我們不妨仔細考察一下自動文摘技術的研究在信息時代所具有的意義。作為信息檢索研究的重要成果，不少搜索引擎己經(jīng)投入實用，譬如GoogleYaho。或者搜狐。但這些搜索引擎還遠遠不夠完美。當用戶輸入一個查詢請求，搜索引擎會返回大量的相關網(wǎng)頁。但要較為全面地了解相關的重要信息，用戶必須逐個地瀏覽返回頁面。搜索引擎所返回網(wǎng)頁的數(shù)目非常巨大，所以在