文本自動(dòng)摘要技術(shù)的研究.pdf

1、復(fù)旦大學(xué)碩十學(xué)位論文文本自動(dòng)摘要技術(shù)的研究摘要丫651808隨著互聯(lián)網(wǎng)的迅速發(fā)展，可獲得的信息越來(lái)越多。信息的爆炸也帶來(lái)了“信息負(fù)擔(dān)”過(guò)重的問(wèn)題。我們可以獲取太多的信息，以致沒(méi)有足夠的時(shí)間什么讀一遍，但有時(shí)候我們又不得不根據(jù)這些信息作出重要的決定。在這種情況下，自動(dòng)文摘就顯得必不可少。本文介紹了作者在攻讀碩士學(xué)位期間所做的自動(dòng)文摘研究。本文首先對(duì)自然語(yǔ)言處理以及自動(dòng)文摘的技術(shù)進(jìn)行了綜述，隨后提出一個(gè)句子被抽取成為摘要句必須滿足的三個(gè)條件

2、:1)信息量大、概括性強(qiáng)，所含信息在文本中比較重要2)與話題(或用戶、任務(wù))相關(guān):3)與其他摘要句之間信息冗余小。判斷一個(gè)句子是否滿足這三個(gè)條件，是作者研究工作中的中心內(nèi)容。本文亦以這三個(gè)條件為主線，創(chuàng)新地提出了多種自動(dòng)文摘的方法:q自動(dòng)文摘中的機(jī)器學(xué)習(xí)方法屯基于實(shí)體名的自動(dòng)文摘方法屯位置與其他特征之間的互訓(xùn)練算法屯基于矢量模型的文本自動(dòng)摘要方法吟嘗試將句法分析技術(shù)用于文摘的自動(dòng)生成對(duì)這些方法，作者既做了理論上的分析，還通過(guò)實(shí)驗(yàn)對(duì)其性能

3、進(jìn)行評(píng)價(jià)。在對(duì)自動(dòng)文摘的方法進(jìn)行探索的同時(shí)，作者先后開(kāi)發(fā)了多個(gè)自動(dòng)文摘系統(tǒng)。這些系統(tǒng)在2003年和2004年兩屆文本理解會(huì)議的統(tǒng)一評(píng)測(cè)中，取得了令人鼓舞的成績(jī)。關(guān)鍵詞:自動(dòng)文摘，自然語(yǔ)言處理，神經(jīng)網(wǎng)絡(luò)，模糊數(shù)學(xué)，實(shí)體名復(fù)旦大學(xué)碩士學(xué)位論文文本自動(dòng)摘要技術(shù)的研究第一章緒論，.，本文研究的背景和意義我們正處在信息爆炸的時(shí)代，在享受多樣信息所帶來(lái)了各種便利的同時(shí)，人們?cè)絹?lái)越迫切地希望能夠?qū)π畔⑦M(jìn)行標(biāo)引、提煉與濃縮，以較少的文字表達(dá)主要內(nèi)容和中

4、心意思，從而減少信息獲取的時(shí)間。因此，人們把注意力轉(zhuǎn)向了文摘，文摘所具備的簡(jiǎn)潔性、準(zhǔn)確性和清晰性正好滿足了人們的這一要求。盡管大多數(shù)科技論文都附有作者自己編制的手工文摘，但是社會(huì)科學(xué)領(lǐng)域的許多文章、新聞報(bào)道以及其他文字資料都沒(méi)有手工文摘。手工編寫(xiě)文摘要求對(duì)原文的內(nèi)容有較為全面的了解，因此文摘的手工編制過(guò)程相當(dāng)花費(fèi)時(shí)間。對(duì)于某些專業(yè)領(lǐng)域的文獻(xiàn)而言，文摘的手工編制還需要一定的專業(yè)知識(shí)和豐富的經(jīng)驗(yàn)，而具有這種水平而又愿意參與文摘編制的人是相當(dāng)

5、少的。同時(shí)，互聯(lián)網(wǎng)的迅速崛起致使文本信息呈爆炸式增長(zhǎng)，這就使得手工編制文摘的工作需要越來(lái)越多的人力，顯然這是不現(xiàn)實(shí)的。因此，文摘編制的自動(dòng)化，進(jìn)行自動(dòng)文摘的研究是必然的選擇。自動(dòng)文摘是自然語(yǔ)言處理的一個(gè)重要分支，在信息檢索領(lǐng)域中有著重要的用途。自動(dòng)文摘的目標(biāo)為:從信息源中提取內(nèi)容，采用壓縮的形式和與用戶(或應(yīng)用)需求相關(guān)的方式，將最重要的內(nèi)容呈現(xiàn)給用戶。(I.Mani20011早在1958年4月，H.P.Luhn首先提出自動(dòng)文摘的概念【

6、H.P.Luhn19581，拉開(kāi)了自動(dòng)文摘研究的序幕。但是早期的研究工作僅僅以滿足圖書(shū)管理、情報(bào)收集、檔案管理、科學(xué)文獻(xiàn)管理等領(lǐng)域?qū)ψ詣?dòng)文摘技術(shù)的需要為目的，并沒(méi)有得到人們廣泛的重視，同時(shí)自動(dòng)文摘研究本身也遇到了一些問(wèn)題IH.P.Edmundson19641.其中，一個(gè)主要的問(wèn)題為輸入問(wèn)題，與當(dāng)時(shí)的計(jì)算機(jī)硬件條件有關(guān)。由于上述原因，自動(dòng)文摘研究的發(fā)展一直比較緩慢。直到九十年代，互聯(lián)網(wǎng)開(kāi)始逐步普及，以驚人方式遞增的網(wǎng)上信息使人們普遍感到無(wú)

7、所適從，面向WWW的信息采集和加工成為急迫的需求，自動(dòng)文摘研究因?yàn)橹苯邮艿搅耸袌?chǎng)需求的推動(dòng)而驟然升溫。我們不妨仔細(xì)考察一下自動(dòng)文摘技術(shù)的研究在信息時(shí)代所具有的意義。作為信息檢索研究的重要成果，不少搜索引擎己經(jīng)投入實(shí)用，譬如GoogleYaho。或者搜狐。但這些搜索引擎還遠(yuǎn)遠(yuǎn)不夠完美。當(dāng)用戶輸入一個(gè)查詢請(qǐng)求，搜索引擎會(huì)返回大量的相關(guān)網(wǎng)頁(yè)。但要較為全面地了解相關(guān)的重要信息，用戶必須逐個(gè)地瀏覽返回頁(yè)面。搜索引擎所返回網(wǎng)頁(yè)的數(shù)目非常巨大，所以在