摘錄式多文檔摘要技術(shù)的研究.pdf

1、隨著網(wǎng)絡(luò)的發(fā)展,信息獲取變得越來越容易,人們?nèi)粘Ｋ枰幚淼男畔⒘恳苍絹碓酱?。如何從眾多的文檔中提取出重要的信息,以幫助人們做快速的瀏覽和擷取,是一項(xiàng)迫切的任務(wù)。多文檔摘要技術(shù)因此而成為了最近幾年的研究熱點(diǎn)。
　　 本文主要研究的是抽取式通用型多文檔摘要,提出了一種基于生成性文本主題概率模型的多文檔摘要技術(shù),和一種基于排序?qū)W習(xí)的多文檔摘要技術(shù)。本文的主要貢獻(xiàn)有以下幾點(diǎn):
　　 1.在一個(gè)貪婪算法的框架內(nèi)研究了如何利用主題

2、特征生成高質(zhì)量的多文檔摘要。在這種框架下,句子的選取最終歸結(jié)為度量每個(gè)句子對(duì)摘要的主題構(gòu)建的貢獻(xiàn)大小。使用潛狄利克雷分配(Latent Dirichlet Allocation,LDA)模型為句子建模,以捕捉深層次的主題信息。通過分析摘要任務(wù)中文本和摘要的內(nèi)在關(guān)系,我們將之量化為一種概率表示,并在此基礎(chǔ)上提出了兩種有效的句子打分方法。在DUC2002會(huì)議中使用的通用性多文檔文摘測試集上做了實(shí)驗(yàn),使用ROUGE自動(dòng)評(píng)測工具對(duì)各種方作做了評(píng)

3、估。結(jié)果表明,我們的方法優(yōu)于單純基于詞頻的方法和其他使用了主題模型的方法。
　　 2.提出了一種通過學(xué)習(xí)摘要質(zhì)量預(yù)測函數(shù)來搜索高質(zhì)量摘要的新思路。傳統(tǒng)的方法所顯式或隱式地使用的質(zhì)量預(yù)測函數(shù)都是啟發(fā)式的,缺乏客觀性。我們認(rèn)為如果沒有一個(gè)客觀的摘要質(zhì)量預(yù)測函數(shù),對(duì)高質(zhì)量摘要的搜索總有些盲目。本文中,我們討論了這種預(yù)測函數(shù)的可能的形式,論證了獲取這樣一個(gè)客觀的預(yù)測函數(shù)的必要性和可行性,分析了學(xué)習(xí)這種預(yù)測函數(shù)對(duì)摘要質(zhì)量底層特征的要求和一

4、些量化的擇優(yōu)方法,并展望了這種較為客觀的摘要預(yù)測函數(shù)的使用方法。
　　 3.我們設(shè)計(jì)了一種學(xué)習(xí)預(yù)測函數(shù)的方法,并在此之上構(gòu)建了一個(gè)自動(dòng)摘要系統(tǒng)RBSS。我們借鑒IR&ML領(lǐng)域的排序?qū)W習(xí)方法,學(xué)習(xí)得到一個(gè)排序函數(shù)。不同于可以預(yù)測摘要質(zhì)量分值的回歸函數(shù),我們所學(xué)到的排序函數(shù)只能夠按照摘要的質(zhì)量對(duì)其做個(gè)排序。我們認(rèn)為這種按質(zhì)量高低給出的順序就可以幫助我們做高質(zhì)量摘要的搜索。我們在基本的一元詞頻和其在句內(nèi)的共現(xiàn)信息上,設(shè)計(jì)了四個(gè)排序特征