抽取式多文檔文摘的文本表示研究.pdf

1、自動(dòng)文摘是自然語(yǔ)言處理的一個(gè)分支研究領(lǐng)域，本文主要研究其眾多分支中最基礎(chǔ)、也是一直被關(guān)注的基于抽取式的多文檔文摘，對(duì)多篇文檔提取一個(gè)由其中核心句子組成的簡(jiǎn)短文摘。多文檔文摘的對(duì)象一般是圍繞預(yù)定話(huà)題、經(jīng)搜集而得的多文檔集合。雖然具有預(yù)定話(huà)題，但由于文檔來(lái)自不同信息源，數(shù)據(jù)中常存在以下3個(gè)問(wèn)題，對(duì)文本的準(zhǔn)確表示造成影響，影響文摘的準(zhǔn)確提取:
　　1.主題不唯一:不同作者對(duì)話(huà)題闡述的角度不同，多文檔集內(nèi)可能包含除預(yù)定義話(huà)題以外的其它主題

2、。
　　2.詞義復(fù)雜性:因作者用詞習(xí)慣不統(tǒng)一和語(yǔ)言的豐富性，易混雜各種同義詞，內(nèi)容繁雜時(shí)會(huì)存在出現(xiàn)于不同主題的多義詞。
　　3.噪音現(xiàn)象:因文檔以整篇為單位加入數(shù)據(jù)集，可能攜帶無(wú)關(guān)噪音內(nèi)容。
　　為此，本文引入語(yǔ)義分析模型、語(yǔ)義知識(shí)庫(kù)和監(jiān)督信息來(lái)改進(jìn)多文檔文摘的文本表示，以提高文摘系統(tǒng)性能。主要研究成果如下:
　　1.提出了基于主題表示的多文檔文摘方法，處理主題不唯一問(wèn)題。文檔集主題結(jié)構(gòu)訓(xùn)練、句子的主題表示和句子

3、重要度計(jì)算是其主要環(huán)節(jié)，其中:
　　(1)提出背景訓(xùn)練方法訓(xùn)練文檔主題結(jié)構(gòu)，解決多文檔文摘數(shù)據(jù)集較小所引起的主題結(jié)構(gòu)訓(xùn)練準(zhǔn)確度和穩(wěn)定性問(wèn)題。通過(guò)將多個(gè)文檔集與目標(biāo)文檔集混合訓(xùn)練，擴(kuò)大數(shù)據(jù)規(guī)模，增加詞分布信息輔助訓(xùn)練，最后得到“訓(xùn)練集-主題-子主題-單詞”的主題結(jié)構(gòu)。實(shí)驗(yàn)驗(yàn)證了該方法能提高文摘結(jié)果的準(zhǔn)確性和穩(wěn)定度。
　　(2)根據(jù)主題結(jié)構(gòu)，提出句子的主題表示法。我們用句中單詞的主題信息構(gòu)建句子的主題向量，反映句子與主題的相關(guān)度

4、。實(shí)驗(yàn)驗(yàn)證了這一表示法能準(zhǔn)確判斷混合后訓(xùn)練集內(nèi)來(lái)自不同文檔集的句子所屬主題。
　　(3)根據(jù)句子的主題表示，提出了一個(gè)多文檔文摘方法?；诙辔臋n文摘數(shù)據(jù)具有預(yù)定義話(huà)題這一特性，主題與越多句子緊密相關(guān)時(shí)，該主題越重要，同時(shí)與其相關(guān)的句子也越重要，越可能成為文摘句。實(shí)驗(yàn)結(jié)果顯示這一多文檔文摘方法可獲得質(zhì)量較好的文摘結(jié)果。
　　2.提出了基于維基概念表示的多文檔文摘方法，處理詞義復(fù)雜性問(wèn)題。概念形式與提取、句子的概念表示和句子特征

5、計(jì)算是其主要環(huán)節(jié)，其中:
　　(1)選擇維基概念和自動(dòng)維基化方法提取概念，使句子概念表示和相應(yīng)文摘方法建立在較好通用性、易擴(kuò)展性與長(zhǎng)期有效性的基礎(chǔ)上。
　　(2)改進(jìn)概念權(quán)重計(jì)算，獲得句子的概念表示。通過(guò)綜合概念在維基百科中的全局信息與在多文檔集內(nèi)的局部信息構(gòu)建多文檔集的概念網(wǎng)絡(luò)，根據(jù)概念的連通性計(jì)算概念權(quán)重，得到句子的概念向量。實(shí)驗(yàn)觀察證實(shí)了這一方法可提取到較有代表性的概念集合，達(dá)到準(zhǔn)確表示的效果。
　　(3)根據(jù)句

6、子概念表示和維基百科的概念首段信息，提出一個(gè)多文檔文摘方法。根據(jù)維基百科中概念的首段即為人工生成的概念文摘這一重要文摘信息，提出相應(yīng)的句子特征，配合常用句子特征計(jì)算句子的重要度。實(shí)驗(yàn)比較證實(shí)了維基概念首段的有效性，以及基于維基概念表示的多文檔文摘方法能獲取較好的文摘質(zhì)量。
　　3.提出了一個(gè)基于監(jiān)督的多文檔文摘自動(dòng)去噪器的學(xué)習(xí)方法，減少噪音。監(jiān)督信息獲取、特征提取和分類(lèi)器訓(xùn)練是該方法的主要環(huán)節(jié)，其中:
　　(1)選擇以語(yǔ)義單

7、位為對(duì)象，使用標(biāo)準(zhǔn)文摘提取它的類(lèi)標(biāo)信息。從以往對(duì)標(biāo)準(zhǔn)文摘分析的研究中，我們發(fā)現(xiàn)標(biāo)準(zhǔn)文摘中存在一定的原文語(yǔ)義單元。因此，我們根據(jù)語(yǔ)義單位是否在標(biāo)準(zhǔn)文摘中出現(xiàn)為監(jiān)督信息，直觀而準(zhǔn)確的確定類(lèi)標(biāo)。
　　(2)為不同頻率的語(yǔ)義單元設(shè)計(jì)特征。實(shí)驗(yàn)表明有效和噪音語(yǔ)義單元在高、低頻區(qū)都有可能存在，頻率特征不足以將這兩類(lèi)單元區(qū)分出來(lái)。所以，我們針對(duì)高低頻、同頻、高低頻共現(xiàn)語(yǔ)義單元分別設(shè)計(jì)相應(yīng)特征。
　　(3)使用二元分類(lèi)器實(shí)現(xiàn)自動(dòng)去噪。不同數(shù)