基于信息抽取和語義相似度的多文檔自動文摘技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)信息的海量增長，從海量文本中提取摘要成為自然語言處理研究的熱點(diǎn)課題。半個(gè)多世紀(jì)以來，學(xué)者從不同角度出發(fā)，提出不同的解決方法，并舉出適當(dāng)?shù)姆独?。本文主要研究的是基于信息抽取的自動文摘，并且引入WordNet與空間向量模型進(jìn)行句子相似度計(jì)算。
　　基于信息抽取的自動文摘技術(shù)是從文本中抽取重要內(nèi)容生成文摘。因?yàn)橐话闵傻奈恼加凶謹(jǐn)?shù)限制，這就需要選擇具有較強(qiáng)概括力的句子構(gòu)成文摘。本文首先從文本中抽取五個(gè)基本特征:句子長度、詞頻、

2、句子位置、線索詞以及標(biāo)題詞匯;然后根據(jù)這五個(gè)特征給文檔中每個(gè)句子評分，按照得分從高到低將句子依次排序，得分高的句子就作為生成文摘的候選句。
　　本文將語義相似度應(yīng)用到自動文摘任務(wù)中。語義相似度是評價(jià)詞匯之間相互關(guān)聯(lián)程度的一種度量方式。本文采用兩種方式計(jì)算句子相似度:其一是引入WordNet;其二是使用空間向量模型。通過WordNet計(jì)算詞匯相似度采用兩種方式:Path和Lch。大部分詞匯都包含多種詞義，針對多義詞分兩種情況處理:一

3、是只考慮第一個(gè)語義，二是考慮多個(gè)語義。這樣設(shè)計(jì)的優(yōu)點(diǎn)是，可以測試出各種情況下最后文摘的質(zhì)量，分析出直接影響文摘質(zhì)量的因素。使用兩種空間向量模型的度量方法，一是余弦度量法，二是Dice系數(shù)度量法。通過兩種不同的方式計(jì)算句子之間的語義相似度，得到的結(jié)果是模糊相似矩陣。這個(gè)矩陣中的每個(gè)元素代表了兩個(gè)句子之間的相互關(guān)聯(lián)程度，還需要將其具體分類，從每個(gè)分類中擇優(yōu)選擇句子生成文摘。本文使用編網(wǎng)法，對模糊相似矩陣分類。通過實(shí)驗(yàn)結(jié)果，可以清晰的看出，將