基于改進(jìn)HMM下自動(dòng)摘要的生成.pdf

1、現(xiàn)代社會(huì)計(jì)算機(jī)技術(shù)不斷發(fā)展，電子化的信息和文本咨詢呈現(xiàn)爆炸性增長(zhǎng)，網(wǎng)絡(luò)也早已經(jīng)成為人們獲取和傳遞信息最重要的方式。要在海量的信息中快速鎖定自己感興趣的內(nèi)容需要花費(fèi)人們大量的時(shí)間，所以有效、簡(jiǎn)易的信息檢索技術(shù)是當(dāng)前互聯(lián)網(wǎng)時(shí)代最需要的。而自動(dòng)摘要(Automatic Summarization)生成技術(shù)是對(duì)信息進(jìn)行總結(jié)、濃縮的有力工具。為計(jì)算機(jī)編寫程序生成的自動(dòng)摘要需要具有以下特點(diǎn):(1)概括性的表達(dá)原文的主旨大意;(2)語言簡(jiǎn)潔明了，篇幅

2、較短;(3)語義連貫通順，具有可理解性和可讀性。
　　本文分析了傳統(tǒng)的自動(dòng)摘要生成方法，大多都是計(jì)算句子權(quán)重來提取相對(duì)比較重要的句子組成摘要，并沒有考慮前后句子間的關(guān)聯(lián)程度。所以本文將隱馬爾科夫模型(HMM)中的狀態(tài)轉(zhuǎn)移特性運(yùn)用到自動(dòng)摘要中，使得生成的摘要更能符合上下文語境。并且在這基礎(chǔ)上進(jìn)一步改進(jìn)傳統(tǒng)HMM模型，加入了觀察狀態(tài)的后向釋放概率，驗(yàn)證結(jié)果表明生成的摘要準(zhǔn)確率有明顯的提高。具體工作如下:
　　首先，文中采用的是以

3、web新聞文本作為對(duì)象來研究自動(dòng)摘要的相關(guān)技術(shù)理論。由于web新聞網(wǎng)頁(yè)的特殊性，實(shí)現(xiàn)了正則表達(dá)式和行塊分布算法相結(jié)合的正文文本提取方法，并用最大正向匹配算法和TF-IDF詞頻統(tǒng)計(jì)算法對(duì)得到的正文文本進(jìn)行分析處理。
　　然后，對(duì)傳統(tǒng)HMM進(jìn)行深入研究，將隱藏狀態(tài)序列按照句子的重要程度依次定為“A”、“B”、“C”、“D”、“E”，結(jié)合句子的詞頻、位置、標(biāo)題相關(guān)程度、線索詞四種句子特征進(jìn)行HMM的建立并用于自動(dòng)摘要的生成中。對(duì)比發(fā)現(xiàn)，

4、該模型生成的摘要比基于普通句子權(quán)重方法生成的摘要更能體現(xiàn)上下文語境的連貫性。
　　最后，將HMM模型根據(jù)web新聞文本的特點(diǎn)進(jìn)行改進(jìn)，使得觀察狀態(tài)的釋放不僅跟t時(shí)刻的隱藏狀態(tài)有關(guān)還與t+l時(shí)刻的隱藏狀態(tài)有關(guān)，進(jìn)一步細(xì)化了摘要句的提取概率。其中模型訓(xùn)練學(xué)習(xí)算法和Viterbi算法也根據(jù)模型的改進(jìn)進(jìn)行相應(yīng)調(diào)整，實(shí)現(xiàn)基于改進(jìn)HMM模型的自動(dòng)摘要生成。實(shí)驗(yàn)對(duì)比改進(jìn)HMM模型與傳統(tǒng)HMM模型生成摘要的質(zhì)量和運(yùn)行時(shí)間，驗(yàn)證了改進(jìn)HMM的可行性