文本分割關(guān)鍵技術(shù)及其在多文檔摘要中的應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)時(shí)代的到來(lái),電子文本形式的信息大量涌現(xiàn),使得互聯(lián)網(wǎng)成為一個(gè)巨大的信息源。各類海量的文本信息在給人們帶來(lái)便利的同時(shí),也為信息產(chǎn)業(yè)帶來(lái)了新的挑戰(zhàn)。如何從信息海洋中迅速準(zhǔn)確地獲得用戶感興趣的信息,并以適當(dāng)?shù)男问匠尸F(xiàn)給用戶,成為文本智能處理領(lǐng)域的研究熱點(diǎn)。
　　 傳統(tǒng)文本處理技術(shù)以篇章作為基本處理單元,隱性假設(shè)一篇文章只討論一個(gè)主題。然而,篇幅較長(zhǎng)的文章往往涉及多個(gè)不同的子主題,造成基于整篇文檔的處理顆粒度難以滿足用戶的更高和更

2、準(zhǔn)確的要求。文本分割的研究就是在這樣的背景下產(chǎn)生的。通過(guò)文本分割技術(shù),能夠自動(dòng)識(shí)別出文本內(nèi)部不同子主題的邊界,將其線性分割開(kāi)來(lái)。將語(yǔ)義段落(同一子主題的文本片段)作為基本處理單元,有益于改善文本處理技術(shù)的性能。
　　 文本分割需要解決兩個(gè)關(guān)鍵問(wèn)題:一是子主題邊界的自動(dòng)識(shí)別;二是語(yǔ)義段落數(shù)目的自動(dòng)確定。本論文針對(duì)以上問(wèn)題進(jìn)行了研究,指出現(xiàn)有分割算法中存在的問(wèn)題,并在深入分析文本結(jié)構(gòu)特點(diǎn)的基礎(chǔ)上,提出新的分割模型,取得一定的效果。最

3、后,作者將所提出的文本分割模型應(yīng)用于問(wèn)題相關(guān)的多文檔摘要任務(wù)中,實(shí)驗(yàn)結(jié)果表明子主題信息可以為摘要提供一些有價(jià)值的線索和范圍,從而改善摘要的質(zhì)量。本文的主要研究工作包括:
　　 1、提出了基于區(qū)域詞匯密度的文本分割模型-MMD模型。本文對(duì)文本分割領(lǐng)域的著名算法-Dotplotting算法進(jìn)行了理論分析,并指出Dotplotting用于評(píng)價(jià)分割點(diǎn)的區(qū)域密度函數(shù)存在兩個(gè)問(wèn)題:第一,評(píng)價(jià)函數(shù)不對(duì)稱,導(dǎo)致前向掃描文本與后向掃描文本的分割結(jié)

4、果不同的明顯錯(cuò)誤;第二,在確定新的語(yǔ)義段落邊界時(shí),評(píng)價(jià)函數(shù)未能充分考慮先前識(shí)別出的語(yǔ)義段落邊界的制約。在此基礎(chǔ)上,本文提出了MMD文本分割模型,彌補(bǔ)了Dotplotting模型存在的問(wèn)題和不足。本文還利用語(yǔ)義段落長(zhǎng)度因子來(lái)進(jìn)一步提高分割性能。
　　 2、提出了一個(gè)基于多元判別分析的文本分割統(tǒng)計(jì)模型-MDA模型。采用多元判別分析方法定義了四種全局評(píng)價(jià)函數(shù),實(shí)現(xiàn)對(duì)文本分割方式的全局評(píng)價(jià)。評(píng)價(jià)函數(shù)主要考慮了分割單元內(nèi)距離、分割單元間距

5、離和分割單元長(zhǎng)度三個(gè)因素。其中假設(shè)分割單元內(nèi)距離越小(強(qiáng)凝聚性)、分割單元間距離越大(強(qiáng)發(fā)散性)的分割方式是全局最佳的。最后根據(jù)全局分割評(píng)價(jià)結(jié)果,選擇具有最高評(píng)價(jià)值的分割方式作為正確分割,從而自動(dòng)判定子主題邊界和確定語(yǔ)義段落的最佳數(shù)目。
　　 3、提出了基于動(dòng)態(tài)規(guī)劃的文本分割模型-MMS模型。在深入分析文本詞匯分布特點(diǎn)和文本結(jié)構(gòu)特點(diǎn)的基礎(chǔ)上,定義了分割評(píng)價(jià)函數(shù),通過(guò)動(dòng)態(tài)規(guī)劃算法搜索分割評(píng)價(jià)函數(shù)的全局最優(yōu)解,同時(shí)自動(dòng)確定最佳語(yǔ)義段

6、落數(shù)目。評(píng)價(jià)函數(shù)綜合考慮同一語(yǔ)義段落內(nèi)部相似度、相鄰語(yǔ)義段落之間相似度、語(yǔ)義段落長(zhǎng)度和句子距離對(duì)相似度的影響等各種因素,來(lái)識(shí)別文檔的子主題變化情況。與MDA模型相比,MMS模型的計(jì)算復(fù)雜度大大降低。MDA通過(guò)全搜索來(lái)確定最佳分割方式,是一個(gè)無(wú)序模型,計(jì)算復(fù)雜度為指數(shù)級(jí)別。而MMS模型采用動(dòng)態(tài)規(guī)劃方法作為搜索策略,屬于有序模型。
　　 4、在本文提出的文本分割模型的基礎(chǔ)上,面向問(wèn)題相關(guān)的多文檔摘要任務(wù),構(gòu)建了基于文本分割的多文檔摘

7、要系統(tǒng)-SEG_SUM系統(tǒng)。本文先用文本分割模型對(duì)每篇文檔進(jìn)行主題分割,然后對(duì)分割出的語(yǔ)義段落進(jìn)行聚類,從而將不同文檔之間討論相同子主題的片段聚集在一起,得到同一主題下的多個(gè)語(yǔ)義段落簇,其中每個(gè)簇代表一個(gè)子主題。接著過(guò)濾掉與問(wèn)題不相關(guān)的子主題,并按照子主題的重要程度排序,依次從重要子主題中選取句子形成摘要。由于摘要覆蓋了與問(wèn)題相關(guān)的多個(gè)子主題,并評(píng)價(jià)了子主題的重要程度,因此摘要能在貼合問(wèn)題的特定關(guān)注點(diǎn)的基礎(chǔ)上,覆蓋更多的信息。同時(shí)也使得