基于內(nèi)容的文本分割關(guān)鍵技術(shù).pdf

1、一般而言,稍長(zhǎng)的文本往往都會(huì)涉及幾個(gè)主題或同一主題的多個(gè)方面,如果能夠自動(dòng)劃分出文本的這種語義結(jié)構(gòu),將語義段落作為基本處理單元,則會(huì)極大的改善傳統(tǒng)文本處理技術(shù)以篇章作為基本處理單元的現(xiàn)象,對(duì)文本的分析可以從原來的篇章級(jí)別細(xì)致到語義段落級(jí)別。文本分割技術(shù)能夠?qū)⒁黄谋景凑照Z義關(guān)系自動(dòng)識(shí)別為具有獨(dú)立意義的若干個(gè)語義段落,并用標(biāo)記將其區(qū)分以備深層分析之用。
　　 文本的內(nèi)容是由詞組成的,而詞又要放到文本中去理解,詞與文本之間是相互制約

2、的。文本為了描述同一核心主題,而頻繁的出現(xiàn)相同或相似的詞匯,這種詞匯集聚現(xiàn)象直觀的反映了主題的相似性。人們閱讀時(shí)也往往通過重復(fù)出現(xiàn)的詞匯了解文本內(nèi)容。這里所說的詞匯重復(fù)也包括詞匯的語義重復(fù)。本論文通過分析文本分割領(lǐng)域著名的模型來總結(jié)基于內(nèi)容的文本分割模型的設(shè)計(jì)理念。
　　 文本分割的本質(zhì)是根據(jù)主題相似性線索在文本內(nèi)部找到主題與主題之間的邊界位置,使得同一語義段落內(nèi)部具有最大的主題相似性,而不同語義段落之間具有最小的主題相似性。因

3、此,一個(gè)文本分割模型要解決的最根本問題就是主題相似性度量和邊界搜索策略。本文提出了綜合考慮文本相似度,區(qū)域相似度、語義段落長(zhǎng)度、基于句對(duì)距離的相似度加權(quán)策略等多種線索來刻畫主題相似性,在此基礎(chǔ)上選擇合適的邊界搜索策略,獲得性能上的優(yōu)勢(shì)。
　　 本文通過研究文本分割領(lǐng)域著名模型,針對(duì)其存在的問題,提出自己的解決方案?；谌值奈谋鞠嗨菩?用Dotplotting搜索策略每次分割出一個(gè)主題邊界,本文提出了MMD模型;基于局部的區(qū)域相