自動(dòng)術(shù)語識(shí)別的研究與實(shí)現(xiàn).pdf

1、本文介紹了一些經(jīng)典的自動(dòng)術(shù)語識(shí)別(ATR)算法，并對(duì)于它們的思想進(jìn)行深入的分析和總結(jié)，并進(jìn)行了相關(guān)的實(shí)驗(yàn)比較，對(duì)于其中的算法做了量化的評(píng)估。通過引入集成排序的思想來提高自動(dòng)術(shù)語識(shí)別精準(zhǔn)度，并設(shè)計(jì)了多種方法進(jìn)行對(duì)比分析。本文還進(jìn)行了半結(jié)構(gòu)化術(shù)語抽取問題的研究，提出了自己的解決方法。
　　首先，本文對(duì)于ATR算法的基本思想以及統(tǒng)計(jì)學(xué)的ATR算法進(jìn)行概要的介紹，對(duì)于這些算法進(jìn)行了特征分析，對(duì)它們的基本原理進(jìn)行了總結(jié)，給出了詳細(xì)的公式以及

2、示例。領(lǐng)域語料庫需要先進(jìn)行一些預(yù)處理之后才能形成候選術(shù)語，這樣才能夠直接應(yīng)用到基礎(chǔ)的ATR算法。本文是基于統(tǒng)計(jì)學(xué)特征的算法，因此從不同的方面來描述統(tǒng)計(jì)學(xué)的信息顯得尤為重要，并因此而通過成熟的ATR算法來參考其特征提取。
　　為了進(jìn)一步提高ATR算法的識(shí)別精準(zhǔn)度，本文引入排序集成的思想來進(jìn)一步處理術(shù)語識(shí)別的問題。即在多個(gè)有序序列的基礎(chǔ)上進(jìn)行集成，形成一個(gè)新的序列。這樣的一個(gè)序列是加強(qiáng)了有效的特征，使術(shù)語的重要特征能夠更加明顯的表現(xiàn)出

3、來。已有一些基礎(chǔ)的集成方法可以進(jìn)行處理來形成新的排序序列，但這樣的序列并不能保證滿足一些基本的投票標(biāo)準(zhǔn)。本文采用了局部Kemeny最優(yōu)方法處理術(shù)語識(shí)別問題，在盡量降低多組序列逆序?qū)χ偷幕A(chǔ)上，保持較高的執(zhí)行效率。該方法先在多個(gè)ATR算法產(chǎn)生的序列集上使用基礎(chǔ)的集成方法生成一個(gè)初始的集成序列，然后再進(jìn)行局部Kemeny最優(yōu)化，使其能夠與初始集成序列保持一致，同時(shí)又滿足孔多塞標(biāo)準(zhǔn)。這樣的方法能夠保持一個(gè)較小的SK值，使孔多塞贏家保持在序列

4、的前面。
　　除此以外，本文還進(jìn)行了半結(jié)構(gòu)化文檔自動(dòng)術(shù)語提取的研究。互聯(lián)網(wǎng)中有海量的數(shù)據(jù)信息，如何利用上面的資源進(jìn)行領(lǐng)域術(shù)語的提取并構(gòu)建相關(guān)的大量應(yīng)用將具有非常重要的前景。從數(shù)據(jù)源中獲取半結(jié)構(gòu)化的領(lǐng)域語料庫后，首先是對(duì)于半結(jié)構(gòu)化文檔資源進(jìn)行文本的抽取和整理。特別是對(duì)于不規(guī)范的文檔需要使用了相關(guān)的抽取工具進(jìn)行處理，將其標(biāo)簽結(jié)構(gòu)等問題規(guī)范化。
　　對(duì)于規(guī)范的半結(jié)構(gòu)化文檔，鑒于其具有樹狀結(jié)構(gòu)，將其抽取成一個(gè)DOM樹，然后以數(shù)據(jù)文本

5、為基本單位進(jìn)行屬性特征的提取，數(shù)據(jù)文本往往分布在其葉子節(jié)點(diǎn)當(dāng)中，候選術(shù)語是在單個(gè)數(shù)據(jù)文本里面經(jīng)過相關(guān)預(yù)處理后生成的。經(jīng)過分析文檔組織結(jié)構(gòu)和大量的試驗(yàn)對(duì)比，本文使用了數(shù)據(jù)文本的長度、超鏈接屬性和結(jié)構(gòu)層級(jí)等信息來進(jìn)行統(tǒng)計(jì)實(shí)現(xiàn)，在解析文檔的過程中需要對(duì)于這些半結(jié)構(gòu)化屬性進(jìn)行記錄，這樣在該數(shù)據(jù)文本上的生成的候選術(shù)語便有了相應(yīng)的半結(jié)構(gòu)化屬性值。對(duì)候選術(shù)語上的各個(gè)屬性信息進(jìn)行統(tǒng)計(jì)計(jì)算，以各個(gè)屬性分別產(chǎn)生半結(jié)構(gòu)化信息上的序列，生成序列集。然后去掉標(biāo)簽