特定領(lǐng)域漢語分詞標(biāo)準(zhǔn)制定方法的研究.pdf

1、漢語分詞作為中文自然語言處理研究的基礎(chǔ)性工作，在中文信息處理中扮演著重要的角色。隨著中文信息處理的發(fā)展，特定領(lǐng)域漢語分詞的需求增大。但是由于特定領(lǐng)域分詞標(biāo)注語料匱乏，使得現(xiàn)有的基于通用領(lǐng)域的分詞系統(tǒng)對特定領(lǐng)域文本進(jìn)行分詞時(shí)會(huì)造成分詞精度下降，原因在于:(1)特定領(lǐng)域?qū)I(yè)術(shù)語切分存在多樣性，缺少分詞標(biāo)準(zhǔn)來規(guī)范，從而影響分詞精度;(2)特定領(lǐng)域與通用領(lǐng)域詞匯結(jié)合時(shí)所產(chǎn)生的“跨界”問題，也就是交集型歧義切分問題。現(xiàn)有分詞系統(tǒng)并不能對此問題提供

2、良好的解決方案，從而造成分詞精度下降。
　　針對以上兩個(gè)問題，本文研究特定領(lǐng)域分詞標(biāo)準(zhǔn)制定的方法，規(guī)范特定領(lǐng)域?qū)I(yè)術(shù)語切分方式，標(biāo)注特定領(lǐng)域語料，提高特定領(lǐng)域分詞精度;提出融合少量標(biāo)注數(shù)據(jù)的統(tǒng)計(jì)方法來解決交集性歧義切分問題，從而提高分詞精度。本文主要包括以下兩方面工作:
　　(1)針對特定領(lǐng)域分詞標(biāo)準(zhǔn)缺乏的問題，本文提出基于統(tǒng)計(jì)特征的決策樹分類方法，利用已有的新聞?lì)I(lǐng)域分詞標(biāo)準(zhǔn)中的詞語統(tǒng)計(jì)特征，包括AV值、邊界熵和字符串頻度值

3、特征，并結(jié)合特定領(lǐng)域詞語特征混合訓(xùn)練分類模型，用于專業(yè)術(shù)語判定，制定特定領(lǐng)域漢語分詞標(biāo)準(zhǔn)。在制定的分詞標(biāo)準(zhǔn)指導(dǎo)下，本文對科技領(lǐng)域語料自動(dòng)標(biāo)注，獲得大規(guī)模標(biāo)注語料。實(shí)驗(yàn)結(jié)果顯示，邊界熵、AV值和字符串頻度值統(tǒng)計(jì)特征在決策樹分類模型中獲得最好結(jié)果，在此分詞標(biāo)注指導(dǎo)下構(gòu)建的自動(dòng)標(biāo)注系統(tǒng)獲得分詞精度的提升。
　　(2)特定領(lǐng)域文本含有大量領(lǐng)域特有專業(yè)術(shù)語，使得術(shù)語與通用詞語相鄰時(shí)位于各自邊界的漢字容易成詞，為分詞邊界切分引入更多不確定性，

4、導(dǎo)致分詞精度下降，被稱為交集型歧義切分問題。針對交集型歧義切分問題，本文提出基于主動(dòng)學(xué)習(xí)的局部數(shù)據(jù)標(biāo)注方法，實(shí)現(xiàn)模型的領(lǐng)域自適應(yīng)。其基本思想是利用原模型對特定領(lǐng)域文本分詞，選取通用詞語標(biāo)注錯(cuò)誤的語句，只對句子中通用詞語錯(cuò)誤的局部字串進(jìn)行標(biāo)注，然后將標(biāo)注數(shù)據(jù)并入訓(xùn)練語料重新訓(xùn)練模型，實(shí)現(xiàn)原模型向特定領(lǐng)域的適應(yīng)。本文采用基于CRFs的分詞模型。實(shí)驗(yàn)結(jié)果表明，本文所提方法通過少量的人工標(biāo)注數(shù)據(jù)有效的解決了交集型歧義切分問題。
　　綜上所