基于平行語料庫的無監(jiān)督中文詞性標(biāo)注研究.pdf

1、伴隨著計(jì)算機(jī)綜合能力的日益強(qiáng)大和互聯(lián)網(wǎng)的迅猛發(fā)展,自然語言處理已經(jīng)成為信息處理領(lǐng)域一個(gè)引人注目的研究熱點(diǎn)。詞性標(biāo)注是自然語言處理的重要內(nèi)容,也是自然語言處理工作的一個(gè)非常有用的預(yù)處理過程,它的準(zhǔn)確程度將直接影響到后續(xù)的一系列分析處理任務(wù)的效果。
　　 本文首先探索了基于單語料庫的無監(jiān)督中文詞性標(biāo)注。本文提出了一種基于條件隨機(jī)場(CRFs)模型的無監(jiān)督的中文詞性標(biāo)注方法,主要思路為:(1)利用詞典對獲得的已分好詞的生文本進(jìn)行詞性標(biāo)

2、注；(2)采用已定義的規(guī)則對未登錄詞進(jìn)行標(biāo)注,獲得初始標(biāo)注語料；(3)利用CRFs對語料進(jìn)行迭代標(biāo)注,逐步優(yōu)化標(biāo)注結(jié)果。關(guān)于特征的選擇,本文在探索了適用于無監(jiān)督詞性標(biāo)注的上下文特征的基礎(chǔ)上,提出了詞語類別的特征,用于特征模板。本文以賓州中文樹庫為實(shí)驗(yàn)語料,考查了不同規(guī)模的標(biāo)注數(shù)據(jù)對模型性能的影響,實(shí)驗(yàn)結(jié)果表明,本文提出的無監(jiān)督詞性標(biāo)注方法提高了中文詞性標(biāo)注的性能。
　　 在此基礎(chǔ)上,考慮到在詞性標(biāo)注過程中,往往很難根據(jù)詞(其是兼

3、類詞)的上下文信息判斷其詞性,從而產(chǎn)生歧義,本文提出了基于平行語料庫的中文無監(jiān)督詞性標(biāo)注。主要思路為:(1)半自動構(gòu)造了一個(gè)中英平行雙語語料庫；(2)使用GIZA++工具對詞語進(jìn)行雙向?qū)R,并進(jìn)行修訂；(3)對英文語料庫進(jìn)行詞性標(biāo)注,以獲得中文詞語對應(yīng)的英文單詞的詞性,并將其作為一個(gè)特征加入到特征模板。本文在多個(gè)語料上分別進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,通過獲取句子對應(yīng)的英文詞性,能夠進(jìn)一步提高中文詞性標(biāo)注的性能,說明了本文提出的無監(jiān)督方法對