基于語(yǔ)素的漢語(yǔ)詞法分析方法研究.pdf

1、作為中文信息處理的關(guān)鍵問(wèn)題之一,漢語(yǔ)詞法分析主要包括分詞、詞性標(biāo)注和詞義消歧三個(gè)子任務(wù)。雖然近年來(lái)漢語(yǔ)詞法分析取得很大進(jìn)展,但處理大規(guī)模開(kāi)放文本時(shí)依然面臨巨大的挑戰(zhàn),尤其是未登錄詞問(wèn)題。因此,如何有效發(fā)掘和表示詞法特征并解決未登錄詞識(shí)別和預(yù)測(cè)問(wèn)題是目前漢語(yǔ)詞法分析研究所面臨的一個(gè)主要困難,同時(shí)也是一個(gè)研究熱點(diǎn)。
　　 本文以大規(guī)模語(yǔ)料庫(kù)為基礎(chǔ),在機(jī)器學(xué)習(xí)框架下,融合詞語(yǔ)內(nèi)部和上下文特征,研究基于語(yǔ)素的漢語(yǔ)詞法分析方法,重點(diǎn)解決漢

2、語(yǔ)未登錄詞識(shí)別及其詞性和詞義預(yù)測(cè)問(wèn)題。具體地,本文從以下三個(gè)方面展開(kāi)研究:
　　 首先,本文以語(yǔ)素為基本構(gòu)詞單位,利用條件隨機(jī)場(chǎng)模型進(jìn)行漢語(yǔ)分詞研究,重點(diǎn)探索了不同標(biāo)記集和不同窗口大小對(duì)基于語(yǔ)素的漢語(yǔ)分詞模型分詞性能的影響。在SIGHAN Bakeoff2005數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明,語(yǔ)素的引入有利于未登錄詞識(shí)別性能的提高。
　　 其次,針對(duì)漢語(yǔ)詞性標(biāo)注中存在的未登錄詞詞性預(yù)測(cè)問(wèn)題,本文以語(yǔ)素為基礎(chǔ),發(fā)掘并融合詞語(yǔ)內(nèi)部的詞

3、法特征,實(shí)現(xiàn)了一個(gè)基于最大熵模型的漢語(yǔ)詞性標(biāo)注系統(tǒng),并重點(diǎn)分析了影響漢語(yǔ)未登錄詞詞性預(yù)測(cè)性能的各種因素。在SIGHAN
　　 Bakeoff2007詞性標(biāo)注數(shù)據(jù)上的實(shí)驗(yàn)表明,基于語(yǔ)素的漢語(yǔ)詞性標(biāo)注方法在未登錄詞詞性預(yù)測(cè)方面具有較大優(yōu)勢(shì)。
　　 最后,本文提出一種基于中心語(yǔ)素的樸素貝葉斯模型,并在該模型下進(jìn)行漢語(yǔ)未登錄詞的詞義預(yù)測(cè)研究。初步的實(shí)驗(yàn)證明,基于中心語(yǔ)素的樸素貝葉斯模型可以在一定程度上解決漢語(yǔ)未登錄詞的詞義預(yù)測(cè)問(wèn)