漢語(yǔ)逗號(hào)與冒號(hào)的自動(dòng)分類識(shí)別研究.pdf

1、標(biāo)點(diǎn)符號(hào)研究是篇章分析中最基本的一個(gè)研究任務(wù)。有效識(shí)別標(biāo)點(diǎn)符號(hào)在句子中的作用,是篇章分析研究的一個(gè)關(guān)鍵。因此,標(biāo)點(diǎn)符號(hào)識(shí)別是一項(xiàng)很有意義的研究工作。本文針對(duì)標(biāo)點(diǎn)符號(hào)多元分類的自動(dòng)識(shí)別問(wèn)題進(jìn)行了深入的研究,主要內(nèi)容包括以下三個(gè)方面：
　?、盘岢隽艘环N基于句子的分詞與詞性標(biāo)注信息進(jìn)行漢語(yǔ)逗號(hào)自動(dòng)分類的方法。核心工作是特征的篩選與抽取。我們分別采用最大熵模型和CRF模型構(gòu)建逗號(hào)分類器,實(shí)現(xiàn)對(duì)漢語(yǔ)逗號(hào)的七元分類與識(shí)別。實(shí)驗(yàn)結(jié)果顯示,使用C

2、RF模型的識(shí)別正確率要高于使用最大熵模型的識(shí)別正確率,且這兩種模型的分類精度都非常接近基于句法分析方法的分類精度,證明本文提出的方法是可行的。
　?、铺岢隽艘环N針對(duì)漢語(yǔ)冒號(hào)的標(biāo)注體系與識(shí)別方法。本文收集了含有大量漢語(yǔ)冒號(hào)的語(yǔ)料,并在對(duì)漢語(yǔ)冒號(hào)的使用方法進(jìn)行統(tǒng)計(jì)與分析后,制定了漢語(yǔ)冒號(hào)的七元分類的分類標(biāo)準(zhǔn),然后在分詞與詞性標(biāo)注的語(yǔ)料上,進(jìn)行漢語(yǔ)冒號(hào)七元分類標(biāo)簽的人工標(biāo)注。本文使用規(guī)則法和最大熵模型法實(shí)現(xiàn)冒號(hào)的自動(dòng)分類與識(shí)別,并將基于

3、規(guī)則法進(jìn)行冒號(hào)自動(dòng)分類與識(shí)別的實(shí)驗(yàn)作為本文的基準(zhǔn)系統(tǒng)。實(shí)驗(yàn)結(jié)果表明,基于最大熵模型的自動(dòng)識(shí)別正確率明顯高于基準(zhǔn)系統(tǒng)的自動(dòng)識(shí)別正確率。
　?、茄芯苛送ㄟ^(guò)添加其他標(biāo)點(diǎn)符號(hào)的分類標(biāo)簽作為新特征的方法,來(lái)提高漢語(yǔ)逗號(hào)自動(dòng)分類與識(shí)別的正確率。通過(guò)對(duì)CTB6.0語(yǔ)料的統(tǒng)計(jì)與分析發(fā)現(xiàn),漢語(yǔ)冒號(hào)和分號(hào)都對(duì)逗號(hào)的自動(dòng)分類識(shí)別結(jié)果存在影響。經(jīng)實(shí)驗(yàn)驗(yàn)證:分別添加漢語(yǔ)冒號(hào)與分號(hào)分類標(biāo)簽作為新特征時(shí),可以不同程度的提高漢語(yǔ)逗號(hào)七元分類的自動(dòng)識(shí)別正確率,當(dāng)同