中文分詞中歧義字段切分的研究.pdf

1、論文對(duì)國(guó)內(nèi)現(xiàn)有的幾種漢語自動(dòng)分詞中的歧義字段切分算法進(jìn)行討論，重點(diǎn)分析了BP神經(jīng)網(wǎng)絡(luò)的局限，提出了改進(jìn)，建立了新的BP網(wǎng)絡(luò)歧義切分模型，使其對(duì)于歧義字段的切分精度和效率進(jìn)一步的提高，為中文分詞領(lǐng)域的擴(kuò)展開闊了新天地。
　　首先，論文指出中文分詞中一個(gè)棘手的問題就是歧義字段的切分，并介紹了歧義字段產(chǎn)生的原因以及類別，分析研究常見的三種分詞方法針對(duì)歧義切分的優(yōu)缺點(diǎn)，得出最適合高效切分歧義字段的分詞算法是基于神經(jīng)網(wǎng)絡(luò)的分詞法的結(jié)論。

2、r>　　其次，論文對(duì)神經(jīng)網(wǎng)絡(luò)分詞法的核心算法BP網(wǎng)絡(luò)做了詳細(xì)的闡述，在此基礎(chǔ)上建立BP網(wǎng)絡(luò)的歧義切分模型并對(duì)其模型如何進(jìn)行歧義字段的切分做了詳細(xì)的解釋。然后，對(duì)切分模型的優(yōu)缺點(diǎn)分析，針對(duì)其缺點(diǎn)提出改進(jìn)算法，形成了以BP網(wǎng)絡(luò)中梯度下降法為核心的，采用分層自適應(yīng)學(xué)習(xí)率代替固定的學(xué)習(xí)率，在一定條件下融合模擬退火算法的新算法。在新算法的基礎(chǔ)上建立新的歧義切分模型。
　　最后，論文進(jìn)行新舊模型的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)表明，改進(jìn)后的新模型不僅克服