中文分詞中歧義字段切分的研究.pdf

1、論文對國內(nèi)現(xiàn)有的幾種漢語自動分詞中的歧義字段切分算法進行討論，重點分析了BP神經(jīng)網(wǎng)絡的局限，提出了改進，建立了新的BP網(wǎng)絡歧義切分模型，使其對于歧義字段的切分精度和效率進一步的提高，為中文分詞領(lǐng)域的擴展開闊了新天地。
　　首先，論文指出中文分詞中一個棘手的問題就是歧義字段的切分，并介紹了歧義字段產(chǎn)生的原因以及類別，分析研究常見的三種分詞方法針對歧義切分的優(yōu)缺點，得出最適合高效切分歧義字段的分詞算法是基于神經(jīng)網(wǎng)絡的分詞法的結(jié)論。

2、r>　　其次，論文對神經(jīng)網(wǎng)絡分詞法的核心算法BP網(wǎng)絡做了詳細的闡述，在此基礎(chǔ)上建立BP網(wǎng)絡的歧義切分模型并對其模型如何進行歧義字段的切分做了詳細的解釋。然后，對切分模型的優(yōu)缺點分析，針對其缺點提出改進算法，形成了以BP網(wǎng)絡中梯度下降法為核心的，采用分層自適應學習率代替固定的學習率，在一定條件下融合模擬退火算法的新算法。在新算法的基礎(chǔ)上建立新的歧義切分模型。
　　最后，論文進行新舊模型的對比實驗。實驗數(shù)據(jù)表明，改進后的新模型不僅克服