基于詞平面的現(xiàn)代漢語(yǔ)高效分詞方法研究.pdf

1、漢語(yǔ)分詞是中文信息處理的一項(xiàng)基礎(chǔ)性研究課題，其重要性不言而喻。雖然漢語(yǔ)分詞相關(guān)研究已有20多年，但仍有一部分問(wèn)題沒(méi)有得到解決，這也是研究人員至今仍然對(duì)該課題進(jìn)行研究的原因。 目前漢語(yǔ)分詞的困惑主要是：1、分詞算法要么切分速度快，而正確率較低，如最大匹配法；2、要么切分正確率較高，而切分速度較慢。針對(duì)這個(gè)兩難的問(wèn)題本文給出了一個(gè)基于詞平面的一體化切詞算法，該方法有效提高了分詞的速度，同時(shí)保證切分詞語(yǔ)的準(zhǔn)確率。同時(shí)該算法還提出了特定

2、領(lǐng)域支撐系統(tǒng)的方法，有效解決了農(nóng)業(yè)等特定領(lǐng)域詞匯切分出錯(cuò)的問(wèn)題。 基于詞平面的一體化切詞算法對(duì)分詞速度的改進(jìn)主要在三個(gè)方面。這三個(gè)方面分別為：詞典結(jié)構(gòu)、切詞算法、最短路徑搜索算法。區(qū)別于以往的分詞詞典結(jié)構(gòu)，本研究提出了雙數(shù)組 Tile 的漢語(yǔ)詞典結(jié)構(gòu)，該結(jié)構(gòu)有效提高了一元和二元詞典的檢索效率，同時(shí)降低詞典的空間復(fù)雜度。在切詞算法上，本研究提出了基于局部歧義詞網(wǎng)格的切詞算法，該算法可以有效過(guò)濾掉切分過(guò)程中的“碎詞”，這樣降低了后續(xù)