中文未登錄詞識別的研究及在漢字輸入法中的應(yīng)用.pdf

1、本文針對漢字輸入系統(tǒng)中輸入法詞庫碼本缺乏對未登錄詞動態(tài)更新的問題，提出了一個從網(wǎng)上獲得語料，利用“碎片分詞”和“詞結(jié)合提取”的方法識別語料中的未登錄詞，并實現(xiàn)漢字輸入系統(tǒng)中詞庫碼本的動態(tài)更新的系統(tǒng)ZHHZ-UCWRS?！　∥恼率紫冉榻B了如何新聞網(wǎng)站上獲取語料，構(gòu)建一個用于未登錄識別的語料庫的方法；然后，重點討論了如何從語料中識別未登錄的方法，提出了根據(jù)字頻和字符串長度確定的字串權(quán)值，利用貪心算法切分碎片，獲取碎片中的未登錄詞“碎片分詞

2、”方法，并在此基礎(chǔ)上，通過建立二元模型結(jié)合互相息和規(guī)則過濾，提出了在“碎片分詞”基礎(chǔ)上進(jìn)行“詞結(jié)合提取”方法，獲得語料中的未登錄詞；通過頻度過濾等方法去除集合中不適合用于輸入法詞庫的未登錄詞；最后，對未登錄詞按照輸入法編碼規(guī)則進(jìn)行編碼，并按照一定格式轉(zhuǎn)入到輸入系統(tǒng)的自定義文本，完成輸入系統(tǒng)詞庫的動態(tài)更新。值得一提的，本文提出的利用“碎片分詞”和“詞結(jié)合提取”的方法識別語料中的未登錄詞在開放測試中的準(zhǔn)確率達(dá)到81.25％，召回率達(dá)到82.