中文未登錄詞識(shí)別的研究及在漢字輸入法中的應(yīng)用.pdf

1、本文針對(duì)漢字輸入系統(tǒng)中輸入法詞庫(kù)碼本缺乏對(duì)未登錄詞動(dòng)態(tài)更新的問(wèn)題，提出了一個(gè)從網(wǎng)上獲得語(yǔ)料，利用“碎片分詞”和“詞結(jié)合提取”的方法識(shí)別語(yǔ)料中的未登錄詞，并實(shí)現(xiàn)漢字輸入系統(tǒng)中詞庫(kù)碼本的動(dòng)態(tài)更新的系統(tǒng)ZHHZ-UCWRS?！　∥恼率紫冉榻B了如何新聞網(wǎng)站上獲取語(yǔ)料，構(gòu)建一個(gè)用于未登錄識(shí)別的語(yǔ)料庫(kù)的方法；然后，重點(diǎn)討論了如何從語(yǔ)料中識(shí)別未登錄的方法，提出了根據(jù)字頻和字符串長(zhǎng)度確定的字串權(quán)值，利用貪心算法切分碎片，獲取碎片中的未登錄詞“碎片分詞

2、”方法，并在此基礎(chǔ)上，通過(guò)建立二元模型結(jié)合互相息和規(guī)則過(guò)濾，提出了在“碎片分詞”基礎(chǔ)上進(jìn)行“詞結(jié)合提取”方法，獲得語(yǔ)料中的未登錄詞；通過(guò)頻度過(guò)濾等方法去除集合中不適合用于輸入法詞庫(kù)的未登錄詞；最后，對(duì)未登錄詞按照輸入法編碼規(guī)則進(jìn)行編碼，并按照一定格式轉(zhuǎn)入到輸入系統(tǒng)的自定義文本，完成輸入系統(tǒng)詞庫(kù)的動(dòng)態(tài)更新。值得一提的，本文提出的利用“碎片分詞”和“詞結(jié)合提取”的方法識(shí)別語(yǔ)料中的未登錄詞在開(kāi)放測(cè)試中的準(zhǔn)確率達(dá)到81.25％，召回率達(dá)到82.