信息檢索用漢語分詞與未登錄詞識別技術研究.pdf

1、漢語分詞是中文信息處理中最基礎的部分。信息檢索用漢語分詞要求分詞算法具備一定的歧義識別與未登錄詞識別功能。 本文深入研究了未登錄詞識別技術，根據(jù)人在閱讀時識別新詞的思維過程，提出了一種新的未登錄詞識別算法，其中的數(shù)量詞識別規(guī)則、邊界單字規(guī)則、虛字輔助規(guī)則、未登錄詞記憶識別規(guī)則以及左方探測法、右方探測法選取未登錄詞規(guī)則等，使得算法在不依賴大型語料庫的前提下可以有效地識別多種領域中各種類型的未登錄詞。同時，算法通過對正向、逆向雙向分

2、詞算法的結果進行比較，能識別出絕大部分的交集歧義，使得未登錄詞識別與切分歧義識別一體化，有效地解決了識別未登錄詞時導致的新的切分歧義問題。接著，本文改進了詞表組織結構，改善了詞表查詢算法，在提高分詞效率的同時也使得詞表的囊括度更大、更新維護更加靈活。 在此基礎上，針對信息檢索領域的特點以及對分詞算法的要求，本文提出了漢語自適應分詞算法，并設計開發(fā)出了漢語分詞基礎模塊CarmmLib．d11以及漢語自適應分詞系統(tǒng)Carmm。Car

3、mm用戶可以定制詞表，定制分詞結果以及可以對詞表、未登錄詞表等詞表進行管理維護等。Carmm還具備很好的擴展性和可移植性。 最后，本文對Carmm與中科院的分詞系統(tǒng)ICTCLAS開源版進行了全面測評，包括系統(tǒng)效能測評(系統(tǒng)基本性能測評、負荷測評、穩(wěn)定性測評)、系統(tǒng)分詞準確率測評、系統(tǒng)未登錄詞識別的準確率和召回率測評。在整個測評過程中，carIIlITl的分詞速率可以穩(wěn)定在100KB/s左右。在人民日報語料庫的開放測評中，Carm

4、m系統(tǒng)的分詞準確率約為91.2％。在網絡時文的開放測評中，Carmm系統(tǒng)的分詞準確率約為90.1％，接近于ICTCLAS開源版的91.3％；未登錄詞識別的準確率約為91.2％，略低于ICTCLAS開源版的93.9％；而未登錄詞識別的召回率約為94.7％，明顯高于ICTCLAS開源版的89.0％。與此同時，Carmm系統(tǒng)在分詞速率、處理大量未登錄詞的速率穩(wěn)定性、面對高負荷系統(tǒng)環(huán)境的健壯性、系統(tǒng)易用性、系統(tǒng)抗干擾性等方面都優(yōu)于ICTCLAS