面向中文陌生文本的人機交互式分詞研究.pdf

1、自動分詞是中文信息處理的基礎(chǔ)課題之一?，F(xiàn)有的分詞軟件和技術(shù)主要是針對現(xiàn)代漢語新聞科技等較為規(guī)范的文本，對于其他領(lǐng)域漢語文本處理能力較差。如何減少系統(tǒng)對先驗知識的依賴，面向不同領(lǐng)域文本、不同分詞標準進行分詞，無論是從實際的需要還是從理論和技術(shù)上看，都是亟需解決的問題。 本文提出了面向中文陌生文本的人機交互式分詞方法，在沒有分詞底表和訓(xùn)練語料等語言知識的條件下，由系統(tǒng)自動地發(fā)現(xiàn)未登錄詞，提交給用戶進行增刪，不斷重復(fù)此過程，反復(fù)獲取文

2、本中的詞語，以得到領(lǐng)域詞表，最后進行最大匹配法分詞。 在自動獲取未登錄詞方面，本文提出了改進的后綴數(shù)組抽取方法，能夠快速高效地提取候選字串，通過互信息篩選，使得抽詞精確率達到70％以上。在獲取方法上，本文也嘗試一改傳統(tǒng)的單次獲取全部未登錄詞的做法，通過閾值的控制，逐批獲取未登錄詞。在相同的閾值條件下，獲取詞條的數(shù)量增加了9％，精確率提高了7％左右。 四個不同語料的實驗顯示，在沒有人機交互的條件下，可以得到72％(F值)左