基于雙字哈希的PAT樹詞典機制的研究.pdf

1、中文自動分詞是中文信息領(lǐng)域中的一項重要的基礎(chǔ)性工作,同時中文信息處理技術(shù)也是重要的計算機技術(shù),它已廣泛地滲透到如數(shù)據(jù)庫技術(shù)、計算機網(wǎng)絡(luò)、軟件工程等計算機應(yīng)用領(lǐng)域中。由于中文文本詞問無間隙且按句連寫,因此在中文文本處理中,詞的正確切分問題是首要問題。高效準確的分詞系統(tǒng)在是信息處理的必要條件。
　　 本文論述了基于雙字哈希的PAT樹詞典機制及基于該機制的分詞詞典的建立問題。本文對三種典型的分詞詞典機制、基于雙字哈希的詞典機制、基于P

2、AT樹的詞典機制及四字哈希詞典機制進行了探討與研究,并針對這些機制存在的問題提出了改進措施。雙字哈希的詞典機制針對中文文本中雙字詞占較大比例的特點,利用哈希查找的高效性,對詞條的前兩字采用哈希散列的方法。通過實驗證明,這種詞典機制在雙字詞的處理上效率較高,但在多字詞的處理上有待提高?；赑AT樹的詞典機制在時間效率上有優(yōu)越性,但卻需要更多的存儲空間。針對這樣的情況,本文提出了基于雙字哈希的PAT樹詞典機制,并對基于該機制詞典的查詢及更新

3、進行了詳細的論述?；陔p字哈希的PAT樹詞典機制不僅吸取了雙字哈希處理雙字詞的高效性,同時也將多字詞切分的時間效率提高。由于對前兩字采用哈希散列,PAT樹的深度也得到了控制。
　　 本文對基于雙字哈希的PAT樹詞典的生成過程也進行了描述,并且在3GWS分詞系統(tǒng)中加載了該機制的詞典,對其時間及空間效率進行了測試。實驗證明,基于雙字哈希的PAT樹詞典機制,在時間效率上較逐字二分詞典機制及雙字哈希機制均有明顯提高,在空間效率上較PAT

4、樹機制有了很大改善,并且在詞典的更新方面效率也較高。
　　 本文分析了常用的機械分詞方法和統(tǒng)計分詞方法基礎(chǔ)上,設(shè)計并實現(xiàn)了一個基于機械與統(tǒng)計相結(jié)合的分詞系統(tǒng)。為使得機械分詞方法和統(tǒng)計分詞方法能有機結(jié)合,優(yōu)勢互補,最大發(fā)揮各自性能,本文在如下幾方面作了深入研究:在機械分詞階段,將最大匹配長度的賦值方式由靜態(tài)分配改進為動態(tài)分配,以減少不必要的匹配操作;將詞頻信息作為切分評估的另一標準,以彌補“長詞優(yōu)先”標準的不足。在統(tǒng)計分詞階段,為