基于詞典和詞頻分析的論壇語料未登錄詞識別研究.pdf

1、中文自動分詞技術是中文信息處理的一個基礎性課題,在中文信息處理中,首先需要對詞進行切分,然后才能進行更深層次應用研究,隨著信息科技的高速發(fā)展,Internet的中文信息量的飛速增長對中文分詞準確性的要求越來越高,未登錄詞識別問題一直是制約中文分詞效率的瓶頸,為了有效解決中文分詞中未登錄詞識別效率低的問題,本文提出了一種基于詞典和詞頻分析相結合的網(wǎng)絡論壇語料未登錄詞識別策略,將從以下幾個方面展開。
　　 (1)選取天涯論壇數(shù)據(jù)構建

2、動態(tài)語料庫,利用網(wǎng)絡蜘蛛WebLech爬取技術,下載天涯論壇數(shù)據(jù)至本地硬盤,利用基于Java解析器Jsoup對下載到本地html等網(wǎng)頁文件進行解析,得到干凈的Txt文本文件構建語料庫。將雙字耦合度函數(shù)和T-測試函數(shù)線性疊加構造新的統(tǒng)計量CT來識別語料庫中的候選未登錄詞。CT算法是未登錄詞識別原型系統(tǒng)中學習訓練模塊的重要組成部分,作為判斷候選未登錄詞的依據(jù),將其加入到臨時詞典中,在臨時詞典中統(tǒng)計候選未登錄詞的詞頻,將詞頻大于閾值的候選未登

3、錄詞認定為未登錄詞加入到核心詞典,其余作為高頻非詞字串加入停用詞典。
　　 (2)設計了分詞詞典結構,將分詞詞典設計成核心詞典和擴展詞典兩級結構:核心詞典作為分詞的依據(jù),采用首字hash存儲支持快速查找,詞典以詞組為單位按詞長由長到短順序存儲,這樣可以大大減少匹配次數(shù),提高查找效率。擴展詞典分為臨時詞典和停用詞典,臨時詞典與統(tǒng)計策略相結合,作為候選未登錄詞的學習訓練依據(jù),停用詞典用來存儲高頻非詞字串,這樣可以減少臨時詞典的負擔。

4、優(yōu)化了分詞匹配算法,設計了改進的正向匹配算法AMM。實現(xiàn)了根據(jù)詞組長度動態(tài)設置最大匹配詞長。實驗證明,提高了匹配效率,同時一定程度上解決了多次無效匹配和長詞被切分的問題。
　　 (3)設計實現(xiàn)了未登錄詞原型系統(tǒng)。在整合前面研究的基礎上設計實現(xiàn)了原型系統(tǒng),原型系統(tǒng)包括:語料采集模塊、文檔解析模塊,這兩個模塊用于構建語料庫;系統(tǒng)學習訓練模塊,此模塊用于向核心詞典輸送新詞;分詞模塊,此模塊用于實現(xiàn)中文自動分詞。同時對系統(tǒng)初始化后和學習