基于Web的領域詞典構建技術研究.pdf

1、領域術語是反映領域特征的詞語，可以從一定規(guī)模的語料中自動抽取。領域術語自動抽取是自然語言處理中的一項重要任務，可以應用到領域本體構建、專業(yè)搜索、文本分類、類語言建模等諸多領域。同時，互聯(lián)網上特定領域的文本資源非常豐富，因此，如何利用互聯(lián)網上大規(guī)模的特定領域語料來構建領域詞典就成為一個既有挑戰(zhàn)性又有實際價值的課題。
　　本文系統(tǒng)闡述并實現(xiàn)了一套WEB領域詞典構建技術。通過對系統(tǒng)功能的分析，我們把系統(tǒng)分成了WEB領域文本收集、語料預處

2、理、領域新詞發(fā)現(xiàn)和領域特征詞抽取四部分。
　　與傳統(tǒng)的領域術語抽取不同，我們首先需要收集WEB領域文本。該部分采用廣度優(yōu)先的算法獲取特定類型的網頁，我們針對其中的關鍵點快速的主題過濾算法展開了相關研究，設計并實現(xiàn)了一個基于向量空間模型的主題過濾模塊。
　　在語料的預處理部分，我們采用了一種基于統(tǒng)計的網頁正文抽取方法，首先對網頁進行規(guī)范化處理表示為一棵DOM樹，然后統(tǒng)計各節(jié)點的內容信息進行正文抽取，該方法實現(xiàn)簡單，通用性好，在

3、準確性和速度上基本都能滿足系統(tǒng)的需要。
　　在領域新詞發(fā)現(xiàn)部分，我們采用了基于統(tǒng)計和規(guī)則相結合的方法識別新詞，在詞頻統(tǒng)計的基礎上通過添加獨立成詞概率等層層過濾候選詞。目前該模塊綜合F值可達70％以上。
　　在領域特征詞抽取部分，我們使用基于正規(guī)化分布熵的領域詞匯抽取策略，并且將位置成詞概率引入該方法中，取得了不錯的效果。
　　總之，通過對實驗觀察和結果分析，本課題實現(xiàn)了WEB領域文本收集、語料預處理、領域新詞發(fā)現(xiàn)和領域