基于Web的領(lǐng)域詞典構(gòu)建技術(shù)研究.pdf

1、領(lǐng)域術(shù)語是反映領(lǐng)域特征的詞語，可以從一定規(guī)模的語料中自動(dòng)抽取。領(lǐng)域術(shù)語自動(dòng)抽取是自然語言處理中的一項(xiàng)重要任務(wù)，可以應(yīng)用到領(lǐng)域本體構(gòu)建、專業(yè)搜索、文本分類、類語言建模等諸多領(lǐng)域。同時(shí)，互聯(lián)網(wǎng)上特定領(lǐng)域的文本資源非常豐富，因此，如何利用互聯(lián)網(wǎng)上大規(guī)模的特定領(lǐng)域語料來構(gòu)建領(lǐng)域詞典就成為一個(gè)既有挑戰(zhàn)性又有實(shí)際價(jià)值的課題。
　　本文系統(tǒng)闡述并實(shí)現(xiàn)了一套WEB領(lǐng)域詞典構(gòu)建技術(shù)。通過對(duì)系統(tǒng)功能的分析，我們把系統(tǒng)分成了WEB領(lǐng)域文本收集、語料預(yù)處

2、理、領(lǐng)域新詞發(fā)現(xiàn)和領(lǐng)域特征詞抽取四部分。
　　與傳統(tǒng)的領(lǐng)域術(shù)語抽取不同，我們首先需要收集WEB領(lǐng)域文本。該部分采用廣度優(yōu)先的算法獲取特定類型的網(wǎng)頁，我們針對(duì)其中的關(guān)鍵點(diǎn)快速的主題過濾算法展開了相關(guān)研究，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于向量空間模型的主題過濾模塊。
　　在語料的預(yù)處理部分，我們采用了一種基于統(tǒng)計(jì)的網(wǎng)頁正文抽取方法，首先對(duì)網(wǎng)頁進(jìn)行規(guī)范化處理表示為一棵DOM樹，然后統(tǒng)計(jì)各節(jié)點(diǎn)的內(nèi)容信息進(jìn)行正文抽取，該方法實(shí)現(xiàn)簡單，通用性好，在

3、準(zhǔn)確性和速度上基本都能滿足系統(tǒng)的需要。
　　在領(lǐng)域新詞發(fā)現(xiàn)部分，我們采用了基于統(tǒng)計(jì)和規(guī)則相結(jié)合的方法識(shí)別新詞，在詞頻統(tǒng)計(jì)的基礎(chǔ)上通過添加獨(dú)立成詞概率等層層過濾候選詞。目前該模塊綜合F值可達(dá)70％以上。
　　在領(lǐng)域特征詞抽取部分，我們使用基于正規(guī)化分布熵的領(lǐng)域詞匯抽取策略，并且將位置成詞概率引入該方法中，取得了不錯(cuò)的效果。
　　總之，通過對(duì)實(shí)驗(yàn)觀察和結(jié)果分析，本課題實(shí)現(xiàn)了WEB領(lǐng)域文本收集、語料預(yù)處理、領(lǐng)域新詞發(fā)現(xiàn)和領(lǐng)域