領域知識的獲取.pdf

1、知識庫是自然語言處理系統(tǒng)的基礎，為系統(tǒng)“理解”自然語言并順利完成任務提供有力的知識保障。本文針對領域知識的獲取進行了研究和探索，提出了一些新的處理技術和模型。主要創(chuàng)新點包括： 1．針對領域知識源獲取過程中的網(wǎng)絡冗余信息問題，提出了一種基于關鍵詞序列的網(wǎng)絡文本信息去重算法——KSM。以全信息理論為依據(jù)，使用文檔的關鍵詞序列來描述其結(jié)構特征和內(nèi)涵特征，通過比較主題相似文檔的關鍵詞序列的重疊度，判斷是否存在信息冗余現(xiàn)象。在各類隱式重復

2、檢測實驗中，KSM算法的總體準確率和召回率分別達到了99.2％和97.7％，顯示了較好的性能。 2．針對低頻術語抽取召回率較低的問題，提出了一種基于語言認知理論的中文術語自動抽取算法，借助科技論文的話語標記，在C-value測度和SCP_f測度中引入候選術語的加權詞頻因子，提出了一種MC-SCP測度，用于候選術語的單元性和術語性的綜合評價。在車牌識別領域的術語抽取實驗中，基于MC-SCP測度的算法召回率和準確率分別是96.5％和

3、77.8％，低頻術語的召回率和準確率則分別是96.2％和79.3％；在保證術語抽取整體性能的同時，顯著改善了低頻術語的抽取效果。 3．針對術語關系類型的多樣化問題，提出了一種基于多策略的術語關系自動獲取模型。根據(jù)科技論文的語言學特點，綜合術語的內(nèi)部特征和外部特征，從多個層面發(fā)現(xiàn)和獲取術語間的各種關系，包括：基于規(guī)則的術語同義關系獲取、基于結(jié)構相似性的術語層級關系獲取、基于完全加權關聯(lián)規(guī)則的術語非層級關系獲取、基于粒子群的術語聚類

4、等。在術語非層級關系獲取中，提出了一種基于非頻繁項集多重剪枝檢測的完全加權關聯(lián)規(guī)則挖掘算法——AWARM-MPIS，用于完全加權關聯(lián)規(guī)則的頻繁項集生成和剪枝，取得了良好的效果；在術語分組關系獲取中，提出了一種基于粒子群的術語聚類算法，使用術語的結(jié)構相似性(內(nèi)部特征)和關聯(lián)度(外部特征)來評價術語的語義相似性。實驗結(jié)果表明，其平均運行時間與迭代次數(shù)比K-Means提高了2個級別。 4．針對多領域科技論文的大量出現(xiàn)與編輯人員專業(yè)知識