基于WEB頁面的關鍵詞與關鍵概念提取技術.pdf

1、該論文詳細介紹了一種基于Web頁面的關鍵詞與關鍵概念提取技術及其實驗系統(tǒng)的設計與實現(xiàn),并對該技術在搜索引擎中的應用進行了探討.論文的核心內容包含以下三部分:首先,關鍵詞提取系統(tǒng)介紹.圍繞著Web頁面的特殊性開始,依據(jù)Web頁面不同于一般文本的特殊性,介紹了一種基于Web頁面的關鍵詞提取技術.該技術的實現(xiàn)充分利用了Web頁面中的各種標記.然后,關鍵概念提取系統(tǒng)介紹.語言是一種不斷發(fā)展的文化,新概念層出不窮,同時還存在很多人名、地名、機構名

2、等專有名詞.這些概念的存在影響了關鍵詞的提取質量.從常用的N元語法入手,分析該方法存在的問題—N元截斷效應,提出了一種基于上下文和互信息的關鍵概念提取方法.該方法的實現(xiàn)克服了N元算法的截斷效應,實現(xiàn)了可變長的概念提取方法.同時,該文又結合規(guī)則選詞的方法,對提取結果進行了優(yōu)化,取得較好的實驗效果.最后,論文對該技術在搜索引擎中的應用在理論進行了簡單的探討.通過對搜索引擎中"相關性(系統(tǒng)角度的相關性與用戶角度的相關性)"問題的分析,提出了一