中英文新聞網(wǎng)頁(yè)關(guān)鍵詞抽取技術(shù)研究.pdf

1、信息技術(shù)的飛速發(fā)展和互聯(lián)網(wǎng)的普及使得網(wǎng)上信息呈現(xiàn)出幾何級(jí)數(shù)的增長(zhǎng)。檢索和利用網(wǎng)絡(luò)信息變得越來越困難。如何有效的對(duì)海量信息進(jìn)行組織、壓縮和檢索，提高信息訪問的效率成了一個(gè)越來越重要的課題。作為網(wǎng)絡(luò)信息傳播的重要載體，眾多新聞網(wǎng)頁(yè)沒有關(guān)鍵詞。對(duì)這些網(wǎng)頁(yè)進(jìn)行關(guān)鍵詞抽取，將提高用戶瀏覽的速度和信息的訪問效率。 從這點(diǎn)出發(fā)，本文研究了自然語(yǔ)言處理和信息檢索技術(shù)的一個(gè)重要領(lǐng)域-新聞網(wǎng)頁(yè)的關(guān)鍵詞自動(dòng)抽取。在追蹤了國(guó)內(nèi)外研究現(xiàn)狀，分析比較了各類

2、關(guān)鍵詞抽取算法的基礎(chǔ)上，提出了一種不依賴語(yǔ)種、不依賴訓(xùn)練語(yǔ)料庫(kù)的單文檔的基于詞匯鏈和詞共現(xiàn)的新聞網(wǎng)頁(yè)關(guān)鍵詞抽取算法KEUD和算法KELCC。大量的隨機(jī)新聞網(wǎng)頁(yè)實(shí)驗(yàn)結(jié)果表明，本文提出的算法是有效的新聞網(wǎng)頁(yè)關(guān)鍵詞抽取算法。 綜上所述，本文的主要工作如下： (1)對(duì)新聞網(wǎng)頁(yè)關(guān)鍵詞抽取展開研究，從理論和實(shí)驗(yàn)兩方面證明了基于語(yǔ)義分析的關(guān)鍵詞抽取方法有著良好的應(yīng)用前景。在對(duì)提出的基于詞匯鏈的關(guān)鍵詞抽取算法KEUD實(shí)驗(yàn)驗(yàn)證的基礎(chǔ)上，將

3、詞語(yǔ)相關(guān)性引入詞語(yǔ)語(yǔ)義相似度分析中，提出了基于詞匯鏈與詞共現(xiàn)的新聞網(wǎng)頁(yè)關(guān)鍵詞抽取算法KELCC； (2)在抽取關(guān)鍵詞的過程中實(shí)現(xiàn)了詞語(yǔ)的歧義消解。在自然語(yǔ)言處理和信息檢索技術(shù)中，語(yǔ)義結(jié)構(gòu)的構(gòu)造依賴于每個(gè)詞語(yǔ)的詞義。利用構(gòu)建的詞匯鏈表示文本語(yǔ)義結(jié)構(gòu)就要求實(shí)現(xiàn)對(duì)多義詞的詞義判別。本文借助知識(shí)庫(kù)和語(yǔ)境上下文提供的有效信息，在構(gòu)建詞匯鏈過程中將詞語(yǔ)的各個(gè)詞義納入到整個(gè)語(yǔ)境下考查，通過判斷多義詞的詞義與其周圍上下文環(huán)境的關(guān)系來消除多義詞的

4、歧義； (3)每一種特征選擇方法都要與具體的應(yīng)用相結(jié)合才能最大限度發(fā)揮其性能。通過對(duì)比實(shí)驗(yàn)，本文從文章、詞匯鏈和知識(shí)庫(kù)中提出了大量有效特征，借助選取的特征從候選詞集中選擇出最終抽取的關(guān)鍵詞； (4)引入詞語(yǔ)的相關(guān)性以解決未包含詞語(yǔ)的抽取問題。提出的KEUD算法由于需要判斷詞語(yǔ)間的語(yǔ)義相似度，而語(yǔ)義相似度的計(jì)算需要知識(shí)庫(kù)的支持。因此不能很好的處理未包含詞的抽取問題。為了解決該問題，本文在該算法的基礎(chǔ)上加入了詞共現(xiàn)模型，提出