基于詞跨度的網(wǎng)頁關(guān)鍵詞提取方法研究.pdf

1、關(guān)鍵詞常用于標引論文主要內(nèi)容，信息檢索系統(tǒng)利用關(guān)鍵詞搜集以供讀者查閱。而當今社會是互聯(lián)網(wǎng)時代，網(wǎng)頁上的信息量巨大，網(wǎng)絡應用也越來越豐富，關(guān)鍵詞的重要性更加突出。
　　國外對于網(wǎng)頁關(guān)鍵詞提取的研究起步較早，美國 IBM公司的 H.P.Luhn首先提出關(guān)鍵詞自動標引，時至今天，已有近60年的發(fā)展歷程。ADM公司的Turney首次將遺傳算法和C4.5決策樹機器學習方法應用在關(guān)鍵短語的自動提取。網(wǎng)頁關(guān)鍵詞自動提取方法的研究圍繞網(wǎng)頁的特殊性

2、，依據(jù)網(wǎng)頁跟普通文本的不同，充分利用網(wǎng)頁自帶的各種標記對網(wǎng)頁關(guān)鍵詞進行自動提取。
　　常用的關(guān)鍵詞提取算法有基于統(tǒng)計的方法、基于語義的方法和基于詞語網(wǎng)絡的方法，本文在已有算法的基礎(chǔ)上給出了一種基于詞跨度的網(wǎng)頁關(guān)鍵詞提取方法，依靠網(wǎng)頁面的特殊性，充分利用網(wǎng)頁中的各種標識對文本進行分析，然后利用詞語在文章內(nèi)容中第一次出現(xiàn)的位置和最后一次出現(xiàn)的位置以及該詞在文中出現(xiàn)過的段落數(shù)與全文段落總數(shù)的比值等因素，改進了算法的權(quán)重計算公式，有利于降

3、低局部關(guān)鍵詞對提取結(jié)果的影響，同時本文算法還充分考慮了詞頻因子，詞性因子，詞位置因子，詞長因子，是否出現(xiàn)在提示詞之后等多種特征因子，通過對這些因子進行權(quán)重計算提取關(guān)鍵詞。另外，本算法所生成的高頻組合詞的應用也有利于提高算法的精確度。傳統(tǒng)的算法由于考慮的因素較少，考慮的特征項也不多，因而整體效果不如本文的算法。實驗結(jié)果表明：與傳統(tǒng)算法相比，本文的算法在召回率和準確率上有了明顯的提高，且隨著測試集數(shù)量的增多，測試效果越明細。同時對于不同長度