中文關(guān)鍵詞提取技術(shù).pdf

1、新聞中的關(guān)鍵詞可以提高用戶體驗(yàn),幫助讀者加速閱讀和篩選感興趣的內(nèi)容。然而人工為新聞標(biāo)注關(guān)鍵詞需要消耗大量人力、物力和財(cái)力。我們實(shí)現(xiàn)了具有實(shí)用價(jià)值的中文關(guān)鍵詞提取系統(tǒng),適用于各個(gè)領(lǐng)域的新聞資料。實(shí)驗(yàn)表明我們的關(guān)鍵詞提取算法,不論是準(zhǔn)確性還是實(shí)用性均優(yōu)于傳統(tǒng)算法。為了增強(qiáng)關(guān)鍵詞的表達(dá)能力,我們提出了短語(yǔ)級(jí)別的中文關(guān)鍵詞提取算法。首次將查詢?nèi)罩?Query log)應(yīng)用到短語(yǔ)合并的算法中,結(jié)合局部頻率,邊界熵,邊界多樣性等統(tǒng)計(jì)算法,極大地提高

2、了生成短語(yǔ)的正確率。同時(shí),從工程角度考慮,結(jié)合查詢?nèi)罩镜奶匦?優(yōu)化算法,大大加快了生成短語(yǔ)的速度。實(shí)驗(yàn)數(shù)據(jù)證明,短語(yǔ)級(jí)別的關(guān)鍵詞極大地提高了準(zhǔn)確率和召回率。我們首次將諸如短語(yǔ)長(zhǎng)度信息,短語(yǔ)位置信息,偽語(yǔ)義相似度信息,背景信息等融合到TextRank模型中,將原本無(wú)向加權(quán)圖強(qiáng)化為有向加權(quán)圖,增強(qiáng)了TextRank模型的表達(dá)力,使基于TextRank模型的關(guān)鍵詞提取算法更加有效。實(shí)驗(yàn)結(jié)果表明我們的算法是非常有效的。目前中文關(guān)鍵詞提取領(lǐng)域缺乏