基于新聞報(bào)道的中文關(guān)鍵詞抽取算法研究.pdf

1、關(guān)鍵詞可以幫助用戶迅速掌握文章的主要內(nèi)容和思想，節(jié)省瀏覽時間，為用戶是否進(jìn)一步閱讀新聞內(nèi)容提供決策?；ヂ?lián)網(wǎng)作為新聞傳播的重要渠道，多數(shù)新聞網(wǎng)頁沒有關(guān)鍵詞，并且網(wǎng)絡(luò)新聞已經(jīng)脫離了報(bào)紙、雜志等傳統(tǒng)新聞的寫作結(jié)構(gòu)和方式，逐漸形成了自己獨(dú)有的寫作特點(diǎn)，現(xiàn)有的關(guān)鍵詞抽取方法對其并不完全適用，所以選擇適合新聞報(bào)道的關(guān)鍵詞抽取方法，可以提高查詢速度與用戶滿意度。
　　基于以上考慮，本文在分析國內(nèi)外研究現(xiàn)狀并比較多種關(guān)鍵詞抽取方法的基礎(chǔ)上，針對新

2、聞報(bào)道的寫作特點(diǎn)，對現(xiàn)有方法進(jìn)行改進(jìn)，提出適合新聞報(bào)道寫作內(nèi)容和結(jié)構(gòu)的關(guān)鍵詞抽取方法。
　　一方面在以新聞報(bào)道寫作結(jié)構(gòu)研究的基礎(chǔ)上，對基于特征統(tǒng)計(jì)的關(guān)鍵詞抽取方法進(jìn)行改進(jìn)。一般的特征統(tǒng)計(jì)方法，主要基于位置、詞性、詞頻等方面考慮。其中的位置特征，將文章分為標(biāo)題、摘要、首尾段、正文等多個部分，并根據(jù)關(guān)鍵詞在文中的出現(xiàn)位置，為它們分配不同的參數(shù)值作為關(guān)鍵詞識別的一個特征項(xiàng)。但是對于新聞報(bào)道或網(wǎng)頁文本，很多都沒有摘要或標(biāo)題，有時也只用一個

3、段落進(jìn)行敘述，此時這樣的位置分析并不合適。所以本文深入分析關(guān)鍵詞在文中的位置分布情況，提出了更適用其寫作特點(diǎn)的間距特征。
　　另一方面在以新聞報(bào)道寫作內(nèi)容研究的基礎(chǔ)上，對基于聚類的關(guān)鍵詞抽取方法進(jìn)行改進(jìn)。由于新聞內(nèi)容總是報(bào)道最新、最近的事實(shí)，其中自然也會囊括最新的詞匯和網(wǎng)絡(luò)用語，而這些詞語都不會被及時地收錄到知識庫中，導(dǎo)致在計(jì)算詞語相似度時無法被識別。所以文中提出在一般聚類方法中，加入互信息的計(jì)算與篩選，同時從語義和詞語關(guān)聯(lián)度兩方