基于聚類分析的中文新聞網(wǎng)頁關(guān)鍵詞提取方法研究.pdf

1、隨著網(wǎng)絡(luò)時(shí)代的到來，在線文檔急劇增長，“信息爆炸”成為這個(gè)時(shí)代的主要特征。 關(guān)鍵詞作為對(duì)文章內(nèi)容的簡要概括，可以輔助快速了解文章內(nèi)容，節(jié)省瀏覽時(shí)間。同時(shí)，關(guān)鍵詞在信息檢索，自動(dòng)摘要，文本聚類/分類也起很大的作用。因此，關(guān)鍵詞提取技術(shù)成為解決此類問題的關(guān)鍵技術(shù)。 關(guān)鍵詞可以認(rèn)為是一篇文章中比較重要而且主題關(guān)聯(lián)較凝聚的詞的集合，基于這一思想，本文將詞語看作具有隱含的多重關(guān)系屬性，綜合利用詞語之間多重屬性，按照主題凝聚的原則采

2、用聚類方法提取出與反映主題信息的關(guān)鍵詞。為此，設(shè)計(jì)有效的利用聚類算法提取新聞網(wǎng)頁的關(guān)鍵詞成為本文的研究核心。 本文的主要工作如下： (1)在介紹經(jīng)典聚類方法的思想、原理及實(shí)現(xiàn)的基礎(chǔ)上，理論和實(shí)驗(yàn)分析其在關(guān)鍵詞提取上的優(yōu)勢(shì)和應(yīng)用前景。 (2)針對(duì)層次聚類算法的優(yōu)勢(shì) 及關(guān)鍵詞提取領(lǐng)域現(xiàn)有的不足，利用詞語間語義相似度作為聚類距離，形成算法基于聚類分析的關(guān)鍵詞提取算法KECA。此算法利用層次聚類及借助語義角度分析

3、文本中的重要詞語不僅有效可行而且彌補(bǔ)了機(jī)械的統(tǒng)計(jì)方法的不足。同時(shí)，杜絕了機(jī)器學(xué)習(xí)方法所面臨的局限性和缺少標(biāo)注語料庫的困難。 (3)針對(duì)層次聚類方法難以有效處理關(guān)鍵詞提取中的“孤立點(diǎn)”問題，引入密度聚類算法。聚類過程密度的度量采用詞語的共現(xiàn)屬性，自適應(yīng)地發(fā)現(xiàn)任意形狀的類別，形成KEDC算法。同時(shí)為了提高關(guān)鍵詞提取的質(zhì)量，對(duì)單純采用強(qiáng)共現(xiàn)屬性的聚類結(jié)果進(jìn)行補(bǔ)充和剪枝；計(jì)算未被聚進(jìn)去詞語對(duì)整個(gè)文檔的關(guān)聯(lián)強(qiáng)度和語義連接強(qiáng)度，對(duì)聚類結(jié)果進(jìn)