互聯(lián)網(wǎng)信息關(guān)鍵詞抽取的研究與實(shí)現(xiàn).pdf

1、關(guān)鍵詞抽取是自然語(yǔ)言處理領(lǐng)域中重要的基礎(chǔ)技術(shù)，被廣泛應(yīng)用于信息檢索、文本聚類(lèi)、文本分類(lèi)等方面。目前，互聯(lián)網(wǎng)中的資訊規(guī)模急速增長(zhǎng)，包含了大量富有價(jià)值的數(shù)據(jù)，關(guān)鍵詞是檢索及分析互聯(lián)網(wǎng)信息的重要手段。但是，相當(dāng)數(shù)量的網(wǎng)頁(yè)沒(méi)有標(biāo)注關(guān)鍵詞，通過(guò)人工標(biāo)注是一個(gè)繁重而又困難的任務(wù)，因此，需要一種自動(dòng)抽取關(guān)鍵詞的方法。同時(shí)，以微博為代表的新興信息傳播平臺(tái)出現(xiàn)，具有與傳統(tǒng)媒體不同的傳播特點(diǎn)，需要對(duì)傳統(tǒng)文本關(guān)鍵詞抽取方法做出改進(jìn)。此外，互聯(lián)網(wǎng)具有傳播快速和

2、參與廣泛的特點(diǎn)，使得大量新詞不斷涌現(xiàn)，也給中文信息處理帶來(lái)了挑戰(zhàn)。
　　 本文從兩個(gè)方面研究互聯(lián)網(wǎng)信息：以網(wǎng)頁(yè)為代表的長(zhǎng)文本信息、以微博為代表的短文本信息，主要研究工作如下：
　　 針對(duì)網(wǎng)頁(yè)信息，提出一種基于語(yǔ)義擴(kuò)展模型、分步驟的無(wú)監(jiān)督關(guān)鍵詞抽取方法。首先，選擇詞語(yǔ)的網(wǎng)頁(yè)結(jié)構(gòu)特征、詞性、詞長(zhǎng)、TF-IDF值等特征，通過(guò)聚類(lèi)算法抽取候選關(guān)鍵詞；然后，根據(jù)n-gram語(yǔ)言模型理論，引入鄰接變化數(shù)等特征構(gòu)建基于詞的語(yǔ)義擴(kuò)展模型

3、，通過(guò)無(wú)監(jiān)督方法將候選關(guān)鍵詞擴(kuò)展為關(guān)鍵詞串。實(shí)驗(yàn)數(shù)據(jù)表明，該方法能在一定程度上改善針對(duì)未登錄詞及短語(yǔ)的抽取結(jié)果，提高中文網(wǎng)頁(yè)關(guān)鍵詞抽取結(jié)果的質(zhì)量。
　　 針對(duì)海量微博信息，提出一種多步驟的熱詞抽取方法。首先，選擇用戶行為特性、微博信息的文本特征構(gòu)建用戶行為模型，并在此基礎(chǔ)上，提出一種基于規(guī)則的話題樹(shù)生成過(guò)濾算法，篩除微博中大量無(wú)關(guān)信息，進(jìn)而對(duì)生成的話題樹(shù)修剪優(yōu)化；然后，根據(jù)話題樹(shù)的節(jié)點(diǎn)內(nèi)容，使用詞頻及其波動(dòng)特性設(shè)計(jì)熱詞抽取算法，