中文網(wǎng)頁定題采集及分類研究.pdf

1、網(wǎng)絡(luò)正深刻地改變著我們的生活，Internet 已經(jīng)發(fā)展成為當(dāng)今世界上最大的信息庫，如何快速、準(zhǔn)確地從浩瀚的信息資源中尋找到所需的信息已經(jīng)成為網(wǎng)絡(luò)用戶的一大難題。因而基于Web 的網(wǎng)上信息的采集和相關(guān)的信息處理日益成為人們關(guān)注的焦點。 傳統(tǒng)的Web 信息采集所采集的頁面數(shù)量過于龐大，所采集頁面的內(nèi)容過于雜亂，需要消耗非常大的系統(tǒng)資源和網(wǎng)絡(luò)資源。同時Internet 信息的分散狀態(tài)和動態(tài)變化也是困擾著信息采集的問題。定題搜索引擎將

2、信息檢索限定在特定主題領(lǐng)域，就主題相關(guān)的信息提供檢索服務(wù)，相應(yīng)特定主題所需采集的網(wǎng)頁數(shù)量極大減少且主題統(tǒng)一。與通用的搜索引擎相比較，定題搜索引擎由于檢索的范圍較小，查準(zhǔn)率和查全率易于保證。本文所研究的就是建立定題搜索引擎的前期關(guān)鍵技術(shù)—Web 信息定題采集及分類技術(shù)。全文的主要內(nèi)容如下： 通過對Web 結(jié)構(gòu)和Web 鏈接特性的研究，分析了一些在定題Web 信息采集過程中有用的規(guī)律。對元數(shù)據(jù)進(jìn)行定義，討論了幾種基本的超鏈及其元數(shù)據(jù)

3、類型。研究了網(wǎng)頁信息抽取問題，分析了常見類型的元數(shù)據(jù)并確定了適合作為定題信息采集依據(jù)的元數(shù)據(jù)類型。 討論了如何基于元數(shù)據(jù)通過主題擴(kuò)展得到主題相關(guān)詞集，包括禁用詞過濾、主題候選詞的抽取及相關(guān)策略過濾等過程。重點研究了利用改進(jìn)的Apriori 算法，對元數(shù)據(jù)庫進(jìn)行關(guān)聯(lián)挖掘抽取主題候選詞，并給出了主題詞關(guān)聯(lián)挖掘和過濾，即主題擴(kuò)展的迭代算法。實驗證明，本文所提供的元數(shù)據(jù)處理策略，能很好地進(jìn)行主題的抽取與擴(kuò)展，為實現(xiàn)更有效的定題Web 信

4、息采集提供良好前提。 給出了一個基于Web 元數(shù)據(jù)的定題信息采集系統(tǒng)并加以描述。對經(jīng)典的基于超鏈分析的相關(guān)性判別算法HITS 和PageRank 進(jìn)行了描述和分析，給出了基于Web 元數(shù)據(jù)的多種相關(guān)性判別算法，并利用Web 元數(shù)據(jù)對HITS 和PageRank 算法進(jìn)行了改進(jìn)，提出了M-PageRank 算法和M-HITS 算法。測試了各種算法的性能并作了比較研究，實驗驗證了所提出的算法能為實現(xiàn)定題檢索提供良好前提。 討

5、論了文本分類的基礎(chǔ)及Web 網(wǎng)頁在文本分類中的特性和特殊處理，將HTML文檔用TFE 表示，考慮半結(jié)構(gòu)文檔詞條所處結(jié)構(gòu)對分類的影響，修正了反映特征詞在網(wǎng)頁中的權(quán)重函數(shù)，引入擴(kuò)展文本作為網(wǎng)頁分類的內(nèi)容補(bǔ)充。研究了既考慮文檔結(jié)構(gòu)又兼顧文檔內(nèi)容的改進(jìn)的樸素貝葉斯和支持向量機(jī)Web 網(wǎng)頁分類方法，并通過實驗驗證了兩種分類方法的良好效果。 通過對Web 定題采集和分類的研究，本文從技術(shù)和方法上做出了一些增強(qiáng)及改進(jìn)，提出的方法及改進(jìn)的算法取