主題Web挖掘算法研究與應(yīng)用.pdf

1、萬維網(wǎng)已經(jīng)和我們生活的各個(gè)方面緊密聯(lián)系在一起了。我們使用它獲取信息，與人們進(jìn)行交流，使用萬維網(wǎng)更加高效地工作，進(jìn)行各項(xiàng)社會(huì)活動(dòng)。如何從Web上快速準(zhǔn)確的檢索到用戶所需信息成為亟待解決的問題。為應(yīng)對這一問題，在信息檢索領(lǐng)域產(chǎn)生了主題Web挖掘這一研究課題。它的基本思想可以概括為：根據(jù)用戶定義的某一主題，用主題爬蟲遍歷網(wǎng)絡(luò)，收集與主題相關(guān)的頁面，然后將收集到的頁面進(jìn)行智能的分析，最后以友好的檢索方式滿足對某一特定主題的檢索要求。主題Web挖

2、掘涉及多個(gè)學(xué)科，包括機(jī)器學(xué)習(xí)、信息檢索、語言分析、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)網(wǎng)絡(luò)等。主題Web挖掘具有廣泛的應(yīng)用前景，包括專業(yè)領(lǐng)域知識(shí)庫、企業(yè)決策支持、客戶流失分析、潛在客戶分析、企業(yè)管理優(yōu)化、行業(yè)趨勢分析等，與現(xiàn)有的通用搜索引擎相互補(bǔ)充。 本文在分析了主題Web挖掘的研究內(nèi)容和當(dāng)前研究存在問題的基礎(chǔ)上，將重點(diǎn)研究三個(gè)問題：一是如何提高Web文本的分類準(zhǔn)確率；二是如何提高主題爬蟲的性能，特別是在反作弊方面改進(jìn)主題爬蟲對頁面主題判定的準(zhǔn)確率；

3、三是根據(jù)以上研究，設(shè)計(jì)并實(shí)現(xiàn)了主題Web挖掘的原型系統(tǒng)Gsearch，是一個(gè)機(jī)器學(xué)習(xí)方面的主題搜索引擎，通過大量對比實(shí)驗(yàn)驗(yàn)證了本文提出的模型和算法的有效性。 本文的創(chuàng)新點(diǎn)主要體現(xiàn)在以下幾個(gè)方面： 1.本文在分析當(dāng)前主題爬蟲缺少反作弊能力而影響爬蟲準(zhǔn)確性的基礎(chǔ)上，提出了基于反作弊檢測技術(shù)的主題爬蟲模型，并實(shí)現(xiàn)了antiSpam主題爬蟲算法，使主題爬蟲具有了反作弊的功能，提高了主題爬蟲下載頁面的主題相關(guān)度，增強(qiáng)了主題爬蟲的適

4、應(yīng)性。 2.本文將Web文本過濾問題轉(zhuǎn)化為Web文本分類問題，提出了兩個(gè)Web文本分類算法：基于聚類的PSK—means算法和基于模糊認(rèn)知圖的correlation—FCM算法。PSK—means是對傳統(tǒng)的k—means算法的改進(jìn)，它預(yù)先將相似數(shù)據(jù)進(jìn)行合并，之后再進(jìn)行聚類分析；correlation—FCM是一種基于模糊認(rèn)知圖的文本分類推理算法，使文本分類成為一個(gè)基于文本特征項(xiàng)的權(quán)和特征項(xiàng)與類別的相關(guān)度構(gòu)成的模糊認(rèn)知圖進(jìn)行推理的

5、過程。通過在Gsearch平臺(tái)上大量實(shí)驗(yàn)，驗(yàn)證了算法的有效性。 3.本文設(shè)計(jì)并實(shí)現(xiàn)了面向機(jī)器學(xué)習(xí)領(lǐng)域的主題Web挖掘的原型系統(tǒng)Gsearch，用于驗(yàn)證本文中模型及算法的有效性。Gsearch包括Gcrawler主題爬蟲模塊，分詞索引模塊，頁面評價(jià)模塊、Gminer數(shù)據(jù)挖掘模塊、查詢分析模塊及用戶界面。它具有跨平臺(tái)、分布式、高可擴(kuò)展等特性，實(shí)現(xiàn)了Web信息的下載、保存、歸檔、分析和查詢功能。該系統(tǒng)在很多應(yīng)用領(lǐng)域，包括企業(yè)決策支持、