基于內(nèi)容和鏈接的主題爬蟲的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，使得Web已經(jīng)成為一個(gè)超大容量的全球化信息庫(kù)，如何讓用戶快速的在Web上獲取專業(yè)化、個(gè)性化的信息成為了一個(gè)熱點(diǎn)問(wèn)題?，F(xiàn)有的通用搜索引擎返回的結(jié)果過(guò)多且主題性不強(qiáng)，在此情況下，面對(duì)特定主題的垂直搜索引擎被提了出來(lái)，它能夠?yàn)橛脩籼峁└_、更專業(yè)的信息查詢服務(wù)。
　　主題爬蟲是垂直搜索引擎的核心，也是本文研究的主要內(nèi)容。主題爬蟲的功能就是根據(jù)人工預(yù)設(shè)定的主題關(guān)鍵詞和種子鏈接在Web上獲取與主題相關(guān)的數(shù)據(jù)資源。傳統(tǒng)

2、的主題爬蟲策略只根據(jù)內(nèi)容評(píng)價(jià)或鏈接結(jié)構(gòu)其中一個(gè)方面來(lái)預(yù)測(cè)網(wǎng)頁(yè)鏈接的重要性，基于內(nèi)容評(píng)價(jià)的主題爬行策略只考慮了部分文本信息，對(duì)主題相關(guān)性判斷較為片面，且沒(méi)有考慮鏈接結(jié)構(gòu)的影響;基于鏈接結(jié)構(gòu)的主題爬蟲策略雖然從全局角度計(jì)算網(wǎng)頁(yè)的重要性，但因?yàn)槠湓谂廊∵^(guò)程中沒(méi)有考慮鏈接的主題相關(guān)性，所以經(jīng)常會(huì)出現(xiàn)“主題偏移”的現(xiàn)象。
　　針對(duì)以上不足，本文提出了一種基于內(nèi)容和鏈接的主題爬蟲，具體內(nèi)容如下:
　　(1)構(gòu)建了改進(jìn)的樸素貝葉斯模型，用

3、于在主題爬蟲的爬取過(guò)程中提取網(wǎng)頁(yè)關(guān)鍵詞。本文以互信息度量模型屬性間以及各屬性與類屬性間的相關(guān)性，從而將詞頻、詞位置、詞跨度、詞長(zhǎng)、詞性這五個(gè)屬性進(jìn)行聚類，構(gòu)建了改進(jìn)的樸素貝葉斯模型，使其滿足屬性間“獨(dú)立性假設(shè)”條件，改進(jìn)后的算法具有更高的關(guān)鍵詞提取準(zhǔn)確度。
　　(2)提出了一種基于文本密度分布的網(wǎng)頁(yè)信息抽取方法，此方法不過(guò)分依賴于標(biāo)簽，擁有較好的抽取效果，能夠?qū)ε廊〉木W(wǎng)頁(yè)信息進(jìn)行結(jié)構(gòu)化的信息抽取，分別提取出標(biāo)題和各段落信息，為后續(xù)

4、提取網(wǎng)頁(yè)關(guān)鍵詞提供了完善的文本信息。
　　(3)本文利用預(yù)設(shè)定的主題關(guān)鍵詞與當(dāng)前所爬取網(wǎng)頁(yè)的關(guān)鍵詞建立向量空間模型，根據(jù)余弦定理計(jì)算網(wǎng)頁(yè)的主題相關(guān)性，并將其作為參數(shù)帶入到原有的PageRank公式中，實(shí)現(xiàn)了對(duì)原有PageRank算法的改進(jìn)，使其能夠考慮鏈接內(nèi)容更準(zhǔn)確的計(jì)算當(dāng)前網(wǎng)頁(yè)鏈接的重要性。
　　(4)根據(jù)網(wǎng)頁(yè)鏈接的重要性判定鏈接的訪問(wèn)優(yōu)先級(jí)，進(jìn)而將鏈接劃分到對(duì)應(yīng)的高優(yōu)先級(jí)URLs隊(duì)列或低優(yōu)先級(jí)URLs隊(duì)列中，同時(shí)丟棄無(wú)關(guān)

5、鏈接，保證了主題爬蟲始終優(yōu)先爬取高質(zhì)量鏈接，從而提高了爬取效率和準(zhǔn)確度。
　　最后，在真實(shí)環(huán)境下對(duì)所設(shè)計(jì)的主題爬蟲進(jìn)行實(shí)現(xiàn)，并進(jìn)行結(jié)果分析。為了從多角度驗(yàn)證本文提出的主題爬蟲的性能優(yōu)勢(shì)，首先對(duì)改進(jìn)的樸素貝葉斯算法進(jìn)行提取關(guān)鍵詞的性能測(cè)試，結(jié)果表明改進(jìn)后的算法擁有較高的提取準(zhǔn)確度。在此基礎(chǔ)上，將提出的主題爬蟲與基于PageRank算法和基于Shark-Search算法的主題爬蟲進(jìn)行整體的系統(tǒng)性能對(duì)比，實(shí)驗(yàn)結(jié)果表明，本文提出的主題爬蟲