主題搜索網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與研究.pdf

1、隨著因特網(wǎng)規(guī)模的不斷擴(kuò)大，網(wǎng)絡(luò)用戶越來越依靠搜索引擎等網(wǎng)絡(luò)工具來從網(wǎng)絡(luò)上獲取他們想要的信息。然而，通用搜索引擎面對(duì)日益增長(zhǎng)的網(wǎng)絡(luò)規(guī)模以及人們對(duì)個(gè)性化信息檢索的需要往往力不從心。主題搜索引擎，亦稱垂直搜索引擎通過把搜索應(yīng)用限制在特定的主題上，提供個(gè)性化，專業(yè)化的搜索服務(wù)，提高了服務(wù)質(zhì)量，同時(shí)也節(jié)約了計(jì)算及網(wǎng)絡(luò)資源。
　　 論文圍繞網(wǎng)頁(yè)和主題的特征提取方法、特征權(quán)重計(jì)算方法以及鏈接上下文長(zhǎng)度對(duì)主題網(wǎng)絡(luò)爬蟲性能影響的問題開展了以下的研

2、究工作：
　　 針對(duì)經(jīng)典的MI互信息方法傾向于選擇低頻詞條而CHI統(tǒng)計(jì)方法傾向于選擇高頻詞條的問題，提出一種新的EXM方法，該方法加入類內(nèi)詞頻和分散度因素，把兩者結(jié)合。實(shí)驗(yàn)結(jié)果表明新方法能有效提升文本分類的準(zhǔn)確率達(dá)5％至12％，可用于網(wǎng)絡(luò)爬蟲主題特征提取。
　　 針對(duì)二元特征提取優(yōu)勢(shì)率算法OR由于忽視詞頻因素而在中低維數(shù)情況下性能較差的問題，提出EOR算法。該算法引入了類內(nèi)詞頻及分散度因素，提升了中低維數(shù)下文本分類的準(zhǔn)確

3、度5％左右，可以有效降低文本向量的維數(shù)。把EOR特征提取過程中計(jì)算得到的詞條EOR分值與詞頻TF結(jié)合得到特征詞權(quán)重計(jì)算方法TF-EOR。實(shí)驗(yàn)表明，該方法比傳統(tǒng)TF-IDF能提升網(wǎng)絡(luò)爬蟲抓取精確度4％左右，與同類型的TF-MI和TF-CHI相比也略有優(yōu)勢(shì)。
　　 應(yīng)用EOR特征提取方法和TF-EOR權(quán)重計(jì)算方法改造通用網(wǎng)絡(luò)爬蟲Larbin，使其成為主題網(wǎng)絡(luò)爬蟲Tlarbin。性能評(píng)測(cè)表明Tlarbin能有效地抓取主題相關(guān)網(wǎng)頁(yè)，其抓