主題爬蟲穿越隧道算法研究與設(shè)計.pdf

1、伴隨著互聯(lián)網(wǎng)及應(yīng)用和服務(wù)的普及，網(wǎng)上信息量以帶寬的指數(shù)級增長，互聯(lián)網(wǎng)用戶信息檢索的難度和復(fù)雜度也不斷提高。因此，搜索引擎越來越引起人們的重視和關(guān)注。Google曾宣稱它們索引的網(wǎng)頁數(shù)目已達(dá)到10000億,中國的網(wǎng)頁規(guī)模也超過了100億，并且仍在以指數(shù)的增長方式急劇猛增，面對如此浩瀚的信息資源，如何有效的提取并利用這些海量信息成為搜索引擎面臨的一個巨大挑戰(zhàn)。
　　為了提高搜索效率和滿足人們?nèi)找嬖鲩L的個性化服務(wù)的需求，適應(yīng)特定領(lǐng)域、特

2、定人群的特定需求的主題搜索引擎（也稱專業(yè)搜索引擎和垂直搜索引擎）應(yīng)運(yùn)而生，并且越來越受到人們的青睞。主題搜索引擎只專注于與主題相關(guān)的高質(zhì)量網(wǎng)頁，保證了對主題相關(guān)信息的完全收錄和及時更新，具備“專，精，深”的特點(diǎn)，成為新一代搜索引擎的發(fā)展趨勢。搜索引擎爬取網(wǎng)頁是以網(wǎng)絡(luò)爬蟲技術(shù)來實現(xiàn)的，而主題爬蟲以何種策略高效爬取web信息，成為近年來爬蟲研究地焦點(diǎn)之一。
　　本文著眼于提高主題爬蟲的爬取效率，通過對VSM網(wǎng)頁分類算法分析，從特征提取

3、、特征值計算和類核心詞匯生成三方面改進(jìn)了VSM網(wǎng)頁分類算法，其中對于特征值計算，本文從詞語的出現(xiàn)語義角度來考慮，給出了混合因素加權(quán)的特征項的權(quán)值計算方法，提高了文本相似度計算的精度。并結(jié)合“Better Parent Have Better Children”思想，提出了運(yùn)用相似度預(yù)測值動態(tài)調(diào)整主題爬蟲的爬行步數(shù)，通過靈活設(shè)置相似度預(yù)測的K值，引導(dǎo)爬蟲穿越隧道，即動態(tài)調(diào)整主題爬蟲穿越隧道算法。該算法消除了K值設(shè)置過大引起的低爬準(zhǔn)率或過小