基于網(wǎng)頁更新頻率預測的增量爬蟲研究.pdf

1、近幾年互聯(lián)網(wǎng)發(fā)展迅速,從網(wǎng)頁的整體規(guī)模角度分析,網(wǎng)頁的數(shù)量以前所未有的速度增加;就單個網(wǎng)頁的更新速率而言,只有部分網(wǎng)頁的更新頻率較快。以上這些因素給搜索引擎帶來了極大的挑戰(zhàn),因此在快、準、全、新的衡量標準下,針對信息采集的爬蟲爬行策略的研究有著重要的意義。
　　本文圍繞著能夠在實際環(huán)境中提高爬蟲爬行效率的需求,在深入研究了爬蟲的工作原理的基礎上，首先通過關于時間序列的數(shù)學建模,提出了網(wǎng)頁更新頻率預測的爬行策略。其次提出了建立了評價

2、網(wǎng)頁更新頻率預測效果的標準數(shù)據(jù)集的思想,并建立了部分數(shù)據(jù)集,以可定制的時間、網(wǎng)頁變化粒度記錄了網(wǎng)頁變化過程,方便其他研究人員的使用。最后在標準數(shù)據(jù)集的基礎上對網(wǎng)頁更新頻率的數(shù)學模型不斷進行優(yōu)化和改進,能夠應用到實際系統(tǒng)中。
　　本文研究的內(nèi)容和成果歸結(jié)為以下方面:
　　首先,結(jié)合爬蟲實際應用需求和時間序列的相關理論,提出了基于馬爾科夫鏈的網(wǎng)頁更新預測的數(shù)據(jù)模型,驗證了預測網(wǎng)頁更新頻率在實際應用的可行性。
　　其次,建立

3、了評價網(wǎng)頁更新頻率預測效果的標準數(shù)據(jù)集。標準數(shù)據(jù)集的數(shù)據(jù)來源從橫向上來自于不同類型網(wǎng)站,從縱向上來自于同一站點的不同類型網(wǎng)頁,形成多維度的網(wǎng)頁采集結(jié)構(gòu),保證網(wǎng)頁的多樣性、針對性、代表性。以可定制的時間粒度和網(wǎng)頁變化粒度記錄了網(wǎng)頁變化過程,使得其他相關研究人員無需下載網(wǎng)頁就可以通過記錄的數(shù)據(jù)進行網(wǎng)頁更新的預測和對預測結(jié)果進行評價。
　　然后,在建立的標準數(shù)據(jù)集上通過準確率、命中率、覆蓋率、F-measure等評價指標對基于馬爾科夫鏈