垂直搜索引擎的主題網(wǎng)頁抓取策略研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)已成為海量信息的主要載體,如何有效的利用這些信息,對人們來說是一個巨大的挑戰(zhàn)。搜索引擎作為信息檢索的工具,現(xiàn)已成為用戶訪問互聯(lián)網(wǎng)的入口和指南并受到廣大用戶的青睞。然而,傳統(tǒng)的搜索引擎正面臨著網(wǎng)頁索引規(guī)模、更新速度、個性化需求和查詢結(jié)果精度低等多方面的嚴(yán)峻挑戰(zhàn)。為解決傳統(tǒng)搜索引擎所面臨的突出問題,面向特定主題的垂直搜索引擎便應(yīng)運(yùn)而生。主題網(wǎng)頁抓取技術(shù)是構(gòu)建垂直搜索引擎的核心技術(shù),它的目標(biāo)是盡可能多地抓取

2、與特定主題內(nèi)容相關(guān)的網(wǎng)頁,同時最大限度地避免無關(guān)網(wǎng)頁的抓取。因此,對主題網(wǎng)頁抓取策略的研究具有十分重要的意義。
　　本文主要以垂直搜索引擎的主題網(wǎng)頁抓取策略作為研究內(nèi)容,從提高主題網(wǎng)頁抓取的準(zhǔn)確率和效率作為出發(fā)點(diǎn),詳細(xì)分析了現(xiàn)有的主題網(wǎng)頁抓取方法及其優(yōu)缺點(diǎn)。重點(diǎn)分析了基于隱馬爾科夫模型的主題網(wǎng)頁抓取策略的實(shí)現(xiàn)和優(yōu)缺點(diǎn),以此為基礎(chǔ),提出了一種改進(jìn)的主題網(wǎng)頁抓取策略。為了使特征詞權(quán)重更能代表網(wǎng)頁的真實(shí)內(nèi)容,改進(jìn)了網(wǎng)頁預(yù)處理后的特征詞權(quán)

3、重的計(jì)算方式,對網(wǎng)頁中不同位置的特征詞賦予不同的權(quán)重。為了提高主題網(wǎng)頁抓取的準(zhǔn)確率,改進(jìn)了待爬行隊(duì)列中URL優(yōu)先權(quán)值的計(jì)算方法,綜合考慮了隱馬爾科夫模型方法和網(wǎng)頁內(nèi)容相關(guān)度方法。
　　為了驗(yàn)證改進(jìn)算法的性能和效率,本文將改進(jìn)后的方法與隱馬爾科夫方法和Best-First方法進(jìn)行對比,實(shí)驗(yàn)結(jié)果表明,在抓取大量主題網(wǎng)頁時,改進(jìn)后的方法能抓取大量與給定主題相關(guān)的高質(zhì)量網(wǎng)頁,主題爬行性能優(yōu)于改進(jìn)前的隱馬爾科夫方法和Best-First方法