面向主題的輿情采集搜索爬蟲的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、針對(duì)目前通用搜索引擎所搜索到的結(jié)果過多，與主題相關(guān)性不強(qiáng)的情況，提出了面向主題的搜索引擎，以輿情信息為核心研究和設(shè)計(jì)了主題搜索爬蟲，為進(jìn)行主題搜索引擎的研究奠定了良好的基礎(chǔ)。 本文首先介紹了面向主題搜索引擎的背景，然后對(duì)主題輿情搜索引擎的需求進(jìn)行了分析，在這基礎(chǔ)上對(duì)系統(tǒng)進(jìn)行了概要設(shè)計(jì)和詳細(xì)設(shè)計(jì)，最后就系統(tǒng)實(shí)現(xiàn)和測(cè)試進(jìn)行了一些探討。 作為一個(gè)面向主題的輿情采集搜索爬蟲，系統(tǒng)實(shí)現(xiàn)了一個(gè)基于Boltzmann行動(dòng)選擇策略的具有

2、在線增量自學(xué)習(xí)能力的面向主題搜索爬蟲的原型，通過控制網(wǎng)絡(luò)蜘蛛的貪婪程度，基于Boltzmann行動(dòng)選擇策略進(jìn)行爬行。本文引入網(wǎng)頁信噪比的概念，并通過它衡量網(wǎng)頁里關(guān)鍵詞的信息是否超過一定的閾值，從而判斷網(wǎng)頁是否屬于所要搜索的主題網(wǎng)頁，來調(diào)整網(wǎng)頁搜索的優(yōu)先級(jí)。在此基礎(chǔ)上，面向主題搜索爬蟲引入在爬行過程中自動(dòng)更新學(xué)習(xí)模型，當(dāng)?shù)玫街黝}相關(guān)頁面時(shí)產(chǎn)生回報(bào)，將回報(bào)沿鏈接鏈路反饋，更新鏈路上所有鏈接的Q值。通過這樣，避免了網(wǎng)絡(luò)蜘蛛過早陷入Web搜索空

3、間中局部最優(yōu)子空間的陷阱，同時(shí)能準(zhǔn)確識(shí)別頁面的主題相關(guān)性，具有很好的自學(xué)習(xí)能力。同時(shí)可以根據(jù)鏈接優(yōu)先權(quán)隊(duì)列中鏈接的價(jià)值大小比較網(wǎng)頁搜索的優(yōu)先級(jí)。 基于以上研究，本文設(shè)計(jì)并部分實(shí)現(xiàn)了面向主題搜索爬蟲，并通過實(shí)驗(yàn)與其它搜索策略進(jìn)行比較，證實(shí)本文提出的算法在查全率與查準(zhǔn)率兩方面都有一定的優(yōu)越性，在尋找最優(yōu)行動(dòng)選擇序列方面具有優(yōu)勢(shì)。但是，如何完善目前網(wǎng)頁的權(quán)值判斷機(jī)制，使網(wǎng)絡(luò)鏈接價(jià)值的計(jì)算更精確，使搜索爬蟲更加智能化，需要以后進(jìn)一步研究