爬蟲算法在互聯(lián)網(wǎng)輿情系統(tǒng)的研究與應(yīng)用.pdf

1、隨著科技的不斷進步，人類已經(jīng)進入了一個全新的“信息時代”?；ヂ?lián)網(wǎng)已經(jīng)成為了當(dāng)前主流的信息載體之一。面對互聯(lián)網(wǎng)上的大量輿情信息，如何實現(xiàn)對其進行有效的監(jiān)控和篩選也成為了研究重點。由于通用搜索引擎無法滿足特定用戶群體的搜索需要，針對特定主題的主題爬蟲應(yīng)運而生，主題爬蟲也為互聯(lián)網(wǎng)輿情系統(tǒng)中的垂直搜索部分提供了數(shù)據(jù)來源。
　　本文以國內(nèi)外的現(xiàn)有研究成果為依據(jù)，通過分析當(dāng)前互聯(lián)網(wǎng)輿情環(huán)境，設(shè)計了互聯(lián)網(wǎng)輿情系統(tǒng)，并針對其中的主題爬蟲進行了研究

2、設(shè)計。對影響主題爬蟲性能的關(guān)鍵性算法進行了研究改進，并在系統(tǒng)中完成了主題爬蟲的實現(xiàn)。本文完成的主要研究內(nèi)容如下：
　　1)分析了主題爬蟲性能對比通用爬蟲的優(yōu)勢，對其搜索策略和網(wǎng)頁評價算法進行研究，根據(jù)比較選擇了最佳優(yōu)先策略作為其搜索策略，并通過建立向量空間模型來對網(wǎng)頁進行評價。同時研究了主題孤島和拒絕協(xié)議兩大關(guān)鍵問題，在此基礎(chǔ)上對本文中使用的主題爬蟲進行了結(jié)構(gòu)設(shè)計；
　　2)分析了當(dāng)前網(wǎng)絡(luò)輿情環(huán)境特點，針對這些特點進行需求分

3、析，根據(jù)得到的需求進行互聯(lián)網(wǎng)輿情系統(tǒng)的結(jié)構(gòu)設(shè)計；
　　3)給出了主題爬蟲在互聯(lián)網(wǎng)輿情系統(tǒng)中的具體實現(xiàn)，包括抓取策略、分析策略、爬行策略、去重策略和任務(wù)調(diào)度策略，對抓取時的主題庫更新問題提出了動態(tài)擴充的解決辦法，并針對網(wǎng)頁去重I-Match算法和任務(wù)調(diào)度Hash算法中的不足進行了設(shè)計改進，改用了一致性Hash算法進行任務(wù)調(diào)度，最后對系統(tǒng)進行了測試。
　　本文設(shè)計的主題爬蟲綜合了主題庫改進策略和算法改進，從整體方面提升爬蟲性能。