基于Groovy的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著Internet的發(fā)展壯大,人們獲取信息的途徑逐漸被網(wǎng)絡(luò)所替代,同時網(wǎng)絡(luò)信息的增長也達(dá)到了驚人的速度。在實際應(yīng)用中,用戶往往有著自己的瀏覽習(xí)慣及特定的主題敏感性,通用網(wǎng)絡(luò)爬蟲難免無法滿足類似個性化的信息收集需要,現(xiàn)有的主題爬蟲也有著種種弊端。
　　 論文通過分析總結(jié)主題頁面在Web上的分布特征,設(shè)計并實現(xiàn)了一個Windows環(huán)境下的分布式的可定制主題爬蟲系統(tǒng)CTCS(Customizabletopiccrawlersyste

2、m)。
　　 論文闡述了CTCS系統(tǒng)的工作環(huán)境、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、子系統(tǒng)及其功能模塊和工作流程,以及各了系統(tǒng)間通信接口的設(shè)計,對CTCS系統(tǒng)的各子系統(tǒng)的設(shè)計和實現(xiàn)都進(jìn)行了洋細(xì)的淪述,包括大量的系統(tǒng)難點分析及解決方案。論文詳細(xì)說明了CTCS系統(tǒng)實現(xiàn)中的一些特點:(1)在人工定制的過程中,拋棄了傳統(tǒng)的純數(shù)據(jù)項配置文件,將Groovy腳本引入配置,使得邏輯表達(dá)可出現(xiàn)在配置中,提高了配置的靈活性以及爬蟲抓取數(shù)據(jù)的精度和速度。(2)利用基于H

3、TTP協(xié)議網(wǎng)絡(luò)通信下的客戶端狀態(tài)保持方式,實現(xiàn)了持有狀態(tài)的HTTPClient組件,很大程度上滿足了對DeepWeb數(shù)據(jù)抓取的要求。(3)使用JavaRMI(Remotemethodinvocation)構(gòu)建了一整套靈活的分布式解決方案,此方案不僅僅支持爬蟲系統(tǒng),還可通過配置作為其它分布式業(yè)務(wù)的解決方案。(4)系統(tǒng)中引入日志中心的概念,將日志匯總并開發(fā)預(yù)警功能,極大的方便了系統(tǒng)的開發(fā)和維護(hù)。
　　 論文的最后,對系統(tǒng)的運行效果進(jìn)