基于分布式的商品信息網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、自1989年World Wide Web誕生以來，電子商務(wù)伴隨著互聯(lián)網(wǎng)的普及而獲得高速發(fā)展，它不僅有力地推動經(jīng)濟全球化，還極大地改變了人們的生活方式。在電子商務(wù)網(wǎng)站發(fā)展過程中，不僅商品種類豐富化，網(wǎng)購形式也呈現(xiàn)出多樣化，如B2C、C2C以及團購、尾品。在移動終端多樣化的背景下，面對眾多選擇，如何幫助、引導(dǎo)用戶購物，是一個值得深入研究的課題。設(shè)計實現(xiàn)一個分布式商品信息爬蟲系統(tǒng)可以爬取各購物網(wǎng)站的商品信息，進而為以圖搜商品的導(dǎo)購網(wǎng)站或比價網(wǎng)

2、站提供商品數(shù)據(jù)，從而達到幫助用戶購物的目的。
　　首先介紹了網(wǎng)絡(luò)爬蟲涉及的相關(guān)技術(shù)，然后在此基礎(chǔ)上結(jié)合購物網(wǎng)站以及商品網(wǎng)頁的特點，重點研究了爬行策略、網(wǎng)頁解析和爬蟲系統(tǒng)穩(wěn)定性這三個方面。在爬行策略上，對比分析了現(xiàn)有爬行策略的優(yōu)缺點，提出一種基于廣度優(yōu)先的改進爬行策略，通過對URL分類并賦予權(quán)值，將原有的URL隊列替換為優(yōu)先級隊列，使得爬蟲爬取目標(biāo)更有針對性，以此提高爬行效率。對于網(wǎng)頁解析，針對網(wǎng)頁使用JavaScript技術(shù)導(dǎo)致部

3、分商品信息無法提取，提出兩種解決方案。一種是通過爬取URL對應(yīng)的移動端網(wǎng)頁獲取商品信息，另一種是通過模擬瀏覽器訪問網(wǎng)頁，獲取網(wǎng)頁上包括JavaScript加載的數(shù)據(jù)后再做進一步解析，從而獲取到完整的商品信息。針對爬蟲運行在復(fù)雜的網(wǎng)絡(luò)環(huán)境中這一情況，系統(tǒng)從線程檢測重啟、中心節(jié)點信息備份以及爬蟲增量爬行這三個方面提高穩(wěn)定性和容災(zāi)性。
　　通過對分布式商品信息網(wǎng)絡(luò)爬蟲系統(tǒng)運行測試，驗證了系統(tǒng)的分布式架構(gòu)的可行性和高效性。測試結(jié)果顯示，對