基于分布式的商品信息網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、自1989年World Wide Web誕生以來，電子商務(wù)伴隨著互聯(lián)網(wǎng)的普及而獲得高速發(fā)展，它不僅有力地推動(dòng)經(jīng)濟(jì)全球化，還極大地改變了人們的生活方式。在電子商務(wù)網(wǎng)站發(fā)展過程中，不僅商品種類豐富化，網(wǎng)購(gòu)形式也呈現(xiàn)出多樣化，如B2C、C2C以及團(tuán)購(gòu)、尾品。在移動(dòng)終端多樣化的背景下，面對(duì)眾多選擇，如何幫助、引導(dǎo)用戶購(gòu)物，是一個(gè)值得深入研究的課題。設(shè)計(jì)實(shí)現(xiàn)一個(gè)分布式商品信息爬蟲系統(tǒng)可以爬取各購(gòu)物網(wǎng)站的商品信息，進(jìn)而為以圖搜商品的導(dǎo)購(gòu)網(wǎng)站或比價(jià)網(wǎng)

2、站提供商品數(shù)據(jù)，從而達(dá)到幫助用戶購(gòu)物的目的。
　　首先介紹了網(wǎng)絡(luò)爬蟲涉及的相關(guān)技術(shù)，然后在此基礎(chǔ)上結(jié)合購(gòu)物網(wǎng)站以及商品網(wǎng)頁(yè)的特點(diǎn)，重點(diǎn)研究了爬行策略、網(wǎng)頁(yè)解析和爬蟲系統(tǒng)穩(wěn)定性這三個(gè)方面。在爬行策略上，對(duì)比分析了現(xiàn)有爬行策略的優(yōu)缺點(diǎn)，提出一種基于廣度優(yōu)先的改進(jìn)爬行策略，通過對(duì)URL分類并賦予權(quán)值，將原有的URL隊(duì)列替換為優(yōu)先級(jí)隊(duì)列，使得爬蟲爬取目標(biāo)更有針對(duì)性，以此提高爬行效率。對(duì)于網(wǎng)頁(yè)解析，針對(duì)網(wǎng)頁(yè)使用JavaScript技術(shù)導(dǎo)致部

3、分商品信息無法提取，提出兩種解決方案。一種是通過爬取URL對(duì)應(yīng)的移動(dòng)端網(wǎng)頁(yè)獲取商品信息，另一種是通過模擬瀏覽器訪問網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)上包括JavaScript加載的數(shù)據(jù)后再做進(jìn)一步解析，從而獲取到完整的商品信息。針對(duì)爬蟲運(yùn)行在復(fù)雜的網(wǎng)絡(luò)環(huán)境中這一情況，系統(tǒng)從線程檢測(cè)重啟、中心節(jié)點(diǎn)信息備份以及爬蟲增量爬行這三個(gè)方面提高穩(wěn)定性和容災(zāi)性。
　　通過對(duì)分布式商品信息網(wǎng)絡(luò)爬蟲系統(tǒng)運(yùn)行測(cè)試，驗(yàn)證了系統(tǒng)的分布式架構(gòu)的可行性和高效性。測(cè)試結(jié)果顯示，對(duì)