基于Scrapy的電子商務(wù)網(wǎng)絡(luò)測(cè)量與網(wǎng)絡(luò)特征分析.pdf

1、互聯(lián)網(wǎng)的廣泛使用和互聯(lián)網(wǎng)應(yīng)用的不斷豐富為電子商務(wù)蓬勃發(fā)展提供了良好的環(huán)境和契機(jī)。目前淘寶網(wǎng)是我國最具實(shí)力的個(gè)人對(duì)個(gè)人的網(wǎng)上交易網(wǎng)站，關(guān)于電子商務(wù)網(wǎng)絡(luò)特征的研究主要集中在淘寶網(wǎng)上，都是以電子商務(wù)的營銷為目的來剖析網(wǎng)上交易行為，主要包括信用評(píng)價(jià)體制、營銷策略、賣家銷售參數(shù)的統(tǒng)計(jì)分析等。本文將從圖論的角度來研究電子商務(wù)網(wǎng)絡(luò)，首先通過數(shù)據(jù)抓取技術(shù)得到一個(gè)真實(shí)的網(wǎng)絡(luò)數(shù)據(jù)集，然后在該數(shù)據(jù)集上分析淘寶網(wǎng)的拓?fù)涮卣骷捌渲杏脩粜袨樘攸c(diǎn)。目的是探究在線社會(huì)

2、網(wǎng)絡(luò)中的用戶行為對(duì)網(wǎng)上交易的影響。主要工作包括以下三個(gè)方面：
　　第一，由于網(wǎng)絡(luò)規(guī)模非常龐大且網(wǎng)絡(luò)結(jié)構(gòu)非常復(fù)雜，引入抽樣技術(shù)成為大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)測(cè)量中不可缺少的環(huán)節(jié)。本文提出了一種適用于二分網(wǎng)絡(luò)的抽樣算法，該算法是通過理論推導(dǎo)和算法實(shí)現(xiàn)的適應(yīng)性修改將適用于普通圖的抽樣算法MHRW(Metropolis-Hastings Random Walk)算法推廣到二分圖上。MHRW算法是一種性能比較好的無偏的抽樣算法。為了驗(yàn)證該算法在二分圖上

3、的抽樣性能，本文分別在合成圖和實(shí)際網(wǎng)絡(luò)數(shù)據(jù)集上檢測(cè)MHRW算法的抽樣效果。
　　第二，本文選用Scrapy爬蟲框架作為爬取數(shù)據(jù)的工具。通過對(duì)淘寶網(wǎng)頁頁面格式的深入分析，結(jié)合BFS和MHRW兩種抽樣方法，在5臺(tái)PC上同時(shí)并發(fā)連續(xù)運(yùn)行爬蟲程序30天，最終得到淘寶分享網(wǎng)絡(luò)的數(shù)據(jù)集。本文中列出了數(shù)據(jù)抓取過程中遇到的主要問題，并通過對(duì)問題本質(zhì)的剖析給出了最終的解決方法。為了分析分享平臺(tái)與賣家特性的關(guān)系，本文還抓取了淘寶網(wǎng)中服裝類所有賣家的信

4、息。分析發(fā)現(xiàn)：網(wǎng)絡(luò)中的商家存在短時(shí)間內(nèi)迅速崛起的現(xiàn)象，說明電子商務(wù)為新生的有強(qiáng)勁發(fā)展實(shí)力的賣家創(chuàng)造了良好的環(huán)境，為新創(chuàng)業(yè)者提供了一個(gè)較好的平臺(tái)。
　　第三，在淘寶分享平臺(tái)數(shù)據(jù)集上分析用戶行為特征。本文給出了所得數(shù)據(jù)集的規(guī)模參數(shù)，分析了買家、寶貝、賣家三類節(jié)點(diǎn)的屬性特征，進(jìn)一步給出了賣家與相連買家的各屬性之間的關(guān)系，最后討論了在買家分享網(wǎng)絡(luò)的特點(diǎn)。分析結(jié)果表明，淘寶分享網(wǎng)絡(luò)中買家和寶貝節(jié)點(diǎn)的度值大部分處于10～100之間；寶分享平臺(tái)