網(wǎng)站數(shù)據(jù)采集系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)行業(yè)的鼎盛發(fā)展，網(wǎng)頁瀏覽量級也跟著達到了巔峰時期，比如淘寶網(wǎng)，天貓，百度，新浪等國內(nèi)網(wǎng)站里面的巨頭，日瀏覽量就超過一千萬以上，用戶在網(wǎng)頁上進行每一個操作，每個網(wǎng)頁的停留時間，各個頁面之間的跳轉(zhuǎn)順序等等信息對于互聯(lián)網(wǎng)公司甚至對于國家來說都是價值連城的數(shù)據(jù)，根據(jù)這些數(shù)據(jù)我們可以計算出代表絕大多數(shù)用戶的用戶習(xí)慣，可以計算出用戶對網(wǎng)站上每個板塊的喜好程度，可以計算出網(wǎng)站在哪些地域比較受歡迎等等，這樣的數(shù)據(jù)不是可以用金錢來衡量的。互聯(lián)網(wǎng)

2、公司對這些隱藏的屬性一直都是很渴求的，無論是大企業(yè)還是小公司，每一個數(shù)據(jù)對他們來說都像是星星，飄散在晴朗的夜空中，這些小星星相互都牽扯著，牽一發(fā)而動全身。
　　網(wǎng)頁數(shù)據(jù)采集系統(tǒng)在B/S架構(gòu)與傳統(tǒng)打點方式的基礎(chǔ)之上，引入了spm以及自動采集，數(shù)據(jù)庫主從分離技術(shù)，對服務(wù)器的請求只以長寬為一像素的透明圖片為目標，在請求URL上附帶所有需要采集的數(shù)據(jù)，服務(wù)器端只需要去請jetty請求記錄中去尋找，不需要實時處理請求，并使用分布式緩存作為服