面向流量測量的海量數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的不斷擴大，服務器托管作為互聯(lián)網(wǎng)產(chǎn)業(yè)重要業(yè)務正面臨日趨激烈的競爭。為提高市場競爭力，四川IDC數(shù)據(jù)中心計劃向其托管網(wǎng)站提供用戶行為分析服務，主要包括網(wǎng)站的點擊次數(shù)、停留時間、流向地域等。該數(shù)據(jù)中心托管的網(wǎng)站超過千家，對其所有用戶提供該服務，對數(shù)據(jù)的存儲與處理提出極高要求，系統(tǒng)必然面臨海量數(shù)據(jù)問題。本文針對流量測量中的海量數(shù)據(jù)問題，分析研究了當前用于網(wǎng)絡流量測量的數(shù)據(jù)存儲系統(tǒng)，根據(jù)FastBit使用的WAH壓縮算法的特點提出

2、一種基于列基數(shù)聚集存儲方法，應用于該海量數(shù)據(jù)處理系統(tǒng)。主要內(nèi)容包括：
　　 ⑴系統(tǒng)框架設計。在分析數(shù)據(jù)中心需求的基礎上，給出系統(tǒng)的總體結構和各子系統(tǒng)的設計。系統(tǒng)整體分成數(shù)據(jù)處理子系統(tǒng)和數(shù)據(jù)存儲子系統(tǒng)。
　　 ⑵數(shù)據(jù)處理子系統(tǒng)的詳細設計與實現(xiàn)。該部分包括三個功能模塊:數(shù)據(jù)清洗模塊、數(shù)據(jù)流聚合模塊、訪問者地域模塊。數(shù)據(jù)清洗模塊完成臟數(shù)據(jù)的過濾;數(shù)據(jù)流聚合模塊針對一段時間內(nèi)同一訪問者的多條訪問記錄進行合并操作，有效控制系統(tǒng)總數(shù)

3、據(jù)規(guī)模;訪問者地域模塊完成訪問者IP完到訪問者所在地域的轉換。
　　 ⑶數(shù)據(jù)存儲子系統(tǒng)的詳細設計與實現(xiàn)。該模塊包括四個主要模塊:數(shù)據(jù)存儲結構設計模塊、數(shù)據(jù)表聚合模塊、基數(shù)聚集數(shù)據(jù)存儲方法的設計與實現(xiàn)模塊和索引優(yōu)化模塊。存儲結構設計中設計了詳細數(shù)據(jù)表和匯總數(shù)據(jù)表兩類，分別用于存儲用戶詳細訪問狀況和概要訪問狀況;數(shù)據(jù)表聚合模塊通過對查詢過程中FastBit所用到的bundle內(nèi)存結構的使用，完成詳細表到聚合表的數(shù)據(jù)按條件聚合;基數(shù)聚

4、集數(shù)據(jù)存儲方法模塊中，在對WAH壓縮算法進行研究的基礎上，提出一種基于基數(shù)聚集的數(shù)據(jù)存儲方法，該方法不僅能夠有效降低索引存儲空間，具有較高的空間效率，而且能夠提高數(shù)據(jù)查詢效率;在索引優(yōu)化模塊中采用索引優(yōu)化理論結合系統(tǒng)實際需要設計適合需要的索引方法。
　　 ⑷實際網(wǎng)絡環(huán)境下的測試與分析。給出了系統(tǒng)性能分析，并詳細分析了基于基數(shù)聚集存儲后索引占用存儲空間和數(shù)據(jù)查詢效率的對比，由測試結果可知本系統(tǒng)達到設計目標。本文設計實現(xiàn)的系統(tǒng)完成了