基于Hadoop的Web日志存儲及預(yù)處理優(yōu)化研究.pdf

1、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等技術(shù)的發(fā)展，使得服務(wù)器上的Web日志急劇膨脹。Web日志記錄了上網(wǎng)用戶訪問Web頁面的瀏覽行為，對網(wǎng)站建設(shè)和提供精準(zhǔn)服務(wù)具有重要的指導(dǎo)意義。但是，原始 Web日志文件中數(shù)據(jù)的通常是不完整、冗余甚至錯誤的，直接使用這些數(shù)據(jù)進行日志分析非常困難，而且有可能得到錯誤的結(jié)果，因此，對 Web日志數(shù)據(jù)進行預(yù)處理是很有必要的。同時，考慮到傳統(tǒng)關(guān)系數(shù)據(jù)庫存儲的約束和單節(jié)點數(shù)據(jù)處理方式的局限性，本文使用Hadoop的分布式處理平臺對

2、Web日志數(shù)據(jù)進行存儲和預(yù)處理操作，主要內(nèi)容包括：
　　（1）Web日志數(shù)據(jù)存儲
　　面對海量Web日志的急劇增長，傳統(tǒng)存儲技術(shù)面臨建設(shè)成本高、運維復(fù)雜、擴展性有限等問題，而現(xiàn)在流行的云數(shù)據(jù)庫具有動態(tài)可擴展、高伸縮性、高吞吐性能、低成本等優(yōu)勢，因此，本課題考慮將Web日志存儲到Hadoop數(shù)據(jù)庫HBase中，充分利用集群的分布式處理優(yōu)勢。
　?。?）HBase負載均衡優(yōu)化
　　數(shù)據(jù)在HBase中的存儲方式在很大程

3、度上左右著整個集群的性能，直接影響著后續(xù)讀取操作的效率。當(dāng)MapReduce讀取HBase中Web日志數(shù)據(jù)時可能會造成訪問“熱點”問題，本文針對這種情況提出一種改進的負載均衡算法即HBase基于子表限制的負載均衡算法，在子表分配過程中除了考慮HRegionServer的負載情況外，還考慮到切割子表region的分配情況，從而實現(xiàn)最大程度上的集群負載均衡。
　?。?）用MapReduce對Web日志進行預(yù)處理
　　Web日志預(yù)

4、處理操作關(guān)系到Web挖掘的質(zhì)量，而單一節(jié)點的計算能力在處理大規(guī)模增長的Web日志上逐漸顯露出弊端，MapReduce支持大規(guī)模集群操作，本文在分析Web日志預(yù)處理過程后，從HBase中讀取數(shù)據(jù)，使用MapReduce計算模型處理Web日志的預(yù)處理操作。
　　通過對比實驗，驗證了優(yōu)化后的HBase負載均衡算法在適當(dāng)集群環(huán)境中可以有效解決負載訪問失衡問題，以及驗證了MapReduce在處理Web日志預(yù)處理過程的高效性。最后，本文對預(yù)處