基于Hadoop海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究.pdf

1、互聯(lián)網(wǎng)從誕生至今經(jīng)歷了接近半個(gè)世紀(jì)的時(shí)間，已深入到我們生活的方方面面。如今，在經(jīng)歷了 WEB2.0時(shí)代之后，互聯(lián)網(wǎng)正在向第三代——網(wǎng)絡(luò)服務(wù)個(gè)性化。互聯(lián)網(wǎng)的個(gè)性化演進(jìn)過程中引發(fā)了數(shù)據(jù)的海量化，面對如此海量化的數(shù)據(jù)傳統(tǒng)的單臺超級服務(wù)器也逐漸顯得力不從心，海量數(shù)據(jù)的處理逐漸成為一個(gè)棘手的難題。海量數(shù)據(jù)的產(chǎn)生與處理既是挑戰(zhàn)也是機(jī)遇，海量數(shù)據(jù)為數(shù)據(jù)挖掘提供了豐富的數(shù)據(jù)源，從中挖掘出的信息更加具有商業(yè)價(jià)值。基于以上情況，今天，海量數(shù)據(jù)的處理已成為各

2、大互聯(lián)網(wǎng)公司投資研究的熱門技術(shù)，中小企業(yè)也爭相投入到這場數(shù)據(jù)盛宴中來。
　　2006年 Google所提出的云計(jì)算概念為海量數(shù)據(jù)處理的研究指明了方向，Apache基金會(huì)所研發(fā)的開源 Hadoop云平臺的開源特性更是為廣大研究者帶來了低成本海量數(shù)據(jù)處理的曙光。傳統(tǒng)的數(shù)據(jù)處理方法與技術(shù)在單臺服務(wù)器情況下表現(xiàn)優(yōu)越，但面對云平臺的分布式處理模式已不再適應(yīng)。將傳統(tǒng)的數(shù)據(jù)處理方法進(jìn)行分布式計(jì)算模式改造，并在此基礎(chǔ)上進(jìn)行算法改進(jìn)與性能的提升對于

3、在海量數(shù)據(jù)處理的研究將有重大的意義。
　　本文首先從云計(jì)算理論出發(fā)，介紹了云計(jì)算的發(fā)展歷程與技術(shù)體系，并對現(xiàn)有多款云計(jì)算平臺做了分析與對比。之后選定Hadoop開源云平臺作為項(xiàng)目的基礎(chǔ)研究平臺，對其進(jìn)行深入的分析與討論。接下來對現(xiàn)有數(shù)據(jù)處理技術(shù)進(jìn)行討論。
　　文章第三、四部分是項(xiàng)目研究的核心內(nèi)容，其主要內(nèi)容為：
　　1）第三部分主要對海量web日志數(shù)據(jù)預(yù)處理模型進(jìn)行研究。文章在總結(jié)傳統(tǒng)經(jīng)典預(yù)處理模型的基礎(chǔ)上提出基于二次