基于Hadoop的云平臺(tái)在海量Web數(shù)據(jù)分析中的應(yīng)用研究.pdf

1、隨著社會(huì)的進(jìn)步和Internet技術(shù)的發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)規(guī)模日漸龐大，Web已成為全球最大的數(shù)據(jù)倉庫，無論是企業(yè)還是個(gè)人都面臨如何有效管理海量Web數(shù)據(jù)的難題。傳統(tǒng)數(shù)據(jù)處理方法存在成本過高、可靠性較低、編寫并行處理程序困難等諸多缺點(diǎn)?；陂_放源代碼的Hadoop并行處理框架能夠有效、可靠、智能的管理海量Web數(shù)據(jù)。
　　為了提高傳統(tǒng)單一節(jié)點(diǎn)在海量Web數(shù)據(jù)分析和挖掘中存在時(shí)間和空間效率，通過分析Hadoop云計(jì)算開源平臺(tái)技術(shù)的國(guó)內(nèi)外研

2、究現(xiàn)狀和發(fā)展趨勢(shì)，基于Hadoop開源框架分布式文件系統(tǒng)（HDFS）和Map/Reduce編程模型，研究了海量Web日志性能指標(biāo)和一種Web挖掘算法的Map/Reduce化過程，設(shè)計(jì)了海量Web數(shù)據(jù)分析系統(tǒng)架構(gòu)，搭建了Hadoop開發(fā)平臺(tái)，實(shí)現(xiàn)了一個(gè)分布式的海量Web數(shù)據(jù)分析系統(tǒng)的開發(fā)。該系統(tǒng)集成了數(shù)據(jù)和應(yīng)用，并通過Hadoop的應(yīng)用程序編程接口（API）連接到Eclipse中，利用Maven管理和構(gòu)建Hadoop項(xiàng)目，實(shí)現(xiàn)任務(wù)之間的共