海量日志分布式處理系統(tǒng)的研究與應(yīng)用.pdf

1、隨著社會(huì)的進(jìn)步、信息技術(shù)的持續(xù)發(fā)展，海量數(shù)據(jù)呈指數(shù)級(jí)生成。傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)已無法滿足大數(shù)據(jù)的存儲(chǔ)和計(jì)算要求，于是Hadoop技術(shù)應(yīng)運(yùn)而生。校園網(wǎng)設(shè)備中積存著大量日志數(shù)據(jù)，但無法充分利用，反而成為了負(fù)擔(dān)，對(duì)分布式處理分析系統(tǒng)有著迫切的需求。
　　本人（獨(dú)立或參與）完成了如下工作:為了提高整個(gè)Hadoop系統(tǒng)的效率，從數(shù)據(jù)導(dǎo)入、數(shù)據(jù)分析/處理、聚類三個(gè)方面的效率進(jìn)行實(shí)驗(yàn)分析，并提供了相應(yīng)的優(yōu)化策略。數(shù)據(jù)導(dǎo)入效率優(yōu)化的策略是去掉pipel

2、ine中的部分ACK反饋，為了保持?jǐn)?shù)據(jù)的完整性和可靠性，更新數(shù)據(jù)節(jié)點(diǎn)上錯(cuò)誤重傳方法，在每個(gè)數(shù)據(jù)節(jié)點(diǎn)上維護(hù)一個(gè)已接收packet包的dataqueue和一個(gè)存放已接收packet id的表。針對(duì)數(shù)據(jù)處理效率優(yōu)化，論文中針對(duì)三組相關(guān)參數(shù)(mapred.map.tasks、dfs.block.size、io.sort.mb)設(shè)置了多組測(cè)試數(shù)據(jù)，并進(jìn)行了分析對(duì)比，得出了各個(gè)參數(shù)比較適合的取值范圍。聚類效率優(yōu)化策略是添加Mapper輸入緩存并將T

3、ask調(diào)度本地化，也就是使每次迭代中分配給每個(gè)節(jié)點(diǎn)的MapTask與第一次迭代時(shí)的分配基本一致。
　　本文根據(jù)之前對(duì)Hadoop系統(tǒng)的優(yōu)化分析，對(duì)Hadoop進(jìn)行改進(jìn)，并應(yīng)用到校園網(wǎng)日志分析中來，設(shè)計(jì)開發(fā)了一套基于myHadoop的校園網(wǎng)用戶訪問日志分析系統(tǒng)。文章從眾多種類的日志中選取了與校園網(wǎng)用戶行為密切相關(guān)的計(jì)費(fèi)日志。通過該日志中的訪問時(shí)間屬性，提取出用戶十二維的上網(wǎng)時(shí)間段特征向量。對(duì)于聚類算法，選擇了簡(jiǎn)易、廣泛被使用的K-M