Hadoop中海量日志文件的處理分析.pdf

1、當今社會信息化建設日益增多,數(shù)據(jù)的飛速增長造成了傳統(tǒng)的數(shù)據(jù)庫模式無法滿足目前很多處理巨型規(guī)模的數(shù)據(jù)的需求。隨著近年來分布式數(shù)據(jù)庫的推廣,分布式文件系統(tǒng)的技術(shù)革新,Hadoop系統(tǒng)成為了應用范圍十分廣泛的集群式數(shù)據(jù)文件處理系統(tǒng)。其主要組成部分包括HDFS(Hadoop Distributed File System)和MapReduce。在處理分析海量文件時,Hadoop的作用更是由許多大型企業(yè)的集群化數(shù)據(jù)應用得以驗證。但是,Hadoop

2、在處理海量小文件時,會出現(xiàn)Name Node(名稱節(jié)點)占用率高和無法高效訪問的問題。海量元數(shù)據(jù)的處理極其消耗內(nèi)存,海量小文件堆積造成的Map任務處理等待時間過長等問題都急需找出解決辦法,以支持Hadoop快速處理海量小文件。
　　目前在實際應用中,涉及的需管理的各類大型系統(tǒng)有二三十個,每天都會在各個系統(tǒng)的日志服務器內(nèi)產(chǎn)生海量的日志文件。大型系統(tǒng)中的海量日志文件既小又多,使得管理過程中花銷了大量的硬件成本和網(wǎng)絡資源。因此,考慮選用

3、Hadoop系統(tǒng)來統(tǒng)一管理分析這些海量的日志文件。本文希望通過找出有效的處理分析海量日志文件的方法,以彌補Hadoop在這方面存在的缺陷?；谶@個目的,開展了本次研究。本文重點研究分析了以下內(nèi)容:
　　1)針對處理海量日志文件的各種手段、如合并、建索引、分塊存儲、相鄰堆放等步驟提出可行的方法,主要考慮的是節(jié)省索引檢索的時間,降低節(jié)點間的通信花銷。
　　2)針對日志文件的時間特征,對海量日志文件進行選取時間段的批量更新、刪除,

4、期望得到最優(yōu)效果;提高Hadoop系統(tǒng)對日志更新操作的響應速度。
　　3)尋找海量日志文件備份的方法及實施方式,并根據(jù)優(yōu)缺點及相關(guān)實驗比較,尋找最佳的備份方案,降低系統(tǒng)的負擔。
　　4)采用兩套運行在不同集群的Hadoop系統(tǒng)作為實驗測試的環(huán)境,通過C＃語言設計了包括日志過濾、數(shù)據(jù)比對、時間試驗等多個實驗環(huán)節(jié),驗證本文所提方法的可行性和優(yōu)勢。為Hadoop系統(tǒng)處理分析海量日志文件提供有效的方法。
　　研究表明,本文采用