云計算環(huán)境下海量小文件處理方法研究.pdf

1、Hadoop是近幾年發(fā)展比較成熟的云計算平臺之一，作為一種開源軟件框架，它憑借其可靠性、可擴展性和分布式的計算和存儲而迅速發(fā)展，為眾多企業(yè)和研究研究者所認可。Hadoop主要由底層分布式文件系統(tǒng)HDFS和上層并行編程模型MapReduce引擎構(gòu)成,其中HDFS以其優(yōu)異性能至今仍被廣泛應用。
　　HDFS采用主從架構(gòu)模式，由單一NameNode和多個DataNode組成，其主要針對流式數(shù)據(jù)訪問模式而設計，但對海量小文件(指比HDFS

2、默認文件塊(64MB)小很多的文件）處理性能不佳，而現(xiàn)實應用中卻存在HDFS存儲海量小文件的需求。目前針對HDFS小文件問題，主要對策是對文件進行合并，在進行文件合并時，對于小文件并沒有明確的定義，然而文件分界點問題直接關(guān)系到HDFS文件存儲策略、文件合并策略的研究，對HDFS海量小文件的存儲有著至關(guān)重要的意義。
　　針對HDFS(Hadoop Distributed File System)中小文件處理性能不佳的問題，本文研究H

3、DFS設計架構(gòu)及其對應的存儲機制，分析HDFS文件操作相關(guān)過程，以及HDFS在進行文件操作時采用的一些量化標準，從中分析出導致HDFS在處理小文件時性能不佳的根本原因。本文主要工作如下:
　　(1)分析HDFS小文件問題產(chǎn)生原因，分析小文件問題研究現(xiàn)狀，將研究現(xiàn)狀分為Hadoop自帶解決方案、通用問題解決方案、特定問題解決方案三個角度進行論述，分析其各自的原理、研究進展，最后對其進行對比，分析現(xiàn)有HDFS小文件問題解決方案存在的不

4、足之處。
　　(2)針對目前小文件定義不精確問題，創(chuàng)新性提出一種云存儲系統(tǒng)中文件分界點確定方法Cut-GAR方法，Cut-GAR利用灰度關(guān)聯(lián)分析，將文件大小作為評價對象，NameNode內(nèi)存消耗、文件上傳速度、文件下載速度作為評價指標。首先，通過分別測試NameNode內(nèi)存消耗、文件上傳速度、文件下載速度與文件大小關(guān)系，分別得出一個文件分界點;其次，借助灰色關(guān)聯(lián)分析，得出三個評價指標所占權(quán)重以及灰色關(guān)聯(lián)度;最后，將三個評價指標所得