Hadoop中海量小文件存取關(guān)鍵技術(shù)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，每天產(chǎn)生的數(shù)據(jù)量正呈爆炸式增長，傳統(tǒng)的數(shù)據(jù)處理技術(shù)很難快速有效地處理海量數(shù)據(jù)。在此背景下，Hadoop作為一種高效處理海量數(shù)據(jù)的框架而得到廣泛應(yīng)用，其底層文件系統(tǒng)HDFS（Hadoop Distributed File System，Hadoop分布式文件系統(tǒng)）是運行在普通廉價機器上的分布式文件系統(tǒng)，可以平滑擴容，并提供高吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集的處理。
　　HDFS采用“主/從”結(jié)構(gòu)，由一個名稱節(jié)

2、點（NameNode）和多個數(shù)據(jù)節(jié)點（DataNode）組成。Hadoop設(shè)計之初是為了處理大文件，系統(tǒng)中每個文件會在名稱節(jié)點的內(nèi)存中生成與其對應(yīng)的元數(shù)據(jù)，元數(shù)據(jù)的大小與文件大小無直接關(guān)系，因此，若系統(tǒng)中存在海量小文件，則名稱節(jié)點的內(nèi)存無法容納如此大量的元數(shù)據(jù)，從而導(dǎo)致其內(nèi)存的大小會成為系統(tǒng)擴容的瓶頸。然而，在如今的互聯(lián)網(wǎng)時代，各種社交軟件、博客、購物網(wǎng)站等每天會產(chǎn)生大量小文件；在網(wǎng)絡(luò)硬盤中，用戶上傳的文件大多是文檔、圖片、音頻等小文件

3、，這給Hadoop的應(yīng)用帶來很大的挑戰(zhàn)。
　　針對Hadoop在存儲小文件時效率低下的問題，本文提出基于文件合并技術(shù)解決這一問題，基本思想是將多個小文件合并為大文件，并建立小文件到大文件的映射。針對Hadoop中海量小文件的檢索效率問題，本文采用R樹、倒排索引以及預(yù)處理器端全局映射管理技術(shù)，提供了依據(jù)文件名和文件元數(shù)據(jù)分別進行檢索的方法。最后，通過搭建Hadoop平臺并實現(xiàn)本文所提出的方案，對所提出的算法進行性能測試，結(jié)果表明，本