小文件存取優(yōu)化方法的研究與應用.pdf

1、隨著信息技術的提高和互聯(lián)網飛速發(fā)展，企業(yè)和個人數(shù)據(jù)出現(xiàn)爆炸式增長。研究調查預測到2020年全球數(shù)據(jù)量將達到35ZB。大數(shù)據(jù)時代已經來臨，傳統(tǒng)數(shù)據(jù)存儲方式已經無法滿足大數(shù)據(jù)時代的海量數(shù)據(jù)存儲需求，而以HDFS為代表的分布式文件系統(tǒng)憑借其高可靠性、高可擴展、高容錯性、低成本等特點為大數(shù)據(jù)時代的海量數(shù)據(jù)存取提供了全新的模式。然而，HDFS在處理小文件時存在存取效率低，元數(shù)據(jù)信息存儲消耗內存大以及系統(tǒng)數(shù)據(jù)冗余度高等問題。因此海量小文件的存儲方法

2、的研究與優(yōu)化成為國內外研究的熱門之一。
　　本文對HDFS分布式文件系統(tǒng)進行了全面分析，并介紹了重復數(shù)據(jù)刪除技術，同時分析了基于HDFS系統(tǒng)存儲海量小文件時存在的不足。針對網絡中的存在大量的小文件及重復數(shù)據(jù)，分別采用了相應的的處理策略。本文的主要研究內容和創(chuàng)新點如下：
　　(1)提出基于相似度的小文件合并算法。首先設計了提取文件關鍵字策略，對文件的關鍵字利用漢明距離進行相似度計算，將相關的小文件合并成大文件上傳到HDFS上；

3、結合小文件合并方案，對小文件的元數(shù)據(jù)結構、存儲位置進行了分析，同時，對小文件的讀寫操作流程進行了詳細的設計,有效地減少了系統(tǒng)的I/O操作，緩解了NameNode存儲元數(shù)據(jù)的壓力，間接地增加系統(tǒng)的存儲容量。
　　(2)針對系統(tǒng)中存在數(shù)據(jù)高度冗余問題，本文在基于TTTD算法的基礎上提出了IOTD優(yōu)化算法，可以明顯地減小文件分塊大小的不確定性，提高數(shù)據(jù)去重率，同時為了加快數(shù)據(jù)去重中查詢索引表的速度，引入RUH表，通過MapReduce編