一種分層次數(shù)據(jù)去冗技術(shù)研究.pdf

1、隨著企業(yè)和個人用戶數(shù)據(jù)迅速增長，對數(shù)據(jù)中心的存儲能力要求越來越高。統(tǒng)計顯示在這些海量數(shù)據(jù)中，有相當?shù)囊徊糠质侨哂鄶?shù)據(jù)，如何檢測并刪除這些冗余數(shù)據(jù)，提高數(shù)據(jù)中心存儲性能已經(jīng)變得越發(fā)迫切，也非常具有實用價值。
　　本文一開始介紹了去冗的一些背景知識，分析了各大主要廠商去冗產(chǎn)品，介紹了相關(guān)的技術(shù)，在此基礎(chǔ)上完成了以下工作：
　　首先設(shè)計了一種分層次的去冗余架構(gòu)，采用控制服務(wù)器和信息服務(wù)器分離的方法，使其分別用于事務(wù)處理和文件元數(shù)據(jù)

2、存放。在信息服務(wù)器中，數(shù)據(jù)分層存放：文件指紋信息常駐內(nèi)存，分塊數(shù)據(jù)的元數(shù)據(jù)置于固態(tài)硬盤或者磁盤，真實文件數(shù)據(jù)存放于廉價的存儲設(shè)備，從而合理利用內(nèi)存和磁盤空間，提高效率。
　　其次在預(yù)處理模塊中，把數(shù)據(jù)進行分類處理，提出一種基于字節(jié)的最大遞增序列分塊算法，即BFMIS算法，有效解決不定長分塊中的硬分塊問題。針對去冗系統(tǒng)中關(guān)鍵的數(shù)據(jù)碰撞難題，對經(jīng)典的SHA-1算法進行優(yōu)化，改進SHA-1算法中的步函數(shù)，增強消息修改的擴展程度，并增加消

3、息摘要的長度，提高SHA-1算法的抗碰撞性，降低去冗系統(tǒng)的誤刪率。提出多維Bloom Filter算法，對普通Bloom Filter算法進行位數(shù)組擴展，降低其誤判率，解決海量數(shù)據(jù)冗余檢測問題，并增強Bloom Filter算法在分布式環(huán)境下的動態(tài)伸縮性，提高整個去冗系統(tǒng)的擴展性。
　　論文闡述RFID網(wǎng)絡(luò)中標簽數(shù)據(jù)冗余問題以及CLIF，INPFM去冗機制，并把分層次去冗框架應(yīng)用于 RFID網(wǎng)絡(luò)中，把 RFID標簽數(shù)據(jù)作為經(jīng)過預(yù)處