基于Hadoop的文件同步存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、云計(jì)算時(shí)代，隨著網(wǎng)絡(luò)終端設(shè)備的廣泛使用以及互聯(lián)網(wǎng)技術(shù)的進(jìn)一步普及，數(shù)據(jù)存儲(chǔ)與備份技術(shù)已經(jīng)與個(gè)人生活及組織的運(yùn)作息息相關(guān)，企業(yè)與個(gè)人均面臨著海量數(shù)據(jù)的管理難題。云存儲(chǔ)及其相關(guān)技術(shù)的發(fā)展給數(shù)據(jù)存儲(chǔ)領(lǐng)域帶來了革新。基于云存儲(chǔ)的在線存儲(chǔ)系統(tǒng)能夠向用戶提供永久的，存儲(chǔ)空間可擴(kuò)展的，便捷的，價(jià)格低廉的數(shù)據(jù)存儲(chǔ)與備份服務(wù)。當(dāng)前國(guó)內(nèi)比較成熟的存儲(chǔ)服務(wù)產(chǎn)品有金山快盤、華為網(wǎng)盤等。它們都提供了穩(wěn)定的數(shù)據(jù)存儲(chǔ)、文件同步功能，但也存在一些問題。首先，客戶端提供

2、的文件系統(tǒng)監(jiān)控功能不夠完善；其次，文件的數(shù)據(jù)同步效率在某些情況下較低；此外，有些產(chǎn)品沒有提供數(shù)據(jù)的安全傳輸功能，也沒有提供對(duì)多種同步事件的分類數(shù)據(jù)傳輸功能；最后，現(xiàn)有產(chǎn)品尚未提供客戶端與服務(wù)器數(shù)據(jù)的加密存儲(chǔ)功能。支撐數(shù)據(jù)存儲(chǔ)的云存儲(chǔ)平臺(tái)的優(yōu)化也是提供基于云存儲(chǔ)的數(shù)據(jù)同步存儲(chǔ)服務(wù)廠商應(yīng)該努力解決的問題。
　　本文從在線同步存儲(chǔ)服務(wù)使用者的角度出發(fā)，總結(jié)了當(dāng)前同步存儲(chǔ)服務(wù)產(chǎn)品的主要功能以及存在的一些問題，從需求與問題出發(fā)，深入研究了實(shí)

3、現(xiàn)基于云存儲(chǔ)的文件同步存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一種基于hadoop搭建的云存儲(chǔ)后臺(tái)，使用了 Rsync同步算法的文件同步存儲(chǔ)系統(tǒng)。論文的主要工作包括：分析國(guó)內(nèi)外同類產(chǎn)品的優(yōu)缺點(diǎn)，明確系統(tǒng)用戶的需求；利用開源的jpathwatch類庫實(shí)時(shí)監(jiān)控系統(tǒng)客戶端虛擬磁盤的更新變化，實(shí)現(xiàn)了不同類型同步事件的實(shí)時(shí)觸發(fā)和通知功能，添加了對(duì)文件移動(dòng)和文件重命名的監(jiān)控；通過對(duì)同步事件的分類，實(shí)現(xiàn)了不同事件的分類化處理，特別是文件內(nèi)容更新和續(xù)傳事件，設(shè)