云文件同步系統(tǒng)關(guān)鍵技術(shù)研究與實現(xiàn).pdf

1、隨著金山快盤、Dropbox、EverNote等云存儲應(yīng)用快速興起，云計算開始真正融入人們的日常生活。實現(xiàn)高可用的云存儲應(yīng)用的關(guān)鍵技術(shù)之一，是如何解決用戶數(shù)據(jù)在多個設(shè)備之間的同步問題。隨著用戶規(guī)模的逐漸擴大，并發(fā)訪問量遞增，存儲容量需求爆炸式增長，云存儲系統(tǒng)勢必面臨極其嚴(yán)峻的考驗。開發(fā)與合作是當(dāng)今互聯(lián)網(wǎng)的主題之一，云存儲系統(tǒng)對外開放亦是大勢所趨。
　　本文設(shè)計并實現(xiàn)了一個安全可靠、可擴展的云存儲子系統(tǒng)，稱為云文件同步系統(tǒng)。并為該系

2、統(tǒng)開發(fā)了云網(wǎng)盤客戶端程序和設(shè)計了REST架構(gòu)風(fēng)格的開放API。此外，還對云環(huán)境下的文件同步算法這一關(guān)鍵技術(shù)做了深入的研究，提出了一種基于文件元數(shù)據(jù)集合的多設(shè)備文件同步算法。本文主要工作包含以下四部分。
　　云文件同步系統(tǒng)的整體設(shè)計。通過引入負(fù)載均衡技術(shù)和MongoDB分布式集群技術(shù)，提高了該系統(tǒng)并發(fā)處理能力和帶故障正常運行能力。整體設(shè)計能夠滿足安全可靠、可擴展的基本要求。
　　多設(shè)備文件同步算法實現(xiàn)。在云環(huán)境下，文件同步參與

3、者之間呈現(xiàn)星形的拓?fù)浣Y(jié)構(gòu)，中央節(jié)點是提供文件存儲服務(wù)的云端，連接中央節(jié)點的是各種客戶端。假設(shè)僅有一個客戶端，那么通過比對該客戶端或云端上次同步完成和本次同步開始這兩個時間點的文件元數(shù)據(jù)集合，可以得到云端和客戶端的文件變化，進(jìn)而合并云端和客戶端文件變化得到最終的文件變化，最后應(yīng)用文件變化即可實現(xiàn)該客戶端與云端的文件同步。此處的獲取文件變化的過程描述起來很簡單，實際情況處理起來卻是異常棘手。不過，經(jīng)過一些巧妙的抽象和反抽象后，整個獲取文件變

4、化的過程變得非常簡便。進(jìn)一步將情景抽象為同步時間獨占、客戶端與客戶端關(guān)系確定為松耦合，使得每個客戶端和云端的同步操作看起來都是獨立的，從而可以將多個客戶端與云端的文件同步問題都看成是之前假設(shè)的單個客戶端與云端的文件同步問題。
　　云文件同步系統(tǒng)的工程實現(xiàn)。主要工作包括基于Jersey框架的REST架構(gòu)風(fēng)格Web服務(wù)程序的開發(fā)和供用戶使用的的云網(wǎng)盤Windows客戶端程序的開發(fā)。
　　云文件同步系統(tǒng)的部署與測試。部署指的是將該