廣域網存儲加速系統(tǒng)的研究與實現.pdf

1、隨著互聯網的發(fā)展，越來越多的應用需要通過網絡在異地存儲備份數據，但是，由于廣域網具有高帶寬高延遲的特性，而通用的傳輸協議沒有針對該特性進行優(yōu)化，無法完全適應廣域網數據傳輸的需求。此外，備份數據相鄰備份周期的版本通常具有高度相似性，如何高效檢測出相同部分，僅傳輸差異部分，從而縮短備份窗口和節(jié)省網絡流量，是一個重要問題。最后，企業(yè)應用中，需要將系統(tǒng)設置在網關節(jié)點中，如何對通用網絡數據流進行傳輸優(yōu)化，也是一個重要的問題。
　　本畢設從七

2、層網絡模型角度入手，在表示層和傳輸層對以上三個問題進行了數據傳輸的加速。畢設自上而下分為三個改進部分，分別是表示層的重復數據刪除模塊，亂序流解壓縮模塊，和傳輸層的UDP傳輸優(yōu)化模塊。
　　在重復數據刪除模塊中，系統(tǒng)借鑒了傳統(tǒng)字節(jié)緩存算法中使用rabin滑動窗口算法對數據流進行不定長分塊的方案，同時，系統(tǒng)基于網絡異地備份應用中兩個相鄰備份窗口的相同文件通常只有細微改變的特征，提出將rabin指紋分塊檢測出的多個連續(xù)重復指紋塊用一個二

3、級指紋塊代替的算法，進一步縮減網絡流量。
　　在亂序流解壓縮模塊，由于底層采用亂序提交數據包的方式，無法采用傳統(tǒng)流壓縮中對前向所有數據流建立數據字典的方式，畢設基于越早傳輸的數據越有可能已經收到的觀測，采用對前向第m個數據包之前的連續(xù)n個數據包建立數據字典的方式，保證了解壓縮的實時性，避免了該模塊由于等待所有前向數據到來成為系統(tǒng)的瓶頸。
　　在UDP傳輸優(yōu)化模塊，系統(tǒng)摒棄了傳統(tǒng)的TCP傳輸協議，而采用了UDP協議，從而避免了