基于HDFS平臺(tái)的校園云存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著校園信息化不斷發(fā)展，高校信息數(shù)據(jù)存儲(chǔ)問(wèn)題迅速涌現(xiàn)出來(lái)。然而，現(xiàn)存的數(shù)據(jù)存儲(chǔ)平臺(tái)不能夠滿足日益增長(zhǎng)的海量數(shù)據(jù)的需求。因此，研究并開發(fā)一個(gè)有效的存儲(chǔ)平臺(tái)來(lái)存儲(chǔ)這些海量信息數(shù)據(jù)顯得尤其重要。云計(jì)算是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來(lái)的一個(gè)新概念，它是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用

2、軟件集合起來(lái)協(xié)同工作簡(jiǎn)單來(lái)說(shuō)，云存儲(chǔ)就是將儲(chǔ)存資源放到云上供用戶存取的一種新興方案，是目前的研究熱點(diǎn)。
　　基于HDFS的云存儲(chǔ)系統(tǒng)是指通過(guò)Internet遠(yuǎn)程Web方式實(shí)現(xiàn)終端用戶對(duì)文件信息的自由存取，并獲得文件和文件夾的上傳/下載以及管理功能。本文介紹了在IT服務(wù)大環(huán)境的基礎(chǔ)上構(gòu)建云存儲(chǔ)系統(tǒng)的必要性。通過(guò)分析和對(duì)比GFS、Amazons3、Hadoop的技術(shù)特性，確定了以HDFS作為平臺(tái)的基礎(chǔ)存儲(chǔ)模式。通過(guò)搭建Hadoop存儲(chǔ)

3、平臺(tái)，采用Java Web編程技術(shù)和Mysql數(shù)據(jù)庫(kù)完成了各子系統(tǒng)的編碼實(shí)現(xiàn)，并對(duì)云存儲(chǔ)系統(tǒng)的進(jìn)行性能測(cè)試。本文設(shè)計(jì)并實(shí)現(xiàn)了一種通用的基于Hadoop的校園云存儲(chǔ)系統(tǒng)，在HDFS基礎(chǔ)上實(shí)現(xiàn)了某學(xué)院云存儲(chǔ)系統(tǒng)的整體設(shè)計(jì)，包括系統(tǒng)結(jié)構(gòu)、數(shù)據(jù)庫(kù)、后臺(tái)存儲(chǔ)、系統(tǒng)功能實(shí)現(xiàn)等。文中對(duì)HDFS原有的負(fù)載均衡算法進(jìn)行改進(jìn)，提出了一種多指標(biāo)的負(fù)載均衡算法。在HDFS自身負(fù)載均衡的基礎(chǔ)上，根據(jù)具體情況設(shè)定評(píng)價(jià)指標(biāo)，設(shè)計(jì)評(píng)價(jià)函數(shù)，得出負(fù)載量，并制定雙閾值策略