基于HDFS安全云存儲(chǔ)模型的研究.pdf

1、由于互聯(lián)網(wǎng)技術(shù)和云服務(wù)的發(fā)展，網(wǎng)民數(shù)量不斷增長(zhǎng)，使得各種信息也呈現(xiàn)爆炸式的增長(zhǎng)。在這樣的趨勢(shì)下，傳統(tǒng)的存儲(chǔ)服務(wù)已經(jīng)滿足不了現(xiàn)在用戶的需求。不管是企業(yè)還是個(gè)人都需要一種新型的存儲(chǔ)服務(wù)。云存儲(chǔ)是云計(jì)算概念上發(fā)展而來(lái)。它是利用網(wǎng)絡(luò)，分布式文件系統(tǒng)等技術(shù)通過(guò)軟硬件結(jié)合的方式將網(wǎng)絡(luò)中的物理存儲(chǔ)連接在一起，并為用戶提供標(biāo)準(zhǔn)存儲(chǔ)接口，方便用戶使用。云存儲(chǔ)的發(fā)展，促使越來(lái)越多的用戶將自己的數(shù)據(jù)遷移到云端存儲(chǔ)上，同時(shí)關(guān)于云存儲(chǔ)安全也成為必不可少的關(guān)注焦點(diǎn)

2、。當(dāng)我們的數(shù)據(jù)遷移到云端，云存儲(chǔ)提供商就擁有我們數(shù)據(jù)的絕對(duì)控制權(quán)，而我們也失去對(duì)數(shù)據(jù)絕對(duì)的控制。
　　HDFS作為Hadoop底層分布式文件系統(tǒng)，是當(dāng)前云存儲(chǔ)構(gòu)建的主流方案之一。由于利用HDFS部署的云存儲(chǔ)平臺(tái)對(duì)數(shù)據(jù)擁有絕對(duì)控制問(wèn)題，本文對(duì)團(tuán)隊(duì)提出的自主可控安全云存儲(chǔ)模型ASOM(All Self-Organization Model)和HDFS內(nèi)部實(shí)現(xiàn)進(jìn)行研究。
　　針對(duì)HDFS的實(shí)現(xiàn)主要分析NameNode管理元數(shù)據(jù)和管

3、理整個(gè)集群方式。通過(guò)分析DataNode與NameNode之間的有關(guān)數(shù)據(jù)塊交互過(guò)程，和NameNode中元數(shù)據(jù)組織流程，在ASOM中設(shè)計(jì)并實(shí)現(xiàn)了元數(shù)據(jù)子服務(wù)和設(shè)備管理服務(wù)器。在成功提取分離元數(shù)據(jù)后，設(shè)備管理服務(wù)器負(fù)責(zé)管理整個(gè)集群的正常運(yùn)行，元數(shù)據(jù)子服務(wù)器負(fù)責(zé)命名空間和文件定位。在數(shù)據(jù)服務(wù)器向設(shè)備管理服務(wù)器上報(bào)數(shù)據(jù)時(shí)，設(shè)備管理服務(wù)器會(huì)根據(jù)需要轉(zhuǎn)發(fā)信息給元數(shù)據(jù)子服務(wù)器，完成元數(shù)據(jù)組織。而在整個(gè)集群運(yùn)行過(guò)程中元數(shù)據(jù)子服務(wù)器和設(shè)備管理服務(wù)器又不

4、斷進(jìn)行信息交互，為了在交互過(guò)程中防止可能泄露敏感數(shù)據(jù)，在實(shí)現(xiàn)時(shí)引入了隨機(jī)表機(jī)制。在這個(gè)交互的過(guò)程里，本文實(shí)現(xiàn)了Co-work算法保證這兩個(gè)服務(wù)器在數(shù)據(jù)交互時(shí)的一致性。Co-Work算法是在鎖的基礎(chǔ)上通過(guò)分析實(shí)際場(chǎng)景流程使得兩個(gè)服務(wù)器能保證數(shù)據(jù)的一致性。
　　同時(shí)針對(duì)ASOM中小文件對(duì)應(yīng)一個(gè)數(shù)據(jù)塊內(nèi)容的安全問(wèn)題，進(jìn)行研究和解決。通過(guò)對(duì)小文件中數(shù)據(jù)內(nèi)容部分細(xì)粒度數(shù)據(jù)加密，不僅保證數(shù)據(jù)的安全，還可以改進(jìn)因全部數(shù)據(jù)加密而導(dǎo)致的效率低下。<