基于HDFS安全云存儲模型的研究.pdf

1、由于互聯(lián)網(wǎng)技術(shù)和云服務(wù)的發(fā)展，網(wǎng)民數(shù)量不斷增長，使得各種信息也呈現(xiàn)爆炸式的增長。在這樣的趨勢下，傳統(tǒng)的存儲服務(wù)已經(jīng)滿足不了現(xiàn)在用戶的需求。不管是企業(yè)還是個人都需要一種新型的存儲服務(wù)。云存儲是云計算概念上發(fā)展而來。它是利用網(wǎng)絡(luò)，分布式文件系統(tǒng)等技術(shù)通過軟硬件結(jié)合的方式將網(wǎng)絡(luò)中的物理存儲連接在一起，并為用戶提供標(biāo)準(zhǔn)存儲接口，方便用戶使用。云存儲的發(fā)展，促使越來越多的用戶將自己的數(shù)據(jù)遷移到云端存儲上，同時關(guān)于云存儲安全也成為必不可少的關(guān)注焦點

2、。當(dāng)我們的數(shù)據(jù)遷移到云端，云存儲提供商就擁有我們數(shù)據(jù)的絕對控制權(quán)，而我們也失去對數(shù)據(jù)絕對的控制。
　　HDFS作為Hadoop底層分布式文件系統(tǒng)，是當(dāng)前云存儲構(gòu)建的主流方案之一。由于利用HDFS部署的云存儲平臺對數(shù)據(jù)擁有絕對控制問題，本文對團(tuán)隊提出的自主可控安全云存儲模型ASOM(All Self-Organization Model)和HDFS內(nèi)部實現(xiàn)進(jìn)行研究。
　　針對HDFS的實現(xiàn)主要分析NameNode管理元數(shù)據(jù)和管

3、理整個集群方式。通過分析DataNode與NameNode之間的有關(guān)數(shù)據(jù)塊交互過程，和NameNode中元數(shù)據(jù)組織流程，在ASOM中設(shè)計并實現(xiàn)了元數(shù)據(jù)子服務(wù)和設(shè)備管理服務(wù)器。在成功提取分離元數(shù)據(jù)后，設(shè)備管理服務(wù)器負(fù)責(zé)管理整個集群的正常運行，元數(shù)據(jù)子服務(wù)器負(fù)責(zé)命名空間和文件定位。在數(shù)據(jù)服務(wù)器向設(shè)備管理服務(wù)器上報數(shù)據(jù)時，設(shè)備管理服務(wù)器會根據(jù)需要轉(zhuǎn)發(fā)信息給元數(shù)據(jù)子服務(wù)器，完成元數(shù)據(jù)組織。而在整個集群運行過程中元數(shù)據(jù)子服務(wù)器和設(shè)備管理服務(wù)器又不

4、斷進(jìn)行信息交互，為了在交互過程中防止可能泄露敏感數(shù)據(jù)，在實現(xiàn)時引入了隨機(jī)表機(jī)制。在這個交互的過程里，本文實現(xiàn)了Co-work算法保證這兩個服務(wù)器在數(shù)據(jù)交互時的一致性。Co-Work算法是在鎖的基礎(chǔ)上通過分析實際場景流程使得兩個服務(wù)器能保證數(shù)據(jù)的一致性。
　　同時針對ASOM中小文件對應(yīng)一個數(shù)據(jù)塊內(nèi)容的安全問題，進(jìn)行研究和解決。通過對小文件中數(shù)據(jù)內(nèi)容部分細(xì)粒度數(shù)據(jù)加密，不僅保證數(shù)據(jù)的安全，還可以改進(jìn)因全部數(shù)據(jù)加密而導(dǎo)致的效率低下。<