基于POSIX語義的分布式文件系統(tǒng)客戶端設計與實現(xiàn).pdf

1、自云計算概念提出以來，作為核心部分之一的云存儲(分布式文件系統(tǒng))也迅速成為研究熱點。與普通的存儲方式不同，云存儲是由大量普通PC形成的存儲集群來提供海量分布式數(shù)據(jù)存儲服務，通過數(shù)據(jù)冗余的方式來實現(xiàn)數(shù)據(jù)透明存儲和底層節(jié)點的容錯性。如何實現(xiàn)數(shù)據(jù)的高效存儲是云存儲中的關鍵技術之一。
　　本文通過對現(xiàn)有分布式文件系統(tǒng)詳細介紹和全面分析之后，提出了一個基于私有云的分布式文件系統(tǒng) CStore，CStore系統(tǒng)由大量的元數(shù)據(jù)服務器和數(shù)據(jù)服務器

2、節(jié)點等部件組成，向上層用戶提供一個高效的存儲服務。最后，結合項目中的實際工作，論文設計并實現(xiàn)了CStore系統(tǒng)中基于POSIX語義的Linux客戶端。整個客戶端所包含的基本工作和創(chuàng)新點如下：
　　1．FUSE文件系統(tǒng)?？蛻舳藢崿F(xiàn)了一個基于FUSE協(xié)議的用戶態(tài)文件系統(tǒng)驅動，通過以虛擬磁盤的方式實現(xiàn)云端數(shù)據(jù)的本地化，原有程序均不修改就能直接運行?？蛻舳藘炔繉崿F(xiàn)采用流水線處理模型，每個功能模塊采用一個線程進行管理，線程之間采用域套接字通

3、信方式和等待隊列機制來實現(xiàn)異步消息的處理。
　　2．緩存組織。為了減少云端服務器壓力和通信開銷，客戶端提出了一個高效的數(shù)據(jù)緩存算法將元數(shù)據(jù)進行內存緩存和本地化緩存，數(shù)據(jù)進行內存緩存。在結構組織方面，客戶端采用了樹形目錄的方式管理元數(shù)據(jù)緩存并通過使用紅黑樹和LRU淘汰策略來實現(xiàn)數(shù)據(jù)分片的隨機讀寫。在啟動時，客戶端自動加載本地元數(shù)據(jù)，在系統(tǒng)退出后，客戶端將所有內存元數(shù)據(jù)進行本地化存儲。
　　3．網絡通信模型?？蛻舳瞬捎肅++實現(xiàn)

4、了一套基于非阻塞的異步網絡通信框架來實現(xiàn)與服務器通信，并通過線程池來實現(xiàn)磁盤的異步讀寫功能。與內核通信部分，客戶端采用C語言設計并實現(xiàn)該模塊所有基本數(shù)據(jù)結構及業(yè)務邏輯。
　　4．提出了基于操作日志的方式來保證數(shù)據(jù)的同步?？蛻舳送ㄟ^定時觸發(fā)機制向元數(shù)據(jù)服務器拉取并本地執(zhí)行操作日志的方式來達到數(shù)據(jù)的一致。
　　5．持久化存儲?？蛻舳颂岢隽艘粋€基于 B+樹的元數(shù)據(jù)持久化存儲模型來存儲內存中的元數(shù)據(jù)。通過B+樹建立索引和追加寫策略，