分布式結(jié)構(gòu)化存儲系統(tǒng)元數(shù)據(jù)管理模塊設(shè)計與實現(xiàn).pdf

1、在大數(shù)據(jù)時代,數(shù)據(jù)存儲提出了許多新的需求,傳統(tǒng)的基于關(guān)系的數(shù)據(jù)庫存儲系統(tǒng)已經(jīng)不能滿足這些需求。本文在研究和分析了現(xiàn)有的典型結(jié)構(gòu)化存儲系統(tǒng)的基礎(chǔ)上,設(shè)計并實現(xiàn)了一個面向 POI的,具有高可靠性的分布式結(jié)構(gòu)化存儲系統(tǒng)CBase。在CBase存儲系統(tǒng)中,POI信息被分布式存儲在不同的存儲節(jié)點上,元數(shù)據(jù)信息指的是 POI信息到存儲節(jié)點的映射關(guān)系。元數(shù)據(jù)管理模塊是 CBase存儲系統(tǒng)中的一個模塊,主要功能是管理 CBase存儲系統(tǒng)的元數(shù)據(jù)信息,是

2、本人在項目中的主要負責(zé)的模塊。元數(shù)據(jù)管理模塊的主要工作和特色如下:
　　1.元數(shù)據(jù)管理的優(yōu)化。設(shè)計并實現(xiàn)了一個基于R-tree的元數(shù)據(jù)管理模塊,采用寫入操作日志的方式,把對元數(shù)據(jù)操作時可能產(chǎn)生的大量隨機 I/O轉(zhuǎn)化為順序I/O,提高系統(tǒng)的吞吐率;
　　2.元數(shù)據(jù)的容錯性設(shè)計。為了保證元數(shù)據(jù)的可靠性,實現(xiàn)了一個基于 Paxos算法的一致性協(xié)議,對元數(shù)據(jù)副本進行同步,并針對基本Paxos算法的缺點,設(shè)計了Leader租約機制,大