大規(guī)模圖片存儲(chǔ)與索引系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著數(shù)碼產(chǎn)品的普及,家庭圖片類型繁多,且其總量呈爆炸式增長(zhǎng),超出普通用戶的管理能力,由此產(chǎn)生了‘為大規(guī)模圖片文件設(shè)計(jì)高效存儲(chǔ)與檢索系統(tǒng)’的應(yīng)用需求,針對(duì)此,設(shè)計(jì)并實(shí)現(xiàn)了一種大規(guī)模圖片存儲(chǔ)管理與檢索原型系統(tǒng)。
　　該系統(tǒng)采取C/S基礎(chǔ)架構(gòu),具備數(shù)據(jù)上傳功能和語(yǔ)義擴(kuò)展特性,并采取了高效檢索機(jī)制和優(yōu)化技術(shù)。具體地,數(shù)據(jù)上傳采用高效可靠的文件傳輸協(xié)議(FTP)將用戶圖片文件傳輸?shù)椒?wù)器上存儲(chǔ);在客戶端完成圖片語(yǔ)義擴(kuò)展,并以擴(kuò)展屬性的方式進(jìn)

2、行定義和保存;在服務(wù)器內(nèi)存中,實(shí)現(xiàn)基于分層索引結(jié)構(gòu)的鍵-值對(duì)數(shù)據(jù)庫(kù)。對(duì)于鍵值對(duì)插入操作,首先通過(guò)第一層的Bloom Filter建立檢索集,然后對(duì)鍵進(jìn)行哈希處理獲得第二層平衡二叉查找樹(shù)(AVL樹(shù))的地址,最后在AVL樹(shù)中進(jìn)行插入操作;對(duì)于查詢操作,通過(guò)第一層的Bloom Filter對(duì)查詢條件進(jìn)行過(guò)濾,然后對(duì)查詢條件進(jìn)行哈希處理獲得第二層AVL樹(shù)的地址,最后在AVL樹(shù)中進(jìn)行查詢操作。服務(wù)器內(nèi)存鍵值對(duì)數(shù)據(jù)庫(kù)的增刪改查操作接口通過(guò)遠(yuǎn)程調(diào)用的

3、方式提供給客戶端。最后,采用往日志文件中進(jìn)行追加寫操作和快照相結(jié)合的方式,將內(nèi)存索引信息同步至磁盤日志文件中,保障了內(nèi)存索引信息的可靠性。
　　實(shí)驗(yàn)結(jié)果表明,基于鍵值對(duì)的內(nèi)存分層索引結(jié)構(gòu)每秒鐘可寫入48600左右個(gè)鍵值對(duì),可讀出377800左右個(gè)鍵值對(duì)。以一個(gè)擁有140000個(gè)文件的目錄為例,通過(guò)Linux文件系統(tǒng)自帶find命令,平均查詢時(shí)間約為0.5秒。假設(shè)每個(gè)文件有10個(gè)屬性,對(duì)1400000個(gè)鍵值對(duì)建立內(nèi)存索引結(jié)構(gòu)需耗費(fèi)3