大規(guī)模圖片存儲與索引系統(tǒng)的設計與實現(xiàn).pdf

1、隨著數(shù)碼產(chǎn)品的普及,家庭圖片類型繁多,且其總量呈爆炸式增長,超出普通用戶的管理能力,由此產(chǎn)生了‘為大規(guī)模圖片文件設計高效存儲與檢索系統(tǒng)’的應用需求,針對此,設計并實現(xiàn)了一種大規(guī)模圖片存儲管理與檢索原型系統(tǒng)。
　　該系統(tǒng)采取C/S基礎架構,具備數(shù)據(jù)上傳功能和語義擴展特性,并采取了高效檢索機制和優(yōu)化技術。具體地,數(shù)據(jù)上傳采用高效可靠的文件傳輸協(xié)議(FTP)將用戶圖片文件傳輸?shù)椒掌魃洗鎯?在客戶端完成圖片語義擴展,并以擴展屬性的方式進

2、行定義和保存;在服務器內(nèi)存中,實現(xiàn)基于分層索引結構的鍵-值對數(shù)據(jù)庫。對于鍵值對插入操作,首先通過第一層的Bloom Filter建立檢索集,然后對鍵進行哈希處理獲得第二層平衡二叉查找樹(AVL樹)的地址,最后在AVL樹中進行插入操作;對于查詢操作,通過第一層的Bloom Filter對查詢條件進行過濾,然后對查詢條件進行哈希處理獲得第二層AVL樹的地址,最后在AVL樹中進行查詢操作。服務器內(nèi)存鍵值對數(shù)據(jù)庫的增刪改查操作接口通過遠程調(diào)用的

3、方式提供給客戶端。最后,采用往日志文件中進行追加寫操作和快照相結合的方式,將內(nèi)存索引信息同步至磁盤日志文件中,保障了內(nèi)存索引信息的可靠性。
　　實驗結果表明,基于鍵值對的內(nèi)存分層索引結構每秒鐘可寫入48600左右個鍵值對,可讀出377800左右個鍵值對。以一個擁有140000個文件的目錄為例,通過Linux文件系統(tǒng)自帶find命令,平均查詢時間約為0.5秒。假設每個文件有10個屬性,對1400000個鍵值對建立內(nèi)存索引結構需耗費3