HBase非主鍵屬性索引方法及實現.pdf

1、當前，互聯網正朝著移動化進一步發(fā)展，社交網絡等新興內容也在不斷興起，人們可以很方便地獲取到想要的信息。正是隨著上述新興內容的不斷發(fā)展，業(yè)務的形態(tài)變得多樣化，每天產生的數據也越來越多。大數據有著不可估量的價值，數據間的關系也在企業(yè)的運營、決策中發(fā)揮著重要作用。所以研究和尋找有效的大數據存儲管理方法，提供實時或準實時的大數據查詢分析能力，成為一個亟待解決的問題。然而，在大數據以及高并發(fā)的數據讀寫請求的背景下，傳統(tǒng)的關系型數據庫瓶頸凸顯，已經

2、無法滿足需求。而NoSQ L即非關系型數據庫能很好地解決上述問題，其中HBase（Hadoop Database）是一個典型應用。
　　HBase為大數據的存儲管理和查詢分析提供了高效的技術和平臺。雖然HBase提供主鍵的高效檢索，然而其對非主鍵屬性檢索的支持并不是很理想，這導致了HBase的非主鍵屬性查詢效率較低，難以滿足數據實時或準實時的查詢需求。為此，提供HBase的面向非主鍵屬性的高效查詢，是目前HBas e急需研究和解決

3、的一個重要問題。
　　論文對HBase非主鍵屬性索引方法進行了深入研究，提出了一種分層式索引，其索引存儲模型共分為兩層。首先是第一層索引，實現基于HBase區(qū)域觀察者模式的協處理器的第一層索引，索引結構采用改進的d-left計數布隆過濾器。通過第一層索引可以避免不必要的數據掃描和比較從而快速定位存儲目標電子郵件數據的相關區(qū)域。其次是第二層索引，實現基于HBase區(qū)域觀察者模式的協處理器的第二層索引，索引結構采用倒排索引。通過第二層