基于HBase的大數(shù)據(jù)存儲(chǔ)查詢技術(shù)研究.pdf

1、在現(xiàn)在的大數(shù)據(jù)平臺(tái)上，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)需求越來(lái)越大，對(duì)其數(shù)據(jù)的讀寫性能要求也越來(lái)越高，傳統(tǒng)技術(shù)無(wú)法滿足這些要求。因此本文對(duì)大數(shù)據(jù)處理技術(shù)進(jìn)行研究，選取了以Hadoop為平臺(tái)的HBase數(shù)據(jù)庫(kù)，在HBase的自身之上優(yōu)化了數(shù)據(jù)存儲(chǔ)系統(tǒng)并拓展了二級(jí)索引的功能。
　　針對(duì)HBase的數(shù)據(jù)存儲(chǔ)系統(tǒng)，它在導(dǎo)入商品圖片、視頻信息等這些大對(duì)象時(shí)，出現(xiàn)嚴(yán)重延遲現(xiàn)象。因此本文對(duì)這種情況進(jìn)行了分析，并設(shè)計(jì)了存儲(chǔ)大對(duì)象的存儲(chǔ)架構(gòu)。該框架將大對(duì)象數(shù)據(jù)

2、隔離存儲(chǔ)在 HDFS上，回避 HBase本身的Split和Minor Compaction的機(jī)制，減少對(duì)HBase中其它數(shù)據(jù)的讀寫影響，然后把存儲(chǔ)的文件地址更新到 HBase大對(duì)象列族中，實(shí)現(xiàn)大對(duì)象的快速查詢，接著對(duì)大對(duì)象數(shù)據(jù)的列族定制了Flush機(jī)制與Compaction機(jī)制，以實(shí)現(xiàn)對(duì)大對(duì)象的管理維護(hù)。通過(guò)對(duì)改進(jìn)的HBase與HBase自身的性能對(duì)比，改進(jìn)的HBase在插入數(shù)據(jù)時(shí)，每條記錄僅耗時(shí)毫秒級(jí)時(shí)間，且狀態(tài)很穩(wěn)定，在讀取速度上也

3、提高了2倍，充分滿足了線上實(shí)時(shí)性的需求。
　　本文另一重點(diǎn)是為HBase拓展了二級(jí)索引。由于HBase只支持基于主鍵的查詢，當(dāng)用戶不知主鍵査詢數(shù)據(jù)時(shí)，只能通過(guò)全表掃描來(lái)獲取數(shù)據(jù)，這種方式效率很低，無(wú)法滿足實(shí)時(shí)査詢需求。針對(duì)這一缺點(diǎn)，本文拓展了二級(jí)索引功能。它的實(shí)現(xiàn)思想是把建立二級(jí)索引的任務(wù)分布到各個(gè)服務(wù)端上，同時(shí)保證索引表與對(duì)應(yīng)的主表存儲(chǔ)在同一個(gè)服務(wù)器上，這樣查詢時(shí)只需與對(duì)應(yīng)服務(wù)端建立一次連接即可，從而提高了非主鍵查詢速度。通過(guò)對(duì)