基于NoSQL的大數據管理技術研究與應用.pdf

1、隨著傳感器、物聯網等技術的發(fā)展，變電設備狀態(tài)監(jiān)測領域的數據量指數級快速增長，數據種類也多樣化，逐漸構成了變電設備狀態(tài)監(jiān)測大數據。用大數據技術可以快速查詢變電設備狀態(tài)監(jiān)測目標數據，進而發(fā)現變電設備早期缺陷，為變電設備故障診斷提供重要信息。傳統(tǒng)關系數據庫所能處理的數據集比較小，在大數據存儲和查詢方面存在一定困難，而NoSQL數據庫支持大數據增量存儲的高擴展性并且滿足數據高性能讀寫和查詢，成為大數據環(huán)境下數據存儲查詢的新方法。
　　本文

2、首先分析大數據技術和NoSQL數據庫在國內外研究現狀，結合變電設備狀態(tài)監(jiān)測領域實際工程應用，針對關系數據庫難以對半結構化、非結構化數據確定合理關系模型并且難以滿足高并發(fā)處理和實時性要求，給出了一種基于NoSQL數據庫的變電設備狀態(tài)監(jiān)測數據存儲和查詢方案。根據變電設備狀態(tài)監(jiān)測數據特點，選擇HBase數據庫存儲變電設備狀態(tài)監(jiān)測數據，優(yōu)化設計行鍵和列族，提高了按行鍵檢索數據的效率。針對非行鍵數據查詢效率低下的問題，構建二級索引實現對非行鍵數據

3、的快速查詢。
　　為解決變電設備狀態(tài)監(jiān)測數據在基于傳統(tǒng)關系型數據庫系統(tǒng)存儲遇到的性能瓶頸，采用NoSQL作為變電設備狀態(tài)監(jiān)測數據的存儲引擎，并在此基礎上對其存儲和查詢問題進行研究。搭建基于Hadoop和HBase的大數據處理平臺，對變電設備狀態(tài)監(jiān)測數據進行存儲、讀寫性能實驗。實驗結果表明，基于HBase數據庫存儲方法相比常規(guī)存儲方法存儲性能提升兩到三倍左右，基于協處理二級索引的查詢效率相比HBase常規(guī)二級索引方法IHBase提高