基于HBase的電信網(wǎng)管告警存儲(chǔ)方式設(shè)計(jì)和實(shí)施.pdf

1、近幾年隨著4G網(wǎng)絡(luò)的建設(shè)，山東移動(dòng)公司的故障管理系統(tǒng)中需要處理的告警越來越多。系統(tǒng)每天需要進(jìn)行幾百萬的告警數(shù)據(jù)處理并存入數(shù)據(jù)庫中，使得告警數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)越來越龐大。在TB級(jí)別數(shù)據(jù)量上，傳統(tǒng)的告警存取方式很難提供一個(gè)良好的查詢性能，嚴(yán)重影響了用戶的體驗(yàn)。特別是現(xiàn)在大數(shù)據(jù)分析的飛速發(fā)展，利用現(xiàn)有告警數(shù)據(jù)與其他各個(gè)維度或格式的數(shù)據(jù)進(jìn)行綜合分析為更好的保障網(wǎng)絡(luò)質(zhì)量服務(wù)，成為網(wǎng)絡(luò)監(jiān)控部門新的關(guān)注點(diǎn)，目前的告警數(shù)據(jù)存取方式不能很好的支持?jǐn)?shù)據(jù)挖掘

2、分析的需要。
　　HBase作為一種NOSQL數(shù)據(jù)庫，能夠較好的應(yīng)對(duì)大數(shù)據(jù)的存取，支持毫秒級(jí)別的查詢，為告警數(shù)據(jù)的存取提供了方向。本文通過分析HBase的相關(guān)特性以及網(wǎng)管告警數(shù)據(jù)的特點(diǎn)，確定了使用HBase存儲(chǔ)網(wǎng)管告警數(shù)據(jù)的可行性。然后設(shè)計(jì)一種HBase系統(tǒng)設(shè)計(jì)方案來實(shí)現(xiàn)對(duì)告警數(shù)據(jù)的存取，并針對(duì)告警數(shù)據(jù)存取時(shí)面臨的熱點(diǎn)問題和多條件組合查詢問題提出了解決方法。
　　針對(duì)告警數(shù)據(jù)存取時(shí)的熱點(diǎn)問題，本文從散列方式和預(yù)分區(qū)兩個(gè)方面進(jìn)

3、行處理，通過將數(shù)據(jù)進(jìn)行散列處理和對(duì)Region進(jìn)行預(yù)劃分，使得告警數(shù)據(jù)能夠在HBase中相對(duì)均勻的分布，盡量避免了熱點(diǎn)的出現(xiàn)。對(duì)于HBase無法直接支持多條件組合查詢問題，從網(wǎng)管告警流水號(hào)、RowKey和二級(jí)索引等幾個(gè)方面進(jìn)行改造和設(shè)計(jì)，來滿足常用條件查詢需求的需要。首先將網(wǎng)管告警流水號(hào)從單純的計(jì)數(shù)器生成方式改造為根據(jù)告警發(fā)生時(shí)間生成，使得網(wǎng)管告警流水號(hào)包含時(shí)間信息;然后將RowKey設(shè)計(jì)為通過由時(shí)間生成的散列值和網(wǎng)管告警流水號(hào)組成，使

4、得可以將網(wǎng)管告警流水號(hào)直接轉(zhuǎn)換為RowKey，簡(jiǎn)化RowKey設(shè)計(jì)并為數(shù)據(jù)存取提供方面;最后通過使用一個(gè)基于條件組合的輔助索引表來完成對(duì)二級(jí)索引的存儲(chǔ)，使得在查詢時(shí)能夠首先通過索引表來獲取滿足條件的索引數(shù)據(jù)，然后再快速的從數(shù)據(jù)表中提取數(shù)據(jù)，提升條件查詢的效率。
　　通過分析發(fā)現(xiàn)使用HBase進(jìn)行告警數(shù)據(jù)的存儲(chǔ)，可以滿足故障管理系統(tǒng)日益增長(zhǎng)的數(shù)據(jù)量和用戶對(duì)數(shù)據(jù)分析的需求。本文為解決使用HBase存取告警數(shù)據(jù)時(shí)遇到的熱點(diǎn)問題和多條件組