面向大規(guī)模批量日志數(shù)據(jù)存儲(chǔ)方法的研究.pdf

1、防火墻、IPS/IDS、WEB服務(wù)器等大的網(wǎng)絡(luò)系統(tǒng)實(shí)時(shí)產(chǎn)生大量日志數(shù)據(jù)，能高效地存儲(chǔ)、處理這些數(shù)據(jù)是挖掘日志數(shù)據(jù)的前提。關(guān)系數(shù)據(jù)庫(kù)因?yàn)橐M(jìn)行類(lèi)型檢查、語(yǔ)句分析等操作大大影響了其效率，越來(lái)越不適用于處理實(shí)時(shí)和海量日志數(shù)據(jù)。而無(wú)類(lèi)型約束、易擴(kuò)展的鍵值數(shù)據(jù)庫(kù)無(wú)疑將大大提高對(duì)日志數(shù)據(jù)的處理效率。隨著互聯(lián)網(wǎng)的發(fā)展鍵值數(shù)據(jù)庫(kù)的應(yīng)用越來(lái)越廣泛，百度，谷歌，雅虎，阿里巴巴等大的互聯(lián)網(wǎng)公司都采用鍵值數(shù)據(jù)庫(kù)存取，現(xiàn)在熱門(mén)的云存儲(chǔ)，云計(jì)算其數(shù)據(jù)也用鍵值技術(shù)。

2、本文詳細(xì)介紹了鍵值數(shù)據(jù)庫(kù)的原理和主要技術(shù)，并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)高效的、專(zhuān)門(mén)處理網(wǎng)絡(luò)日志數(shù)據(jù)的鍵值數(shù)據(jù)庫(kù)，能夠支持多維索引和事務(wù)處理，并保證進(jìn)程和線(xiàn)程安全。最后給出完成的鍵值數(shù)據(jù)庫(kù)的測(cè)試結(jié)果以及和BerkeleyDB數(shù)據(jù)庫(kù)的對(duì)比情況，指出實(shí)現(xiàn)鍵值數(shù)據(jù)庫(kù)的優(yōu)勢(shì)與不足，并給出下一步的優(yōu)化改進(jìn)措施。
　　本課題主要內(nèi)容是設(shè)計(jì)一個(gè)實(shí)時(shí)處理海量網(wǎng)絡(luò)日志數(shù)據(jù)的數(shù)據(jù)庫(kù)。其主要實(shí)現(xiàn)功能包括以下幾點(diǎn)：
　　(1)基于鍵值數(shù)據(jù)庫(kù)技術(shù)，開(kāi)發(fā)一個(gè)網(wǎng)絡(luò)日

3、志存儲(chǔ)系統(tǒng)；
　　(2)保證較高的讀寫(xiě)效率，寫(xiě)日志到數(shù)據(jù)庫(kù)和從數(shù)據(jù)庫(kù)中讀日志的速率都達(dá)到每秒10萬(wàn)條記錄的數(shù)量級(jí)；
　　(3)實(shí)現(xiàn)多維索引，實(shí)現(xiàn)從多個(gè)域查詢(xún)?nèi)罩居涗?，并支持等值查找，范圍查找，遍歷操作等；
　　(4)線(xiàn)程安全，讀，寫(xiě)進(jìn)程的同步與互斥，保證數(shù)據(jù)的完整性；
　　(5)實(shí)現(xiàn)C/S分布式存儲(chǔ)，利用libevent庫(kù)來(lái)實(shí)現(xiàn)主從存儲(chǔ)器間的通信。
　　本課題將采用一種從整體到局部的設(shè)計(jì)思路實(shí)現(xiàn)日志存儲(chǔ)系統(tǒng)