實(shí)時(shí)流數(shù)據(jù)的存儲技術(shù)研究.pdf

1、數(shù)據(jù)庫技術(shù)的發(fā)展水平?jīng)Q定著國家信息化程度的高低。隨著生活社會化和網(wǎng)絡(luò)化的不斷深入，信息容量的爆炸式增長對數(shù)據(jù)庫技術(shù)的發(fā)展提出了更高的要求。伴隨在網(wǎng)絡(luò)監(jiān)控系統(tǒng)、金融分析系統(tǒng)、交通流量預(yù)測、Web應(yīng)用等眾多領(lǐng)域中廣泛出現(xiàn)的被稱之為流數(shù)據(jù)(Streaming Data)的新型數(shù)據(jù)模型使傳統(tǒng)數(shù)據(jù)庫技術(shù)面臨著嚴(yán)峻的挑戰(zhàn)。
　　 流數(shù)據(jù)管理系統(tǒng)的出現(xiàn)彌補(bǔ)了傳統(tǒng)數(shù)據(jù)庫在處理動態(tài)數(shù)據(jù)上的不足，有效地解決了由潛在無限、高速動態(tài)、頻繁變化等數(shù)據(jù)特點(diǎn)

2、決定的，并與傳統(tǒng)數(shù)據(jù)模型不同的數(shù)據(jù)處理方式。流數(shù)據(jù)管理系統(tǒng)著眼于當(dāng)前流入內(nèi)存的實(shí)時(shí)數(shù)據(jù)，然而，幾乎30％-40％的應(yīng)用涉及歷史流數(shù)據(jù)，因此，若不對流出系統(tǒng)的歷史數(shù)據(jù)有效地進(jìn)行保存，那么有關(guān)趨勢預(yù)測、數(shù)據(jù)分析等方面的應(yīng)用將很難得到滿足。
　　 本文在分析了流數(shù)據(jù)管理系統(tǒng)和關(guān)系數(shù)據(jù)庫系統(tǒng)優(yōu)缺點(diǎn)的基礎(chǔ)上，提出了基于流數(shù)據(jù)引擎和關(guān)系數(shù)據(jù)庫聯(lián)合系統(tǒng)的存儲體系結(jié)構(gòu)，并從以下三個(gè)方面進(jìn)行了詳細(xì)研究：
　　 第一，針對流數(shù)據(jù)管理系統(tǒng)和關(guān)

3、系數(shù)據(jù)庫在處理數(shù)據(jù)方式上的不同，通過采用等距無偏采樣和批處理方式實(shí)現(xiàn)系統(tǒng)的聯(lián)合，并有效地降低數(shù)據(jù)庫空間的存儲壓力；
　　 第二，依據(jù)用戶或應(yīng)用程序?qū)?shù)據(jù)的關(guān)注程度，利用在內(nèi)存中建立基于歷史數(shù)據(jù)的緩存方法來平衡實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)在訪問速度上的較大差異，并提出基于數(shù)據(jù)訪問頻率的置換算法來保證緩存的性能；
　　 第三，隨著時(shí)間的不斷推移，采用基于時(shí)間粒度的二次存儲方法進(jìn)一步提高外存關(guān)系數(shù)據(jù)庫的存儲能力。
　　 最后，較