基于關(guān)系數(shù)據(jù)庫(kù)與NoSQL相結(jié)合的微博數(shù)據(jù)存儲(chǔ)研究.pdf

1、在這個(gè)數(shù)據(jù)大爆炸的時(shí)代，電子商務(wù)、社交網(wǎng)站、音頻視頻網(wǎng)站等每天都會(huì)產(chǎn)生TB級(jí)的數(shù)據(jù)量。如今，微博也毫無懸念的躋身其中，面臨著海量數(shù)據(jù)存儲(chǔ)問題。國(guó)內(nèi)許多的諸如新浪微博、騰訊微博等網(wǎng)站，因?yàn)樽畛跏褂藐P(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)，導(dǎo)致他們?nèi)缃衩媾R著兩大難題。一是無法通過簡(jiǎn)單地新增存儲(chǔ)設(shè)備來實(shí)現(xiàn)擴(kuò)展，海量數(shù)據(jù)存儲(chǔ)困難；二是當(dāng)用戶訪問量過大時(shí)，即使1％的緩存訪問不命中所造成的數(shù)據(jù)庫(kù)查詢?nèi)匀恍实拖拢踔翢o法支撐。而國(guó)外如Facebook、Twitter等網(wǎng)

2、站，其采用非關(guān)系型數(shù)據(jù)庫(kù)（NoSQL）進(jìn)行數(shù)據(jù)存儲(chǔ)，在處理海量數(shù)據(jù)方面，可以通過新增存儲(chǔ)設(shè)備、提高數(shù)據(jù)存取效率等方式應(yīng)對(duì)，但NoSQL在面對(duì)那些要求高安全性、強(qiáng)事務(wù)性的業(yè)務(wù)時(shí)就顯得很乏力。因此，如何解決微博海量數(shù)據(jù)存儲(chǔ)、提高訪問效率，還能適應(yīng)部分業(yè)務(wù)的強(qiáng)事務(wù)性要求，就成為一個(gè)重要的研究方向。然而國(guó)內(nèi)外學(xué)者在這方面的研究工作一直都進(jìn)展緩慢，雖有一定成果，但大都停留在概念或模型地提出而全無具體策略，無法投入實(shí)際應(yīng)用。
　　針對(duì)上述情況

3、，本文以微博自身業(yè)務(wù)為基礎(chǔ)，充分利用關(guān)系數(shù)據(jù)庫(kù)與NoSQL各自的優(yōu)勢(shì)，創(chuàng)造性地提出微博數(shù)據(jù)分庫(kù)存儲(chǔ)，即用戶相關(guān)信息使用關(guān)系數(shù)據(jù)庫(kù)（MySQL）存儲(chǔ)，微博相關(guān)信息使用NoSQL（Cassandra）存儲(chǔ)；與此同時(shí)，設(shè)計(jì)了關(guān)系數(shù)據(jù)庫(kù)與NoSQL相結(jié)合的數(shù)據(jù)存儲(chǔ)架構(gòu)，并在其服務(wù)層實(shí)現(xiàn)了詳細(xì)的存儲(chǔ)策略和訪問策略。最后通過在微博數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)，驗(yàn)證了本文架構(gòu)及策略的可行性，并進(jìn)行了性能比較。本文所提出的架構(gòu)及策略的主要貢獻(xiàn)如下：
　

4、?、僭诮鉀Q微博海量數(shù)據(jù)存儲(chǔ)問題的同時(shí)保證了高安全性和強(qiáng)事務(wù)性（部分業(yè)務(wù)）。用NoSQL存儲(chǔ)海量的微博數(shù)據(jù)，而要求高安全性與強(qiáng)事務(wù)性的用戶信息則使用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)。
　?、趯?shí)現(xiàn)了高負(fù)載情況下用戶請(qǐng)求的高效率訪問。當(dāng)本文架構(gòu)投入運(yùn)行一定時(shí)間后，絕大部分的數(shù)據(jù)庫(kù)查詢都將訪問Cassandra數(shù)據(jù)庫(kù)，在高負(fù)載情況下，Cassandra并行計(jì)算的能力更強(qiáng)，因此，相對(duì)于MySQL具有更高的查詢效率。
　?、弁ㄟ^大量實(shí)驗(yàn)以及結(jié)果分析，詳細(xì)