Q+海量用戶數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起,傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在海量數(shù)據(jù)存儲(chǔ)方面暴露了很多難以克服的問題,尤其是大規(guī)模并發(fā)讀寫的SNS類型的網(wǎng)站,在海量用戶數(shù)據(jù)、高性能、高擴(kuò)展性和高可用性等方面?zhèn)鹘y(tǒng)的關(guān)系數(shù)據(jù)庫(kù)顯得非常力不從心,為了解決這類問題,NoSQL非關(guān)系數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。
　　NoSQL與關(guān)系數(shù)據(jù)庫(kù)相比,沒有固定的表結(jié)構(gòu),也不存在連接操作,在大數(shù)據(jù)存取上具有非常好的性能優(yōu)勢(shì),而且能夠適應(yīng)當(dāng)今應(yīng)用體系結(jié)構(gòu)在數(shù)據(jù)存儲(chǔ)橫向伸縮性上的需要,是當(dāng)

2、今海量數(shù)據(jù)存儲(chǔ)的首選方案。
　　本課題以騰訊科技(深圳)有限公司的實(shí)際需求為背景,目的是為了承載QQ用戶Q+數(shù)據(jù)的存儲(chǔ)工作,使Q+平臺(tái)能夠應(yīng)對(duì)迅速增長(zhǎng)的海量用戶的數(shù)據(jù)存儲(chǔ),以及用戶的大規(guī)模并發(fā)讀寫訪問需要,并且保證數(shù)據(jù)的可靠,服務(wù)的穩(wěn)定。
　　本文并未基于現(xiàn)有的key-value產(chǎn)品,而是結(jié)合Q+平臺(tái)特性設(shè)計(jì)了一套特有的適合Q+平臺(tái)的存儲(chǔ)方案。采用全量用戶數(shù)據(jù)緩存的設(shè)計(jì),利用多級(jí)哈希表技術(shù)快速定位用戶數(shù)據(jù),使用靜態(tài)鏈表技術(shù)實(shí)

3、現(xiàn)變長(zhǎng)存儲(chǔ),用戶數(shù)據(jù)可以靈活擴(kuò)展。采用分層索引的設(shè)計(jì),所有QQ號(hào)以Unit為單位劃分給不同機(jī)器上的不同進(jìn)程,讀寫訪問根據(jù)Unit配置進(jìn)行路由。采用多機(jī)房異地部署,就近接入,分散系統(tǒng)壓力,可以防止更大規(guī)模災(zāi)難給系統(tǒng)帶來的不可恢復(fù)的傷害。用戶數(shù)據(jù)讀寫訪問面向Q+平臺(tái)四大類數(shù)據(jù)提供更加細(xì)粒度的接口,減少網(wǎng)絡(luò)流量。數(shù)據(jù)備份采用定期Dump緩存到文件以及記錄實(shí)時(shí)流水的方式進(jìn)行,當(dāng)緩存數(shù)據(jù)丟失時(shí)可以通過Load文件和Redo流水來恢復(fù)緩存數(shù)據(jù)。