分布式結(jié)構(gòu)化存儲(chǔ)調(diào)度服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速普及以及用戶(hù)量的劇增，越來(lái)越多的企業(yè)正在逐漸失去對(duì)數(shù)據(jù)的控制能力，數(shù)據(jù)規(guī)模的快速增長(zhǎng)，使傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)無(wú)法提供性能、可靠性和擴(kuò)展性的保證。云計(jì)算概念的提出為傳統(tǒng)數(shù)據(jù)庫(kù)的發(fā)展指明了新的方向。自Google于2006年首次正式提出云計(jì)算概念以來(lái)，經(jīng)過(guò)6年發(fā)展，云計(jì)算的價(jià)值逐漸被學(xué)術(shù)界和產(chǎn)業(yè)界認(rèn)可，近年來(lái)已經(jīng)成為IT技術(shù)發(fā)展的新趨勢(shì)。云計(jì)算技術(shù)與傳統(tǒng)分布式存儲(chǔ)技術(shù)結(jié)合，產(chǎn)生了新的云數(shù)據(jù)庫(kù)服務(wù)模式，逐漸克服了傳統(tǒng)數(shù)據(jù)庫(kù)擴(kuò)展性差、

2、管理復(fù)雜的缺點(diǎn)。將傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)、分布式存儲(chǔ)技術(shù)以及云計(jì)算技術(shù)結(jié)合，構(gòu)造新的具有高性能、高可擴(kuò)展性以及易于管理的云數(shù)據(jù)庫(kù)系統(tǒng)已經(jīng)成為研究熱點(diǎn)之一。
　　本文首先通過(guò)對(duì)現(xiàn)有的云數(shù)據(jù)庫(kù)系統(tǒng)的調(diào)研和分析，提出了一個(gè)基于shared-nothing架構(gòu)，并支持關(guān)系操作的云關(guān)系數(shù)據(jù)庫(kù)框架CRDB。CRDB擁有獨(dú)立的元數(shù)據(jù)服務(wù)器、索引服務(wù)器和支持主流數(shù)據(jù)庫(kù)協(xié)議的前端服務(wù)器，并基于輕量級(jí)關(guān)系數(shù)據(jù)庫(kù)引擎構(gòu)建具有高可擴(kuò)展性的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)平臺(tái)。然后

3、，結(jié)合在項(xiàng)目中的實(shí)際工作，論文詳細(xì)描述了CRDB中的DSS調(diào)度服務(wù)器的核心功能的設(shè)計(jì)與實(shí)現(xiàn)。整個(gè)DSS調(diào)度服務(wù)器主要工作和特點(diǎn)如下：
　　1.支持標(biāo)準(zhǔn)SQL子集。結(jié)合項(xiàng)目需求，利用Lex和Yacc構(gòu)建了一個(gè)SQL解析器，實(shí)現(xiàn)了對(duì)基本的SQL操作的訪(fǎng)問(wèn)支持；
　　2.設(shè)計(jì)具有并行性的分布式查詢(xún)計(jì)劃。借鑒 MapReduce思想、SQL語(yǔ)義以及數(shù)據(jù)分布特點(diǎn)，設(shè)計(jì)了一個(gè)獨(dú)立于查詢(xún)語(yǔ)言和存儲(chǔ)引擎的分布式查詢(xún)計(jì)劃表示方式；根據(jù)SQL語(yǔ)

4、句語(yǔ)法樹(shù)，能夠方便的將SQL轉(zhuǎn)換成該分布式查詢(xún)計(jì)劃；
　　3.支持高并發(fā)網(wǎng)絡(luò)通信?；趩尉€(xiàn)程Epoll、非阻塞I/O以及異步回調(diào)函數(shù)機(jī)制，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)高性能網(wǎng)絡(luò)通信框架，DSS的所有業(yè)務(wù)流程都由該框架驅(qū)動(dòng)；同時(shí)，還設(shè)計(jì)一個(gè)了基于管道的定時(shí)器，為通信框架提供定時(shí)器服務(wù)；
　　本文詳細(xì)分析SQL語(yǔ)法，構(gòu)造了一個(gè)SQL子集解析器，并提出了一種分布式查詢(xún)計(jì)劃表達(dá)方式，最后基于高性能網(wǎng)絡(luò)通信框架，實(shí)現(xiàn)了一個(gè)分布式查詢(xún)框架。相關(guān)測(cè)試