分布式結(jié)構(gòu)化存儲調(diào)度服務(wù)器的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速普及以及用戶量的劇增，越來越多的企業(yè)正在逐漸失去對數(shù)據(jù)的控制能力，數(shù)據(jù)規(guī)模的快速增長，使傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法提供性能、可靠性和擴(kuò)展性的保證。云計算概念的提出為傳統(tǒng)數(shù)據(jù)庫的發(fā)展指明了新的方向。自Google于2006年首次正式提出云計算概念以來，經(jīng)過6年發(fā)展，云計算的價值逐漸被學(xué)術(shù)界和產(chǎn)業(yè)界認(rèn)可，近年來已經(jīng)成為IT技術(shù)發(fā)展的新趨勢。云計算技術(shù)與傳統(tǒng)分布式存儲技術(shù)結(jié)合，產(chǎn)生了新的云數(shù)據(jù)庫服務(wù)模式，逐漸克服了傳統(tǒng)數(shù)據(jù)庫擴(kuò)展性差、

2、管理復(fù)雜的缺點。將傳統(tǒng)數(shù)據(jù)庫技術(shù)、分布式存儲技術(shù)以及云計算技術(shù)結(jié)合，構(gòu)造新的具有高性能、高可擴(kuò)展性以及易于管理的云數(shù)據(jù)庫系統(tǒng)已經(jīng)成為研究熱點之一。
　　本文首先通過對現(xiàn)有的云數(shù)據(jù)庫系統(tǒng)的調(diào)研和分析，提出了一個基于shared-nothing架構(gòu)，并支持關(guān)系操作的云關(guān)系數(shù)據(jù)庫框架CRDB。CRDB擁有獨(dú)立的元數(shù)據(jù)服務(wù)器、索引服務(wù)器和支持主流數(shù)據(jù)庫協(xié)議的前端服務(wù)器，并基于輕量級關(guān)系數(shù)據(jù)庫引擎構(gòu)建具有高可擴(kuò)展性的結(jié)構(gòu)化數(shù)據(jù)存儲平臺。然后

3、，結(jié)合在項目中的實際工作，論文詳細(xì)描述了CRDB中的DSS調(diào)度服務(wù)器的核心功能的設(shè)計與實現(xiàn)。整個DSS調(diào)度服務(wù)器主要工作和特點如下：
　　1.支持標(biāo)準(zhǔn)SQL子集。結(jié)合項目需求，利用Lex和Yacc構(gòu)建了一個SQL解析器，實現(xiàn)了對基本的SQL操作的訪問支持；
　　2.設(shè)計具有并行性的分布式查詢計劃。借鑒 MapReduce思想、SQL語義以及數(shù)據(jù)分布特點，設(shè)計了一個獨(dú)立于查詢語言和存儲引擎的分布式查詢計劃表示方式；根據(jù)SQL語

4、句語法樹，能夠方便的將SQL轉(zhuǎn)換成該分布式查詢計劃；
　　3.支持高并發(fā)網(wǎng)絡(luò)通信?；趩尉€程Epoll、非阻塞I/O以及異步回調(diào)函數(shù)機(jī)制，設(shè)計并實現(xiàn)了一個高性能網(wǎng)絡(luò)通信框架，DSS的所有業(yè)務(wù)流程都由該框架驅(qū)動；同時，還設(shè)計一個了基于管道的定時器，為通信框架提供定時器服務(wù)；
　　本文詳細(xì)分析SQL語法，構(gòu)造了一個SQL子集解析器，并提出了一種分布式查詢計劃表達(dá)方式，最后基于高性能網(wǎng)絡(luò)通信框架，實現(xiàn)了一個分布式查詢框架。相關(guān)測試