MPP架構(gòu)下的分布式SQL執(zhí)行計(jì)劃生成系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf_第1頁(yè)
已閱讀1頁(yè),還剩91頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、當(dāng)今社會(huì)是一個(gè)信息急速膨脹的時(shí)代,隨著企業(yè)對(duì)數(shù)據(jù)量分析要求的急劇擴(kuò)大,簡(jiǎn)單的添加硬件資源不僅提高了成本而且還不能滿足海量數(shù)據(jù)的大規(guī)模處理,原有的集群規(guī)模和處理數(shù)據(jù)能力已遠(yuǎn)遠(yuǎn)達(dá)不到人們的需求。因此本文提出了一種新的處理解決方案,論文中所描述的系統(tǒng)“Whale”使用MPP(Massively Parallel Processing)無(wú)共享架構(gòu)通過(guò)分布式SQL執(zhí)行實(shí)現(xiàn)了海量數(shù)據(jù)對(duì)有效信息的提取,后端使用MySQL作為分析引擎,通過(guò)上層節(jié)點(diǎn)并行

2、控制引擎的執(zhí)行,并且應(yīng)用分布式文件結(jié)構(gòu)使系統(tǒng)存儲(chǔ)具有可靠性。
  首先,為了解決現(xiàn)有海量數(shù)據(jù)分析商業(yè)產(chǎn)品的瓶頸和不足,本課題認(rèn)真研究了國(guó)內(nèi)外有關(guān)數(shù)據(jù)倉(cāng)庫(kù)、并行計(jì)算、分布式架構(gòu)的情況,對(duì)行業(yè)發(fā)展現(xiàn)狀有了一定了解,提出了就容錯(cuò)性、復(fù)雜性分析、可擴(kuò)展性相關(guān)的需求分析和主要涉及技術(shù)。
  其次,本文以Windows作為開發(fā)平臺(tái),Eclipse作為開發(fā)工具,并部署在Linux集群上運(yùn)行。通過(guò)對(duì)需求分析的滿足提出了主從式架構(gòu)和工作流程,

3、系統(tǒng)被分為客戶端和服務(wù)端,通過(guò)遠(yuǎn)程過(guò)程調(diào)用實(shí)現(xiàn)端到端的通信,客戶端其主要任務(wù)是和用戶進(jìn)行交互獲取請(qǐng)求返回結(jié)果,這一系列的過(guò)程中,生成SQL用戶類型的查詢計(jì)劃是處理分配數(shù)據(jù)的核心步驟,所以其中對(duì)SQL語(yǔ)法解析、執(zhí)行計(jì)劃生成的完成是解決問(wèn)題的關(guān)鍵。服務(wù)端有主守護(hù)進(jìn)程和從屬守護(hù)進(jìn)程,主守護(hù)進(jìn)程部署在中心節(jié)點(diǎn)上,從屬進(jìn)程部署在從屬節(jié)點(diǎn)上。主節(jié)點(diǎn)從客戶端接受執(zhí)行計(jì)劃并在從屬節(jié)點(diǎn)指揮一系列數(shù)據(jù)分片并行處理,從屬節(jié)點(diǎn)則通過(guò)存儲(chǔ)引擎做實(shí)際的數(shù)據(jù)分析。M

4、eta-Data模塊集成于主節(jié)點(diǎn)上為整個(gè)系統(tǒng)提供服務(wù),其中包括表模式及表中數(shù)據(jù)分片位置信息等。這是一種設(shè)計(jì)合理且輕量級(jí)架構(gòu),使用MySQL的不同存儲(chǔ)引擎,使得在不同場(chǎng)景下對(duì)海量數(shù)據(jù)的處理都能得到滿足,上層架構(gòu)使得系統(tǒng)易于向外進(jìn)行擴(kuò)展并且通過(guò)添加新節(jié)點(diǎn)來(lái)適應(yīng)不斷增長(zhǎng)的大數(shù)據(jù)。通過(guò)上述設(shè)計(jì)系統(tǒng)解決了復(fù)雜分析、可擴(kuò)展及并行執(zhí)行能力,滿足用戶對(duì)海量數(shù)據(jù)處理的需求。
  最后,論文從單元、功能、性能等方面對(duì)系統(tǒng)進(jìn)行測(cè)試,并通過(guò)對(duì)系統(tǒng)相關(guān)成果

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論