Query Engine的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、目前工業(yè)界尤其是互聯(lián)網(wǎng)行業(yè)，在日常的業(yè)務(wù)運(yùn)轉(zhuǎn)中產(chǎn)出了大量的用戶與服務(wù)數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)、處理和分析的需求也在急劇的增長(zhǎng)，這些數(shù)據(jù)的量已經(jīng)遠(yuǎn)遠(yuǎn)超出了單臺(tái)計(jì)算機(jī)的處理能力；如何對(duì)海量數(shù)據(jù)進(jìn)行管理和分析成為一個(gè)研究的熱點(diǎn)。分布式思想和基于異構(gòu)數(shù)據(jù)源的數(shù)據(jù)分析為我們提供一個(gè)解決問題的思路。針對(duì)百度特定的應(yīng)用需求，現(xiàn)有統(tǒng)一資源查詢平臺(tái)暴露出的問題，以及對(duì)業(yè)界現(xiàn)有系統(tǒng)的調(diào)研分析，設(shè)計(jì)實(shí)現(xiàn)了基于異構(gòu)數(shù)據(jù)源的高效查詢引擎 Query Engine

2、。本文主要研究了對(duì)HDFS上數(shù)據(jù)的高效Ad hoc查詢，在此基礎(chǔ)上實(shí)現(xiàn)了基于異構(gòu)數(shù)據(jù)源的高效查詢功能，Query Engine作為一個(gè)中間的服務(wù)層，對(duì)用戶屏蔽了底層存儲(chǔ)的異構(gòu)性。
　　本研究主要內(nèi)容包括：⑴設(shè)計(jì)實(shí)現(xiàn)了Clinet子模塊，參與Query Server子模塊的設(shè)計(jì)與代碼的編寫。Client子模塊是一個(gè)命令行交互界面，接收用戶輸入的命令行，對(duì)命令選項(xiàng)進(jìn)行解析；向Query Server請(qǐng)求一個(gè)Query Master為其

3、服務(wù)，然后將解析好的命令行提交給Query Master。Query Server負(fù)責(zé)維護(hù)系統(tǒng)中所有Query Master信息。⑵實(shí)現(xiàn)了基于異構(gòu)數(shù)據(jù)源的高效查詢。Query Engine系統(tǒng)是搭建在異構(gòu)數(shù)據(jù)源的一個(gè)服務(wù)層，Query Master子模塊對(duì)SQL進(jìn)行解析，通過MetaServer上全局的元數(shù)據(jù)信息將SQL編譯成物理執(zhí)行計(jì)劃，MapReduce Node根據(jù)執(zhí)行計(jì)劃中的依賴關(guān)系進(jìn)行分布式計(jì)算，最后將不同數(shù)據(jù)源上的計(jì)算結(jié)果合

4、并，對(duì)用戶屏蔽底層異構(gòu)存儲(chǔ)。⑶Query Engine系統(tǒng)架構(gòu)設(shè)計(jì)。通過對(duì)分布式計(jì)算和分布式存儲(chǔ)基礎(chǔ)理論的深入分析和當(dāng)前業(yè)界現(xiàn)有系統(tǒng)架構(gòu)的調(diào)研，提出了基于異構(gòu)數(shù)據(jù)源的高效查詢引擎Query Engine的架構(gòu)；然后對(duì)各子模塊的功能進(jìn)行細(xì)化分析，給出了子模塊的框架圖、時(shí)序圖，并逐一實(shí)現(xiàn)了這些子模塊；Query Engine通過建庫、建表、權(quán)限管理等功能很好的支持了對(duì)海量數(shù)據(jù)的管理，通過實(shí)現(xiàn)基于異構(gòu)數(shù)據(jù)源的查詢功能很好的支持了對(duì)海量數(shù)據(jù)數(shù)據(jù)