基于RDBMS的海量結(jié)構(gòu)化數(shù)據(jù)存儲處理平臺設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的快速發(fā)展，人們獲取和產(chǎn)生數(shù)據(jù)的方式越來越先進(jìn)，越來越多的結(jié)構(gòu)化數(shù)據(jù)被存儲下來，數(shù)據(jù)量達(dá)到了TB級別，甚至PB級別，這些數(shù)據(jù)具有規(guī)模大、處理速度快、蘊(yùn)含價(jià)值高等特點(diǎn)，國際上已經(jīng)有相關(guān)的海量結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)，但國內(nèi)技術(shù)并不成熟，實(shí)現(xiàn)海量結(jié)構(gòu)化數(shù)據(jù)的分析處理，有利于推動(dòng)國內(nèi)大數(shù)據(jù)技術(shù)的發(fā)展。
　　 本文通過分析當(dāng)前主流的大數(shù)據(jù)技術(shù)，包括大規(guī)模橫向擴(kuò)展的數(shù)據(jù)庫技術(shù)、分布式文件系統(tǒng)HDFS和MapReduce數(shù)據(jù)處理技術(shù)、

2、可擴(kuò)展的NoSQL技術(shù)、面向特定應(yīng)用的分布式索引和檢索技術(shù)、并行數(shù)據(jù)處理技術(shù)以及主流的大數(shù)據(jù)處理產(chǎn)品，提出了適用于海量結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的處理方案----XSDP（Structured Data Processing，X有eXtense、eXtreme、eXecutive及“未知”的意思）平臺，主要包括支持在線動(dòng)態(tài)擴(kuò)展的數(shù)據(jù)存儲劃分技術(shù)、海量數(shù)據(jù)處理并行任務(wù)流技術(shù)、用戶自定義任務(wù)流技術(shù)、海量結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)和嵌套查詢技術(shù)。其中數(shù)據(jù)存儲

3、采用分級存儲和多種劃分方式，分級存儲實(shí)現(xiàn)了性能與成本的兼顧，數(shù)據(jù)表以復(fù)制或分區(qū)方式存儲于節(jié)點(diǎn)組中，分區(qū)方式包括Round-robin、Hash、Range、List四種，實(shí)現(xiàn)數(shù)據(jù)的負(fù)載均衡以及實(shí)現(xiàn)最小數(shù)據(jù)遷移量的動(dòng)態(tài)擴(kuò)展;并行處理任務(wù)流技術(shù)通過對類SQL語句的解析，形成更小粒度的計(jì)算算子，從而實(shí)現(xiàn)任務(wù)的并行執(zhí)行及海量結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)和嵌套查詢技術(shù)，同時(shí)任務(wù)流采用可讀文本方式，用戶可通過文本編輯器實(shí)現(xiàn)自定義任務(wù)流。該平臺已經(jīng)初步應(yīng)用于上海