基于云平臺(tái)的OLAP系統(tǒng)研究與實(shí)現(xiàn).pdf

1、云計(jì)算技術(shù)的出現(xiàn)為海量數(shù)據(jù)的處理提供了良好的解決方案。為了進(jìn)一步促進(jìn)我國(guó)海洋信息化工作的發(fā)展，國(guó)家海洋局采用云計(jì)算技術(shù)來(lái)構(gòu)建海洋環(huán)境信息綜合服務(wù)應(yīng)用框架體系，它可以提高海洋資源信息的可重用性與共享性，以及應(yīng)用系統(tǒng)的可擴(kuò)展性。本文依托于國(guó)家海洋公益性項(xiàng)目搭建了一個(gè)基于云平臺(tái)的OLAP系統(tǒng)，該系統(tǒng)可以向用戶提供多維視圖，使用戶從多個(gè)角度、多個(gè)側(cè)面、多個(gè)層次考察和分析數(shù)據(jù)，深入理解數(shù)據(jù)中的信息及其內(nèi)涵。
　　現(xiàn)有的OLAP系統(tǒng)在處理大規(guī)

2、模數(shù)據(jù)集時(shí)，存在數(shù)據(jù)處理效率慢及數(shù)據(jù)信息丟失等問(wèn)題，效率和容量成為現(xiàn)有OLAP系統(tǒng)的最大瓶頸?；谠破脚_(tái)的OLAP系統(tǒng)不僅能夠存儲(chǔ)海量數(shù)據(jù)，還可以并行計(jì)算數(shù)據(jù)立方，提高計(jì)算效率，減小系統(tǒng)響應(yīng)時(shí)間。基于云平臺(tái)的OLAP系統(tǒng)分為三個(gè)層次。分別是存儲(chǔ)層，OLAP引擎層和應(yīng)用層。存儲(chǔ)層采用數(shù)據(jù)倉(cāng)庫(kù)Hive進(jìn)行數(shù)據(jù)存儲(chǔ)，并根據(jù)OLAP引擎Mondrian所提供的JDBC通用接口方法，利用JAVA語(yǔ)言實(shí)現(xiàn)了一個(gè)Hive方言類(lèi)——HiveDialec

3、t，將Mondrian生成的SQL語(yǔ)句轉(zhuǎn)換成符合Hive操作格式的類(lèi)SQL的HiveQL語(yǔ)句，實(shí)現(xiàn)了OLAP引擎對(duì)存儲(chǔ)層數(shù)據(jù)存取操作。OLAP引擎層利用開(kāi)源項(xiàng)目Mondrian實(shí)現(xiàn)物理模型與多維模型的映射，完成了多維數(shù)據(jù)集的創(chuàng)建以及MDX語(yǔ)句的解析。應(yīng)用層采用自定義標(biāo)簽庫(kù)JPivot實(shí)現(xiàn)，利用JSP標(biāo)簽庫(kù)來(lái)提供執(zhí)行OLAP操作的相關(guān)按鈕和完成數(shù)據(jù)展示功能，并且提供JDBC接口與底層數(shù)據(jù)模型建立連接。
　　根據(jù)項(xiàng)目需求，OLAP系統(tǒng)

4、需要提供給用戶一個(gè)基于云平臺(tái)的分類(lèi)挖掘算法庫(kù)，幫助用戶進(jìn)一步完成對(duì)數(shù)據(jù)的挖掘和分析。現(xiàn)有的分布式機(jī)器學(xué)習(xí)算法庫(kù)Mahout，提供了一些經(jīng)典的分類(lèi)挖掘算法，如貝葉斯、決策樹(shù)等。而學(xué)習(xí)速度快，泛化性能好的在線貫序?qū)W習(xí)機(jī)(OS-ELM)算法并沒(méi)有在云平臺(tái)實(shí)現(xiàn)。本文對(duì)OS-ELM算法進(jìn)行分析，利用MapReduce編程框架實(shí)現(xiàn)了OS-ELM算法的并行化處理，設(shè)計(jì)了一種基于Map-Reduce的OS-ELM算法，即MOS-ELM。實(shí)驗(yàn)表明，MOS