基于hadoop平臺的氫分子生物醫(yī)學(xué)數(shù)據(jù)倉庫的分析與實現(xiàn)

1、基于基于Hadoop平臺的氫分子生物醫(yī)學(xué)數(shù)據(jù)倉庫的分析平臺的氫分子生物醫(yī)學(xué)數(shù)據(jù)倉庫的分析與實現(xiàn)與實現(xiàn)常強趙偉張磊摘要：氫分子生物醫(yī)學(xué)技術(shù)的發(fā)展方興未艾，大數(shù)據(jù)相關(guān)技術(shù)成為氫分子生物醫(yī)學(xué)領(lǐng)域的最新驅(qū)動力。依據(jù)氫分子生物醫(yī)學(xué)科研團隊需求，構(gòu)建氫分子生物醫(yī)學(xué)數(shù)據(jù)倉庫模型，在數(shù)據(jù)中心環(huán)境下，使用Hadoop（分布式存儲技術(shù)基礎(chǔ)框架）建立氫分子生物醫(yī)學(xué)數(shù)據(jù)倉庫，充分利用虛擬化和集群的威力，提高數(shù)據(jù)倉庫的高速運算和存儲分析能力。圍繞Hadoop生態(tài)

2、圈及其技術(shù)，實現(xiàn)了不同數(shù)據(jù)來源的氫分子生物醫(yī)學(xué)數(shù)據(jù)提取、轉(zhuǎn)換和加載，變?yōu)橥瑯?gòu)的多維數(shù)據(jù)，開展數(shù)據(jù)挖掘與分析。通過基礎(chǔ)醫(yī)學(xué)研究與計算機技術(shù)相結(jié)合，為氫分子生物醫(yī)學(xué)臨床及科研提取更多有價值的信息?！娟P(guān)鍵詞】氫分子醫(yī)學(xué)數(shù)據(jù)數(shù)據(jù)倉庫Hadoop近年來，我國氫分子生物醫(yī)學(xué)研究不斷發(fā)展，臨床科學(xué)研究和基礎(chǔ)研究水平逐步提高，同時國內(nèi)氫健康產(chǎn)業(yè)不斷發(fā)展，相關(guān)廠家己達(dá)到600余家，相應(yīng)的氫分子生物醫(yī)學(xué)數(shù)據(jù)和產(chǎn)業(yè)數(shù)據(jù)迅速積累，這些數(shù)據(jù)中必定蘊含著大量未被發(fā)

3、掘有價值的信息。氫分子生物醫(yī)學(xué)數(shù)據(jù)類型為文本、數(shù)字、圖像或者基因等，具有多維和異構(gòu)等特征。當(dāng)前，氫分子生物醫(yī)學(xué)數(shù)據(jù)倉庫的相關(guān)分析研究還很少見。傳統(tǒng)的數(shù)據(jù)庫對具體的業(yè)務(wù)數(shù)據(jù)進行處理，當(dāng)對多個數(shù)據(jù)庫的氫分子生物醫(yī)學(xué)數(shù)據(jù)倉庫環(huán)境包括操作型系統(tǒng)和數(shù)據(jù)倉庫系統(tǒng)兩大部分，系統(tǒng)總體架構(gòu)圖如圖1所示。操作型系統(tǒng)數(shù)據(jù)由業(yè)務(wù)數(shù)據(jù)組成，我校氫生物醫(yī)學(xué)研究團隊的科研臨床業(yè)務(wù)數(shù)據(jù)來源多樣非單一，既有儀器設(shè)備直接產(chǎn)生的數(shù)據(jù)，又有科研管理軟件等業(yè)務(wù)軟件錄入整理后的數(shù)

4、據(jù)，還有直接從社區(qū)，病患等處采集的臨床數(shù)據(jù)。數(shù)據(jù)倉庫建立的最為重要的處理過程是ETL過程，由數(shù)據(jù)抽取、轉(zhuǎn)換和裝載過程三個過程緊密相連。經(jīng)過數(shù)據(jù)抽取過程，將操作型數(shù)據(jù)儲存到數(shù)據(jù)倉庫中，形成原始數(shù)據(jù)存儲（RDS）；在經(jīng)過數(shù)據(jù)的轉(zhuǎn)換和轉(zhuǎn)載過程，變?yōu)檗D(zhuǎn)換后的數(shù)據(jù)（TDS）。自動化調(diào)度組件的功能是定期自動執(zhí)行ETL過程。數(shù)據(jù)目錄記錄數(shù)據(jù)倉庫中數(shù)據(jù)的清單。查詢引擎負(fù)責(zé)運行數(shù)據(jù)挖掘算法，執(zhí)行用戶查詢；最終用戶通過可視化的界面得到數(shù)據(jù)分析結(jié)果。2數(shù)據(jù)倉