基于語(yǔ)義的金融行業(yè)大數(shù)據(jù)整合及處理技術(shù).pdf

1、ADissertationSubmittedtoZhejiangUniversityfortheDegreeofMasterofEngineering，●一1一TITLE：!h曼呈i塾壘墮Qi壘!旦igQ叢壘亙望!星g!叢iQ墜i墮魚1、rn●●’～●一o1rocesslng上eclmologV15aseaOn3emantinsAuthor：Supervisor：rrotessorbhanolngL1一n^^●tI。。。。______●

2、__●__●。。_●●_■____。。__。。●_■_______●。。。。●______。。1●。_____?！瘛鯻_■_______。_。__________。。。‘●___________■。_______一Subject：gQ墜P墮曼!△pP!i堡壘!iQ壘!曼堡壘墮Q!QgYCollege：CollegeofComputerScienceandTechnologySubmittedDate：20130109浙江大學(xué)碩士學(xué)位論文

3、摘要摘要隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)驅(qū)動(dòng)的商業(yè)模式日益受到企業(yè)的青睞，通過(guò)對(duì)大數(shù)據(jù)的處理和分析，可以更好的進(jìn)行商業(yè)決策、科學(xué)計(jì)算以及其市場(chǎng)趨勢(shì)的預(yù)測(cè)等，數(shù)據(jù)的重要性日益突顯。然而，大數(shù)據(jù)的一些新的特征給數(shù)據(jù)處理帶來(lái)了新的挑戰(zhàn)。目前，在金融領(lǐng)域里，分布廣泛的金融系統(tǒng)每天都會(huì)產(chǎn)生大量的數(shù)據(jù)，而風(fēng)險(xiǎn)管理、預(yù)測(cè)等工作都需要對(duì)分散在這些系統(tǒng)中的大量數(shù)據(jù)進(jìn)行采集、整合以及處理。一方面由于系統(tǒng)結(jié)構(gòu)的復(fù)雜性，尤其是數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的多樣性，導(dǎo)致了傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)

4、技術(shù)無(wú)法對(duì)大量的異構(gòu)數(shù)據(jù)進(jìn)行整合及處理；另一方面，由于金融行業(yè)其行業(yè)的特殊性，常常受到各種外界條件的影響，例如合規(guī)、政策等，這些外界條件的變化將直接導(dǎo)致對(duì)數(shù)據(jù)分析策略的改變，從而影響到最終的結(jié)果。針對(duì)上述兩方面問(wèn)題，本文提出了一種可以對(duì)復(fù)雜金融環(huán)境下的異構(gòu)數(shù)據(jù)信息進(jìn)行整合及處理的基于語(yǔ)義的大數(shù)據(jù)處理系統(tǒng)。在數(shù)據(jù)整合方面，該系統(tǒng)通過(guò)語(yǔ)義技術(shù)將各種異構(gòu)數(shù)據(jù)以語(yǔ)義資源的形式發(fā)布到語(yǔ)義本體庫(kù)中，在語(yǔ)義層面上實(shí)現(xiàn)數(shù)據(jù)的查詢與計(jì)算；數(shù)據(jù)處理方面，該

5、系統(tǒng)通過(guò)采用Hadoop分布式計(jì)算框架以及MAPREDUCE技術(shù)實(shí)現(xiàn)大數(shù)據(jù)的分布式計(jì)算，從而大大提高數(shù)據(jù)的處理效率。本文結(jié)構(gòu)安排如下：第一章，結(jié)合大數(shù)據(jù)的面臨的問(wèn)題以及金融領(lǐng)域大數(shù)據(jù)背景，總結(jié)了金融領(lǐng)域面臨大數(shù)據(jù)的面臨的相關(guān)問(wèn)題，并針對(duì)這些問(wèn)題提出了基于語(yǔ)義的大數(shù)據(jù)處理系統(tǒng)模型；第二章，主要介紹了語(yǔ)義，數(shù)據(jù)整合，分布式計(jì)算等方面的相關(guān)技術(shù)；第三章，從層次結(jié)構(gòu)上闡述了提出的系統(tǒng)模型；第四章，詳細(xì)介紹了基于語(yǔ)義的關(guān)系數(shù)據(jù)整合及分布式查詢方案