金融大數(shù)據(jù)平臺(tái)部分模塊的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、信息技術(shù)的發(fā)展進(jìn)入大數(shù)據(jù)時(shí)代，金融行業(yè)的應(yīng)用也在不斷的進(jìn)行發(fā)展。國(guó)內(nèi)的大數(shù)據(jù)發(fā)展處于起步階段，很多單位都有建設(shè)大數(shù)據(jù)平臺(tái)的需求。國(guó)內(nèi)某金融研究機(jī)構(gòu)，希望建立一個(gè)金融大數(shù)據(jù)平臺(tái)，以此來(lái)支持其金融研究工作。目前，該金融研究機(jī)構(gòu)的數(shù)據(jù)來(lái)源包括內(nèi)部金融刊物、商業(yè)金融數(shù)據(jù)庫(kù)、內(nèi)部研究論文和國(guó)內(nèi)外公開的行業(yè)數(shù)據(jù)，以這些數(shù)據(jù)為基礎(chǔ)建立一個(gè)金融大數(shù)據(jù)平臺(tái)。金融大數(shù)據(jù)平臺(tái)的建設(shè)目標(biāo)是建設(shè)多尺度、多分辨率、多種類、多用戶的金融領(lǐng)域基礎(chǔ)經(jīng)濟(jì)數(shù)據(jù)體系，深入開發(fā)

2、和應(yīng)用金融信息資源，構(gòu)建全國(guó)權(quán)威的、唯一的、通用的金融信息公共平臺(tái)和金融信息咨詢平臺(tái)，促進(jìn)金融行業(yè)數(shù)據(jù)資源的整合、共享和利用，為國(guó)家金融領(lǐng)域信息化規(guī)劃、建設(shè)和管理服務(wù)，為政府、企業(yè)、專家、公眾提供金融服務(wù)。
　　本文根據(jù)上述情況，首先介紹了金融大數(shù)據(jù)平臺(tái)的建設(shè)背景，然后介紹了建設(shè)金融大數(shù)據(jù)平臺(tái)所涉及到的關(guān)鍵技術(shù)，本文所涉及到的關(guān)鍵技術(shù)有網(wǎng)絡(luò)爬蟲、網(wǎng)頁(yè)解析、中文分詞和數(shù)據(jù)展示技術(shù)。然后利用軟件工程的思想完成了對(duì)需求的識(shí)別和分析工作，

3、進(jìn)而從系統(tǒng)概要設(shè)計(jì)的角度介紹了金融大數(shù)據(jù)平臺(tái)的設(shè)計(jì)思想和整體框架。然后從詳細(xì)設(shè)計(jì)的角度介紹了作者獨(dú)立參與的金融大數(shù)據(jù)平臺(tái)中期刊論文數(shù)據(jù)庫(kù)、互聯(lián)網(wǎng)數(shù)據(jù)抓取和應(yīng)用平臺(tái)中的兩個(gè)模塊，即理財(cái)產(chǎn)品專題和期刊論文檢索的設(shè)計(jì)思想與實(shí)現(xiàn)過(guò)程。最后介紹了系統(tǒng)的功能性測(cè)試和非功能性測(cè)試結(jié)果。針對(duì)期刊論文數(shù)據(jù)的特點(diǎn)，詳細(xì)介紹了其數(shù)據(jù)的采集、預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)索引和數(shù)據(jù)檢索的設(shè)計(jì)和實(shí)現(xiàn)方式，采用SOLR搜索引擎的技術(shù)方案對(duì)期刊論文進(jìn)行全文索引，并提供基本檢

4、索、高級(jí)檢索、全文下載和在線閱讀的功能。在互聯(lián)網(wǎng)理財(cái)產(chǎn)品數(shù)據(jù)信息的處理部分，詳細(xì)介紹了互聯(lián)網(wǎng)理財(cái)產(chǎn)品數(shù)據(jù)的采集方案、存儲(chǔ)方案和數(shù)據(jù)展示方案。使用網(wǎng)絡(luò)爬蟲技術(shù)來(lái)抓取互聯(lián)網(wǎng)信息，采用JSOUP技術(shù)來(lái)解析和抽取頁(yè)面數(shù)據(jù)，使用人工與程序結(jié)合的方式來(lái)每日更新理財(cái)產(chǎn)品數(shù)據(jù)，同時(shí)使用SOLR索引技術(shù)對(duì)抓取到的數(shù)據(jù)進(jìn)行索引，并完成了部分理財(cái)產(chǎn)品數(shù)據(jù)的統(tǒng)計(jì)結(jié)果展示。針對(duì)國(guó)家統(tǒng)計(jì)數(shù)據(jù)，詳細(xì)介紹了統(tǒng)計(jì)數(shù)據(jù)的抓取策略以及數(shù)據(jù)的存儲(chǔ)策略。
　　目前，金融大