證券數(shù)據(jù)庫的研究與構(gòu)建.pdf

1、申請(qǐng)上海交通大學(xué)碩士學(xué)位論文證券數(shù)據(jù)庫的研究與構(gòu)建論文作者張可學(xué)號(hào)1130339109指導(dǎo)教師張忠能專業(yè)計(jì)算機(jī)技術(shù)答辯日期2016年2月15日證券數(shù)據(jù)庫的研究與構(gòu)建摘要近年來隨著中國股市的日趨成熟，越來越多的個(gè)人開始參與股票的相關(guān)投資。而相對(duì)于機(jī)構(gòu)來說，個(gè)人投資因缺乏相關(guān)的資源還是處于劣勢。介于此，為了更好地幫助個(gè)人參與到股票的投資中來，本課題針對(duì)證券數(shù)據(jù)庫進(jìn)行了研究與構(gòu)建，涉及到股票數(shù)據(jù)的獲取、加工處理、存儲(chǔ)以及數(shù)據(jù)平臺(tái)地搭建。首先是

2、股票數(shù)據(jù)的來源問題，本課題的股票數(shù)據(jù)少部分來源于現(xiàn)有的股票分析軟件上手動(dòng)下載下來的Excel格式的數(shù)據(jù)和免費(fèi)的第三方接口返回的Json格式的數(shù)據(jù)，大部分?jǐn)?shù)據(jù)來自網(wǎng)頁數(shù)據(jù)。網(wǎng)頁數(shù)據(jù)部分又涉及到網(wǎng)頁數(shù)據(jù)的抓取技術(shù)，相對(duì)于傳統(tǒng)的數(shù)據(jù)抓取調(diào)度策略，本課題借鑒了操作系統(tǒng)中的多級(jí)反饋隊(duì)列調(diào)度算法進(jìn)行URL的調(diào)度，其中涉及到優(yōu)先級(jí)的劃分等問題。而在多線程情形下，本文將一致性哈希算法應(yīng)用到URL的分配策略中，解決了新增或刪除一個(gè)線程可能會(huì)出現(xiàn)的所有UR

3、L的哈希映射結(jié)果都會(huì)變化的情況。同時(shí)，針對(duì)于網(wǎng)頁重復(fù)問題本文也做了研究并在常用去重策略的基礎(chǔ)上進(jìn)行了改進(jìn)并最終使用了基于Bitmap算法的BloomFilter算法進(jìn)行去重。接著本文介紹了數(shù)據(jù)的加工處理與存儲(chǔ)，包括數(shù)據(jù)質(zhì)量的定義、數(shù)據(jù)質(zhì)量的保證以及數(shù)據(jù)庫表的搭建等內(nèi)容。最后本課題實(shí)現(xiàn)了一個(gè)股票數(shù)據(jù)平臺(tái)，從而更好地以界面化的形式將股票數(shù)據(jù)展示給個(gè)人，整個(gè)數(shù)據(jù)平臺(tái)以TnadoMySQLPython技術(shù)為基礎(chǔ)。為了解決人機(jī)交互的界面設(shè)計(jì)優(yōu)化問