證券稽查系統(tǒng)數(shù)據(jù)采集與數(shù)據(jù)分析模型設計.pdf

1、隨著我國證券交易市場的蓬勃發(fā)展，投資者隊伍不斷壯大，違法違規(guī)的市場交易案呈現(xiàn)日益上漲的趨勢。違法交易影響股票市場的穩(wěn)定，并損害了中小投資者的利益，嚴重時引起社會不安定。因此，違法交易案的稽查是證監(jiān)會一項重要工作。在違法交易稽查案中，辦案人員需要收集調查對象的取證文檔，這些取證文檔種類多、數(shù)量多，來源雜，存在歸檔不方便、易出錯的問題，其記錄的取證數(shù)據(jù)則存在格式不一致、噪音數(shù)據(jù)多、數(shù)據(jù)值缺失等問題，使辦案人員在整理取證文檔和處理取證數(shù)據(jù)的格

2、式上費時費力，嚴重影響辦案效率;同時，判斷一項違法交易是否要立案，基本上是通過違法交易獲利金額多少決定，而辦案人員進行獲利計算沒有統(tǒng)一計算標準，且不存在任何自動化工具，常常進行一次獲利計算就要消耗一周以上時間，嚴重影響案件稽查進度。因此，證監(jiān)會提出稽查系統(tǒng)的研發(fā)需求，其目標為實現(xiàn)對凌亂取證數(shù)據(jù)的管理，并將其用做數(shù)據(jù)分析，建立可復用分析模型，以輔助辦案人員查找案件線索，計算違法獲利等。
　　該系統(tǒng)的開發(fā)具有現(xiàn)實的應用意義，現(xiàn)實環(huán)境中

3、普遍存在數(shù)據(jù)凌亂、不規(guī)范的問題;同時一些復雜數(shù)據(jù)分析或計算通過傳統(tǒng)的Excel軟件完成非常困難且不易維護，而專業(yè)的數(shù)據(jù)分析軟件或BI軟件門檻偏高。本文探索了在這樣的環(huán)境中的數(shù)據(jù)處理與分析的課題。在系統(tǒng)開發(fā)過程中設計并實現(xiàn)了數(shù)據(jù)質量較低劣情況下的數(shù)據(jù)采集，并設計可復用的數(shù)據(jù)分析模型。
　　具體實現(xiàn)上，對取證數(shù)據(jù)采用了ETL中數(shù)據(jù)抽取、清洗、轉換的處理思想，根據(jù)取證特點設計了數(shù)據(jù)處理的規(guī)則;在數(shù)據(jù)的應用上，將辦案人員分析數(shù)據(jù)的手段與思