銀行交易日志信息數(shù)據(jù)采集系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著銀行業(yè)務(wù)規(guī)模不斷增大，銀行擁有的客戶信息和交易數(shù)據(jù)也不斷增多，快速高效地采集這些數(shù)據(jù)并進(jìn)行有效的管理與分析對(duì)于銀行未來業(yè)務(wù)的發(fā)展至關(guān)重要，本文針對(duì)這樣的需求，設(shè)計(jì)與實(shí)現(xiàn)銀行交易日志信息數(shù)據(jù)采集系統(tǒng)DataCollectionSystem(DCS)，為銀行基礎(chǔ)數(shù)據(jù)平臺(tái)的開發(fā)與運(yùn)行提供有力支持。
　　本文通過研究銀行基礎(chǔ)數(shù)據(jù)平臺(tái)與數(shù)據(jù)源的特點(diǎn)，針對(duì)現(xiàn)有數(shù)據(jù)源采集方式面對(duì)日益增多的交易日志信息在時(shí)間和性能上存在的不足，提出了數(shù)據(jù)源采

2、集方式的改進(jìn)方法，以達(dá)到快速高效的信息數(shù)據(jù)采集，減少數(shù)據(jù)傳輸時(shí)間，提高服務(wù)器性能。論文的主要工作包括:
　　(1)提出了銀行交易日志信息數(shù)據(jù)采集系統(tǒng)的總體設(shè)計(jì)方案，解決了現(xiàn)有數(shù)據(jù)源采集方式存在的效率低、耗時(shí)長(zhǎng)等問題，從整體上提高了數(shù)據(jù)傳輸?shù)男屎图皶r(shí)性。
　　(2)提出了以多進(jìn)程方式和IO多路復(fù)用方式為基礎(chǔ)的master-slaves模型，提高了銀行交易日志信息數(shù)據(jù)采集系統(tǒng)的并發(fā)性和穩(wěn)定性，提出了多個(gè)slaves工作進(jìn)程之間

3、負(fù)載均衡方法，將請(qǐng)求均勻分布在多個(gè)slaves工作進(jìn)程從而提高服務(wù)器性能。
　　(3)依據(jù)經(jīng)典的生產(chǎn)者消費(fèi)者思想，設(shè)計(jì)了數(shù)據(jù)緩沖隊(duì)列，解決了生產(chǎn)者與消費(fèi)者同步問題和速率不一致問題，并在防止數(shù)據(jù)管道破裂的同時(shí)解決了數(shù)據(jù)丟失問題。
　　(4)利用Linux信號(hào)處理機(jī)制，實(shí)現(xiàn)了DCS平滑升級(jí)與配置文件動(dòng)態(tài)加載功能，從而達(dá)到DCS7*24小時(shí)不間斷工作，提出了配置文件動(dòng)態(tài)調(diào)整方式，通過解析配置文件對(duì)系統(tǒng)的參數(shù)進(jìn)行動(dòng)態(tài)調(diào)整，提高了系統(tǒng)