高并發(fā)異構(gòu)數(shù)據(jù)預(yù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、如今是一個(gè)數(shù)據(jù)的時(shí)代，隨著大數(shù)據(jù)技術(shù)的發(fā)展，越來越多的行業(yè)需要使用這些新技術(shù)重新挖掘曾經(jīng)積累的數(shù)據(jù)的價(jià)值，使其發(fā)揮出更大的作用，更好的為用戶和企業(yè)服務(wù)。而這些數(shù)據(jù)大都是不完整、不一致的臟數(shù)據(jù)，無法直接進(jìn)行數(shù)據(jù)挖掘，或者挖掘結(jié)果差強(qiáng)人意，故需要對數(shù)據(jù)進(jìn)行預(yù)處理。本人有幸參與了某專利檢索分析平臺(tái)項(xiàng)目的開發(fā)，負(fù)責(zé)該平臺(tái)中的底層異構(gòu)數(shù)據(jù)預(yù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)工作。
　　本文從系統(tǒng)的項(xiàng)目背景及意義、國內(nèi)外發(fā)展現(xiàn)狀、系統(tǒng)需求分析、系統(tǒng)技術(shù)架構(gòu)

2、、系統(tǒng)功能結(jié)構(gòu)、數(shù)據(jù)詳細(xì)設(shè)計(jì)、系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)以及測試等方面對本系統(tǒng)進(jìn)行了詳細(xì)闡述。本系統(tǒng)為該平臺(tái)提供專利數(shù)據(jù)預(yù)處理與存儲(chǔ)服務(wù)。由于專利數(shù)據(jù)具有文件數(shù)量巨大且散碎、數(shù)據(jù)格式多樣、數(shù)據(jù)語言多樣、數(shù)據(jù)來源不一致等特點(diǎn)，而且需要在短時(shí)間內(nèi)將專利數(shù)據(jù)加載入庫，故而本文設(shè)計(jì)了索引數(shù)據(jù)的概念，將專利數(shù)據(jù)進(jìn)行了封裝，并基于Quartz框架設(shè)計(jì)并實(shí)現(xiàn)了多任務(wù)并行方式加載專利數(shù)據(jù)入庫的功能，同時(shí)采用了五種不同的數(shù)據(jù)庫滿足數(shù)據(jù)存儲(chǔ)功能。這五種數(shù)據(jù)庫分別為

3、檢索數(shù)據(jù)庫Hybase存儲(chǔ)需要檢索的數(shù)據(jù);NoSql數(shù)據(jù)庫MongoDB存儲(chǔ)供前臺(tái)展示的半結(jié)構(gòu)化數(shù)據(jù);分布式文件系統(tǒng)存儲(chǔ)海量的非結(jié)構(gòu)化數(shù)據(jù);緩存數(shù)據(jù)庫Redis存儲(chǔ)需要緩存的業(yè)務(wù)數(shù)據(jù);關(guān)系型數(shù)據(jù)庫MySQL存儲(chǔ)數(shù)據(jù)流轉(zhuǎn)過程中的控制、運(yùn)維數(shù)據(jù)。并且這五種數(shù)據(jù)庫均采用分布式方式進(jìn)行部署，同時(shí)采用主從、雙機(jī)熱備、ZooKeeper等方式保證數(shù)據(jù)庫的高可用性。本系統(tǒng)共有五個(gè)模塊，分別是數(shù)據(jù)加載與更新模塊、數(shù)據(jù)質(zhì)檢模塊、數(shù)據(jù)修復(fù)模塊、數(shù)據(jù)監(jiān)控模塊

4、以及任務(wù)編排工具模塊。其中數(shù)據(jù)加載與更新模塊是重中之重，在加載數(shù)據(jù)入庫時(shí)，將一個(gè)索引數(shù)據(jù)文件作為一個(gè)批次，采用批次的方式對數(shù)據(jù)進(jìn)行分批加載入庫;同時(shí)利用索引數(shù)據(jù)文件對專利數(shù)據(jù)文件的封裝，從而可以使用多任務(wù)并行方式處理數(shù)據(jù)入庫;并且將數(shù)據(jù)加載入庫分為多個(gè)階段進(jìn)行，每個(gè)階段都可以對數(shù)據(jù)進(jìn)行校驗(yàn)、回滾。數(shù)據(jù)質(zhì)檢模塊和數(shù)據(jù)監(jiān)控模塊協(xié)同工作，可以及時(shí)發(fā)現(xiàn)錯(cuò)誤數(shù)據(jù)。數(shù)據(jù)修復(fù)模塊負(fù)責(zé)對數(shù)據(jù)進(jìn)行修復(fù)。任務(wù)編排工具模塊負(fù)責(zé)自動(dòng)拷貝索引數(shù)據(jù)文件。