基于緩存優(yōu)化的實時數(shù)據(jù)同步機制.pdf

1、在云計算和大數(shù)據(jù)背景下,數(shù)據(jù)呈現(xiàn)爆炸式增長趨勢。面對這些海量以視頻、圖片、文字等非結(jié)構(gòu)化數(shù)據(jù)為主的大數(shù)據(jù)時,基于傳統(tǒng)架構(gòu)的信息系統(tǒng)已難以應對,同時傳統(tǒng)商業(yè)智能系統(tǒng)和數(shù)據(jù)分析軟件也缺少有效的分析工具和方法。無論是從商業(yè)價值還是技術難度上來講,實時處理和挖掘是大數(shù)據(jù)時代的重中之重,所以如何快速獲取實時數(shù)據(jù)是時下的研究熱點。
　　針對數(shù)據(jù)同步系統(tǒng)的功能和性能等要求,該系統(tǒng)提出一種基于緩存優(yōu)化的實時數(shù)據(jù)同步機制。系統(tǒng)包括數(shù)據(jù)抓取、數(shù)據(jù)解析

2、、數(shù)據(jù)處理和數(shù)據(jù)服務四大模塊。在數(shù)據(jù)抓取和數(shù)據(jù)解析模塊,系統(tǒng)實現(xiàn)了基于日志分析的邏輯復制技術,同時內(nèi)部采用Google Protobuf協(xié)議進行交互處理?；诰彺鎯?yōu)化策略提出一種按照消費端所訂閱的表來劃分緩存通道,并且利用分布式服務Zookeeper實現(xiàn)消費一致性以及各節(jié)點信息的監(jiān)控。系統(tǒng)實現(xiàn)了異構(gòu)數(shù)據(jù)源的同步,并且支持一份數(shù)據(jù)多路消費的功能。同時,系統(tǒng)支持動態(tài)部署緩存通道和事件源,通過采用環(huán)形緩存區(qū)減少競爭鎖方式實現(xiàn)用戶訂閱的事件源隔