數(shù)據(jù)遷移云服務的設計與實現(xiàn).pdf

1、大數(shù)據(jù)時代的到來，傳統(tǒng)的數(shù)據(jù)存儲和處理手段已經(jīng)難以滿足日益增長的需求，越來越多的數(shù)據(jù)需要遷移到hadoop計算平臺進行存儲和處理。數(shù)據(jù)遷移作為數(shù)據(jù)科學領域的重要研究方向和技術，也受到學術界、工業(yè)界更多研究人員的關注、研究。已有的數(shù)據(jù)遷移工具往往具有著單機性能低下、安裝配置繁瑣、不支持流式數(shù)據(jù)遷移等缺點。本文針對現(xiàn)有工具的缺點，結合已有研究成果，設計出了針對hadoop集群的數(shù)據(jù)遷移云服務。
　　本研究主要內(nèi)容包括：⑴設計并優(yōu)化了基

2、于數(shù)據(jù)庫日志的流式數(shù)據(jù)提取、遷移技術。通過對數(shù)據(jù)庫日志進行解析，提取增量數(shù)據(jù)，并將這些數(shù)據(jù)直接封裝為消息發(fā)往hadoop集群。大大降低流式數(shù)據(jù)提取的IO、網(wǎng)絡等開銷。⑵將因子分析數(shù)學思想應用于負載均衡負載狀態(tài)評估，將響應時間納入負載均衡參數(shù)指標。該算法相對于傳統(tǒng)的負載均衡算法，能夠更有效地評估節(jié)點當前負載情況，更大地利用好集群資源。大大提高了數(shù)據(jù)遷移系統(tǒng)的吞吐量和集群計算能力。⑶將數(shù)據(jù)遷移系統(tǒng)上升到云計算的高度。針對業(yè)內(nèi)已有遷移工具配置