分布式數據實時計算框架的研究和開發(fā).pdf

1、隨著大數據量計算技術的發(fā)展，基于數據處理的應用受到廣泛關注，而數據源的結構也顯示出多樣化的趨勢，這些數據中不僅有傳統的非實時的、靜態(tài)結構化數據，還有很多實時的、動態(tài)產生的非結構化數據流。這類連續(xù)到達的非結構化數據序列，它們的輸入率、輸入量和來源都在不斷變化，很難準確預測。面對龐大變化的海量數據流，要獲取流數據中攜帶的重要信息，實時地進行復雜計算，依靠傳統的分布式計算模式很難實現。這就促使本文對分布式流數據實時計算這一新的計算模式展開深入

2、研究。
　　 目前，國內外針對分布式流數據實時計算框架的研究仍在起步階段，尚沒有一個成熟的產品。因此，作者在深入分析流數據處理應用需求的情況下，設計并實現了完整的分布式流數據實時計算框架iStream，對框架性能的關鍵性因素—負載均衡做了深入的研究和優(yōu)化。經過實驗和性能測試，證明該框架可以根據實際應用場景進行靈活的定制，并具有良好的實時性和可擴展性。本文的主要研究內容和成果如下:
　　 (1)對分布式計算框架中幾個關鍵技

3、術進行了研究，結合數據流形式的多樣化和數據流應用場景的多樣化的特點，本文實現和設計了一個不針對任何特定場景，可以解決多種復雜計算的分布式流數據實時計算平臺iStream，它具有很強通用性和可擴展性，顯著提高了第三方開發(fā)人員的開發(fā)效率。
　　 (2)為了增加吞吐量、加強數據處理能力、提高計算節(jié)點集群的靈活性和可用性，研究了動態(tài)調度技術以及負載均衡算法，提出了使用時間序列預測算法解決并行計算中的任務調度這—NP-完全問題，并通過改進

4、模型化AR模型評估算法來處理非平穩(wěn)數據序列，使得程序更有效率，預測更精準，并可適用于流數據這類不能用簡單的分段模型表示的數據源，同時保證了動態(tài)負載均衡算法的性能。
　　 (3)系統框架的設計與實現。在研究了并行計算中主流編程模型，諸如MapReduce等模型的基礎上，將改進的發(fā)布—訂閱者模型用到iStream框架中，并分析比較了多種主流的分布式進程通信方式，解決了高并發(fā)實時處理，分布式系統數據通信安全和自適應調整等分布式系統中的