云環(huán)境下大數據服務性能的測試與優(yōu)化.pdf

1、“大數據時代”的到來，對數據處理技術提出了新的要求和挑戰(zhàn)，各類大數據計算框架應運而生（如Hadoop、Storm等），成為人們處理各類大數據需求的利器。同時，在大數據推動下，云計算也迅速發(fā)展，人們可以按需從云中租用資源并按量計費。在這兩方面技術的碰撞下，云環(huán)境下大數據服務的概念被提出，即BDaaS（BigData-as-a-Service），其理念是將大數據計算處理過程作為云中的服務向外提供，用戶只需專注大數據業(yè)務本身，而云會準備好大數

2、據計算過程中的各種要素，其中著名的產品有：AWS EMR，Openstack Sahara等。
　　然而，人們在實踐BDaaS解決方案的過程中遇到許多困惑與局限，其中BDaaS的性能問題就是主要的關注點之一，人們常發(fā)現自己構建的BDaaS環(huán)境性能與預期相差甚遠，遠不能滿足大數據業(yè)務的需求；而有時，在物理環(huán)境中適用的優(yōu)化策略，在BDaaS中卻難以發(fā)揮作用。人們迫切尋求相關的指導，而目前缺乏這方面系統(tǒng)的研究成果或方法。
　　針對

3、BDaaS性能問題，本文在閱讀大量研究文獻和分析現有產品的基礎上，開展了深入系統(tǒng)的研究，課題以Openstack、Hadoop、Sahara作為具體環(huán)境，采用從特殊到一般的方法進行討論。包括三方面工作，首先，分析并定義BDaaS性能問題，當大數據計算轉移到云環(huán)境后，云環(huán)境中資源的管理與使用是主要影響因素之一，本文圍繞這一核心，結合云環(huán)境的資源特性和不同應用場景，提出了基于MapReduce的BDaaS性能模型，借此可以更準確定位性能的影

4、響因素，并指導優(yōu)化；其次，測試并提出BDaaS主要的性能影響因素，課題開發(fā)一款自動化測試工具Doopshot，可高效的進行大量測試并收集數據，在此基礎上，開展了五方面測試，全面衡量BDaaS的性能，提出約10條影響因素；最后，在Sahara中設計并實踐具體優(yōu)化，總體涉及三個方面，分別是塊設備管理接口、虛擬化性能瓶頸、數據源使用策略，這些優(yōu)化策略的設計思路也可以應用到其他BDaaS解決方案中。
　　最后，本文通過實驗對優(yōu)化方案進行了

5、驗證，對比了傳統(tǒng)大數據處理方案、原Sahara和優(yōu)化方案共6種情形?？傮w而言，優(yōu)化方案有顯著性能提升，相比于Sahara的默認配置，新接口的配置在DFSIO中吞吐量提升了120%,使用緩存統(tǒng)一管理服務的設計，利用Tachyon可在特定情形下達到13倍的吞吐量提升；Sort工作負載的執(zhí)行時間上，優(yōu)化方案相比于原Sahara普遍下降了約50%，而內存利用率在我們的實驗中從80%提高到了96%，不過在緩存隔離性等方面還有待改進。結果基本符合預