IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn).pdf

1、隨著移動互聯(lián)的興起和大數(shù)據(jù)時代的來臨，非結(jié)構(gòu)化數(shù)據(jù)規(guī)模呈爆炸性增長，如何處理和存儲大數(shù)據(jù)成為當(dāng)務(wù)之急。云存儲有效地解決了大數(shù)據(jù)存儲問題，云存儲系統(tǒng)通過整合和管理廣泛分布的存儲資源，以低成本、高可靠性，為使用者提供高性能、按需的存儲服務(wù)。然而，現(xiàn)有的存儲系統(tǒng)未考慮數(shù)據(jù)熱度問題，Rabinovich等人的研究表明，數(shù)據(jù)在存儲系統(tǒng)中通常按Zipf分布訪問，如何充分利用數(shù)據(jù)的熱點效應(yīng)成為提升云存儲系統(tǒng)性能的關(guān)鍵。
　　論文以當(dāng)今熱門的Op

2、enStack Swift云存儲系統(tǒng)為平臺，首先研究了Swift存儲系統(tǒng)的架構(gòu)設(shè)計與實現(xiàn)方式，分析得出：Swift傳統(tǒng)架構(gòu)在小規(guī)模存儲背景下代理節(jié)點利用率不足，開銷大等缺點。在此基礎(chǔ)上提出將存儲節(jié)點和代理節(jié)點結(jié)合的增強(qiáng)型節(jié)點方案，有效提升系統(tǒng)的性價比。針對代理節(jié)點中存儲空間有限的問題，提出將熱點分區(qū)動態(tài)遷移至代理節(jié)點的思想，這既充分利用代理節(jié)點的高性能，又有效控制代理節(jié)點的存儲容量。
　　首先，論文創(chuàng)新性的提出了基于預(yù)測的熱點數(shù)據(jù)

3、統(tǒng)計模型。通過分析數(shù)據(jù)的流行趨勢，預(yù)測出數(shù)據(jù)未來的訪問量，并采用多周期熱點統(tǒng)計算法分析數(shù)據(jù)在不同周期內(nèi)的下載頻率，定量的描述出數(shù)據(jù)的熱度值，并能有效克制熱點數(shù)據(jù)訪問激增造成的熱度值波動；以數(shù)據(jù)整體的熱度值為依據(jù)，提出了熱點分區(qū)動態(tài)遷移策略，該策略綜合考慮分區(qū)的大小和熱度值，通過爬山算法將熱點分區(qū)遷移至代理節(jié)點中，同時提出了饑餓值策略，將非熱點分區(qū)按饑餓值遷出到其余存儲節(jié)點中，保證系統(tǒng)的負(fù)載均衡。
　　其次，針對熱點數(shù)據(jù)高并發(fā)訪問造

4、成的性能瓶頸，論文提出了基于熱點的反向代理緩存策略，將Web中的反向代理緩存技術(shù)與Swift融合，將熱點數(shù)據(jù)緩存在內(nèi)存中，做到內(nèi)存級響應(yīng)與計算，從而有效緩解了高并發(fā)訪問時內(nèi)部存儲節(jié)點的壓力，提高了系統(tǒng)的響應(yīng)速度和并發(fā)處理能力。
　　最后，論文通過使用開源性能評測工具Cosbench，對系統(tǒng)進(jìn)行評測。通過修改Cosbench的源碼，模擬三種熱點訪問場景：等概率均勻熱、周期性階段熱以及永久性持續(xù)熱，并在三種場景下分析系統(tǒng)性能。實驗顯示