面向數(shù)據(jù)挖掘的云資源布局與購買策略研究.pdf

1、數(shù)據(jù)挖掘是通過對海量數(shù)據(jù)分析處理得到潛在有用的信息和知識的過程,為用戶提供決策支持。隨著數(shù)據(jù)挖掘的問題求解規(guī)模和復(fù)雜性的遞增,需要高質(zhì)量的計算資源和大量存儲空間來分析處理來自不同地區(qū)、不同機(jī)構(gòu)的海量數(shù)據(jù)。高性能高存儲的數(shù)據(jù)挖掘系統(tǒng)受技術(shù)、資金的限制無法在中小型企業(yè)廣泛應(yīng)用。
　　因此,基于云計算的數(shù)據(jù)挖掘服務(wù)構(gòu)想應(yīng)運而生,以較低的成本實現(xiàn)跨機(jī)構(gòu)的數(shù)據(jù)處理和跨地區(qū)的業(yè)務(wù)操作,滿足數(shù)據(jù)共享和時效性要求。同時,近年來基于云計算的ERP、

2、CRM等系統(tǒng)的推廣應(yīng)用使得部分中小型企業(yè)業(yè)務(wù)數(shù)據(jù)已經(jīng)存儲于云端,這為云數(shù)據(jù)挖掘服務(wù)奠定了良好基礎(chǔ)。
　　然而基于云計算的數(shù)據(jù)挖掘應(yīng)用的部署和執(zhí)行需要多個分布式數(shù)據(jù)中心的協(xié)作,業(yè)務(wù)流程復(fù)雜,往往需要大量的數(shù)據(jù)傳輸和訪問、頻繁的任務(wù)交互。不合理的數(shù)據(jù)布局和任務(wù)調(diào)度策略一方面容易導(dǎo)致跨數(shù)據(jù)中心的數(shù)據(jù)傳輸量和訪問量過大,另一方面也會影響數(shù)據(jù)挖掘應(yīng)用的執(zhí)行效率。因此研究面向數(shù)據(jù)挖掘的云資源布局策略十分必要。
　　面向數(shù)據(jù)挖掘的云資源布

3、局面臨的主要挑戰(zhàn)有:
　　(1)一些數(shù)據(jù)集由于所有權(quán)等原因不允許被移動而只能被置于固定的位置；
　　(2)在數(shù)據(jù)挖掘應(yīng)用執(zhí)行過程中會生成中間數(shù)據(jù),需要對中間數(shù)據(jù)進(jìn)行存儲布局；
　　(3)任務(wù)執(zhí)行的前提是所需要的數(shù)據(jù)已經(jīng)全部調(diào)至本地,因此會進(jìn)行必要的跨數(shù)據(jù)中心的數(shù)據(jù)傳輸,這會造成不可忽視的成本開銷；
　　(4)不同數(shù)據(jù)中心的處理效率不同,因此單個任務(wù)的執(zhí)行時間隨著分配的數(shù)據(jù)中心不同而變化；
　　(5)整個應(yīng)用

4、的完成時間不僅與單個子任務(wù)的執(zhí)行時間有關(guān),還與各個子任務(wù)之間的順序關(guān)系有關(guān)。因為在數(shù)據(jù)挖掘過程中子任務(wù)之間并非是簡單的并發(fā)關(guān)系,其輸入輸出關(guān)系因工作流形態(tài)不同而變化,因此不同工作流形態(tài)的總體完成時間也不相同。
　　如何合理部署數(shù)據(jù)和調(diào)度任務(wù)在降低跨數(shù)據(jù)中心傳輸量的同時又縮短應(yīng)用總體完成時間,達(dá)到成本和效率的雙重優(yōu)化是一個難題?；谝陨蠁栴},本文提出了基于關(guān)聯(lián)度的云資源布局策略,包括數(shù)據(jù)布局策略和任務(wù)調(diào)度策略,實現(xiàn)降低跨數(shù)據(jù)中心的傳

5、輸量并縮短執(zhí)行時間的雙重優(yōu)化目標(biāo)。結(jié)合云資源實例的多種定價模式,提出了基于關(guān)鍵路徑的云資源多實例組合購買決策,進(jìn)一步優(yōu)化云計算成本。
　　具體的工作包括:
　　(1)提出了基于云計算的數(shù)據(jù)挖掘服務(wù)模型。
　　(2)面向數(shù)據(jù)挖掘的云資源布局問題建模。主要包括數(shù)據(jù)挖掘應(yīng)用建模、云計算環(huán)境下資源建模、跨數(shù)據(jù)中心數(shù)據(jù)傳輸量分析和任務(wù)總完成時間分析。
　　(3)提出了基于關(guān)聯(lián)度的云資源布局優(yōu)化策略。
　?、倩陉P(guān)聯(lián)度

6、的數(shù)據(jù)布局策略。對于初始數(shù)據(jù),引入數(shù)據(jù)關(guān)聯(lián)度概念,綜合考慮數(shù)據(jù)之間關(guān)聯(lián)關(guān)系、數(shù)據(jù)集大小、數(shù)據(jù)集位置等因素,以降低數(shù)據(jù)傳輸量為主要目標(biāo)進(jìn)行數(shù)據(jù)布局優(yōu)化。對于中間數(shù)據(jù),引入數(shù)據(jù)—數(shù)據(jù)中心關(guān)聯(lián)度概念,將中間生成數(shù)據(jù)部署到關(guān)聯(lián)度最高的數(shù)據(jù)中心。
　?、诨诳傮w完成時間最短的任務(wù)調(diào)度方法。在指標(biāo)定義方面,摒棄現(xiàn)有研究中將子任務(wù)執(zhí)行時間簡單累加或取均值的不合理性,根據(jù)具體的工作流模式,計算總體完成時間,并以總體完成時間最短為目標(biāo)進(jìn)行任務(wù)調(diào)度。