面向數(shù)據(jù)挖掘的云資源布局與購(gòu)買策略研究.pdf

1、數(shù)據(jù)挖掘是通過(guò)對(duì)海量數(shù)據(jù)分析處理得到潛在有用的信息和知識(shí)的過(guò)程,為用戶提供決策支持。隨著數(shù)據(jù)挖掘的問(wèn)題求解規(guī)模和復(fù)雜性的遞增,需要高質(zhì)量的計(jì)算資源和大量存儲(chǔ)空間來(lái)分析處理來(lái)自不同地區(qū)、不同機(jī)構(gòu)的海量數(shù)據(jù)。高性能高存儲(chǔ)的數(shù)據(jù)挖掘系統(tǒng)受技術(shù)、資金的限制無(wú)法在中小型企業(yè)廣泛應(yīng)用。
　　因此,基于云計(jì)算的數(shù)據(jù)挖掘服務(wù)構(gòu)想應(yīng)運(yùn)而生,以較低的成本實(shí)現(xiàn)跨機(jī)構(gòu)的數(shù)據(jù)處理和跨地區(qū)的業(yè)務(wù)操作,滿足數(shù)據(jù)共享和時(shí)效性要求。同時(shí),近年來(lái)基于云計(jì)算的ERP、

2、CRM等系統(tǒng)的推廣應(yīng)用使得部分中小型企業(yè)業(yè)務(wù)數(shù)據(jù)已經(jīng)存儲(chǔ)于云端,這為云數(shù)據(jù)挖掘服務(wù)奠定了良好基礎(chǔ)。
　　然而基于云計(jì)算的數(shù)據(jù)挖掘應(yīng)用的部署和執(zhí)行需要多個(gè)分布式數(shù)據(jù)中心的協(xié)作,業(yè)務(wù)流程復(fù)雜,往往需要大量的數(shù)據(jù)傳輸和訪問(wèn)、頻繁的任務(wù)交互。不合理的數(shù)據(jù)布局和任務(wù)調(diào)度策略一方面容易導(dǎo)致跨數(shù)據(jù)中心的數(shù)據(jù)傳輸量和訪問(wèn)量過(guò)大,另一方面也會(huì)影響數(shù)據(jù)挖掘應(yīng)用的執(zhí)行效率。因此研究面向數(shù)據(jù)挖掘的云資源布局策略十分必要。
　　面向數(shù)據(jù)挖掘的云資源布

3、局面臨的主要挑戰(zhàn)有:
　　(1)一些數(shù)據(jù)集由于所有權(quán)等原因不允許被移動(dòng)而只能被置于固定的位置；
　　(2)在數(shù)據(jù)挖掘應(yīng)用執(zhí)行過(guò)程中會(huì)生成中間數(shù)據(jù),需要對(duì)中間數(shù)據(jù)進(jìn)行存儲(chǔ)布局；
　　(3)任務(wù)執(zhí)行的前提是所需要的數(shù)據(jù)已經(jīng)全部調(diào)至本地,因此會(huì)進(jìn)行必要的跨數(shù)據(jù)中心的數(shù)據(jù)傳輸,這會(huì)造成不可忽視的成本開(kāi)銷；
　　(4)不同數(shù)據(jù)中心的處理效率不同,因此單個(gè)任務(wù)的執(zhí)行時(shí)間隨著分配的數(shù)據(jù)中心不同而變化；
　　(5)整個(gè)應(yīng)用

4、的完成時(shí)間不僅與單個(gè)子任務(wù)的執(zhí)行時(shí)間有關(guān),還與各個(gè)子任務(wù)之間的順序關(guān)系有關(guān)。因?yàn)樵跀?shù)據(jù)挖掘過(guò)程中子任務(wù)之間并非是簡(jiǎn)單的并發(fā)關(guān)系,其輸入輸出關(guān)系因工作流形態(tài)不同而變化,因此不同工作流形態(tài)的總體完成時(shí)間也不相同。
　　如何合理部署數(shù)據(jù)和調(diào)度任務(wù)在降低跨數(shù)據(jù)中心傳輸量的同時(shí)又縮短應(yīng)用總體完成時(shí)間,達(dá)到成本和效率的雙重優(yōu)化是一個(gè)難題。基于以上問(wèn)題,本文提出了基于關(guān)聯(lián)度的云資源布局策略,包括數(shù)據(jù)布局策略和任務(wù)調(diào)度策略,實(shí)現(xiàn)降低跨數(shù)據(jù)中心的傳

5、輸量并縮短執(zhí)行時(shí)間的雙重優(yōu)化目標(biāo)。結(jié)合云資源實(shí)例的多種定價(jià)模式,提出了基于關(guān)鍵路徑的云資源多實(shí)例組合購(gòu)買決策,進(jìn)一步優(yōu)化云計(jì)算成本。
　　具體的工作包括:
　　(1)提出了基于云計(jì)算的數(shù)據(jù)挖掘服務(wù)模型。
　　(2)面向數(shù)據(jù)挖掘的云資源布局問(wèn)題建模。主要包括數(shù)據(jù)挖掘應(yīng)用建模、云計(jì)算環(huán)境下資源建模、跨數(shù)據(jù)中心數(shù)據(jù)傳輸量分析和任務(wù)總完成時(shí)間分析。
　　(3)提出了基于關(guān)聯(lián)度的云資源布局優(yōu)化策略。
　?、倩陉P(guān)聯(lián)度

6、的數(shù)據(jù)布局策略。對(duì)于初始數(shù)據(jù),引入數(shù)據(jù)關(guān)聯(lián)度概念,綜合考慮數(shù)據(jù)之間關(guān)聯(lián)關(guān)系、數(shù)據(jù)集大小、數(shù)據(jù)集位置等因素,以降低數(shù)據(jù)傳輸量為主要目標(biāo)進(jìn)行數(shù)據(jù)布局優(yōu)化。對(duì)于中間數(shù)據(jù),引入數(shù)據(jù)—數(shù)據(jù)中心關(guān)聯(lián)度概念,將中間生成數(shù)據(jù)部署到關(guān)聯(lián)度最高的數(shù)據(jù)中心。
　?、诨诳傮w完成時(shí)間最短的任務(wù)調(diào)度方法。在指標(biāo)定義方面,摒棄現(xiàn)有研究中將子任務(wù)執(zhí)行時(shí)間簡(jiǎn)單累加或取均值的不合理性,根據(jù)具體的工作流模式,計(jì)算總體完成時(shí)間,并以總體完成時(shí)間最短為目標(biāo)進(jìn)行任務(wù)調(diào)度。