基于多結(jié)點(diǎn)的數(shù)據(jù)挖掘算法的并行實(shí)現(xiàn).pdf

1、數(shù)據(jù)的爆炸式增長(zhǎng)是信息化時(shí)代產(chǎn)生的一個(gè)嚴(yán)峻問題，而如何對(duì)這些海量的數(shù)據(jù)進(jìn)行計(jì)算和處理，就需要用到數(shù)據(jù)挖掘。數(shù)據(jù)挖掘能從海量的數(shù)據(jù)中發(fā)掘出未知的、隱含的，且對(duì)于決策支持具有潛在價(jià)值的知識(shí)，從而利用的發(fā)現(xiàn)的知識(shí)對(duì)實(shí)際問題進(jìn)行求解。因此對(duì)于數(shù)據(jù)挖掘的研究非常具有實(shí)際和商用價(jià)值。
　　傳統(tǒng)的Apriori關(guān)聯(lián)規(guī)則挖掘算法都是在單節(jié)點(diǎn)上執(zhí)行的，而對(duì)于海量的數(shù)據(jù)處理問題，Apriori不能很好的適應(yīng)，算法也存在一定的不足。為了提高對(duì)于海量數(shù)據(jù)

2、的處理需要，迫切的需要將挖掘算法實(shí)施在多個(gè)節(jié)點(diǎn)上，達(dá)到挖掘算法在這些節(jié)點(diǎn)上高度并行執(zhí)行，提高海量數(shù)據(jù)的處理能力。
　　本文通過對(duì) MapReduce模型進(jìn)行較為深入的研究，進(jìn)而對(duì) Hadoop開源平臺(tái)上的任務(wù)調(diào)度策略的分析，發(fā)現(xiàn)了平臺(tái)上任務(wù)調(diào)度算法的不足，針對(duì)這些不足提出了一種創(chuàng)新的任務(wù)調(diào)度算法DWSA調(diào)度算法，即動(dòng)態(tài)窗口調(diào)度算法，這種調(diào)度算法是通過動(dòng)態(tài)的監(jiān)控系統(tǒng)中的任務(wù)數(shù)量來自適應(yīng)的管理系統(tǒng)的負(fù)載均衡，基于優(yōu)先級(jí)的方法為任務(wù)提供