分布式挖掘算法DDA的設(shè)計(jì)及其在DADM模型中的實(shí)現(xiàn).pdf

1、目前研究的重點(diǎn)是如何找出頻繁大項(xiàng)集(large itemset),圍繞這個(gè)問(wèn)題,R.Agrawal等在1994年提出了Apriori算法,它是一種經(jīng)典的頻集方法,但是Apriori算法也存在一些固有的缺陷:①多次重復(fù)掃描數(shù)據(jù)庫(kù),增加了挖掘過(guò)程中I/O操作的次數(shù),加重了CPU的負(fù)擔(dān),影響計(jì)算效率.②只是適用于集中式數(shù)據(jù)庫(kù),不能應(yīng)用到分布式數(shù)據(jù)庫(kù)中③無(wú)法對(duì)稀有數(shù)據(jù)進(jìn)行分析.該文首先從理論和應(yīng)用兩個(gè)角度分析了Apriori算法的局限性,并且針

2、對(duì)該算法的不足,設(shè)計(jì)了一種新的能夠應(yīng)用到分布式系統(tǒng)的算法,新的算法:①將數(shù)據(jù)水平分片到各個(gè)局部數(shù)據(jù)庫(kù)中.②在各局部數(shù)據(jù)庫(kù)上進(jìn)行局部剪枝,產(chǎn)生局部大項(xiàng)集.③將局部大項(xiàng)集傳送到其他節(jié)點(diǎn)④各個(gè)節(jié)點(diǎn)在收到其他節(jié)點(diǎn)發(fā)來(lái)的數(shù)據(jù)以后進(jìn)行全局剪枝.因?yàn)榻?jīng)過(guò)了局部剪枝和全局剪枝的兩個(gè)過(guò)程,數(shù)據(jù)量會(huì)從O(n<'2>)減少到O(n).然后,根據(jù)新的挖掘算法,結(jié)合港口與集裝箱運(yùn)輸?shù)膶?shí)際情況,設(shè)計(jì)了面向港口與集裝箱運(yùn)輸?shù)臄?shù)據(jù)挖掘模型DADM,在挖掘模型DADM的

3、實(shí)現(xiàn)過(guò)程中,運(yùn)用支持多平臺(tái)的JAVA開(kāi)發(fā)語(yǔ)言,采用了面向?qū)ο蟮脑O(shè)計(jì)和開(kāi)發(fā)方法.同時(shí),在知識(shí)的表達(dá)和解釋機(jī)制方面也作了很多工作,使知識(shí)的表達(dá)不僅限于數(shù)字和符號(hào),而是更容易理解的表格、圖形等.最后,總結(jié)出設(shè)計(jì)挖掘算法和挖掘模型的方法,為針對(duì)分布式系統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)和研究提供了一種新嘗試.DADM挖掘模型以集裝箱運(yùn)輸行業(yè)為背景,功能完善,操作簡(jiǎn)單,可擴(kuò)展性強(qiáng).同時(shí),DADM挖掘模型在二次開(kāi)發(fā)上并不受行業(yè)限制,通過(guò)分析具體的行業(yè)領(lǐng)域數(shù)據(jù),