DM2平臺的擴展及其在鐵路貨票數(shù)據(jù)上的挖掘應(yīng)用研究.pdf

1、數(shù)據(jù)庫技術(shù)從20世紀(jì)80年代初開始，就得到了廣泛的普及和應(yīng)用。伴隨著近年來數(shù)據(jù)量的急劇增長，以及數(shù)據(jù)倉庫和Web等新型數(shù)據(jù)源的日益普及，人們面臨的主要問題不再是缺乏足夠可以使用的信息，而是如何將這些海量的數(shù)據(jù)有效地利用起來。面對這一挑戰(zhàn)，數(shù)據(jù)挖掘技術(shù)應(yīng)運而生，并在各行各業(yè)得到了廣泛應(yīng)用。而關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘中最活躍的研究方向之一。 DM2平臺是一款由我們設(shè)計并正在開發(fā)的數(shù)據(jù)挖掘平臺。目前，DM2平臺已開發(fā)了用于實例分類和關(guān)聯(lián)規(guī)則

2、挖掘的功能組件，并實現(xiàn)了ID3、Naive Bayes、FP-Growth、CLOSET等數(shù)據(jù)挖掘算法。但為了滿足不同數(shù)據(jù)挖掘項目的需求，DM2還有很多有待于完善和擴展之處：首先，DM2平臺與數(shù)據(jù)庫的交互能力還有待增強；其次，DM2平臺所實現(xiàn)的算法還很有限，而算法恰恰是一個數(shù)據(jù)挖掘系統(tǒng)的精髓，因此，豐富DM2平臺的數(shù)據(jù)挖掘算法是當(dāng)務(wù)之急；再者，DM2平臺還不具備以界面的方式與用戶交互的功能。本文針對這些問題，從豐富算法庫以及如何實現(xiàn)用戶

3、界面等方面對DM2平臺進行了擴展。 首先，本文豐富了DM2平臺的數(shù)據(jù)挖掘算法，在DM2平臺上，實現(xiàn)了經(jīng)典的Apriori算法，還針對海量數(shù)據(jù)提出并實現(xiàn)了一種改進的Apriori算法，該算法采用線性存儲結(jié)構(gòu)與垂直數(shù)據(jù)結(jié)構(gòu)數(shù)掘庫相結(jié)合的方式，從一定程度上解決了經(jīng)典Apriori算法的瓶頸問題，改善了DM2平臺的性能。 其次，本文進一步加強了DM2數(shù)據(jù)挖掘平臺與數(shù)據(jù)庫的交互能力。實現(xiàn)了規(guī)則集到數(shù)據(jù)庫的存儲，使DM2平臺能夠?qū)σ?guī)

4、則進行過濾、排序、分組等操作。 最后，本文實現(xiàn)了DM2平臺數(shù)據(jù)挖掘的用戶界面。采用基于瀏覽器的技術(shù)和JSP技術(shù)實現(xiàn)用戶與DM2平臺的動態(tài)交互操作，并直觀得到挖掘結(jié)果。 擴展后的DM2平臺具有極強的處理大數(shù)據(jù)集的能力，優(yōu)異的與數(shù)據(jù)庫交互的能力，人性化的可視化數(shù)據(jù)挖掘界面。 本文以2004年鄭州鐵路局鐵路貨票數(shù)據(jù)記錄樣本為實驗數(shù)據(jù)，基于擴展后的DM2平臺建立了鐵路貨票數(shù)據(jù)挖掘系統(tǒng)，實驗結(jié)果表明，該系統(tǒng)能夠挖掘出確實有