基于B-S框架的數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著科學(xué)與經(jīng)濟(jì)數(shù)據(jù)的爆炸性增長(zhǎng)，分析這些數(shù)據(jù)并提取出有用的知識(shí)顯得尤為重要，這就導(dǎo)致一代新的工具和技術(shù)的產(chǎn)生，這些工具和技術(shù)歸結(jié)一起被稱為數(shù)據(jù)挖掘。在許多論文和文檔中，存在其他一些名詞，如數(shù)據(jù)庫(kù)知識(shí)挖掘，知識(shí)提取，數(shù)據(jù)分析等，它們的意思和數(shù)據(jù)挖掘差別微小。科學(xué)或企業(yè)的大量數(shù)據(jù)運(yùn)用數(shù)據(jù)挖掘進(jìn)行分析，能夠獲得數(shù)據(jù)的規(guī)律和趨勢(shì)。因此，數(shù)據(jù)挖掘日益得到人們的接受和認(rèn)可。
　　 在許多不同的領(lǐng)域，包括數(shù)據(jù)庫(kù)系統(tǒng)，知識(shí)庫(kù)系統(tǒng)，人工智能，機(jī)器

2、學(xué)習(xí)，知識(shí)獲取、統(tǒng)計(jì)，空間數(shù)據(jù)庫(kù)和數(shù)據(jù)可視化，研究人員表現(xiàn)出了極大興趣。此外，一些新興的信息應(yīng)用，如提供在線服務(wù)和萬(wàn)維網(wǎng)服務(wù)，也要求各種數(shù)據(jù)挖掘技術(shù)，以便更好地了解客戶的行為，改善服務(wù)質(zhì)量，從而增加商機(jī)。
　　 數(shù)據(jù)挖掘和術(shù)語(yǔ)KDD之間存在一些混淆，一般來(lái)說(shuō)，這兩個(gè)名詞可以交替使用。我們用KDD來(lái)表示將低層次的數(shù)據(jù)轉(zhuǎn)換為高層次的知識(shí)的整個(gè)過(guò)程。KDD的一個(gè)簡(jiǎn)單定義就是確定一個(gè)有效的、新穎的、具有潛在價(jià)值的、并且最終可理解的數(shù)據(jù)形

3、式的全過(guò)程。我們經(jīng)常使用的數(shù)據(jù)挖掘的定義就是從可見(jiàn)的數(shù)據(jù)中提取數(shù)據(jù)模型。因此，數(shù)據(jù)挖掘就是KDD整個(gè)過(guò)程的其中一個(gè)步驟。
　　 數(shù)據(jù)挖掘產(chǎn)品正在席卷這個(gè)行業(yè)。數(shù)據(jù)庫(kù)主要廠商已經(jīng)采取了行動(dòng)，以確保他們的平臺(tái)含有數(shù)據(jù)挖掘技術(shù)。Oracle的數(shù)據(jù)挖掘套件(Darwin)采用了分類和回歸樹(shù)，神經(jīng)網(wǎng)絡(luò)，回歸分析和聚類算法，微軟的SQL Server通過(guò)使用聚類算法，分類樹(shù)等來(lái)提供數(shù)據(jù)挖掘功能。還有一些其他的數(shù)據(jù)挖掘工具，如WEKA與MAT

4、LAB數(shù)據(jù)挖掘工具等。
　　 由于數(shù)據(jù)挖掘這一領(lǐng)域越來(lái)越受到重視，以及它的美好前景。我們創(chuàng)建了一個(gè)Browser/Server(B/S)數(shù)據(jù)挖掘系統(tǒng)，它允許客戶實(shí)現(xiàn)一些在線數(shù)的據(jù)挖掘操作。雖然該系統(tǒng)目的不是替代現(xiàn)有的數(shù)據(jù)挖掘工具，但是我們努力使它成為一個(gè)通用的數(shù)據(jù)挖掘平臺(tái)。我們用C＃、MATLAB和SQL server2005來(lái)實(shí)現(xiàn)該系統(tǒng)。
　　 為了達(dá)到預(yù)期的結(jié)果，我們的研究分三個(gè)步驟。第一步，我們對(duì)數(shù)據(jù)挖掘和數(shù)據(jù)分析

5、的背景進(jìn)行了調(diào)研。第二步，查看了許多資料，詳細(xì)地了解了SQL server和MATLAB中的數(shù)據(jù)挖掘功能。第三步，在ASP.NET平臺(tái)上設(shè)計(jì)并實(shí)現(xiàn)了該(B/S)系統(tǒng)。
　　 在該系統(tǒng)的開(kāi)發(fā)中，集成了兩個(gè)數(shù)據(jù)挖掘技術(shù)，分別為SQL在線分析技術(shù)和MATLAB引擎。該系統(tǒng)允許注冊(cè)用戶上傳一些Excel數(shù)據(jù)文件，并且進(jìn)行一些數(shù)據(jù)分析操作。在該系統(tǒng)中每個(gè)用戶都擁有屬于自己的空間，進(jìn)行一些數(shù)據(jù)分析操作，甚至是編寫MATLAB腳本來(lái)實(shí)現(xiàn)更復(fù)雜

6、的功能。默認(rèn)情況下，該系統(tǒng)允許用戶執(zhí)行兩種算法：決策樹(shù)和K均值聚類。
　　 一方面，當(dāng)用MATLAB作為該系統(tǒng)的工具時(shí)，用戶直接分析上傳的Excel數(shù)據(jù)文件，結(jié)果顯示并保存在Excel文件中；當(dāng)用戶開(kāi)發(fā)自己的MATLAB腳本時(shí)，MATLAB系統(tǒng)被調(diào)用，得到的結(jié)果返回到該系統(tǒng)中。另一方面，當(dāng)用戶使用SQL分析服務(wù)時(shí)，數(shù)據(jù)集首先被作為SQL Server數(shù)據(jù)庫(kù)，用來(lái)創(chuàng)建數(shù)據(jù)挖掘所需要的數(shù)據(jù)模型，該模型作為訓(xùn)練集，最后才使用數(shù)據(jù)挖掘?qū)?/p>

7、該訓(xùn)練集進(jìn)行操作分析。
　　 為了提高系統(tǒng)的可維護(hù)性和可測(cè)試性，系統(tǒng)分為三個(gè)模塊。用戶管理模塊，它管理所有用戶的數(shù)據(jù)操作和空間管理；SQL server管理模塊，它實(shí)現(xiàn)了SQLserver分析服務(wù)所需要的所有數(shù)據(jù)挖掘功能模塊，以及保存了執(zhí)行后的結(jié)果；MATLAB管理模塊，實(shí)現(xiàn)了所有數(shù)據(jù)挖掘所需要的功能，并且管理MATLAB用戶腳本。
　　 該系統(tǒng)的許多方面考慮到后期的工作。在用戶界面旁邊提供了文件編輯的選擇功能，使系統(tǒng)支