基于B-S框架的數(shù)據(jù)挖掘系統(tǒng)的設計與實現(xiàn).pdf

1、隨著科學與經(jīng)濟數(shù)據(jù)的爆炸性增長，分析這些數(shù)據(jù)并提取出有用的知識顯得尤為重要，這就導致一代新的工具和技術的產(chǎn)生，這些工具和技術歸結一起被稱為數(shù)據(jù)挖掘。在許多論文和文檔中，存在其他一些名詞，如數(shù)據(jù)庫知識挖掘，知識提取，數(shù)據(jù)分析等，它們的意思和數(shù)據(jù)挖掘差別微小?？茖W或企業(yè)的大量數(shù)據(jù)運用數(shù)據(jù)挖掘進行分析，能夠獲得數(shù)據(jù)的規(guī)律和趨勢。因此，數(shù)據(jù)挖掘日益得到人們的接受和認可。
　　 在許多不同的領域，包括數(shù)據(jù)庫系統(tǒng)，知識庫系統(tǒng)，人工智能，機器

2、學習，知識獲取、統(tǒng)計，空間數(shù)據(jù)庫和數(shù)據(jù)可視化，研究人員表現(xiàn)出了極大興趣。此外，一些新興的信息應用，如提供在線服務和萬維網(wǎng)服務，也要求各種數(shù)據(jù)挖掘技術，以便更好地了解客戶的行為，改善服務質(zhì)量，從而增加商機。
　　 數(shù)據(jù)挖掘和術語KDD之間存在一些混淆，一般來說，這兩個名詞可以交替使用。我們用KDD來表示將低層次的數(shù)據(jù)轉換為高層次的知識的整個過程。KDD的一個簡單定義就是確定一個有效的、新穎的、具有潛在價值的、并且最終可理解的數(shù)據(jù)形

3、式的全過程。我們經(jīng)常使用的數(shù)據(jù)挖掘的定義就是從可見的數(shù)據(jù)中提取數(shù)據(jù)模型。因此，數(shù)據(jù)挖掘就是KDD整個過程的其中一個步驟。
　　 數(shù)據(jù)挖掘產(chǎn)品正在席卷這個行業(yè)。數(shù)據(jù)庫主要廠商已經(jīng)采取了行動，以確保他們的平臺含有數(shù)據(jù)挖掘技術。Oracle的數(shù)據(jù)挖掘套件(Darwin)采用了分類和回歸樹，神經(jīng)網(wǎng)絡，回歸分析和聚類算法，微軟的SQL Server通過使用聚類算法，分類樹等來提供數(shù)據(jù)挖掘功能。還有一些其他的數(shù)據(jù)挖掘工具，如WEKA與MAT

4、LAB數(shù)據(jù)挖掘工具等。
　　 由于數(shù)據(jù)挖掘這一領域越來越受到重視，以及它的美好前景。我們創(chuàng)建了一個Browser/Server(B/S)數(shù)據(jù)挖掘系統(tǒng)，它允許客戶實現(xiàn)一些在線數(shù)的據(jù)挖掘操作。雖然該系統(tǒng)目的不是替代現(xiàn)有的數(shù)據(jù)挖掘工具，但是我們努力使它成為一個通用的數(shù)據(jù)挖掘平臺。我們用C＃、MATLAB和SQL server2005來實現(xiàn)該系統(tǒng)。
　　 為了達到預期的結果，我們的研究分三個步驟。第一步，我們對數(shù)據(jù)挖掘和數(shù)據(jù)分析

5、的背景進行了調(diào)研。第二步，查看了許多資料，詳細地了解了SQL server和MATLAB中的數(shù)據(jù)挖掘功能。第三步，在ASP.NET平臺上設計并實現(xiàn)了該(B/S)系統(tǒng)。
　　 在該系統(tǒng)的開發(fā)中，集成了兩個數(shù)據(jù)挖掘技術，分別為SQL在線分析技術和MATLAB引擎。該系統(tǒng)允許注冊用戶上傳一些Excel數(shù)據(jù)文件，并且進行一些數(shù)據(jù)分析操作。在該系統(tǒng)中每個用戶都擁有屬于自己的空間，進行一些數(shù)據(jù)分析操作，甚至是編寫MATLAB腳本來實現(xiàn)更復雜

6、的功能。默認情況下，該系統(tǒng)允許用戶執(zhí)行兩種算法：決策樹和K均值聚類。
　　 一方面，當用MATLAB作為該系統(tǒng)的工具時，用戶直接分析上傳的Excel數(shù)據(jù)文件，結果顯示并保存在Excel文件中；當用戶開發(fā)自己的MATLAB腳本時，MATLAB系統(tǒng)被調(diào)用，得到的結果返回到該系統(tǒng)中。另一方面，當用戶使用SQL分析服務時，數(shù)據(jù)集首先被作為SQL Server數(shù)據(jù)庫，用來創(chuàng)建數(shù)據(jù)挖掘所需要的數(shù)據(jù)模型，該模型作為訓練集，最后才使用數(shù)據(jù)挖掘?qū)?/p>

7、該訓練集進行操作分析。
　　 為了提高系統(tǒng)的可維護性和可測試性，系統(tǒng)分為三個模塊。用戶管理模塊，它管理所有用戶的數(shù)據(jù)操作和空間管理；SQL server管理模塊，它實現(xiàn)了SQLserver分析服務所需要的所有數(shù)據(jù)挖掘功能模塊，以及保存了執(zhí)行后的結果；MATLAB管理模塊，實現(xiàn)了所有數(shù)據(jù)挖掘所需要的功能，并且管理MATLAB用戶腳本。
　　 該系統(tǒng)的許多方面考慮到后期的工作。在用戶界面旁邊提供了文件編輯的選擇功能，使系統(tǒng)支