一種基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)設(shè)計與實現(xiàn).pdf

1、網(wǎng)絡(luò)技術(shù)在帶給人們大量信息的同時，也極大地增加了人們從海量數(shù)據(jù)中發(fā)現(xiàn)有用知識的難度，而解決這一問題的努力促進了數(shù)據(jù)挖掘技術(shù)的出現(xiàn)和快速發(fā)展。目前，數(shù)據(jù)挖掘技術(shù)已在金融、醫(yī)療、軍事、管理等諸多領(lǐng)域的決策分析方面被廣泛應(yīng)用。 云計算是能提供動態(tài)資源池、虛擬化和高可用性的計算平臺。云計算開發(fā)平臺可被用來開發(fā)高性能應(yīng)用程序，但數(shù)據(jù)本身具有噪聲、異構(gòu)等問題，而現(xiàn)有的云計算開發(fā)平臺當(dāng)前還沒有數(shù)據(jù)規(guī)約功能，利用云計算進行數(shù)據(jù)挖掘的解決方案尚未

2、被提出。針對上述問題，首先，擴展Google App Engine開發(fā)平臺，設(shè)計與實現(xiàn)其數(shù)據(jù)規(guī)約功能，主要解決異構(gòu)數(shù)據(jù)訪問問題與未存在數(shù)據(jù)類型訪問問題；然后，在擴展的Google App Engine開發(fā)平臺基礎(chǔ)上設(shè)計與實現(xiàn)一數(shù)據(jù)挖掘系統(tǒng)，通過實驗驗證數(shù)據(jù)規(guī)約功能的有效性及云計算平臺執(zhí)行數(shù)據(jù)挖掘操作的高效性。 在數(shù)據(jù)規(guī)約模塊設(shè)計過程中，通過采用可被擴展的元數(shù)據(jù)定義、數(shù)據(jù)集模板定義及數(shù)據(jù)集定義逐層抽象數(shù)據(jù)集的數(shù)據(jù)類型、數(shù)據(jù)結(jié)構(gòu)、訪

3、問地址等信息，實現(xiàn)對異構(gòu)數(shù)據(jù)集的抽象以及對未有數(shù)據(jù)類型的訪問。在基于云計算的數(shù)據(jù)挖掘系統(tǒng)設(shè)計過程中，基于分層設(shè)計的思想，將該平臺的層次自底向上劃分為：算法層、任務(wù)層和用戶層，其中，底層透明的為其上層提供服務(wù)，上層通過層間開放接口調(diào)用下層服務(wù)，使得層與層之間的功能相對獨立，易于系統(tǒng)的二次開發(fā)。同時各層接口均以REST接口方式對外開放，可被開發(fā)者嵌入到其應(yīng)用程序中。在算法層設(shè)計過程中設(shè)計了多層插件框架結(jié)構(gòu)，增加了算法實現(xiàn)與維護的靈活性。