基于Mahout的數據挖掘平臺的設計與實現.pdf

1、隨著信息化進程的不斷推進，各行各業(yè)擁有的數據量急劇增加，越來越多的中小企業(yè)、科研單位等都需要使用數據挖掘系統(tǒng)對自己的海量數據進行分析和挖掘。而現有的數據挖掘系統(tǒng)大多是針對某一特定領域開發(fā)的，系統(tǒng)實現較為復雜。尤其是處理的數據量特別龐大時，就需要通過云技術來實現挖掘算法，這種實現方式要求開發(fā)人員不但熟練掌握數據挖掘的相關原理應用，也必須深入理解云平臺的底層實現機制，而普通開發(fā)人員很難具備這樣的能力，造成了海量數據挖據技術的商業(yè)化應用難以推

2、廣。鑒于此，本文提出了一種以Mahout為基礎的數據挖掘平臺，它將在Hadoop云平臺下為用戶提供大規(guī)模數據集的挖掘服務，開發(fā)人員只需要通過調用本平臺的相關接口，就可以簡單快捷的構建自己的數據挖掘應用程序，從而將開發(fā)人員從復雜的數據挖掘技術中解脫出來。
　　在本文中，Mahout相關的數據挖掘算法被作為一種底層應用資源來看待，所以數據挖掘算法并不是本文的研究重點。本文希望向用戶屏蔽在云平臺上實現數據挖掘的具體實現，將數據挖掘技術大

3、眾化、簡單化，從而推廣數據挖掘技術在云平臺上的廣泛應用。具體地說，第一，為了使用戶的需求定義簡單明了，本文設計了用戶定義挖掘需求的相關規(guī)范，用以描述用戶的具體需求，包括數據規(guī)約工具和挖掘策略規(guī)約工具。其中，數據規(guī)約工具是定義用戶的數據訪問方式，挖掘策略規(guī)約工具是定義一個具體的挖掘策略，它包含了用戶選擇的算法，技術參數等內容。為了滿足不同人群的應用需求，挖掘策略規(guī)約工具還將挖掘參數設置分為通用設置和專業(yè)設置，通用設置是面對普通用戶的，專業(yè)

4、設置是面對有更高需求的挖掘專業(yè)人士的。第二，本文設計了挖掘需求的解析方法，主要針對挖掘對象描述文件和挖掘策略描述文件。第三，為了方便獲取不同的數據集，并將其轉換成Mahout可以處理的格式，本文提供了各種數據源的訪問策略以及數據集的轉換方法。第四，本文對挖掘任務的執(zhí)行階段進行了細致劃分，保證任務的執(zhí)行信息能夠及時反饋，用以實現任務的實時監(jiān)控。最后，本文設計了Mahout算法的統(tǒng)一化、簡單化應用方式，通過屏蔽不同算法之間的差異，使算法的應