數(shù)據(jù)挖掘中的聚類方法及其應(yīng)用——基于統(tǒng)計學(xué)視角的研究.pdf

1、數(shù)據(jù)挖掘是近幾年隨著數(shù)據(jù)庫和人工智能發(fā)展起來的一門新興技術(shù)，它從大量原始數(shù)據(jù)中發(fā)掘出隱含的、有用的信息和知識，幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)被忽略的因素。數(shù)據(jù)挖掘因其巨大的商業(yè)前景，現(xiàn)已成為國際上數(shù)據(jù)庫和信息決策領(lǐng)域最前沿的研究方向之一，并引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。 面對海量數(shù)據(jù)，首要的任務(wù)就是對其進行歸類，聚類分析就是對原始數(shù)據(jù)進行合理歸類的一種方法。作為數(shù)據(jù)挖掘的一項重要功能，聚類分析能作為一個獨立的工具來獲得數(shù)

2、據(jù)的分布情況，觀察每個類的特點，集中對特定的某些類做進一步的分析。此外，聚類分析也可以作為其它算法的預(yù)處理步驟。因此，聚類分析已經(jīng)成為數(shù)據(jù)挖掘領(lǐng)域中一個非?；钴S的研究課題。 數(shù)據(jù)挖掘的相關(guān)文獻中已經(jīng)存在大量的聚類方法。然而，從目前來看，對數(shù)據(jù)挖掘中聚類方法的研究大都集中于計算機科學(xué)領(lǐng)域，更多注重聚類算法的研究，或者對現(xiàn)有聚類方法進行算法上的改進，而很少真正從統(tǒng)計學(xué)角度出發(fā)對數(shù)據(jù)挖掘中的聚類問題進行深入分析。本文嘗試從統(tǒng)計學(xué)視角出

3、發(fā)，以統(tǒng)計理論為基礎(chǔ)，以統(tǒng)計方法與算法的結(jié)合為基本思路，將一些現(xiàn)有的優(yōu)秀統(tǒng)計方法，如因子分析、對應(yīng)分析、函數(shù)型數(shù)據(jù)分析等引入數(shù)據(jù)挖掘領(lǐng)域，使其能夠應(yīng)用于海量數(shù)據(jù)的聚類分析。 本文共分為六章，各章的內(nèi)容安排如下： 第1章介紹了本文的選題背景、研究內(nèi)容以及本文的主要創(chuàng)新之處。 第2章首先簡單闡述了數(shù)據(jù)挖掘的定義、功能和常用技術(shù)，然后對當(dāng)前數(shù)據(jù)挖掘中主要的聚類方法及其研究進展進行了綜述，并從聚類標(biāo)準(zhǔn)、類的標(biāo)識、聚類算法

4、框架三個角度對各種聚類方法進行了全面而深入的對比與總結(jié)。 第3章通過對經(jīng)典Q型因子模型進行改進，克服了其算法效率上的困難，提出了一種新的海量數(shù)據(jù)聚類方法—Q型因子聚類法，并將其成功應(yīng)用于上市公司板塊分析，為投資決策提供幫助。 第4章基于Benzécri對應(yīng)分析的基本思路，結(jié)合Q型因子分析的思想，提出了數(shù)據(jù)挖掘中的對應(yīng)分析聚類法。利用對應(yīng)分析聚類法對移動通訊月度消費大型數(shù)據(jù)庫進行聚類分析，實現(xiàn)了移動通訊消費市場的細分。

5、 第5章借助函數(shù)型數(shù)據(jù)分析的基本思想和方法，建立了一個時序數(shù)據(jù)庫聚類分析的一般框架，并將這一方法擴展到多變量的情形，解決了多變量時序數(shù)據(jù)的聚類問題。將該方法應(yīng)用到投資組合風(fēng)險管理中，利用聚類結(jié)果進行資產(chǎn)選擇，有效地降低了組合投資風(fēng)險。 第6章對全文的主要工作進行了總結(jié)，并指出了本文的不足之處以及進一步研究的方向。 本文嘗試在以下幾個方面有所創(chuàng)新： 1．通過對經(jīng)典Q型因子模型進行改進，克服了其算法效率上的困難，

6、提出了一種新的海量數(shù)據(jù)聚類方法--“Q型因子聚類法”。 2．提出了數(shù)據(jù)挖掘中的“對應(yīng)分析聚類法”。該方法既解決了Q型因子分析算法效率方面的問題，也解決了傳統(tǒng)對應(yīng)分析法中缺乏客觀分類標(biāo)準(zhǔn)、信息損失嚴(yán)重等多種缺陷。 3．在對應(yīng)分析聚類法的提出過程中，構(gòu)造了對應(yīng)分析中的標(biāo)準(zhǔn)化因子載荷陣，給出了對應(yīng)分析中因子得分的求解方法，并首次將因子旋轉(zhuǎn)引入對應(yīng)分析中，在一定程度上擴展了對應(yīng)分析的方法和理論體系。 4．借助函數(shù)型數(shù)據(jù)分