基于統(tǒng)計視角的數(shù)據(jù)挖掘應(yīng)用研究.pdf

1、數(shù)據(jù)挖掘作為一個新型的跨領(lǐng)域的綜合性學(xué)科，一經(jīng)出現(xiàn)便顯示出其強大的生命力。統(tǒng)計學(xué)、數(shù)據(jù)倉庫和機器學(xué)習(xí)技術(shù)共同構(gòu)成數(shù)據(jù)挖掘的三大核心技術(shù)，統(tǒng)計方法也是最基本的數(shù)據(jù)挖掘方法之一，它滲透于數(shù)據(jù)挖掘領(lǐng)域的各個階段。但從目前國內(nèi)外的研究現(xiàn)狀看，從事數(shù)據(jù)挖掘研究的主要是計算機領(lǐng)域的學(xué)者和專家，統(tǒng)計學(xué)界的學(xué)者和專家對數(shù)據(jù)挖掘的研究相對較少。而隨著數(shù)據(jù)存儲技術(shù)的不斷發(fā)展，可用于數(shù)據(jù)分析的數(shù)據(jù)量越來越大，對傳統(tǒng)的統(tǒng)計分析技術(shù)提出了極大的挑戰(zhàn)。 本

2、文嘗試從統(tǒng)計學(xué)的角度對數(shù)據(jù)挖掘進行應(yīng)用性研究，使統(tǒng)計學(xué)方法適應(yīng)數(shù)據(jù)量變化，繼續(xù)發(fā)揮其處理數(shù)據(jù)、分析數(shù)據(jù)的重要作用，并期望能對統(tǒng)計學(xué)理論在數(shù)據(jù)挖掘方向的發(fā)展做出探索。 首先，針對目前數(shù)據(jù)挖掘大多側(cè)重于算法設(shè)計及實現(xiàn)的現(xiàn)狀，本文著重歸納總結(jié)了國內(nèi)外統(tǒng)計學(xué)領(lǐng)域的專家、學(xué)者在數(shù)據(jù)挖掘方面的探索和取得的成果，奠定了本文的理論基礎(chǔ)。然后分別從內(nèi)涵、區(qū)別、聯(lián)系等方面對統(tǒng)計學(xué)與數(shù)據(jù)挖掘的關(guān)系進行了詳盡對比分析，以釋清疑惑，明確本文的出發(fā)點。接下

3、來著重從統(tǒng)計學(xué)的角度對數(shù)據(jù)挖掘中主要的技術(shù)和方法進行綜述，其中既有對數(shù)據(jù)挖掘中使用的傳統(tǒng)統(tǒng)計方法的概括，也有對其它領(lǐng)域的數(shù)據(jù)挖掘技術(shù)、方法的統(tǒng)計學(xué)角度的嘗試性闡釋，最后還給出了評價各種數(shù)據(jù)挖掘方法的統(tǒng)計學(xué)標準。 實證部分是本文的重點章節(jié)，在結(jié)構(gòu)方面，依據(jù)統(tǒng)計學(xué)的理論框架分為了描述性數(shù)據(jù)挖掘與預(yù)測性數(shù)據(jù)挖掘兩部分。在描述性數(shù)據(jù)挖掘中利用統(tǒng)計學(xué)的思維和方法對原始數(shù)據(jù)進行了大量探索性分析（一元分析、二元分析、多元分析），從而對待挖掘的

4、數(shù)據(jù)有了一個整體的概括性了解，便于進一步明確挖掘的思路及所用的方法。隨后將質(zhì)量指標（電影評分值）與數(shù)量指標（觀看數(shù)量）相結(jié)合并引進概率理論建立了用戶類興趣評價模型，實現(xiàn)了第一步的挖掘任務(wù)。在預(yù)測性數(shù)據(jù)挖掘階段針對現(xiàn)有聚類方法及統(tǒng)計軟件無法實現(xiàn)動態(tài)聚類的不足，根據(jù)聚類分析的基本思想及此次挖掘任務(wù)的特殊要求提出了改進后的動態(tài)聚類分析方法，并將其利用MATLAB編程實現(xiàn)。另外，在整個挖掘過程中為適應(yīng)各種挖掘方法的需要，對數(shù)據(jù)進行了一系列的創(chuàng)造

5、性的編程處理，隨后綜合運用了當(dāng)今的主流統(tǒng)計軟件SPSS15．0以及數(shù)據(jù)挖掘軟件SPSS Clementine12．0、SQL2005 Busyness Miner、Markway3．0，進行了關(guān)聯(lián)規(guī)則挖掘及決策樹的建立并用于預(yù)測，對于上述軟件無法解決的任務(wù)同時輔以MATLAB7．0編程來綜合實現(xiàn)。 統(tǒng)計學(xué)如何為數(shù)據(jù)挖掘服務(wù)，這是在“數(shù)據(jù)挖掘”飛速發(fā)展的今天，統(tǒng)計工作者必須回答的一個問題。隨著統(tǒng)計學(xué)與現(xiàn)代信息技術(shù)的融合，數(shù)據(jù)挖掘技