數(shù)據(jù)分析的特征選擇實例分析

1、數(shù)據(jù)分析的特征選擇實例分析數(shù)據(jù)分析的特征選擇實例分析1.數(shù)據(jù)挖掘與聚類分析概述數(shù)據(jù)挖掘與聚類分析概述數(shù)據(jù)挖掘一般由以下幾個步驟：(l)分析問題:源數(shù)據(jù)數(shù)據(jù)庫必須經(jīng)過評估確認其是否符合數(shù)據(jù)挖掘標準。以決定預期結(jié)果，也就選擇了這項工作的最優(yōu)算法。(2)提取、清洗和校驗數(shù)據(jù):提取的數(shù)據(jù)放在一個結(jié)構(gòu)上與數(shù)據(jù)模型兼容的數(shù)據(jù)庫中。以統(tǒng)一的格式清洗那些不一致、不兼容的數(shù)據(jù)。一旦提取和清理數(shù)據(jù)后，瀏覽所創(chuàng)建的模型，以確保所有的數(shù)據(jù)都已經(jīng)存在并且完整。(

2、3)創(chuàng)建和調(diào)試模型:將算法應用于模型后產(chǎn)生一個結(jié)構(gòu)。瀏覽所產(chǎn)生的結(jié)構(gòu)中數(shù)據(jù)，確認它對于源數(shù)據(jù)中“事實”的準確代表性，這是很重要的一點。雖然可能無法對每一個細節(jié)做到這一點，但是通過查看生成的模型，就可能發(fā)現(xiàn)重要的特征。(4)查詢數(shù)據(jù)挖掘模型的數(shù)據(jù):一旦建立模型，該數(shù)據(jù)就可用于決策支持了。(5)維護數(shù)據(jù)挖掘模型:數(shù)據(jù)模型建立好后，初始數(shù)據(jù)的特征，如有效性，可能發(fā)生改變。一些信息的改變會對精度產(chǎn)生很大的影響，因為它的變化影響作為基礎的原始模型

3、的性質(zhì)。因而，維護數(shù)據(jù)挖掘模型是非常重要的環(huán)節(jié)。聚類分析是數(shù)據(jù)挖掘采用的核心技術(shù)，成為該研究領(lǐng)域中一個非?；钴S的研究課題。聚類分析基于”物以類聚”的樸素思想，根據(jù)事物的特征，對其進行聚類或分類。作為數(shù)據(jù)挖掘的一個重要研究方向，聚類分析越來越得到人們的關(guān)注。聚類的輸入是一組沒有類別標注的數(shù)據(jù)，事先可以知道這些數(shù)據(jù)聚成幾簇爪也可以不知道聚成幾簇。通過分析這些數(shù)據(jù)，根據(jù)一定的聚類準則，合理劃分記錄集合，從而使相似的記錄被劃分到同一個簇中，不相

4、似的數(shù)據(jù)劃分到不同的簇中。2.特征選擇與聚類分析算法特征選擇與聚類分析算法Relief為一系列算法，它包括最早提出的Relief以及后來拓展的Relief和ReliefF，其中ReliefF算法是針對目標屬性為連續(xù)值的回歸問題提出的，下面僅介紹一下針對分類問題的Relief和ReliefF算法。2.1Relief算法算法Relief算法最早由Kira提出，最初局限于兩類數(shù)據(jù)的分類問題。Relief算法是一種特征權(quán)重算法(Featurew

5、eightingalgithms)，根據(jù)各個特征和類別的相關(guān)性賦予特征不同的權(quán)重，權(quán)重小于某個閾值的特征將被移除。Relief算法中特征和類別的相關(guān)性是基于特征對近距離樣本的區(qū)分能力。算法從訓練集D中隨機選擇一個樣本R，然后從和R同類的樣本中尋找最近鄰樣本H，稱為NearHit，從和R不同類的樣本中尋找最近鄰樣本M，稱為NearMiss，然后根據(jù)以下規(guī)則更新每個特征的權(quán)重：如果R和NearHit在某個特征上的距離小于R和NearMiss

6、上的距離，則說明該特征對區(qū)分同類和不同類的最近鄰是有益的，則增加該特征的權(quán)重；反之，如果R和NearHit在某個特征的距離大于R和NearMiss上的距離，說明該特征對區(qū)分同類和不同類的最近鄰起負面作用，則降低該特征的權(quán)重。以上過程重復m次，最后得到各特征的平均權(quán)重。特征的權(quán)重越大，表示該特征的分類能力越強，反之，表示該特征分類能力越弱。Relief算法的運行時間隨著樣本的抽樣次數(shù)m和原始特征個數(shù)N的增加線性增加，因而運行效率非常高。具

7、體算法如下所示：Relief系列算法運行效率高，對數(shù)據(jù)類型沒有限制，屬于一種特征權(quán)重算法，算法會賦予所有和類別相關(guān)性高的特征較高的權(quán)重，所以算法的局限性在于不能有效的去除冗余特征。Matlab實現(xiàn)源碼：1.ReliefF特征提取算法Matlab主程序1%主函數(shù)2clearclc3load(matlab.mat)4D=data(:2:size(data2))%5m=80%抽樣次數(shù)6k=87N=20%運行次數(shù)8fi=1:N9W(i:)=Re