基于OLS特征排序和相關(guān)度聚類的特征選擇算法.pdf

1、在機器學習中，給高維數(shù)據(jù)集建立一個魯棒訓練模型是非常重要的。其中最大的問題是如何進行數(shù)據(jù)降維。數(shù)據(jù)降維分為兩種形式：特征選擇和特征提取。特征選擇是在原有的特征集中直接選擇其中一部分特征，用這個特征子集來代替原數(shù)據(jù)集合。特征萃取是將高維數(shù)據(jù)空間映射到一個低維數(shù)據(jù)空間，用映射后的結(jié)果來代替原數(shù)據(jù)集合。特征選擇在有大量冗余數(shù)據(jù)的情況下已經(jīng)被證明比特征提取的效果更好，不但可以提高算法效率，還可以簡化計算過程，讓結(jié)果具有更好的可讀性。特征選擇由特

2、征排序和子集選擇兩個部分組成。特征排序按照一定的規(guī)則將特征對輸出結(jié)果的貢獻度大小排序，同時濾除掉貢獻度很小達不到閾值的特征。子集選擇在于選取一個最優(yōu)的特征子集。一個好的特征子集所包含的特征要對輸出的結(jié)果貢獻盡量大，同時特征之間的相關(guān)度盡量小。
　　基于以上的原則，本文把特征選擇的問題轉(zhuǎn)換為兩個部分：基于相似度的特征聚類；特征貢獻度排序。基于相似度的聚類是用來將特征分割為一些子集，在這些子集特征的相似度盡量高，同時在子集之間特征的相

3、似度盡量低。特征排序是按照特征對結(jié)果的貢獻度大小將特征進行排序。本文提出了一種使用SVM（支持向量機）感度來度量每個特征的貢獻大小的方法。但是這種方法沒有考慮到每個特征之間的獨立性，特征的貢獻是相互關(guān)聯(lián)的。針對于這種缺點，本文提出了一種基于正交最小二乘法的特征排序方法，將輸入特征空間映射到一個由一組正交基底組成的特征空間，利用特征的正交性來衡量每個特征對輸出貢獻的獨立性。本文同時也提出了另外一種基于簡化的正交最小二乘法的特征排序方法來克

4、服正交最小二乘法在數(shù)據(jù)維度很高的時候時間復雜度高的問題。本文還使用了一種集成的特征選擇方法來集成不同的特征選擇方法來得到一個更加魯棒的特征子集。
　　在本文的模型中，本文選取每個類中特征排序最高的特征來代表這個類的所有特征作為特征子集中的特征元素。這樣得到的特征子集就能符合上文所提出的好的特征子集的特性：一個好的特征子集所包含的特征要對輸出的結(jié)果貢獻盡量大，同時特征之間相似度要盡量小。特征排序保證了所選特征對輸出的貢獻盡量大，基于