基于OLS特征排序和相關(guān)度聚類(lèi)的特征選擇算法.pdf

1、在機(jī)器學(xué)習(xí)中，給高維數(shù)據(jù)集建立一個(gè)魯棒訓(xùn)練模型是非常重要的。其中最大的問(wèn)題是如何進(jìn)行數(shù)據(jù)降維。數(shù)據(jù)降維分為兩種形式：特征選擇和特征提取。特征選擇是在原有的特征集中直接選擇其中一部分特征，用這個(gè)特征子集來(lái)代替原數(shù)據(jù)集合。特征萃取是將高維數(shù)據(jù)空間映射到一個(gè)低維數(shù)據(jù)空間，用映射后的結(jié)果來(lái)代替原數(shù)據(jù)集合。特征選擇在有大量冗余數(shù)據(jù)的情況下已經(jīng)被證明比特征提取的效果更好，不但可以提高算法效率，還可以簡(jiǎn)化計(jì)算過(guò)程，讓結(jié)果具有更好的可讀性。特征選擇由特

2、征排序和子集選擇兩個(gè)部分組成。特征排序按照一定的規(guī)則將特征對(duì)輸出結(jié)果的貢獻(xiàn)度大小排序，同時(shí)濾除掉貢獻(xiàn)度很小達(dá)不到閾值的特征。子集選擇在于選取一個(gè)最優(yōu)的特征子集。一個(gè)好的特征子集所包含的特征要對(duì)輸出的結(jié)果貢獻(xiàn)盡量大，同時(shí)特征之間的相關(guān)度盡量小。
　　基于以上的原則，本文把特征選擇的問(wèn)題轉(zhuǎn)換為兩個(gè)部分：基于相似度的特征聚類(lèi)；特征貢獻(xiàn)度排序?；谙嗨贫鹊木垲?lèi)是用來(lái)將特征分割為一些子集，在這些子集特征的相似度盡量高，同時(shí)在子集之間特征的相

3、似度盡量低。特征排序是按照特征對(duì)結(jié)果的貢獻(xiàn)度大小將特征進(jìn)行排序。本文提出了一種使用SVM（支持向量機(jī)）感度來(lái)度量每個(gè)特征的貢獻(xiàn)大小的方法。但是這種方法沒(méi)有考慮到每個(gè)特征之間的獨(dú)立性，特征的貢獻(xiàn)是相互關(guān)聯(lián)的。針對(duì)于這種缺點(diǎn)，本文提出了一種基于正交最小二乘法的特征排序方法，將輸入特征空間映射到一個(gè)由一組正交基底組成的特征空間，利用特征的正交性來(lái)衡量每個(gè)特征對(duì)輸出貢獻(xiàn)的獨(dú)立性。本文同時(shí)也提出了另外一種基于簡(jiǎn)化的正交最小二乘法的特征排序方法來(lái)克

4、服正交最小二乘法在數(shù)據(jù)維度很高的時(shí)候時(shí)間復(fù)雜度高的問(wèn)題。本文還使用了一種集成的特征選擇方法來(lái)集成不同的特征選擇方法來(lái)得到一個(gè)更加魯棒的特征子集。
　　在本文的模型中，本文選取每個(gè)類(lèi)中特征排序最高的特征來(lái)代表這個(gè)類(lèi)的所有特征作為特征子集中的特征元素。這樣得到的特征子集就能符合上文所提出的好的特征子集的特性：一個(gè)好的特征子集所包含的特征要對(duì)輸出的結(jié)果貢獻(xiàn)盡量大，同時(shí)特征之間相似度要盡量小。特征排序保證了所選特征對(duì)輸出的貢獻(xiàn)盡量大，基于