基于變量選擇偏差的變量選擇過程.pdf

1、隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)的維度越來越高而且數(shù)據(jù)中的冗余信息越來越多，統(tǒng)計學(xué)習(xí)和機(jī)器學(xué)習(xí)從包含大量的冗余信息的數(shù)據(jù)中學(xué)習(xí)或發(fā)現(xiàn)有用的信息越來越困難，因此在對數(shù)據(jù)建模前需要進(jìn)行變量選擇。若假設(shè)潛在真實模型為線性模型時，常見的變量選擇算法有Lasso、MCP、SCAD等算法。但是Lasso算法所選擇的模型趨向于包含了大量的冗余變量；MCP算法所選擇的模型趨向于選擇更少的變量但丟失了部分重要的變量；SCAD算法所選擇的模型與潛在真實模型或真實

2、模型的距離較大。因此，這三種變量選擇算法都存在它們自身的固有缺點。
　　本文使用了變量選擇偏差的概念（變量選擇偏差可以有效的刪除冗余變量的同時盡可能的保留重要變量），使用它度量選擇的模型與潛在真實模型的之間的距離。因而，本文提出了基于變量選擇偏差的變量選擇過程（下文稱為基于變量選擇偏差的變量選擇算法），同時基于此提出了基于變量選擇偏差的變量排序算法。基于變量選擇偏差的變量選擇算法是選擇擁有最小的變量選擇偏差值的變量子集為最優(yōu)變量子

3、集，其最優(yōu)變量子集與潛在的真實模型之間的對稱差最小，在擁有最少的冗余信息的同時盡可能地包含了有用的、隱藏在數(shù)據(jù)中的結(jié)構(gòu)信息。文中給出了求解最小變量選擇偏差值的最優(yōu)變量子集的過程和方法，并用數(shù)學(xué)方法證明了該方法的解是全局最優(yōu)的。基于變量選擇的偏差的變量排序，是使用變量選擇偏差對變量進(jìn)行加權(quán)，選擇變量權(quán)大于某個閥值的變量作為最優(yōu)的變量子集。該算法所得到的變量子集與閥值大小有關(guān)。當(dāng)閥值為0.5時，基于變量選擇的變量選擇偏差的變量選擇算法和該算

4、法所得到的變量子集是一樣的。因此，使閥值小于0.5，那么基于變量選擇偏差的變量排序算法所得到變量子集會包含有用信息會更多一些，將有助于對未知樣本的預(yù)測和區(qū)分。
　　本文將兩個新的算法和三種傳統(tǒng)的變量選擇算法(Lasso、MCP、SC-AD)應(yīng)用于仿真數(shù)據(jù)和真實數(shù)據(jù)上，將它們的在未知數(shù)據(jù)上表現(xiàn)出的性能進(jìn)行了全面的對比。在噪聲水平不是很高的情況下，基于變量選擇偏差的變量選擇算法在模型預(yù)測能力上與Lasso相當(dāng)，強于MCP和SCAD算法