基于截?cái)鄥f(xié)方差矩陣的高維稀疏判別分析.pdf

1、近年來，隨著互聯(lián)網(wǎng)等科學(xué)技術(shù)的飛速發(fā)展，在社會(huì)調(diào)研、基因生命科學(xué)等領(lǐng)域每天都會(huì)收集到海量的數(shù)據(jù)，如何從如此多的數(shù)據(jù)中提取出有用的信息已經(jīng)成為人們面臨的新挑戰(zhàn)。在這種需求下，數(shù)據(jù)挖掘技術(shù)應(yīng)用而生。分類作為數(shù)據(jù)挖掘技術(shù)的一個(gè)重要分支，在圖像分類、行為模式識(shí)別等領(lǐng)域中有著極其重要的應(yīng)用。目前，如何利用已知樣本的信息來有效分類的研究與應(yīng)用已經(jīng)引起了學(xué)術(shù)界的關(guān)注。但是隨著數(shù)據(jù)維數(shù)的增大，甚至出現(xiàn)維數(shù)p大于訓(xùn)練樣本的個(gè)數(shù)n的現(xiàn)象，現(xiàn)在人們稱之為“大

2、p小n”，使得之前的一些經(jīng)典的判別方法如距離判別、Bayes判別、Fisher判別已經(jīng)不再適用，因此需要學(xué)者更深入的理論分析。
　　事實(shí)上，關(guān)于高維稀疏數(shù)據(jù)的判別方法也已經(jīng)有很多，例如獨(dú)立判別法(IR)、Feature Annealed Independence Rule(FAIR)、Nearest Shrunken Centriods Classifier(NSCC)等。這些判別方法都是在Bayes判別法基礎(chǔ)上改進(jìn)了參數(shù)估計(jì)的方

3、法或者加入了t-檢驗(yàn)統(tǒng)計(jì)量進(jìn)行變量選擇。然而，這些方法在估計(jì)總體協(xié)方差矩陣時(shí)只使用了特性方差的信息，忽略了特性間的相關(guān)性，使得判別效果在一些情況下不理想。
　　本文主要利用基于截?cái)鄥f(xié)方差矩陣的方法，對(duì)高維稀疏數(shù)據(jù)進(jìn)行分類研究。首先，將經(jīng)典的Bayes判別與截?cái)鄥f(xié)方差矩陣的方法相結(jié)合，提出了一種新的基于截?cái)鄥f(xié)方差矩陣的高維稀疏數(shù)據(jù)的判別分析方法:利用高維協(xié)方差矩陣的稀疏性，使用硬閥值對(duì)樣本協(xié)方差矩陣進(jìn)行截?cái)啵@樣不僅考慮了所有特性的

4、方差，還考慮了相關(guān)性較大的特性間的協(xié)方差、將相關(guān)性較小或者為零的忽略，使得協(xié)方差矩陣估計(jì)與真實(shí)值更接近，從而提高判別效果。然后，從理論上給出了截?cái)鄥f(xié)方差矩陣判別方法錯(cuò)判率，同時(shí)利用數(shù)值實(shí)驗(yàn)加以驗(yàn)證。實(shí)驗(yàn)過程中，利用5-fold Cross-Validation準(zhǔn)則，選擇使得錯(cuò)判比例的平均值最小的截?cái)嚅y值作為硬閥值。一方面對(duì)來自三種不同形式協(xié)方差矩陣的模擬數(shù)據(jù)進(jìn)行判別分析，同時(shí)又與其他判別方法(Bayes判別法和獨(dú)立判別法)比較100次模