降維算法及其在人臉檢測中應用的研究.pdf

1、降維算法是機器學習領域極其重要的研究內容，它決定著整個機器學習框架中最重要的環(huán)節(jié)之一——樣本的特征表示的好壞。一個好的特征表示，能夠大幅提高模型的運行效率，降低存儲開銷，提升算法的學習性能，降低算法對于參數(shù)的敏感度以及增加數(shù)據的可解釋性。而隨著大數(shù)據時代的來臨，海量數(shù)據被不斷積累，特征的維度飛速升高，此類算法的重要程度也與日俱增，同時要求也越來越高。其中，因為數(shù)據總量的不斷膨脹，樣本標定所需成本不斷提升，無監(jiān)督降維算法需求強勁。另外，隨

2、著數(shù)據規(guī)模的不斷擴大，許多傳統(tǒng)的降維算法受到運算和存儲開銷的影響，在新環(huán)境下的適用性受到了極大的挑戰(zhàn)。本文為了解決以上兩方面的問題，分別提出了一套無監(jiān)督特征選擇框架以及有監(jiān)督的特征變換框架。此外，本文還將降維算法應用到人臉檢測當中，實現(xiàn)了算法的一種實踐應用。具體工作可以概括為以下三個方面：
　　(1)提出了一套名為基于譜聚類的全局與局部結構保存的無監(jiān)督特征選擇框架基于同時保存數(shù)據的全局相似度信息以及局部幾何結構這一理念，我們提出了

3、一套無監(jiān)督的特征選擇框架。其中，全局信息的保存通過引入譜聚類算法，自動的抽取數(shù)據中的聚類信息實現(xiàn)；而局部幾何結構則通過流形學習算法得以保存。為了求解包含上述信息的優(yōu)化問題，我們提出了一種收斂的迭代式優(yōu)化算法。因為目標函數(shù)中數(shù)據局部幾何結構的保存可以根據數(shù)據需求采用不同的流形學習算法，本文所提框架具有很強的靈活性和適應能力。大量實驗驗證了本文提出的兩種實例化算法的有效性。
　　(2)提出了一種基于選擇的隨機傅里葉有監(jiān)督特征變換算法與

4、傳統(tǒng)特征變換算法數(shù)據驅動的本質維生成方法不同，該算法通過隨機傅里葉映射快速的生成較大數(shù)目的待選本征維度，再利用特征選擇的方法剔除掉隨機特征中冗余和無關的部分，從而達到特征變換的目的。與以往的特征降維算法相比，該算法能夠以更快的速度以及更小的運算開銷保存原始數(shù)據信息并降低數(shù)據維度；同時，由于采用了隨機傅里葉映射這一高斯核的線性近似作為新特征的生成方式，新樣本空間中的內積具有同高斯核空間中內積近似的性質，從而大大提高了原始數(shù)據的線性可分性；

5、此外，該算法創(chuàng)新性地提出用特征選擇算法進行特征變換的思路，在兩種原本獨立研究、互不相關的降維算法之間構建了一座橋梁，使得所有的特征選擇算法，不論是有監(jiān)督還是無監(jiān)督算法，都可以根據該思路用于進行特征變換。經過在30個標準數(shù)據庫上的實驗驗證，本文算法不論在運算時間還是分類、回歸的準確度上都展現(xiàn)出了優(yōu)于傳統(tǒng)特征變換算法的表現(xiàn)。
　　(3)提出了一種改進的級聯(lián)人臉檢測算法該算法以本文中提出的多塊局部梯度模式為特征表示，結合Adaboost