分類器設(shè)計中的正則化技術(shù)研究.pdf

1、正則化技術(shù)誕生于20世紀(jì)60年代，最初是由數(shù)學(xué)領(lǐng)域提出用于解決不適定問題。隨著80年代機(jī)器學(xué)習(xí)的興起，正則化技術(shù)被廣泛應(yīng)用于模式識別的各個領(lǐng)域。其通過引入含有問題先驗(yàn)知識的正則化項(xiàng)使解穩(wěn)定的思想滲透在各種算法的設(shè)計中，并衍生出許多著名的方法，例如：正則化網(wǎng)絡(luò)（Regularization Networks，RNs），正則化最小二乘分類器（Regularized Least-squares Classification，RLSC），支持向

2、量機(jī)（Support Vector Machines，SVMs）和流形正則化（Manifold Regularization，MR）等等。本文著眼于模式識別中的重要環(huán)節(jié)之一――分類器設(shè)計，從正則化分類器的推廣性能、正則化項(xiàng)的構(gòu)建以及分類器對先驗(yàn)知識的融合等諸多層面，系統(tǒng)深入地研究了分類器設(shè)計中的正則化技術(shù)。本文的主要貢獻(xiàn)在于：
　　 1.從正則化的角度提出了一個新的基于平方誤差準(zhǔn)則分類器的推廣誤差界。新的局部性正則化推廣誤差界將

3、分類器的推廣誤差限定在每個樣本的局部鄰域內(nèi)，融入了數(shù)據(jù)空間的結(jié)構(gòu)信息，克服了原有推廣誤差界（如VC維）只適用于線性分類器的缺點(diǎn)，并引入了可調(diào)節(jié)的正則化參數(shù)，增強(qiáng)了誤差界的靈活性。在此基礎(chǔ)上，本文進(jìn)一步提出了一種新的分類器設(shè)計方法――局部性正則化方法（Locality Regularization，LR）。新方法具有兩個顯著的特點(diǎn)：（1）根據(jù)推廣誤差界，自然地由期望風(fēng)險函數(shù)的定義導(dǎo)出正則化項(xiàng)；（2）通過與譜圖理論、流形學(xué)習(xí)相結(jié)合，將正則化

4、項(xiàng)構(gòu)建在樣本的局部可變鄰域上，融合了數(shù)據(jù)空間的全局和局部結(jié)構(gòu)信息，提高了分類器的推廣性能。實(shí)驗(yàn)驗(yàn)證了新算法在所用數(shù)據(jù)集上，尤其是對于訓(xùn)練和測試樣本分布不均衡的數(shù)據(jù)集，具有比經(jīng)典正則化方法更優(yōu)的分類性能。
　　 2.進(jìn)一步拓展了局部性正則化方法的應(yīng)用領(lǐng)域，提出了一種基于局部性正則化推廣誤差界的特征選擇算法。作為一種混合濾波－封裝方法，新算法以局部性正則化推廣誤差界為評價函數(shù)，以局部性正則化方法為目標(biāo)分類器，既保持了較高的計算效率，

5、又保證了利用所選擇特征設(shè)計的分類器具有良好的推廣性能。
　　 3.針對傳統(tǒng)正則化方法僅關(guān)注分類器數(shù)據(jù)獨(dú)立的光滑性懲罰這一缺點(diǎn)，提出了一種數(shù)據(jù)依賴正則化項(xiàng)的構(gòu)建理念――判別正則化項(xiàng)（Discriminative Regularization Term，Rdisreg）。新的判別正則化項(xiàng)主要側(cè)重于：（1）分類器輸出空間中數(shù)據(jù)的可分性，通過采用不同的方式定義輸出樣本的類內(nèi)緊湊性和類間分離性，逐步地在正則化項(xiàng)中引入有助于分類的樣本判別信

6、息和結(jié)構(gòu)信息；（2）始終保持只含有一個需要調(diào)節(jié)的正則化因子，有效地避免多類分類優(yōu)化問題中潛在的“維數(shù)災(zāi)難”；（3）較強(qiáng)的推廣性，通過將其與不同的損失函數(shù)、正則化項(xiàng)相結(jié)合，可以衍生出更多新的算法，從而最終為分類器設(shè)計提供一種新的途徑。本文以最小二乘損失函數(shù)為例，在嵌入了判別信息的基礎(chǔ)上，逐步在判別正則化項(xiàng)中融入全局和局部結(jié)構(gòu)信息，提出了兩種判別性正則化方法（Discriminative Regularization，DR）。通過在目標(biāo)函數(shù)

7、中嵌入等性約束，新算法不但可解析求解，并且求解框架自然地涵蓋了兩類和多類問題。實(shí)驗(yàn)驗(yàn)證了新算法優(yōu)越的推廣性和良好的穩(wěn)定性。
　　 4.支持向量機(jī)（SVM）是一種典型的正則化分類器，本文首次嘗試從數(shù)據(jù)結(jié)構(gòu)粒度的觀點(diǎn)揭示了SVM及其相關(guān)改進(jìn)方法之間的關(guān)系，構(gòu)建了一個結(jié)構(gòu)正則化大間隔分類器框架，并在此基礎(chǔ)上，進(jìn)一步提出了一種新的大間隔算法――結(jié)構(gòu)正則化支持向量機(jī)（Structurally Regularized Support Vec

8、tor Machine，SRSVM）。通過將數(shù)據(jù)的聚類結(jié)構(gòu)信息以一個新的正則化項(xiàng)的形式嵌入到傳統(tǒng)的SVM目標(biāo)函數(shù)中，新方法主要著重于：（1）保持傳統(tǒng)SVM的優(yōu)化框架，顯著降低同類算法的計算復(fù)雜度，簡化核化過程，快捷有效地收斂到全局最優(yōu)解，并保持解的稀疏性；（2）從理論上嚴(yán)格證明，數(shù)據(jù)結(jié)構(gòu)信息的引入確實(shí)能夠得到比SVM更好的推廣性能。
　　 5.根據(jù)“沒有免費(fèi)午餐定理”，本文對正則化技術(shù)的研究都涉及如何在正則化分類器中盡可能地融入