模式識別中分類器學(xué)習(xí)能力與泛化性的改進.pdf

1、模式識別是指對表征事物或現(xiàn)象的各種形式信息進行處理和分析，以對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程。模式識別技術(shù)可用于人臉識別、指紋識別、語音識別和文檔分類等。統(tǒng)計模式識別中包含一個重要環(huán)節(jié)，即根據(jù)訓(xùn)練樣本建立分類器。研究中發(fā)現(xiàn)，建立分類器時同時提高學(xué)習(xí)能力和泛化性存在一定的矛盾。統(tǒng)計學(xué)習(xí)理論中，Vapnik基于假設(shè)集合的VC維給出了學(xué)習(xí)器泛化性和學(xué)習(xí)能力間的關(guān)系。可以不嚴格地認為假設(shè)集合VC維越小，泛化性越強，學(xué)習(xí)能力越弱；而V

2、C維越大，泛化性越弱，學(xué)習(xí)能力越強。由此不難發(fā)現(xiàn)，設(shè)計分類器時存在矛盾：學(xué)習(xí)能力和泛化性很難同時提高。實際工作中，我們通常是在兩者間進行一定的平衡與折中。
　　 該論文提出一種新的分類方法旨在降低這種矛盾。分類器的建立可以被描述為這樣一個過程，即從假設(shè)集合中搜索出一個最能分類訓(xùn)練數(shù)據(jù)的假設(shè)。統(tǒng)計學(xué)習(xí)理論等分析泛化性時是基于假設(shè)集合的偏置(VC維)，而描述學(xué)習(xí)能力時同樣是基于該偏置，這就是造成矛盾的一個原因。降低矛盾的一個辦法就是

3、基于不同的因素改變泛化性和學(xué)習(xí)能力。論文的基本思想為：學(xué)習(xí)能力基于假設(shè)集合，泛化能力基于搜索策略。讓假設(shè)集合無偏以增強分類器對數(shù)據(jù)的學(xué)習(xí)能力，讓搜索策略強偏以增強分類器的泛化能力。
　　 該論文主要完成了以下工作：
　　 ①提出了一種搜索偏置：尋找最大邊距分類面。并定義了一類特殊的數(shù)據(jù)分布pure distribution pair，以及基于該類分布的對偶點對。(注：論文中提出的最大邊距分類面與支持向量機不同在于該分類面

4、是與分布相關(guān)的曲面，而非平面)
　　 ②介紹了在數(shù)據(jù)分布滿足pure distribution pair時，尋找訓(xùn)練樣本中近似對偶點對的方法，以及基于這些對偶點對建立分類面和進行分類的策略。
　　 ③討論了在數(shù)據(jù)分布不滿足pure distribution pair時，消除“噪聲”，變換數(shù)據(jù)使數(shù)據(jù)分布滿足pure distribution pair的方法。
　　 ④實現(xiàn)了該分類方法，并通過實驗，一定程度上說明了該