間隔分布正則化機器學(xué)習(xí)理論及其應(yīng)用研究.pdf

1、正則化方法通過引入人類的先驗信息，能有效地增強分類器的泛化性能，避免過擬合現(xiàn)象的發(fā)生。支持向量機（SVM）利用大的最小間隔來正則化模型，提高了模型的泛化能力，具有重要的理論和應(yīng)用價值。最近的理論研究結(jié)果表明，相對于最小間隔或者單個間隔，間隔分布能更好地刻畫泛化性能。在此理論基礎(chǔ)上，基于間隔分布正則化的大間隔分布機（LDM）通過最大化間隔分布增強了模型的泛化性能，并取得了優(yōu)于SVM等先進方法的分類性能。因此，間隔分布學(xué)習(xí)成為了一個新的研究

2、熱點，本文對此展開了相關(guān)的理論和應(yīng)用研究，設(shè)計了具有強泛化性能和魯棒性的分類算法，并探索將其應(yīng)用到行人檢測和場景分類中，主要包括在以下幾個方面：
　?。?）針對樣本不平衡條件下的分類問題，提出了一種包含代價敏感性間隔分布和錯分懲罰的大代價敏感性間隔分布機。在分析大間隔分布機中的間隔均值和間隔方差的基礎(chǔ)上，定義了代價敏感性間隔均值和間隔方差，建立了代價敏感性的間隔分布正則化模型。深入研究了模型中代價敏感參數(shù)的特性，通過理論推導(dǎo)得出了

3、代價敏感參數(shù)的約束條件。在此基礎(chǔ)上設(shè)計了代價敏感參數(shù)符合約束條件的大代價敏感性間隔分布機，通過調(diào)整代價敏感參數(shù)，實現(xiàn)了對間隔分布的調(diào)整，進而實現(xiàn)了分類面的動態(tài)調(diào)整和少數(shù)類樣本檢測率的提升。大代價敏感性間隔分布機是基于間隔分布正則化設(shè)計的，而間隔分布對泛化性能具有決定性作用，所以大代價敏感性間隔分布機既能調(diào)節(jié)檢測率又具有很強的泛化性能。
　?。?）為提高間隔分布學(xué)習(xí)對間隔數(shù)量和噪聲的魯棒性，提出了一種新的基于間隔分布正則化的通用分類

4、算法—二重間隔分布機。在有效特征的分類問題中，樣本統(tǒng)計特征通常具有很重要的標示作用。通過研究樣本統(tǒng)計特征和間隔分布之間的關(guān)聯(lián)性，本文用兩類樣本均值間隔的均值和均方差來刻畫樣本的間隔分布，既實現(xiàn)了類間間隔數(shù)量的平衡，又使模型的幾何意義更加直觀。在此基礎(chǔ)上，我們設(shè)計了二重間隔分布機通過最大化兩類樣本均值的間隔分布來提高模型的泛化能力。二重間隔分布機引入的樣本均值不僅使兩類間隔的數(shù)量均衡還可以有效地抑制噪聲等不良影響，具有很好的泛化性能和魯棒

5、性。
　　（3）針對間隔代價的不均衡問題，提出了幾何意義明確的代價敏感性二重間隔分布機。在分析二重間隔分布機的基本結(jié)構(gòu)和幾何意義的基礎(chǔ)上，本文定義了代價敏感性二重間隔分布，并建立了基于代價敏感性二重間隔分布正則化的優(yōu)化模型。該模型可以利用其中的代價參數(shù)調(diào)整間隔分布，進而調(diào)整分類面和不同代價樣本的檢測率。本文對代價參數(shù)的數(shù)學(xué)意義進行了深入的研究，推導(dǎo)了代價參數(shù)對對偶變量和分類面調(diào)整的機制，并得出了代價參數(shù)應(yīng)滿足的約束條件。在此基礎(chǔ)上

6、，設(shè)計了符合代價參數(shù)約束條件的代價敏感性二重間隔分布機，用于解決代價不平衡的二分類問題。
　?。?）為實現(xiàn)快速和代價敏感性的行人檢測，設(shè)計了基于BING框架和代價敏感性二重間隔分布機的行人檢測模型。通過行人與非行人圖像的HOG特征訓(xùn)練本文提出的二重間隔分布機。為減小二重間隔分布機的搜索區(qū)域，本文首先根據(jù)BING框架進行快速目標篩選，在此基礎(chǔ)上提出了啟發(fā)式的目標區(qū)域定位算法，通過目標選擇和區(qū)域定位策略來獲得行人的區(qū)域定位。只需將二重

7、間隔分布機對定位區(qū)域進行目標檢測即可獲得行人檢測的結(jié)果，提高了行人檢測的效率和速度。除此以外，還可以根據(jù)檢測率的需要使用代價敏感性二重間隔分布機來進行行人檢測，獲得代價敏感性的的行人檢測結(jié)果。
　?。?）針對場景識別中的多類目標分類問題，推廣了二分類二重間隔分布機來解決多類場景分類問題。以場景識別為應(yīng)用背景，本文采用鄰域編碼和推廣二重間隔分布機的方法來解決識別中的多類場景分類問題。通過鄰域編碼對圖像進行特征表達，這種表達方法具有很