約束局部模型——clm搜索擬合算法-浙江大學(xué)

1、基于信息度量學(xué)習(xí)約束局部模型的人臉定位研究,指導(dǎo)老師：張宏鑫 副教授作 者：程允勝答辯日期：2012年x月x日,報(bào)告大綱,緒論——研究目標(biāo),準(zhǔn)確自動(dòng)定位出靜態(tài)圖像以及視頻中可變形結(jié)構(gòu) 的外形結(jié)構(gòu)（特征點(diǎn)定位）；本文主要討論人臉特征點(diǎn)定位,緒論---研究意義,人臉識(shí)別（特別是單圖人臉識(shí)別） 圖像修復(fù)圖像可變形目標(biāo)替換（PS）三維構(gòu)建,約束局部模型（constrained local models）,約束

2、局部模型通過利用局部模型在特征點(diǎn)附近搜索確定每個(gè)特征點(diǎn)位置，并結(jié)合形狀擬合自動(dòng)準(zhǔn)確對(duì)圖像進(jìn)行校正。 CLM類似于snakes模型，不同的是目標(biāo)形狀是受約束的形狀。CLM主要組成：形狀模型（模型受約束的形狀）、局部外觀模型、擬合優(yōu)化策略,約束局部模型—形狀模型,物體的形狀由特征點(diǎn)以及特征點(diǎn)之間的連通性表示。,特征點(diǎn)選擇：1、準(zhǔn)確描述物體結(jié)構(gòu) 2、特征點(diǎn)位置明確可靠,約束局部模型—形狀模型PC

3、A分析,物體的形狀 可以用2n維向量x表示。PCA分析以后，形狀表示為其中 平均形狀，P特征向量矩陣，b模型參數(shù)。PCA分析作用： 1、降維 2、去噪聲信息 3、約束形狀,,,,約束局部模型—形狀模型PCA分析,一般的，當(dāng) 在范圍

4、 之內(nèi)，可以約束模擬出來的形狀是有效的形狀 ， 特征值,,,,,形狀模型的主要模型,約束局部模型——局部外觀模型,局部模型主要有兩部分組成：局部外觀信息提取 、局部分類器 。外觀提取就是準(zhǔn)確全面而且概括性的定義每個(gè)特征點(diǎn)周圍的特征 。局部分類器就是代價(jià)函數(shù)，評(píng)價(jià)當(dāng)前特征點(diǎn)信息與模板信息的匹配度。,約束局部模型——局部外觀信息提取,CLM局部模型局部特征信息提取算法比較常用的有一維patch二維patch 。,約束局部模

5、型——局部分類器,一個(gè)簡(jiǎn)單分類器 ，曼哈頓距離響應(yīng)值越大匹配度越小。,,約束局部模型——擬合優(yōu)化,通過局部模型，我們獲得當(dāng)前形狀每個(gè)特征點(diǎn)周圍的匹配概率 有了每個(gè)特征點(diǎn)的響應(yīng)曲面以后，便可以進(jìn)行擬合獲得形狀參數(shù),,,,約束局部模型——CLM搜索擬合算法,CLM搜索擬合算法輸入初始的特征點(diǎn)位置信息。重復(fù)：1、對(duì)每一特征點(diǎn)，利用局部檢測(cè)器對(duì)特征點(diǎn)周圍進(jìn)行搜索，算出相應(yīng)的響應(yīng)值，獲得每個(gè)特征點(diǎn)周圍的響應(yīng)曲面。2、根據(jù)形

6、狀模型擬合當(dāng)前的形狀，更新相應(yīng)的模型參數(shù)以及下一步迭代的特征點(diǎn)位置。直到收斂收斂的定義是每兩次迭代之間，模型的形狀參數(shù)或者特征點(diǎn)位置變化小于一定的閾值。,信息度量學(xué)習(xí)CLM模型——CLM的發(fā)展,局部模型：特征提取，主要包括local pattern patch，gabor濾波器等。 局部分類器,有SVM, adaboost，PCA，KPCA等。擬合優(yōu)化：ASM，COF。,CLM發(fā)展——PCA局部模型,給定某個(gè)特征點(diǎn)

7、局部外觀特征 ，相應(yīng)的PCA分析表示為：代價(jià)函數(shù)為,,,,CLM的發(fā)展——ＡＳＭ，ＣＯＦ,ＡＳＭ可以表示為最小二乘問題等價(jià)于ＣＯＦ凸二次函數(shù)擬合響應(yīng)曲面,,,,,,ＣＬＭ的發(fā)展——ＣＬＭ的缺陷,ＣＬＭ模型有兩大缺陷：多極小值模型以及極小值不在期望位置。原因：局部特征信息結(jié)構(gòu)有限；局部分類器只考慮正確點(diǎn)上的信息沒有考慮附近的信息。,信息度量學(xué)習(xí)CLM——代價(jià)函數(shù)一般式,一般的，局部模型的響應(yīng)函數(shù)（代價(jià)函數(shù)）

8、都可以表示為：其中 表示位于圖像I坐標(biāo) 的響應(yīng)值， 表示位于圖像坐標(biāo)處的外觀特征信息（如二維patch）。A是目標(biāo)矩陣，在這里稱為映射矩陣。,,,,,信息度量學(xué)習(xí)CLM——代價(jià)函數(shù)一般式,在基于協(xié)方差局部模型中，在基于PCA模型的局部模型中,,,,信息度量學(xué)習(xí)CLM——代價(jià)函數(shù)優(yōu)化目標(biāo)函數(shù),優(yōu)化目標(biāo)函數(shù)標(biāo)準(zhǔn)：1、響應(yīng)曲面應(yīng)該具備全局極小值點(diǎn)是唯一的極小值點(diǎn)，而且該極小值點(diǎn)位于特征

9、點(diǎn)期望的位置上。2、每個(gè)特征點(diǎn)的優(yōu)化目標(biāo)函數(shù)準(zhǔn)確地模型、約束特征點(diǎn)外觀信息分布。3、優(yōu)化目標(biāo)函數(shù)應(yīng)該兼顧不同樣本之間的差異性,信息度量學(xué)習(xí)CLM——代價(jià)函數(shù)優(yōu)化目標(biāo)函數(shù),基于PCA局部模型統(tǒng)計(jì)響應(yīng)曲面優(yōu)化目標(biāo)函數(shù) 表示PCA局部模型的平均響應(yīng)曲面 CLM代價(jià)函數(shù)優(yōu)化目標(biāo)是希望每一樣本的響應(yīng)曲面與平均響應(yīng)曲面一樣。 其中 表示位置處 的代價(jià)函數(shù)響應(yīng)值與平均響應(yīng)曲面的值之間允許的

10、誤差。在本文， 表示處PCA局部模型該處響應(yīng)曲面的標(biāo)準(zhǔn)差,,,,,,,信息度量學(xué)習(xí)CLM——代價(jià)函數(shù)優(yōu)化目標(biāo)函數(shù),人臉部分特征點(diǎn)的平均響應(yīng)曲面,信息度量學(xué)習(xí)CLM——信息度量學(xué)習(xí),給定相似元素集合S以及不相似的元素集合D，信息度量學(xué)習(xí)問題可以表示為： 是

11、Bregman矩陣散度，主要衡量兩個(gè)矩陣的相似性， 表示A屬于正定矩陣。信息度量學(xué)習(xí)優(yōu)點(diǎn)：在已有的映射矩陣做監(jiān)督學(xué)習(xí)，保持了已有的映射矩陣的優(yōu)點(diǎn)加上任意空間上的距離約束。,,,信息度量學(xué)習(xí)CLM——代價(jià)函數(shù)的信息度量學(xué)習(xí)優(yōu)化,CLM模型的距離定義,,信息度量學(xué)習(xí)CLM——代價(jià)函數(shù)的信息度量學(xué)習(xí)優(yōu)化,CLM模型歸約為信息度量學(xué)習(xí)問題信息度量學(xué)習(xí)優(yōu)化在PCA代價(jià)函數(shù)基礎(chǔ)上進(jìn)行監(jiān)督學(xué)習(xí)，保持了PCA代價(jià)函數(shù)的優(yōu)點(diǎn)，克服了PC

12、A局部模型在處理局極小值點(diǎn)上的不足,信息度量學(xué)習(xí)CLM,信息度量學(xué)習(xí)CLM——方法比較,實(shí)驗(yàn)結(jié)果——實(shí)驗(yàn)方法,圖庫：數(shù)據(jù)庫colorferet 正臉圖像，300張做訓(xùn)練樣本，400張做測(cè)試樣本。評(píng)價(jià)標(biāo)準(zhǔn)：平均誤差 以及歸一化平均誤差 歸一化平均誤差首先將所有圖歸一化到同一分辨率。,,實(shí)驗(yàn)結(jié)果——結(jié)果比較,,0-26號(hào)特征點(diǎn)這些特征點(diǎn)主要是輪廓以及眉毛處的特征點(diǎn)，這些特征點(diǎn)由于受到背景頭發(fā)等因素的干擾，特征點(diǎn)附近的外觀特

13、征樣本之間差異極大十分難處理。我們的方法在處理局部外觀變化大的情況下遠(yuǎn)遠(yuǎn)優(yōu)于PCA局部模型方法。,實(shí)驗(yàn)結(jié)果——結(jié)果比較,不管是平均誤差還是歸一化平均誤差，ITML局部模型的結(jié)果都比基于PCA局部模型好很多。數(shù)據(jù)表明，我們的實(shí)現(xiàn)方法比基于PCA局部模型實(shí)現(xiàn)方法在特征點(diǎn)定位上精確很多。,實(shí)驗(yàn)結(jié)果,總結(jié),提出代價(jià)函數(shù)一般式利用PCA局部模型響應(yīng)曲面提出優(yōu)化目標(biāo)函數(shù)提出用信息度量學(xué)習(xí)算法進(jìn)行優(yōu)化優(yōu)化過程考慮周圍信息克服局部極小值點(diǎn),