跨模態(tài)人臉圖像生成方法研究.pdf

1、隨著智能移動(dòng)設(shè)備和互聯(lián)網(wǎng)走進(jìn)千家萬戶，不同風(fēng)格的人臉照片圖像在專業(yè)領(lǐng)域以及人們?nèi)粘Ｉ钪卸际殖Ｒ?。例如照片風(fēng)格和素描風(fēng)格的人臉圖像，可見光和近紅外風(fēng)格人臉圖像等，因此經(jīng)常需要對(duì)不同風(fēng)格的圖像進(jìn)行相互轉(zhuǎn)化。譬如，從人臉照片圖像生成對(duì)應(yīng)的素描人臉，以滿足數(shù)字娛樂或?qū)I(yè)領(lǐng)域的實(shí)際應(yīng)用需要。自動(dòng)的跨模態(tài)人臉合成旨在將人臉圖像在不同風(fēng)格下進(jìn)行轉(zhuǎn)化，作為目前具有挑戰(zhàn)性的一項(xiàng)任務(wù)，具有重要的研究意義。目前針對(duì)此項(xiàng)任務(wù)提出了很多方法，但是仍然在視覺效

2、果等方面存在不足。
　　本文針對(duì)跨模態(tài)人臉合成進(jìn)行算法改進(jìn)。首先提出基于引導(dǎo)圖像濾波的兩步細(xì)節(jié)增強(qiáng)算法，第一步是基于KNN的基準(zhǔn)算法，對(duì)測(cè)試圖像小塊在訓(xùn)練集源模態(tài)圖像中搜索與其最相像的圖像小塊，并利用與之對(duì)應(yīng)的目標(biāo)模態(tài)圖像小塊進(jìn)行線性組合，以此估計(jì)測(cè)試圖像小塊的目標(biāo)模態(tài)初始合成結(jié)果；第二步對(duì)初始合成結(jié)果應(yīng)用引導(dǎo)圖像濾波，將輸入測(cè)試圖像作為引導(dǎo)圖像，以此彌補(bǔ)以往算法面部細(xì)節(jié)缺失的不足。通過定性的實(shí)驗(yàn)評(píng)估，該方法在保持全局特征基礎(chǔ)上能

3、夠有效增強(qiáng)面部細(xì)節(jié)，例如能有效恢復(fù)頭發(fā)紋理、瞳孔亮光等細(xì)節(jié)。第二，在此基礎(chǔ)上，進(jìn)一步提出結(jié)構(gòu)化細(xì)節(jié)增強(qiáng)跨模態(tài)人臉合成算法，主要思想是對(duì)面部五官和其他部分采用不同的合成策略，從而有效地解決面部五官的合成上缺失陰影細(xì)節(jié)的問題。第三，針對(duì)某些測(cè)試圖像的合成結(jié)果存在面部五官位置偏差的現(xiàn)象，通過實(shí)驗(yàn)分析發(fā)現(xiàn)是由于訓(xùn)練集源模態(tài)和目標(biāo)模態(tài)五官并非完全對(duì)齊，因此提出基于對(duì)齊訓(xùn)練集來改善實(shí)驗(yàn)結(jié)果的策略。同時(shí)，針對(duì)素描人臉圖像改進(jìn)面部特征點(diǎn)算法，并將其應(yīng)用