人臉本征圖像分解及其應(yīng)用.pdf

1、在互聯(lián)網(wǎng)大數(shù)據(jù)的時代背景下，人們通過互聯(lián)網(wǎng)上傳、分享的信息已經(jīng)從原本的文字內(nèi)容漸漸過渡到了以圖片、視頻為主的多媒體素材。從早期的博客、Twitter，到現(xiàn)在的微信和Instagram，以及微信朋友圈最新改版中加入的短視頻功能，都印證了這一發(fā)展趨勢。根據(jù)國際影像產(chǎn)業(yè)協(xié)會一項針對手機(jī)拍攝內(nèi)容的研究，以及一項針對圖片分享網(wǎng)站Flickr用戶上傳信息的調(diào)查，超過60％的用戶分享內(nèi)容都是以人為主體，并且大多包含了人臉。隨著目前剛剛興起的視頻直播等

2、新興應(yīng)用的不斷發(fā)展，這一比例還會進(jìn)一步提升。在中國，以人臉圖片美化為主要功能的美圖秀秀已經(jīng)服務(wù)于過十億用戶，并且日均影響2億張照片。
　　基于上述應(yīng)用背景，本文針對眾多圖片、視頻中最重要的對象——人臉，深入研究了其本征圖像、反射模型、幾何結(jié)構(gòu)，以及相關(guān)的環(huán)境光照模型，通過綜合利用人臉特有的幾何結(jié)構(gòu)和皮膚的生物學(xué)性質(zhì)，對人臉圖片的輻射校準(zhǔn)、高光分離、本征圖像分解等問題提出了切實(shí)有效的解決方案。同時，以人臉的本征圖像分解為基礎(chǔ)，提出了

3、一套成熟的人臉照片處理、增強(qiáng)的流水線，并且實(shí)現(xiàn)了虛擬化妝這一具有商業(yè)價值和現(xiàn)實(shí)意義的應(yīng)用技術(shù)。
　　我們的主要工作包括以下內(nèi)容:
　　1.為了從相機(jī)拍攝的非線性圖片中還原原本的場景輻射度信息，提出了一種基于人體皮膚反射率梯度空間下低秩屬性的相機(jī)輻射校準(zhǔn)算法。該低秩性質(zhì)不僅具有色彩不變性，同時相對人臉皮膚存在的微弱高光十分穩(wěn)定。為了利用該性質(zhì)并獲取到皮膚反射率本征圖，結(jié)合了以幾何結(jié)構(gòu)為額外約束的本征圖像分解算法，將反射率本征圖

4、與其亮度本征圖分開。相較之前的單張圖像相機(jī)輻射校準(zhǔn)算法，該算法在大幅降低相機(jī)響應(yīng)函數(shù)估算誤差的同時并沒有帶來額外的計算開銷。
　　2.提出了一種利用人臉皮膚物理光學(xué)、人臉幾何結(jié)構(gòu)統(tǒng)計學(xué)特性來實(shí)現(xiàn)的在復(fù)雜光照環(huán)境下分離人臉圖片中鏡面高光部分的技術(shù)。首先，人臉的皮膚顏色主要取決于皮膚表皮層黑色素和真皮層血紅蛋白的含量，這一皮膚的光學(xué)性質(zhì)可以用來約束皮膚的漫反射率，從而可以間接約束因皮膚鏡面反射而形成的高光部分的強(qiáng)度。其次，利用人臉幾何

5、結(jié)構(gòu)高度相似的統(tǒng)計學(xué)特性，并且結(jié)合對環(huán)境光照效果的近似和建模，則可以直接形成對鏡面高光強(qiáng)度的約束。該技術(shù)不僅可以對在復(fù)雜光照環(huán)境下拍攝的照片進(jìn)行處理，還能夠有效處理因過曝而引起的顏色飽和。
　　3.在人臉高光分離技術(shù)的基礎(chǔ)上，進(jìn)一步利用人臉的反射參數(shù)的統(tǒng)計模型作為約束，提出了一種更加準(zhǔn)確的人臉本征圖像分解算法。除此之外，傳統(tǒng)的本征圖像分解大多基于理想的漫反射模型——朗伯模型，該模型并不能很好地模擬皮膚等半透明材質(zhì)的漫反射屬性。因此

6、，本文還引入了一種基于物理光學(xué)的半透明材質(zhì)漫反射模型來對皮膚的漫反射亮度性進(jìn)行了重新建模，從而進(jìn)一步提高了本征圖像分解的準(zhǔn)確性。
　　4.針對圖片美化中虛擬化妝這一應(yīng)用，以人臉本征圖像分解為基礎(chǔ)，在不同的本征圖層上從物理光學(xué)的角度對不同化妝品的化妝效果都進(jìn)行了建模，從而實(shí)現(xiàn)了對各種化妝品效果的真實(shí)模擬。這些化妝品包括了但不限于粉底、口紅、腮紅、眼影等。區(qū)別于傳統(tǒng)的虛擬化妝技術(shù)，本文提出的方法不僅速度快，而且避免了光照不一致、人臉皮