基于深度學習和上下文語義的視覺內容識別與分析研究.pdf

1、隨著互聯(lián)網技術的飛速進步以及深度學習展現(xiàn)出強大的性能，基于圖像和視頻的各種應用也得到了前所未有的發(fā)展。然而，伴隨著這些應用給日常生活帶來便利的同時，也給社會帶來了許多潛在的負面影響。因此，如何高效、準確地從這些紛繁復雜的海量數(shù)據(jù)中甄別出有用的信息和過濾有害的信息，已經是大數(shù)據(jù)環(huán)境下亟待解決的問題。隨著深度學習的發(fā)展，計算機視覺任務的應用領域也得到了空前的擴展，包括：圖像分類、目標識別、目標檢測、圖像分割、對象跟蹤等。
　　本文將在

2、深度學習的框架下，以四個計算機視覺的典型應用為基礎，通過結合多種不同的上下文關系，開展面向大數(shù)據(jù)的視覺內容的識別與分析研究。這四個任務分別是：成人內容識別、特定圖像檢索、自然場景解析和人像妝容遷移。
　　首先，針對成人內容識別任務中類別空間稀少和正負樣本空間內樣本多樣化導致的分類難的問題，提出基于高層語義的細到粗策略和基于多上下文混合建模的聯(lián)合決策方案。傳統(tǒng)成人內容識別通常都是二分類問題（“是成人”或“不是成人”），而復雜的樣本會

3、導致部分樣本類內距大于類間距，增大分類器訓練的困難。本文提出的細到粗策略，通過在訓練中細化類別來改善分類器的性能。此外，通過全局上下文、局部上下文和跨上下文等多種上下文建模方式，從不同的角度去理解樣本，最大限度地解決樣本多樣化問題。與傳統(tǒng)特征融合方式不同，策略融合并不直接融合特征，它在最大限度保證基于分類的全局上下文準確性的同時，利用基于檢測的局部上下文信息生成置信度較高的決策來盡力修正被誤判的樣本，從而實現(xiàn)召回率和準確率的同時提高。此

4、外，模塊化的設計方案，允許通過更新全局上下文建?；蚓植可舷挛慕崿F(xiàn)整個網絡性能的提升。
　　其次，針對場景解析任務中對象尺度較小、交互性多（遮擋）、隱藏性強（易湮沒于復雜的背景中）等特性帶來的對象識別困難的問題，提出一種基于深度學習的對象區(qū)域增強網絡。該網絡集成了針對任務設計的兩個核心模塊：對象區(qū)域增強策略和黑洞填充策略。前者將檢測到的語義置信度較高的對象區(qū)域直接對應到卷積特征圖的特定類別通道上的局部區(qū)域，并通過加權特征來改進上

5、下文關系，完成對困難對象區(qū)域的識別；后者通過屏蔽額外背景類來避免解析網絡將部分困難區(qū)域判定為額外背景類的錯誤。此外，模塊化的設計方案使模型不但可以通過更換模塊實現(xiàn)整體解析性能的提升，還可以將兩個策略應用到其他現(xiàn)有的場景解析網絡中。
　　然后，針對以人臉解析為基礎的典型應用—妝容遷移中的兩個難點問題：（1）如何獲得精確的人臉解析結果；（2）如何按需保持（如：臉型、五官）和遷移（如：唇彩、眼影）人像的特征，提出了對稱加權交叉熵損失和深

6、度局部妝容遷移網絡。前者對特定的局部上下文區(qū)域進行加權，并強制對眼影、嘴唇等特殊區(qū)域進行對稱性約束；后者利用不同類型的特征分別描述形狀敏感和紋理敏感兩種局部區(qū)域，最后通過迭代算法逐漸將局部妝容特征從參考人像遷移到未化妝的人像上。端到端的生成網絡，不但可以產生自然的妝容遷移效果，還可以實現(xiàn)妝容濃淡程度的自由調節(jié)，這使得該系統(tǒng)的可用性大大增強。
　　最后，針對大數(shù)據(jù)環(huán)境下圖像檢索效率和性能的問題，提出一種基于深度學習的層次化深度語義哈

7、希方案。該網絡可以端到端地同時輸出樣本的高層語義和哈希編碼。通過基于概率的語義級相似性和哈希級相似性的融合相似性計算方案，首先利用幾乎零開銷的高層語義信息過濾大量語義不相關的樣本，然后再利用哈希編碼在小很多的候選建議集中完成相似性檢索。該方案在百萬級的Imagenet數(shù)據(jù)集上，可以保證在檢索性能不降低的前提下，實現(xiàn)大約150倍的速度提升。
　　綜上所述，本文所研究的多種上下文語義融合策略，不但在計算機視覺的理論層面具有一定的參考價