基于特征點(diǎn)匹配的多視點(diǎn)圖像顏色校正方法研究【文獻(xiàn)綜述】

1、11畢業(yè)設(shè)計(jì)文獻(xiàn)綜述畢業(yè)設(shè)計(jì)文獻(xiàn)綜述電子信息科學(xué)與技術(shù)電子信息科學(xué)與技術(shù)基于特征點(diǎn)匹配的多視點(diǎn)圖像顏色校正方法研究基于特征點(diǎn)匹配的多視點(diǎn)圖像顏色校正方法研究摘要：自由視點(diǎn)視頻的出現(xiàn)滿(mǎn)足了人們?nèi)找嫣岣叩纳钏?，但是不免?huì)出現(xiàn)一些問(wèn)題，即圖像顏色在不同視點(diǎn)由于場(chǎng)景光照、相機(jī)校準(zhǔn)、相機(jī)噪聲等的影響而產(chǎn)生不一致的現(xiàn)象，給后續(xù)的處理帶來(lái)很大的困難。本文基于上述的問(wèn)題提出了一些顏色校正的方法：區(qū)域匹配或直方圖匹配顏色校正方法；面向編碼和繪制的多視

2、點(diǎn)圖像顏色校正方法；一種基于多模式融合的多視點(diǎn)圖像顏色校正方法；基于主顏色提取的的多視點(diǎn)圖像顏色校正方法；基于使用視點(diǎn)網(wǎng)絡(luò)能量最小化的多視點(diǎn)視頻顏色校正方法等等，而下面具體介紹的是基于特征對(duì)應(yīng)的多視點(diǎn)圖像顏色與幾何校正方法。關(guān)鍵詞：自由視點(diǎn)視頻；顏色校正；區(qū)域匹配或直方圖匹配；編碼和繪制；多模式融合；主顏色提?。灰朁c(diǎn)網(wǎng)絡(luò)能量最小化；特征對(duì)應(yīng)一、前言隨著信息時(shí)代的日益拓新，現(xiàn)今存有的2D視頻系統(tǒng)越來(lái)越不能滿(mǎn)足人們的需求。在傳統(tǒng)的視頻系統(tǒng)中

3、，真實(shí)的場(chǎng)景相對(duì)于一個(gè)視點(diǎn)的畫(huà)面是由攝像師或?qū)а葸x擇決定的，用戶(hù)只能被動(dòng)地觀(guān)看攝像機(jī)在單一視點(diǎn)上所攝制的視頻圖像序列，而不能自由選擇其它視點(diǎn)來(lái)觀(guān)察真實(shí)場(chǎng)景，這些單方向上的視頻序列只能反映真實(shí)世界場(chǎng)景的一個(gè)側(cè)面。而人們期望的是能夠自由地選擇各個(gè)不同的角度去觀(guān)察和分析事物，故應(yīng)時(shí)代要求而產(chǎn)生的自由視點(diǎn)視頻[1]就是一種先進(jìn)的視覺(jué)媒體模式，它是通過(guò)多相機(jī)系統(tǒng)進(jìn)行捕獲，各視點(diǎn)各自獨(dú)立地接受來(lái)自同一場(chǎng)景的特定攝像點(diǎn)的視頻，并通過(guò)視點(diǎn)繪制技術(shù)來(lái)生成

4、任意點(diǎn)的視頻，這樣就能允許人們從不同視點(diǎn)和方向享受更為真實(shí)的3D圖像。同時(shí)隨著3D顯示技術(shù)的進(jìn)步，全景顯示、立體視頻技術(shù)得到了廣泛的關(guān)注，特別是裸眼可視立體顯示的出現(xiàn)，自由視點(diǎn)視頻的顯示已不是遙不可及的夢(mèng)想。二、多視點(diǎn)圖像顏色校正研究基于3D的交互性與圖像的真實(shí)感，自由視點(diǎn)視頻在遠(yuǎn)程教育、遠(yuǎn)程監(jiān)視、虛擬現(xiàn)實(shí)系統(tǒng)等方面有著良好的應(yīng)用前景。但是正所謂沒(méi)有一樣現(xiàn)今世界上的事物是十全十美的，在顯示其優(yōu)越之處的同時(shí)不免暴露了不足，不管這不足影響是

5、大是小。自由視點(diǎn)視頻在實(shí)現(xiàn)過(guò)程中遇到的主要問(wèn)題是視點(diǎn)間圖像顏色的不一致。任意視點(diǎn)位置在圖像采集過(guò)程中由于各相機(jī)的基線(xiàn)不在同一水平軸，場(chǎng)景光照、相機(jī)CCD噪聲、快門(mén)速度和曝光等要素不一致，會(huì)導(dǎo)致不同相機(jī)采集的圖像的顏色值差別很大，故必須對(duì)多視點(diǎn)圖像顏色進(jìn)行校正，將同一對(duì)象的不同顏色外表校正到同一顏色，然后進(jìn)行33效果。2.2.4基于主顏色提取的的多視點(diǎn)圖像顏色校正方法[5]在圖像類(lèi)型設(shè)置上顏色信息是非常重要的。該方法是在主顏色提取的顏色校

6、正基礎(chǔ)上，提出消除多視點(diǎn)圖像之間顏色的不一致。根據(jù)基本顏色分類(lèi)理論，在參考圖像和輸入圖像范疇中提取主顏色，那么相應(yīng)的顏色映射關(guān)系建立。該方法研究所得的結(jié)果表明顏色校正是非常有效的，但是它不提供圖像內(nèi)容強(qiáng)大的適應(yīng)性。2.2.5基于使用視點(diǎn)網(wǎng)絡(luò)能量最小化的多視點(diǎn)視頻顏色校正方法[610]當(dāng)視點(diǎn)轉(zhuǎn)換或當(dāng)自由視點(diǎn)視頻顯示時(shí)，視點(diǎn)之間的顏色校正采用IBR的多視點(diǎn)系統(tǒng)，它可以使得觀(guān)眾感到舒適。該顏色校正方法通常包括兩個(gè)步驟：首先是在拍攝前調(diào)整相機(jī)參

7、數(shù)，如增益，亮度，光圈，再是通過(guò)圖像處理修改拍攝到的視頻。它是利用尺度不變特征變換（SIFT）來(lái)檢測(cè)匹配，能夠獨(dú)立處理RGB通道，及計(jì)算查找能量最小化的方法表，并用這些表校正拍攝到的視頻。2.2.6基于特征對(duì)應(yīng)的多視點(diǎn)圖像顏色與幾何校正方法[1114]1、首先選擇同一時(shí)刻由多視點(diǎn)相機(jī)系統(tǒng)拍攝的多視點(diǎn)圖像中的一個(gè)視點(diǎn)圖像為參考圖像，而將其它視點(diǎn)圖像選為源圖像，通過(guò)SIFT在參考圖像和源圖像中進(jìn)行極值檢測(cè)找到所有特征點(diǎn)。針對(duì)源圖像中的一個(gè)關(guān)

8、鍵點(diǎn)Pinp(xy)，參考圖像中最近的關(guān)鍵點(diǎn)Pref(x?y?)和次近的關(guān)鍵點(diǎn)Pref(x??y??)可以在NN的窗口中通過(guò)比較歐氏距離來(lái)確定。如果最小和次小歐氏距離滿(mǎn)足下列關(guān)系則兩個(gè)關(guān)鍵點(diǎn)Pinp(xy)和Pref(x?y?)被認(rèn)為是匹配的（1）222))()(())()((????????????NrefrefinpinpNrefrefinpinpyxyxEyxyxELLLL其中，E（A，B）表示A和B之間的歐氏距離，Ν表示在關(guān)鍵點(diǎn)

9、周?chē)拇翱诖笮。琇inp(xy)和Lref(x?y?)表示關(guān)鍵點(diǎn)Pinp(xy)和Pref(x?y?)的亮度值，并且μinp和μref分別表示在NN個(gè)窗口中對(duì)應(yīng)的亮度平均值。τ是一個(gè)可調(diào)參數(shù)，0≤τ1，它控制著匹配精度和匹配的關(guān)鍵點(diǎn)數(shù)量。在實(shí)驗(yàn)中，我們根據(jù)經(jīng)驗(yàn)選擇N=7和閾值τ=0.8。2、然后在關(guān)鍵點(diǎn)Pinp(xy)到關(guān)鍵點(diǎn)Pref(x?y?)間建立單向匹配，從源圖像到它參考圖像的像素（x，y）差距可以表示為dinp→ref=(x??

10、xy??y)。對(duì)于在參考圖像中的關(guān)鍵點(diǎn)Pref(x?y?)，一個(gè)反向匹配計(jì)劃就是在源圖像中找到一個(gè)匹配的關(guān)鍵點(diǎn)Pinp(x???y???)。因此，從參考圖像到源圖像的像素(x?y?)差距可以表示為dref→inp=(x????x?y????y?)。如果dinp→ref和dref→inp之間的像素絕對(duì)值少于2，也就是說(shuō)如果滿(mǎn)足|dinp→refdref→inp|2，則Pinp(xy)和Pref(x?y?)被認(rèn)為是匹配的關(guān)鍵點(diǎn)對(duì)。3、最后考