基于空間一致生長(zhǎng)的多視圖三維重建.pdf

1、多視圖三維重建直接從多幅二維圖像中恢復(fù)場(chǎng)景的三維結(jié)構(gòu)，是計(jì)算機(jī)視覺(jué)一個(gè)研究熱點(diǎn)，在工業(yè)檢測(cè)、逆向工程、城市規(guī)劃、文物與遺跡保護(hù)和展示等眾多領(lǐng)域有重要的應(yīng)用價(jià)值。隨著智能手機(jī)和高分辨、低成本圖像傳感器的大規(guī)模普及，表現(xiàn)出廣闊的應(yīng)用前景。近二十多年來(lái)出現(xiàn)了許多基于多視圖的三維重建算法，這些算法可大致分為三類:基于體積的算法、基于深度圖的算法和基于特征點(diǎn)生長(zhǎng)的算法。要完美處理現(xiàn)實(shí)中各種復(fù)雜情況，如表面的快速起伏變化、細(xì)小結(jié)構(gòu)、微弱紋理特征、遮

2、擋效應(yīng)等，以達(dá)到更高的重建精度和重建完整度，同時(shí)保證高的重建效率，現(xiàn)有方法仍需改進(jìn)提高。
　　本文提出了一種新的基于空間一致生長(zhǎng)的多視圖三維重建算法，它基于特征點(diǎn)生長(zhǎng)，但對(duì)傳統(tǒng)基于特征點(diǎn)生長(zhǎng)的多視圖三維重建算法的整體框架進(jìn)行了拓展，在現(xiàn)有三個(gè)環(huán)節(jié)（稀疏種子點(diǎn)提取、生長(zhǎng)和濾波）基礎(chǔ)上，增加了一個(gè)新的環(huán)節(jié):利用已生長(zhǎng)完畢的點(diǎn)進(jìn)行有條件的初始值矯正，同時(shí)還對(duì)現(xiàn)有三個(gè)環(huán)節(jié)進(jìn)行了更新改進(jìn)，取得了明顯效果。全文工作和創(chuàng)新點(diǎn)總結(jié)如下。
　

3、　在稀疏種子點(diǎn)提取環(huán)節(jié)，提出了一種新的基于DAISY描述符的稀疏種子點(diǎn)提取方法。傳統(tǒng)SFM方法通常提取每幅圖像的SIFT特征點(diǎn)，通過(guò)特征點(diǎn)匹配提取稀疏種子點(diǎn)，往往由于匹配錯(cuò)誤或失敗導(dǎo)致種子點(diǎn)質(zhì)量降低或數(shù)目減少。本文對(duì)每個(gè)特征點(diǎn)采用高性能DAISY描述符進(jìn)行描述，然后沿對(duì)極線搜索與其DAISY特征最相似的點(diǎn)，提高了稀疏種子點(diǎn)的數(shù)量和精度，改變了傳統(tǒng)的在有限的特征點(diǎn)之間直接進(jìn)行匹配的方式。為了保證上述方法順利實(shí)施，本算法提出了一系列配套措施

4、，如通過(guò)最佳選圖和少數(shù)特征點(diǎn)的匹配，采用隨機(jī)抽樣一致性方法計(jì)算圖像對(duì)之間的基礎(chǔ)矩陣。再如，在多幅圖中采用DAISY特征描述符沿對(duì)極線進(jìn)行搜索，利用奇異值分解的方法求解在所有圖中均匹配成功的點(diǎn)的對(duì)應(yīng)空間位置，避免了單幅圖搜索可能存在的不確定性，同時(shí)利用重投影誤差濾除大誤差的點(diǎn)。最后，根據(jù)有條件的雙重二次曲面擬合來(lái)近似真實(shí)物體表面，求取種子點(diǎn)初始方向。以上種子點(diǎn)的提取和后續(xù)空間一致生長(zhǎng)都是在多層圖像金字塔上進(jìn)行的，進(jìn)一步提高了算法效率和成功

5、率。
　　在生長(zhǎng)環(huán)節(jié)，提出了一種空間一致生長(zhǎng)策略。傳統(tǒng)方法需要依賴參考圖來(lái)尋找下一個(gè)生長(zhǎng)點(diǎn)，即生長(zhǎng)點(diǎn)的初始位置和方向是在一個(gè)局部坐標(biāo)系確定的，隨著參考圖的更換，局部坐標(biāo)系也隨之發(fā)生改變。另外為了避免從質(zhì)量不高的種子點(diǎn)生長(zhǎng)出更低精度乃至錯(cuò)誤的點(diǎn)，傳統(tǒng)算法對(duì)種子點(diǎn)進(jìn)行排序，優(yōu)先從最優(yōu)種子點(diǎn)進(jìn)行生長(zhǎng)，這種串行算法限制了其計(jì)算效率。本文提出的算法從所有種子點(diǎn)出發(fā)無(wú)差別地同步向外擴(kuò)張生長(zhǎng)，非常適用于并行計(jì)算;同時(shí)在一個(gè)固定的世界坐標(biāo)系內(nèi)，直

6、接從每個(gè)種子點(diǎn)現(xiàn)有空間位置出發(fā)，沿其切平面確定生長(zhǎng)點(diǎn)的空間初始位置，不需要間接依靠圖像尋找生長(zhǎng)點(diǎn)，也不需要在每幅圖像上時(shí)刻記錄哪些點(diǎn)已經(jīng)生長(zhǎng)完畢，有利于節(jié)省存儲(chǔ)空間。進(jìn)一步通過(guò)后續(xù)初始值矯正與錯(cuò)誤點(diǎn)濾除等措施，本算法有效防止了從質(zhì)量不高的種子點(diǎn)生長(zhǎng)出更多低精度乃至錯(cuò)誤的點(diǎn)，保證了每個(gè)空間點(diǎn)生長(zhǎng)的相對(duì)獨(dú)立性。另外在生長(zhǎng)優(yōu)化之前，從眾多視圖中挑選最佳主、副圖參與優(yōu)化，在優(yōu)化過(guò)程中及時(shí)更新最佳主、副圖以提高重建效率、精度和完整度，而傳統(tǒng)的方法

7、在生長(zhǎng)點(diǎn)優(yōu)化過(guò)程中通常不更換主圖。同時(shí)，根據(jù)物體表面的紋理強(qiáng)弱自適應(yīng)地調(diào)整各種生長(zhǎng)參數(shù)，如窗口大小和圖像金字塔層次等，以提高重建完整度。
　　在新增加的初值矯正環(huán)節(jié)，提出了有條件的雙重二次曲面擬合方法，根據(jù)已經(jīng)生長(zhǎng)完畢的點(diǎn)來(lái)擬合真實(shí)物體表面，進(jìn)而對(duì)初始值進(jìn)行矯正。從理論上來(lái)說(shuō)，每個(gè)點(diǎn)的生長(zhǎng)都是獨(dú)立，即與其他區(qū)域是否已經(jīng)重建完畢無(wú)關(guān)。但在實(shí)際中，生長(zhǎng)點(diǎn)的初值來(lái)源于鄰近種子點(diǎn)，如果初始值離真實(shí)表面較遠(yuǎn)，可能導(dǎo)致無(wú)法收斂或收斂到一個(gè)局部

8、極小。通過(guò)初始值矯正可以有效地提高收斂速度和精度，為此首先判斷鄰域點(diǎn)是否足夠稠密且以生長(zhǎng)點(diǎn)位中心，如果條件滿足，則進(jìn)行第一次擬合，刪除大誤差點(diǎn)后進(jìn)行第二次擬合，從而保證所擬合的曲面充分接近真實(shí)表面。接下來(lái)將生長(zhǎng)點(diǎn)投影到擬合曲面，即可實(shí)現(xiàn)初始值矯正。
　　在濾波環(huán)節(jié)，設(shè)計(jì)了三個(gè)自適應(yīng)濾波器，分別根據(jù)光滑一致性、深度一致性和方向一致性原理，對(duì)誤差點(diǎn)進(jìn)行檢測(cè)濾波。一方面保證了誤差點(diǎn)的有效濾除，另一方面又避免了正確點(diǎn)的無(wú)辜刪除。在濾波過(guò)程

9、中，為了排除局部曲率半徑、鄰域點(diǎn)密度、遮擋等因素的影響，首先進(jìn)行條件判斷，決定是否濾波;如果進(jìn)行濾波，則自適應(yīng)地調(diào)整濾波參數(shù)。
　　本文對(duì)來(lái)源于Middlebury標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)、DTU標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)、VGG多視圖三維重建數(shù)據(jù)庫(kù)和自己拍攝的不同類型實(shí)際場(chǎng)景進(jìn)行了三維重建，均取得了較好的重建結(jié)果，證明本算法具有較好的穩(wěn)定性。與其他多視圖三維重建算法相比，本算法重建結(jié)果局部瑕疵與缺陷明顯減少。定量評(píng)估結(jié)果表明，無(wú)論重建精度與重建完整度，本算法