面向增強(qiáng)現(xiàn)實(shí)圖像導(dǎo)航的基于腹腔鏡立體圖像表面重建方法研究.pdf

1、盡管腹腔鏡手術(shù)有諸如創(chuàng)口直徑小、恢復(fù)時(shí)間短等優(yōu)點(diǎn)，但就目前來(lái)看，腹腔鏡的使用還是被在人體器官內(nèi)引導(dǎo)手術(shù)儀器所遇到的視野以及手術(shù)能力降低的問(wèn)題所限制。與祌經(jīng)外科手術(shù)等不會(huì)遇到器官在短時(shí)間內(nèi)顯著移動(dòng)、變形而使輸出圖像難以辨別的情況不同，這種局限性在腹部外科手術(shù)中極為明顯。不過(guò)，隨著現(xiàn)代計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，我們已經(jīng)有了許多可以在這類(lèi)手術(shù)過(guò)程中幫助醫(yī)生的方法。其中一種方法是使用增強(qiáng)現(xiàn)實(shí)技術(shù)輔助手術(shù)。增強(qiáng)現(xiàn)實(shí)技術(shù)是一個(gè)可以提供快速立體圖像處理以

2、及將建立的3D模型與現(xiàn)實(shí)世界結(jié)合顯示（反之亦然）的新的研究領(lǐng)域。增強(qiáng)現(xiàn)實(shí)技術(shù)是目前在教育，娛樂(lè)，醫(yī)療和航空航天等行業(yè)使用，并正在積極研究時(shí)。大多數(shù)現(xiàn)有的電流計(jì)算裝置，特別是移動(dòng)的人，都能夠用作在AR系統(tǒng)既處理和顯示單元。在AR系統(tǒng)的基本前提是，首先，收購(gòu)或創(chuàng)建一個(gè)計(jì)算機(jī)生成的圖像，然后在視覺(jué)的真實(shí)空間相機(jī)領(lǐng)域?qū)τ脩舻氖澜缬^找到一個(gè)”錨點(diǎn)“，最后覆蓋有CGI，創(chuàng)建一個(gè)組合的，更豐富的圖像。
　　通過(guò)對(duì)單視場(chǎng)視頻或立體視頻應(yīng)用X射線斷

3、層攝影技術(shù)或超聲波掃描與表面識(shí)別技術(shù)可以得到術(shù)前立體圖像，將這些術(shù)前立體圖像通過(guò)一定算法進(jìn)行結(jié)合，就可以生成有著腹部器官輪廓的簡(jiǎn)潔的復(fù)合圖像。將該復(fù)合圖像在手術(shù)過(guò)程中顯示在電腦屏幕上、投影圖像或?qū)I(yè)的頭戴顯示器可以有效地幫助外科醫(yī)生來(lái)進(jìn)行手術(shù)。AR增強(qiáng)導(dǎo)航手術(shù)已經(jīng)看到在剛性器官外科手術(shù)領(lǐng)域，如祌經(jīng)外科，并且還骨，腎和其他各種器官外科手術(shù)應(yīng)用顯著驗(yàn)收。但是，由于因血流許多問(wèn)題，從憲法和腹部，內(nèi)部結(jié)構(gòu)不斷上升，如恒定的運(yùn)動(dòng)器官和脈動(dòng)

4、　　呼吸，粘液和體液覆蓋器官導(dǎo)致不一致的光線反射等的表面，這種方法還沒(méi)有找到它的方式腹腹腔鏡手術(shù)。由于被在一個(gè)非常有前途的醫(yī)療技術(shù)的方式限制點(diǎn)相同的和許多其他的問(wèn)題，它克服了這些問(wèn)題是重要的，和AR系統(tǒng)只是可能的解決方案之一。
　　這項(xiàng)工作有望實(shí)現(xiàn)一個(gè)在手術(shù)系統(tǒng)中應(yīng)用的表面識(shí)別和重構(gòu)算法，它將被應(yīng)用在一個(gè)有著復(fù)雜的醫(yī)學(xué)影像和手術(shù)設(shè)備的系統(tǒng)中。在向該系統(tǒng)輸入腹腔鏡立體探頭采集的數(shù)據(jù)后，系統(tǒng)會(huì)輸出一個(gè)內(nèi)部器官表面的實(shí)時(shí)3D繪制圖像，同

5、時(shí)也會(huì)將輸出的繪制圖像顯示在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，這可以提升高腹腔鏡圖像導(dǎo)航外科手術(shù)的質(zhì)量。這項(xiàng)工作的主要目的是3D圖像采集和處理算法，可以被實(shí)現(xiàn)為后端軟件解決方案，并摻入作為上述設(shè)備復(fù)雜的一部分的創(chuàng)建。為了實(shí)現(xiàn)這一目標(biāo)，我們通過(guò)幾個(gè)研究階段，包括在該領(lǐng)域的現(xiàn)有技術(shù)的技術(shù)解決方案的狀態(tài)比較（從所有感興趣的包含區(qū)域，如腹腔鏡設(shè)備本身，在AR的圖像顯示等的），深外表去成底層理論原則和計(jì)算機(jī)視覺(jué)的局限性，并且，最后，提出并試圖產(chǎn)生一個(gè)原型有問(wèn)題的算

6、法實(shí)現(xiàn)的。
　　在文章的開(kāi)始，我們分析現(xiàn)有的手術(shù)前圖像獲取、手術(shù)中圖像獲取技術(shù)解決方案并且深入探討不同的內(nèi)窺鏡設(shè)備和腹腔鏡圖像技術(shù)，也就是說(shuō)，多比較不同的光學(xué)模型腹腔鏡攝像頭，要特別注意各種解決方案以使立體圖像產(chǎn)生腹腔鏡。下一步，我們尋找可行的可以輔助醫(yī)療手術(shù)的增強(qiáng)現(xiàn)實(shí)圖像顯示技術(shù)并加以比較，以評(píng)估的圖像引導(dǎo)手術(shù)應(yīng)用情況下的可用性。然后，我們討論現(xiàn)有的關(guān)于表面重建和表面識(shí)別軟件方法的數(shù)學(xué)相機(jī)模型和數(shù)學(xué)基礎(chǔ)。對(duì)于我們研究的目的，我們

7、選擇使用從立體圖像的方法的密集點(diǎn)云重建無(wú)網(wǎng)格生成，雖然說(shuō)網(wǎng)應(yīng)考慮在未來(lái)實(shí)現(xiàn)。立體腹腔鏡被廣泛用于外科實(shí)踐（不像，比方說(shuō)，從遮光相機(jī)光絡(luò)合物，結(jié)構(gòu)光發(fā)射極具有內(nèi)窺鏡系統(tǒng)等表面）。反過(guò)來(lái)，密集的點(diǎn)云曲面重構(gòu)留下了在未來(lái)的增強(qiáng)有很大的空間，盡管是在計(jì)算能力方面的要求非?？量?。
　　在這篇文章的操作部分，我們將立體圖像處理過(guò)程分為以下幾個(gè)部分并對(duì)它們進(jìn)行詳細(xì)的分析和介紹。在第一開(kāi)始，我們介紹立體攝像機(jī)的校準(zhǔn)程序及其工作原理以及立體攝像機(jī)定

8、量的特點(diǎn)及其在具體應(yīng)用中的作用；我們?cè)u(píng)估的失真補(bǔ)償和精確的建立固有的光學(xué)參數(shù)的重要性。我們也從事與棋盤(pán)承認(rèn)和實(shí)驗(yàn)立體相機(jī)設(shè)置的內(nèi)在和外在參數(shù)評(píng)測(cè)實(shí)驗(yàn)。這個(gè)實(shí)驗(yàn)的結(jié)果證明，攝像機(jī)標(biāo)定是一個(gè)復(fù)雜的過(guò)程足以帶領(lǐng)大家來(lái)電咨詢的另一種方法的可能性。
　　接下來(lái)的一部分，我們討論如何在相機(jī)未校準(zhǔn)的情況下，通過(guò)使用特征跟蹤算法對(duì)圖片進(jìn)行評(píng)估以得到圖像矯正以及視差計(jì)算的可能性；盡管學(xué)生的優(yōu)點(diǎn)顯著編號(hào)以這種方法，如缺乏必要的對(duì)照相機(jī)校準(zhǔn)和可能性來(lái)直

9、接控制的視差計(jì)算處理的存在，這種方法被發(fā)現(xiàn)低效腹部器官表面跟蹤由于低數(shù)量的必要的跟蹤統(tǒng)計(jì)顯著和識(shí)別的特征。因此，我們達(dá)到了一個(gè)決定進(jìn)行校準(zhǔn)的相機(jī)整改辦法。
　　然后，敲定了算法的輪廓，并提出額外的過(guò)濾，預(yù)處理和后處理模塊后，我們使用MATLAB軟件環(huán)境來(lái)編寫(xiě)程序以此建立一個(gè)軟件模塊原型，向該模塊輸入視差產(chǎn)生圖可以以此圖為基準(zhǔn)來(lái)矯正立體視頻，同時(shí)生成一個(gè)可能會(huì)顯示為表面圖像，該圖像可能會(huì)與現(xiàn)有的3D模型吻合；作為操作部分的結(jié)束，我們

10、通過(guò)一個(gè)公開(kāi)的腹腔鏡手術(shù)立體視頻來(lái)測(cè)量該模塊的處理效率和性能，并對(duì)得到的結(jié)果進(jìn)行評(píng)估分析。視頻是從圖像引導(dǎo)手術(shù)實(shí)驗(yàn)室，倫敦帝國(guó)學(xué)院采購(gòu)，并示出了腹腔鏡攝像機(jī)的實(shí)驗(yàn)切口進(jìn)入豬受試者的腹部，與檢體的體內(nèi)的所述照相機(jī)的隨之運(yùn)動(dòng)和旋轉(zhuǎn)的一個(gè)例子。取得的成果是與那些發(fā)表在過(guò)去幾年作為國(guó)家的最先進(jìn)的研究的一部分，然而，作為在本質(zhì)原型，我們的軟件在顯著復(fù)雜性和非必要的能力方面缺乏。
　　在這篇文章的最后，我們比較了不同的過(guò)濾算法和離群點(diǎn)去除技術(shù)