手持式增強現(xiàn)實神經(jīng)導航關鍵技術研究及其系統(tǒng)建立.pdf

1、神經(jīng)外科手術是治療各種腦部疾病最直接有效的方法，但同時也是難度最大的術種之一。它要求醫(yī)生不僅能夠準確切除病灶，還要避免對周圍神經(jīng)、血管等正常組織造成損傷，神經(jīng)外科手術的成功與否很大程度上取決于術前入路計劃的準確性和術中病灶定位的精確性。神經(jīng)導航系統(tǒng)(Image Guided NeurosurgerySystem，IGNS)以病人術前掃描的影像數(shù)據(jù)建立圖像引導空間，術中通過光學定位儀跟蹤手術器械并將它顯示在術前圖像上，醫(yī)生通過觀察圖像上虛

2、擬手術器械的位置來判斷真實手術器械同病人之間的相對位置關系，從而幫助醫(yī)生定位病灶位置并引導手術操作。IGNS系統(tǒng)通過術前準確計劃手術入路和術中精確定位病灶，可以減小手術創(chuàng)傷、縮短手術時間以及提高手術質(zhì)量，已逐漸成為微創(chuàng)神經(jīng)外科手術中不可或缺的設備。
　　雖然IGNS系統(tǒng)能夠彌補傳統(tǒng)神經(jīng)外科手術方式的不足，但是現(xiàn)有導航系統(tǒng)都是將定位和引導信息顯示在系統(tǒng)屏幕上，醫(yī)生通過觀察導航屏幕上的圖像來進行手術操作。臨床應用表明這種導航模式存在以

3、下幾個嚴重缺陷:①導航信息與手術場景相分離。術中，醫(yī)生為了觀察手術器械相對于病人解剖結(jié)構(gòu)的位置，不得不在病人手術部位和導航屏幕之間來回切換視野，這不利于醫(yī)生將注意力集中于病人頭部進行手術，會干擾手術進程并加大導航定位誤差。②導航信息不易理解。醫(yī)生主要利用IGNS系統(tǒng)屏幕上顯示的疊加了探針位置信息的斷層圖像來進行術中定位，而這些圖像并不能很好地反映出病人當前體位，使得醫(yī)生不能直觀地理解真實手術場景中探針與實際病人解剖結(jié)構(gòu)間的空間位置關系，

4、造成IGNS系統(tǒng)的作用不能得到充分發(fā)揮。
　　這些問題主要是由于現(xiàn)有IGNS系統(tǒng)虛實分離的導航模式引起的，為了解決這些問題，需要把虛擬信息同真實手術場景融合起來，其中最關鍵的是從虛擬圖像中獲取腫瘤等病灶的位置信息并將其融入到真實手術場景中。本文圍繞上述問題展開研究，提出并建立了一種基于平板電腦的增強現(xiàn)實(Augmented Reality, AR)神經(jīng)導航系統(tǒng)，簡稱AR-IGNS，它可以將腫瘤等虛擬信息同真實的手術場景相結(jié)合，并將

5、導航信息顯示在可移動的平板電腦屏幕上，在不需要醫(yī)生切換視野的前提下輔助醫(yī)生手術。新系統(tǒng)的成功實現(xiàn)依賴于基于平板電腦所建立的三種新的導航模式以及術前腫瘤圖像的準確分割，具體研究內(nèi)容如下:
　　1、虛實信息結(jié)合下疊加圖像導航模式。這是AR-IGNS系統(tǒng)最重要的導航模式，主要利用AR技術將術前分割的腫瘤等病灶信息直接疊加顯示在平板電腦攝像機所拍攝的真實手術場景中。該導航模式主要通過空間配準、目標跟蹤和攝像機標定三個過程將虛擬空間的圖像信

6、息變換到平板電腦屏幕上。首先，我們采用基于人工標記點的空間配準方法，通過奇異值分解法求解虛擬空間到現(xiàn)實空間的變換關系;其次，利用光學定位儀同時跟蹤病人、平板電腦和手術器械，獲得現(xiàn)實空間到平板電腦空間的變換關系;第三，利用世界坐標系到觀察坐標系的變換及基于棋盤格模板的標定方法獲得平板電腦空間到平板電腦屏幕的投影關系;最后，綜合這三個變換，將虛擬空間中的圖像變換到平板電腦屏幕空間，從而在術中將分割出的腫瘤表面等信息疊加到真實的手術場景中，幫

7、助醫(yī)生定位腫瘤位置。該導航模式在平板電腦上實現(xiàn)虛實疊加，有效地解決了傳統(tǒng)導航系統(tǒng)中導航信息與手術場景相分離的問題。
　　2、虛實信息結(jié)合下截面圖像導航模式。這種模式利用AR技術將虛擬導航信息同真實手術環(huán)境相關聯(lián)，主要根據(jù)平板電腦和真實病人之間的相對位置關系，實時生成平板電腦所在平面與病人相交的截面的圖像，并將其顯示在平板電腦屏幕上進行手術導航。具體地，首先將已分割出的病人腫瘤位置信息融合到原始數(shù)據(jù)當中;然后利用光學定位儀實時跟蹤平

8、板電腦在現(xiàn)實空間中的位置并將其變換到虛擬空間去，通過對虛擬空間中融合了腫瘤信息的掃描數(shù)據(jù)進行重采樣，得到平板電腦平面與圖像數(shù)據(jù)相交的截面圖像;最后將斷層圖像通過無線網(wǎng)絡傳輸技術傳輸?shù)狡桨咫娔X上顯示，從而輔助醫(yī)生進行定位和導航。這種任意截面圖像導航模式，將斷層導航圖像與現(xiàn)實手術場景直接聯(lián)系起來，避免了醫(yī)生在導航屏幕和手術區(qū)域進行大的視野切換，同時豐富了導航信息量并使導航定位信息更加容易理解。
　　3、虛實信息結(jié)合下的投影圖像導航模式

9、。這種導航模式同樣AR技術將虛擬導航信息同真實手術環(huán)境相關聯(lián)，根據(jù)平板電腦相對于真實病人的位置信息，生成圖像數(shù)據(jù)向平板電腦屏幕進行虛擬最大密度投影的圖像，并將投影圖像顯示在平板電腦上進行手術導航。對于血管造影等成像方式，最大密度投影（Maximum Intensity Projection，MIP）圖像可以清晰地顯示顱內(nèi)的血管信息，如果同時將其與病灶分割結(jié)果相結(jié)合，就可以顯示血管同病灶之間的相對位置關系，為腦血管相關手術的順利進行提供方

10、便。通過對平板電腦位置的實時跟蹤，當平板電腦的位置發(fā)生改變，其顯示屏上也能實時顯示相應位置處的投影圖像。這種以平板電腦為可視化接口的MIP圖像導航模式，改變了傳統(tǒng)導航系統(tǒng)只能單純在系統(tǒng)屏幕上顯示MIP圖像的問題，實現(xiàn)了虛擬導航信息與現(xiàn)實手術場景的融合。
　　4、虛擬圖像目標分割算法的研究。根據(jù)腦圖像的特殊性和復雜性，我們將符合臨床需求的交互式隨機游走算法用于腦腫瘤的分割。醫(yī)生只需在任意術前圖像上簡單選取腫瘤及非腫瘤區(qū)域的種子點，隨

11、機游走算法即可自動、精確地定位出腫瘤的邊界。通過在上述三種導航模式中顯示腫瘤的位置和邊界，AR-IGNS系統(tǒng)可以更好地在術中指導醫(yī)生切除腫瘤。
　　綜上所述，針對現(xiàn)有神經(jīng)導航系統(tǒng)虛實分離的導航模式中存在的問題，本文提出了基于疊加圖像、截面圖像和投影圖像的三種新的導航模式，以平板電腦為顯示設備利用AR技術實現(xiàn)了虛擬導航信息與現(xiàn)實手術場景的融合。同時采用基于隨機游走算法的交互式分割方法準確分割出腦腫瘤，從而在虛擬導航信息中直觀準確地顯

12、示腫瘤的位置。新的導航模式可以使醫(yī)生避免術中視野切換，并使導航信息更加容易理解，從而提高導航的精度和方便性，并確保醫(yī)生集中精力在手術部位進行手術。我們對三種導航模式分別進行了顱骨標本試驗和真實病例的臨床試驗，驗證了導航信息的準確性和各種導航模式的臨床適用性。本文相關研究結(jié)果作為第一作者投稿SCI論文2篇，其中1篇已經(jīng)發(fā)表，1篇修回。另外，還發(fā)表國內(nèi)核心論文一篇，申請發(fā)明專利2項。本文建立的系統(tǒng)在第十五屆中國國際工業(yè)博覽會獲得高校展區(qū)優(yōu)秀