基于視覺(jué)和幾何特征的街景圖像語(yǔ)義分割.pdf

1、數(shù)字圖像已成為信息傳遞的有利載體，廣泛應(yīng)用于社會(huì)生活的各個(gè)領(lǐng)域。對(duì)圖像中的場(chǎng)景進(jìn)行分析和理解是計(jì)算機(jī)視覺(jué)的目標(biāo)之一。街景與人們?nèi)粘Ｉ罹o密相關(guān)，對(duì)這類圖像進(jìn)行語(yǔ)義分割和理解具有廣闊的前景，但也充滿挑戰(zhàn)。
　　目前的圖像分割算法大多是針對(duì)某一類圖像進(jìn)行的，且圖像場(chǎng)景比較簡(jiǎn)單，包含的對(duì)象類別較少；同時(shí)，一般的圖像分割算法對(duì)圖像的旋轉(zhuǎn)、縮放和亮度等信息比較敏感，勢(shì)必會(huì)造成因上述信息的變化而產(chǎn)生不同的分割結(jié)果，從而產(chǎn)生誤分割。近年來(lái)，把圖

2、像分割和圖像的識(shí)別與理解結(jié)合起來(lái)，對(duì)輸入圖像進(jìn)行語(yǔ)義分割的研究非常活躍，但是當(dāng)圖像中同時(shí)存在多類不同形狀和大小的對(duì)象時(shí)，如何有效地獲取不同語(yǔ)義對(duì)象之間的邊緣信息，依然是個(gè)具有挑戰(zhàn)性的問(wèn)題。街景圖像內(nèi)容豐富，包含多種對(duì)象類別，相當(dāng)復(fù)雜，對(duì)這類圖像進(jìn)行語(yǔ)義分割，具有非常重要的研究?jī)r(jià)值和實(shí)際應(yīng)用價(jià)值。
　　本文針對(duì)街景圖像，提出了利用空間極值點(diǎn)作為分水嶺分割算法的種子點(diǎn)，對(duì)輸入圖像進(jìn)行分割，然后結(jié)合圖像識(shí)別技術(shù)，利用高階馬爾科夫隨機(jī)場(chǎng)模

3、型，對(duì)圖像進(jìn)行標(biāo)注，完成輸入圖像的語(yǔ)義分割。
　　首先，構(gòu)建輸入圖像的高斯金字塔，獲得不同尺度下的版本，提取出其空間極值點(diǎn)，作為分水嶺分割算法的種子點(diǎn)。根據(jù)圖像分割的兩個(gè)基本原則，對(duì)分水嶺分割算法的輸出圖像進(jìn)行去除噪聲區(qū)域和合并滿足相似性判決閾值的區(qū)域，得到無(wú)監(jiān)督初始分割結(jié)果。
　　其次，針對(duì)單純利用圖像的視覺(jué)特征不能得到較好的對(duì)象邊緣的問(wèn)題，本文除了采用外貌特征、形狀特征和上下文特征等視覺(jué)特征外，還利用了包含豐富結(jié)構(gòu)信息的

4、相對(duì)于攝像頭的高度、距攝像頭軌跡最近距離、與圖像平面之間的夾角、追蹤到的點(diǎn)密度等五種幾何特征，以獲取語(yǔ)義對(duì)象之間的邊緣信息；另外，在語(yǔ)義識(shí)別的過(guò)程中，通過(guò)在馬爾科夫隨機(jī)場(chǎng)模型中引入高階項(xiàng)，以初始分割結(jié)果作為該高階項(xiàng)的輸入，進(jìn)一步增強(qiáng)語(yǔ)義對(duì)象之間的邊緣響應(yīng)。
　　本文的研究重點(diǎn)主要包括：（1）如何獲取在一定程度上滿足人眼視覺(jué)感知特性的無(wú)監(jiān)督初始分割結(jié)果；（2）應(yīng)用外貌、形狀和上下文等三種視覺(jué)特征和相對(duì)于攝像頭的高度、距攝像頭軌跡最近