對(duì)草圖特征線的描述符用于大規(guī)模圖像檢索的一種評(píng)價(jià)

1、對(duì)草圖特征線的描述符用于大規(guī)模圖像檢索的一種評(píng)價(jià)對(duì)草圖特征線的描述符用于大規(guī)模圖像檢索的一種評(píng)價(jià)摘要摘要我們解決了在一個(gè)超過(guò)一百萬(wàn)圖像的數(shù)據(jù)庫(kù)中，快速、大規(guī)模基于草圖的圖像檢索的搜索問題。我們發(fā)現(xiàn)，目前的檢索方法不能很好地適用于交互監(jiān)督搜索背景下的大型數(shù)據(jù)庫(kù)，于是我們提出了兩種不同的方法。通過(guò)客觀的評(píng)價(jià)，我們認(rèn)為兩種方法明顯優(yōu)于現(xiàn)有的方法。所提出描述符的構(gòu)造，使得全色圖像和草圖能進(jìn)行完全相同的預(yù)處理步驟。首先，尋找具有相似結(jié)構(gòu)的圖像，分

2、析梯度方向。然后，在主要顏色分布的基礎(chǔ)上，最佳匹配的圖像都進(jìn)行聚集，以抵消在初始搜索時(shí)，缺乏基于顏色的決定量?？偟膩?lái)說(shuō)，查詢結(jié)果表明，該系統(tǒng)通過(guò)一個(gè)用戶友好的簡(jiǎn)約瀏覽界面，提供了對(duì)大型圖像數(shù)據(jù)庫(kù)的一個(gè)直觀的訪問。1.引言引言數(shù)碼相機(jī)已經(jīng)產(chǎn)生了大量的數(shù)字圖像，許多都可以通過(guò)互聯(lián)網(wǎng)免費(fèi)訪問（如Flickr）。在一個(gè)數(shù)據(jù)庫(kù)中，尋找一個(gè)接近心理模型的圖像是一個(gè)重要而困難的任務(wù)。目前，大多數(shù)查詢不是基于文本注釋和粗糙的彩色草圖，就是分別基于其他的

3、圖像和部分圖像[12]。我們認(rèn)為圖像不能簡(jiǎn)潔的被表現(xiàn)出來(lái)，并且僅僅基于文字進(jìn)行查詢；人們可能會(huì)描述圖像的不同部分，并且根據(jù)他們的文化和專業(yè)背景使用不同的單詞。另一方面，基于顯示預(yù)期的結(jié)果非常相似查詢來(lái)搜索圖片，要么需要一個(gè)現(xiàn)有的圖像，它的缺少是通常用于查找原因，要么就是偉大的藝術(shù)技巧，如果圖像的陰影表演是必要的。它似乎使人更容易的描述出草圖形狀或場(chǎng)景的主要特征線。這可能會(huì)與人類如何思考和記憶對(duì)象相聯(lián)系[35]。請(qǐng)注意，一個(gè)圖像的主要特征

4、線幾乎完全決定它的陰影[6]。這一結(jié)果最近已經(jīng)用創(chuàng)建一個(gè)簡(jiǎn)單直觀的編輯矢量圖像來(lái)表示了[7]。1.1以前的成果以前的成果比較草圖特征線和圖像的任務(wù)是自然很困難的。對(duì)這個(gè)問題的第一次探索可以追溯到回到1979[8]基于畫報(bào)描述的檢索。大多數(shù)圖像檢索的方法式基于輪廓草圖，到現(xiàn)在仍在使用如下算法：Hirata等人[9]搜索205個(gè)油畫的數(shù)據(jù)庫(kù)，通過(guò)把圖像數(shù)據(jù)庫(kù)的圖像邊緣和用戶的草圖相匹配。圖像大小劃分為8X8塊。對(duì)于每一塊，最好的相鄰相互關(guān)系

5、是通過(guò)搜索本地塊的一個(gè)小窗口來(lái)計(jì)算。全球的相似性是作為當(dāng)?shù)氐南嚓P(guān)值的總和來(lái)計(jì)算。Chan等人[10]搜索137個(gè)彩色圖像的數(shù)據(jù)庫(kù)，通過(guò)對(duì)比凸起的邊緣特征屬性，如長(zhǎng)度，曲率和空間關(guān)系。邊緣被建模為隱式多項(xiàng)式，導(dǎo)致檢索算法允許輸入草圖的局部失真。Rajendran和Chang[11]將方向和曲率直方圖用到圖像編碼的最大邊緣。該方法利用多尺度考慮到用戶的草圖中各種層次的細(xì)節(jié)。由此產(chǎn)生的系統(tǒng)被用來(lái)檢索一個(gè)含有約5000幅繪畫和其他圖像的數(shù)據(jù)庫(kù)。

6、Lopresti等人[12]確認(rèn)用戶的草圖可以被看作是一種特殊形式的筆跡，在125個(gè)草圖數(shù)據(jù)庫(kù)中巧妙地把搜索作為一個(gè)字符串匹配問題。Jain等人[13]將顏色和形狀的信息（使用顏色直方圖和邊緣直方圖的線性組合相似地測(cè)繪）在有400個(gè)圖像數(shù)據(jù)庫(kù)中檢索商標(biāo)圖像。Hurtut等人[14]在線型繪制的小型數(shù)據(jù)庫(kù)中利用曲率驅(qū)動(dòng)流分析圖像內(nèi)容。其他的成果是基于匹配一個(gè)單一的曲線到草圖：DelBimbo等人[15]和Sclaroff[16]讓用戶草圖

7、進(jìn)行彎曲和拉伸變形來(lái)匹配輪廓。Matusiak等人[17]提出在曲率尺度空間的輪廓[18]并且對(duì)曲率尺度空間的曲線，定義了一個(gè)距離測(cè)量方法。Ip等人[19]對(duì)于單輪廓描述提出了一種仿射不變量。像目前對(duì)于大型圖像集的大多數(shù)檢索算法一樣，我們的系統(tǒng)是基于一個(gè)小的能捕捉到的圖像的基本特性描述符（高維特征向量）。然后圖像的相似性是通過(guò)對(duì)特征向量的距離度量的定義。典型的描述符使用全局或局部直方圖的強(qiáng)度，顏色，方向性[2023]或全部的圖像變換系數(shù)

8、[2425]。這些描述符未能為輸入特征線產(chǎn)生了良好的結(jié)果。一個(gè)為基于邊緣[26]的圖像被檢索。下載圖像的最大尺寸已經(jīng)被限制在1024x768像素內(nèi)，所有下載的圖像都按JPEG格式，被存儲(chǔ)在硬盤的一個(gè)簡(jiǎn)單的文件夾內(nèi)。數(shù)據(jù)庫(kù)的內(nèi)存占用為375G，導(dǎo)致平均JPEG文件大小為250K。我們的圖像搜索引擎的輸入是一組二進(jìn)制的提綱（見圖1，左），由用戶定義搜索內(nèi)容所需的形狀。一個(gè)查詢結(jié)果是一個(gè)形狀相似但生成的潛在大范圍色調(diào)的圖片的小集合。為了給用戶

9、提供一種快速找到正確的彩色圖像結(jié)果集的機(jī)制，我們另外聚集了一種顏色的直方圖搜索結(jié)果，將其匯聚成一個(gè)小的集群（通常在510的順序）。然后用戶可以快速找到包含匹配所需顏色的集群，并且從該集群中選擇最符合草圖形狀的圖像。集群在第4節(jié)中有更詳細(xì)的描述。我們的圖像排序算法是基于捕捉圖像的每一部分主要方向的描述符，是對(duì)數(shù)據(jù)庫(kù)中的所有圖像在脫機(jī)過(guò)程中進(jìn)行計(jì)算。在查詢過(guò)程中，用戶草圖提供每個(gè)空間區(qū)域的方向信息。描述符是從素描中提取的，和使用數(shù)據(jù)庫(kù)中最近

10、鄰搜索算法得到的描述符相比較。與通過(guò)最近鄰發(fā)現(xiàn)的描述符對(duì)應(yīng)的圖像被反饋，并呈現(xiàn)給用戶。我們已將所提出的方法應(yīng)用到基于草圖的圖像檢索系統(tǒng)，這個(gè)系統(tǒng)可以讓任何新手用戶用來(lái)快速查詢圖像數(shù)據(jù)庫(kù)（見第6節(jié)）或者使用目前基于草圖的照片合成器系統(tǒng)[40、41]來(lái)創(chuàng)建新內(nèi)容。該系統(tǒng)的功能源于探索現(xiàn)有大量的圖像，這抵消圖像描述符和搜索中明顯的偏移。我們分析了所提出描述符的性能并在5和6節(jié)中評(píng)價(jià)其檢索性能。3.基于草圖的圖像描述符基于草圖的圖像描述符幾乎所

11、有的圖像描述符都是為匹配數(shù)據(jù)庫(kù)中給定的（部分）圖像[202542]而設(shè)計(jì)。這些描述符可用被用戶用來(lái)輸入，僅僅當(dāng)這些輸入與圖像的顏色，強(qiáng)度，或方向相類似時(shí)。病媒生物。一個(gè)向量值或轉(zhuǎn)換的描特征線不完全兼容這些描述符，我們相信基于該輸入搜索圖像數(shù)據(jù)庫(kù)可以被認(rèn)為比基于效仿數(shù)據(jù)庫(kù)條目的輸入困難。在下面，我們首先快速地描述，對(duì)于草圖的圖像檢索現(xiàn)有的兩個(gè)描述符：Chalechale等人[26]提出的角徑向分區(qū)和在MPEG7標(biāo)準(zhǔn)[29]中定義的邊緣直方

12、圖。然后，我們描述兩個(gè)由Eitz等人[34]介紹的描述符，并在5節(jié)中顯示他們克服現(xiàn)有方法的不足。分區(qū)策略和特點(diǎn)：所有四個(gè)描述符通過(guò)使用規(guī)則的劃分策略和從每個(gè)所結(jié)果的局部區(qū)域提取圖像的特點(diǎn)，對(duì)圖像進(jìn)行細(xì)分。在本文中，我們把細(xì)分過(guò)程中產(chǎn)生的圖像局部區(qū)域稱為“單元”。所有單元（使用固定空間的布局）的局部特征被用于形成一個(gè)表示圖像的特征向量。本文分析了四個(gè)描述符用不同方式細(xì)分圖像（在張量的情況下用規(guī)則的網(wǎng)格，HOG和EHD描述符，如在ARP描述

13、符情況下徑向角細(xì)分）和從每個(gè)單元中提取什么樣的信息（在HOG和EHD的情況下的梯度方向描述符，在張量描述符下的結(jié)構(gòu)張量和在ARP的描述符的情況下Canny的特征線[43]）。部分匹配：為了獲得包含一個(gè)適合用戶草圖的對(duì)象同時(shí)還包括在不同位置的其他對(duì)象的圖片，每個(gè)單元空格（即，與用戶草圖沒有交集）在基于描述符的距離計(jì)算中被忽略并且存儲(chǔ)在二進(jìn)制標(biāo)記中。這有三個(gè)直接的后果：第一，用戶可以專注于特定的圖像內(nèi)容，不需要在查詢數(shù)據(jù)庫(kù)前素描出整個(gè)圖片；

14、第二，通過(guò)避免對(duì)圖片背景的限制，增加了潛在可能的結(jié)果；第三，在查詢過(guò)程中，這大大地減少了距離計(jì)算的量。3.1角徑向分區(qū)角徑向分區(qū)Chalechale等人[26]對(duì)于基于草圖的圖像檢索明確地提出了一個(gè)描述符，這個(gè)描述符對(duì)抵抗位置和規(guī)模的小位移有魯棒性，并且被設(shè)計(jì)為旋轉(zhuǎn)不變的。從輸入圖像中對(duì)描述符的提取，要求按照以下步驟：（a）轉(zhuǎn)換圖像為它的灰度強(qiáng)度表示；（b）采用Canny邊緣濾波器提取局部邊緣特征；（c）劃分邊緣到MN角徑向分區(qū)（如圖2