適用于最近鄰檢索的堆疊哈希量化算法.pdf

1、目前，各種類型的信息數(shù)據(jù)呈爆炸型增長(zhǎng)。傳統(tǒng)信息處理技術(shù)正面對(duì)著前所未有的挑戰(zhàn)。如何在海量高維數(shù)據(jù)中高效查找目標(biāo)數(shù)據(jù)，是計(jì)算機(jī)領(lǐng)域的熱門問題之一。近似最近鄰檢索是解決該問題的一種方案，它的主要思想是提出新的近似距離度量，檢索在這種度量下和查詢對(duì)象距離最近的數(shù)據(jù)對(duì)象。目前，許多近似最近鄰算法陸續(xù)出現(xiàn)，且被應(yīng)用于多個(gè)領(lǐng)域。
　　乘積量化是解決此問題的有效方法之一，具有內(nèi)存消耗低，查詢效率高等優(yōu)點(diǎn)。不過，乘積量化需建立量化中心的距離查詢表

2、，時(shí)間復(fù)雜度較高。針對(duì)此缺點(diǎn)有人提出了k-means哈希量化，直接把向量數(shù)據(jù)量化為二進(jìn)制碼，且盡量保持?jǐn)?shù)據(jù)的空間近鄰結(jié)構(gòu)。由于二進(jìn)制碼漢明距離的計(jì)算遠(yuǎn)遠(yuǎn)快于向量歐氏距離計(jì)算，此方法節(jié)省了存儲(chǔ)空間和運(yùn)行時(shí)間。然而它本質(zhì)上是把一個(gè)高維超立方體放在原始空間內(nèi)做迭代優(yōu)化，若立方體維度較高，優(yōu)化速度過慢，內(nèi)存消耗也比較大。
　　為此，本文提出了一種新的量化算法——堆疊哈希量化算法。若要提高二進(jìn)制碼對(duì)于原始數(shù)據(jù)的近似程度，不能僅依靠增大超立方

3、體的維度，可以通過利用多層低維立方體對(duì)原始數(shù)據(jù)進(jìn)行逐步逼近，本文稱之為堆疊哈希量化。該算法的核心思想為:第一步，在訓(xùn)練數(shù)據(jù)集上，用乘積量化將高維訓(xùn)練集劃分為多個(gè)低維訓(xùn)練集;第二步，對(duì)低維子空間進(jìn)行k-means哈希訓(xùn)練產(chǎn)生相應(yīng)碼本;第三步，計(jì)算上一步之后的誤差向量，將其作為新的訓(xùn)練數(shù)據(jù)進(jìn)行碼本訓(xùn)練，得到相應(yīng)碼本;重復(fù)第三步直至達(dá)到給定誤差或規(guī)定碼本層數(shù)。再利用分層碼本集對(duì)數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行編碼，得到多層哈希碼。在線查詢階段，首先利用分層碼