基于機器學(xué)習(xí)的數(shù)據(jù)補全、標(biāo)注和檢索若干問題研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，人們進(jìn)入了大數(shù)據(jù)時代。在大數(shù)據(jù)時代如何對數(shù)據(jù)進(jìn)行理解和檢索成為研究人員廣泛關(guān)注的問題，在推薦系統(tǒng)、人臉識別、圖像檢索等眾多實際問題中有著廣泛的應(yīng)用。但是在大數(shù)據(jù)時代，關(guān)于數(shù)據(jù)本身，我們還面臨著很多挑戰(zhàn)。第一點，雖然可以很容易的收集到大量數(shù)據(jù)，但是由于各方面的原因，真實數(shù)據(jù)經(jīng)?？赡苁侨笔У摹⒉煌暾?、或者被部分被干擾的，所以如何進(jìn)行數(shù)據(jù)補全和恢復(fù)是一個難題。第二點，數(shù)據(jù)的分類、識別和理解經(jīng)常需要依賴大量的標(biāo)注數(shù)據(jù)，但

2、是大數(shù)據(jù)時代，雖然數(shù)據(jù)總量多，但是大部分?jǐn)?shù)據(jù)都是沒有標(biāo)注信息的，而人工標(biāo)注所有數(shù)據(jù)耗時耗力，因此如何選擇最重要、最有信息含量的那部分?jǐn)?shù)據(jù)進(jìn)行標(biāo)注，從而降低標(biāo)注成本，也是一個重要的科研問題。第三點，大數(shù)據(jù)時代，如何在對數(shù)據(jù)進(jìn)行理解的基礎(chǔ)上，進(jìn)行快速準(zhǔn)確的數(shù)據(jù)檢索，精確的了解用戶意圖，并給用戶進(jìn)行實時反饋，也是一大挑戰(zhàn)。針對這三方面的問題，本論文開展了以下工作:
　　1.為了更好的進(jìn)行數(shù)據(jù)信息恢復(fù)，我們提出了一個基于矩陣截斷式核范數(shù)的

3、矩陣補全算法。本文在傳統(tǒng)的基于矩陣核范數(shù)的矩陣補全思路啟發(fā)下，進(jìn)一步對矩陣核范數(shù)進(jìn)行了精細(xì)化的修改，將傳統(tǒng)核范數(shù)定義中的最大的r的奇異值去掉，由此定義了新的矩陣截斷式核范數(shù)。通過這種修改，基于矩陣截斷式核范數(shù)的優(yōu)化問題能夠?qū)仃嚨闹鹊膬?yōu)化問題進(jìn)行更好的近似，從而得到更好的低秩解。同時，我們提出了兩種高效的矩陣截斷式核范數(shù)的優(yōu)化算法，分別對應(yīng)于硬限制和軟限制條件下目標(biāo)函數(shù)的求解。而且，該工作給出了一種一般性的替代矩陣核范數(shù)的思路，可以廣泛

4、應(yīng)用到多種采用矩陣核范數(shù)的問題中。
　　2.我們稱對數(shù)據(jù)進(jìn)行自動采樣，選擇最有信息量的數(shù)據(jù)進(jìn)行標(biāo)注的過程為主動學(xué)習(xí)。本文在傳統(tǒng)主動學(xué)習(xí)算法基礎(chǔ)上，進(jìn)一步利用核空間理論，將基于距離敏感重構(gòu)的主動學(xué)習(xí)算法成功其推廣為其非線性形式。傳統(tǒng)基于距離敏感重構(gòu)的主動學(xué)習(xí)算法只是簡單的通過線性重構(gòu)去表示數(shù)據(jù)分布，但在很多的實際問題中，數(shù)據(jù)分布往往非常復(fù)雜。而核空間理論表明，可以通過選擇適當(dāng)?shù)暮撕瘮?shù)，將原始數(shù)據(jù)點映射到無窮維再生希爾伯特核空間(RK

5、HS)中。而研究表明，在一個充分高維的空間里，數(shù)據(jù)的復(fù)雜非線性結(jié)構(gòu)更可能被展開成簡單的幾何結(jié)構(gòu)。因此，我們在核空間中對原始算法進(jìn)行了重新推導(dǎo)，并提出了一種全新的優(yōu)化算法進(jìn)行核空間目標(biāo)函數(shù)的快速求解。實驗表明，通過引入核空間，我們對數(shù)據(jù)幾何信息的刻畫更加準(zhǔn)確了，取得了更好的效果。
　　3.為了加速數(shù)據(jù)檢索的速度，提高數(shù)據(jù)檢索的精度，本文提出了一個綜合數(shù)據(jù)結(jié)構(gòu)和哈希算法的近似最近鄰檢索框架。傳統(tǒng)上，基于數(shù)據(jù)結(jié)構(gòu)的檢索算法和基于哈希算法

6、的檢索算法是最近鄰檢索中的兩個獨立的研究方向。本文提出的框架可以融合多種數(shù)據(jù)結(jié)構(gòu)（如K-means樹，K近鄰圖等）和任意哈希算法，實現(xiàn)兩者的優(yōu)勢互補。一方面，我們將數(shù)據(jù)結(jié)構(gòu)中使用的傳統(tǒng)歐式距離度量改進(jìn)成漢明距離，大大加速數(shù)據(jù)結(jié)構(gòu)中每一步搜索的計算速度;另一方面，我們對每個數(shù)據(jù)點的哈希編碼利用數(shù)據(jù)結(jié)構(gòu)進(jìn)行了重新組織，因此避免了對哈希編碼進(jìn)行線性暴力搜索，將線性復(fù)雜度降低為對數(shù)復(fù)雜度。還有很重要的一點是，傳統(tǒng)哈希算法由于需要線性遍歷，往往只