面向在線環(huán)境的數(shù)據(jù)編碼問(wèn)題研究.pdf

1、數(shù)據(jù)編碼問(wèn)題一直是數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、模式識(shí)別等領(lǐng)域的關(guān)鍵問(wèn)題。隨著在線應(yīng)用的蓬勃發(fā)展，如在線購(gòu)物，在線社交網(wǎng)絡(luò)等，在線數(shù)據(jù)規(guī)模日漸龐大，在線數(shù)據(jù)格式也多種多樣，如文本、視頻、圖像等。對(duì)復(fù)雜的在線數(shù)據(jù)進(jìn)行合理地編碼表示，對(duì)于在線數(shù)據(jù)挖掘起著關(guān)鍵作用。數(shù)據(jù)編碼的基通常分特征空間或訓(xùn)練數(shù)據(jù)集構(gòu)成的字典。當(dāng)數(shù)據(jù)編碼的基為特征空間，根據(jù)對(duì)編碼系數(shù)的不同約束，編碼問(wèn)題可轉(zhuǎn)換為特征選擇問(wèn)題和主成分分析問(wèn)題。特征選擇問(wèn)題相當(dāng)于通過(guò)對(duì)編碼系數(shù)進(jìn)行離散約

2、束，去除原始特征空間中冗余特征和不相關(guān)特征，得到一個(gè)最優(yōu)的特征表示子集;主成分分析問(wèn)題則通過(guò)優(yōu)化函數(shù)得到一個(gè)連續(xù)值的編碼系數(shù)，獲得反映數(shù)據(jù)本質(zhì)結(jié)構(gòu)的編碼表示，最為著名的問(wèn)題是得到復(fù)雜數(shù)據(jù)中的低秩結(jié)構(gòu)表示的主成分分析問(wèn)題。當(dāng)數(shù)據(jù)表示的基為訓(xùn)練數(shù)據(jù)集構(gòu)成的字典，則編碼問(wèn)題為通過(guò)字典對(duì)目標(biāo)數(shù)據(jù)進(jìn)行線性表示問(wèn)題，近年來(lái)最為熱點(diǎn)的為稀疏編碼。因此，基于數(shù)據(jù)編碼方向，本文所研究的具體問(wèn)題為特征選擇問(wèn)題、主成分分析問(wèn)題以及稀疏編碼問(wèn)題。雖然這些問(wèn)題研

3、究至今，已涌現(xiàn)出大量有效的相應(yīng)的算法，但是針對(duì)在線應(yīng)用環(huán)境帶來(lái)的更多挑戰(zhàn)，如龐大的特征空間，復(fù)雜的數(shù)據(jù)類型，已有算法存在一定的不足。更具體而言，特征選擇問(wèn)題中的全局特征空間難以獲得，特征抽取代價(jià)高昂，高維特征空間的處理對(duì)服務(wù)器產(chǎn)生巨大壓力，而已有的特征選擇方法不能兼顧在線環(huán)境和特征之間的語(yǔ)義關(guān)聯(lián);主成分分析問(wèn)題最為常用的方法為優(yōu)化核范數(shù)約束的目標(biāo)函數(shù)，得到低秩的真實(shí)數(shù)據(jù)編碼表示，然而，核范數(shù)約束僅為秩函數(shù)一個(gè)凸的近似問(wèn)題，并不能保證得到

4、的解是真正的低秩;稀疏編碼問(wèn)題常用的方法是對(duì)編碼系數(shù)進(jìn)行l(wèi)1范數(shù)約束，然而在線環(huán)境下訓(xùn)練字典結(jié)構(gòu)復(fù)雜多樣，一味采用稀疏約束，會(huì)導(dǎo)致編碼結(jié)果的不穩(wěn)定性。因此，為了解決以上實(shí)際問(wèn)題，本文提出了以下解決方案，可總結(jié)為:
　　1)針對(duì)在線環(huán)境下，數(shù)據(jù)特征空間的動(dòng)態(tài)性以及超高維問(wèn)題，本文研究了在線特征選擇問(wèn)題，提出了在線組特征選擇方法。在線特征選擇，即已知全局的樣本空間，動(dòng)態(tài)抽取特征的過(guò)程，而非依賴全局的特征空間。已有的在線特征選擇算法可進(jìn)

5、行動(dòng)態(tài)特征選擇，卻沒(méi)有考慮動(dòng)態(tài)特征之間的關(guān)聯(lián)性，而特征之間的關(guān)聯(lián)性具有豐富的語(yǔ)義信息，對(duì)于特征選擇有重要的作用。因此，本文認(rèn)為特征之間具有組相關(guān)性，組內(nèi)特征具有完整的語(yǔ)義，如圖片的紋理特征，而特征組之間亦具有組間相關(guān)性。因此，本文針對(duì)此問(wèn)題，提出在線組特征選擇算法(OnlineGroup Feature Selection，OGFS)，具體包括在線組內(nèi)特征選擇和在線組間特征選擇。在線組內(nèi)特征選擇根據(jù)組內(nèi)語(yǔ)義相關(guān)性，選擇具有強(qiáng)判別性的“好

6、”特征;在線組間特征選擇直接采用稀疏的線性回歸模型Lasso，從不同特征組中選擇最優(yōu)的特征子集。在圖像分類，人臉驗(yàn)證等實(shí)際應(yīng)用中的實(shí)驗(yàn)，驗(yàn)證了OGFS算法優(yōu)于已有的在線特征選擇算法;
　　2)針對(duì)在線環(huán)境下，觀測(cè)到的數(shù)據(jù)通常具有復(fù)雜多變的結(jié)構(gòu)，在很多計(jì)算機(jī)視覺(jué)等應(yīng)用中，真實(shí)數(shù)據(jù)通?？捎傻椭冉Y(jié)構(gòu)表示，噪音等其他部分可由稀疏結(jié)構(gòu)表示的特點(diǎn)，本文研究了主成分分析問(wèn)題，提出了一種Schatten-p范數(shù)和lq范數(shù)聯(lián)合約束的主成分分析模型，

7、p，q-主成分分析模型，具有廣泛的實(shí)際應(yīng)用場(chǎng)景，如視頻監(jiān)控中的背景（低秩結(jié)構(gòu)）和移動(dòng)目標(biāo)（稀疏結(jié)構(gòu)），人像圖片中的人臉（低秩結(jié)構(gòu)）和陰影（稀疏結(jié)構(gòu)）。解決此問(wèn)題的常用方法為魯棒主成分分析法（RPCA），即用核范數(shù)對(duì)秩函數(shù)進(jìn)行估計(jì)，用l1范數(shù)對(duì)l0范數(shù)進(jìn)行估計(jì)，但是并不能保證得到真正低秩和稀疏的編碼表示。因此，本文為了更好的解決此問(wèn)題，提出用Schatten-p范數(shù)約束估計(jì)秩函數(shù)，用lq范數(shù)估計(jì)l0范數(shù)。由于此目標(biāo)函數(shù)非凸，為了解決此問(wèn)題

8、，本文提出了一種最近迭代加權(quán)算法(Proximal IterativelyReweighted Algorithm，PIRA)，將低秩矩陣和稀疏矩陣的求解轉(zhuǎn)化為兩個(gè)子問(wèn)題，迭代交互求解。在每次迭代過(guò)程中，目標(biāo)子問(wèn)題都擁有閉式解，因此，此算法具有高效性，并能滿足在線環(huán)境下的實(shí)時(shí)性要求。同時(shí)，實(shí)驗(yàn)驗(yàn)證了目標(biāo)函數(shù)值隨迭代次數(shù)逐漸收斂;相比較于常用的核范數(shù)和e1范數(shù)約束，更能逼近原始主成分問(wèn)題的解。在實(shí)際應(yīng)用場(chǎng)景，如圖像去噪，物體識(shí)別，人臉陰影

9、/光斑去除，驗(yàn)證了此模型的優(yōu)越性，以及算法的有效性。
　　3)針對(duì)在線環(huán)境下，在線數(shù)據(jù)具有不穩(wěn)定性，增加了分類任務(wù)的難度，本文研究了提出了一種自適應(yīng)的稀疏編碼模型，并基于此模型構(gòu)建分類器(AdaptiveSparse Representation based Classifier)。稀疏編碼模型采用對(duì)編碼系數(shù)進(jìn)行l(wèi)1范數(shù)的稀疏性約束，有利于獲取極具判別性的編碼表示。但是，當(dāng)字典中訓(xùn)練樣本相關(guān)性較強(qiáng)，即不同目標(biāo)的樣本差異性較小時(shí)，稀

10、疏編碼會(huì)導(dǎo)致不穩(wěn)定的結(jié)果，從而影響分類等數(shù)據(jù)挖掘任務(wù)的效果。此時(shí)，基于l2范數(shù)約束的協(xié)作編碼模型，考慮了樣本關(guān)聯(lián)性，更具優(yōu)勢(shì)。因此，本文同時(shí)考慮了字典樣本間的相關(guān)性和編碼系數(shù)的判別性，提出一種自適應(yīng)的編碼模型，即當(dāng)訓(xùn)練樣本相對(duì)獨(dú)立，自適應(yīng)稀疏編碼模型的效果類似于稀疏編碼模型;當(dāng)訓(xùn)練樣本具有強(qiáng)關(guān)聯(lián)性，自適應(yīng)稀疏表示模型類似于協(xié)作編碼。一般情況下，自適應(yīng)編碼系數(shù)的稀疏性介于稀疏編碼和協(xié)作編碼之間?；诖司幋a模型，本文提出了一種基于自適應(yīng)稀疏