多媒體分析中的半監(jiān)督和張量學(xué)習(xí)的研究.pdf

1、隨著移動互聯(lián)的發(fā)展，用戶自制的多媒體數(shù)據(jù)開始大量出現(xiàn)，其所具有的高維、信息復(fù)雜和無標(biāo)簽或弱標(biāo)簽等特性給多媒體數(shù)據(jù)分析帶來了巨大的挑戰(zhàn)。傳統(tǒng)的基于向量表達的學(xué)習(xí)方法在對多媒體數(shù)據(jù)向量化過程中，破壞了多媒體數(shù)據(jù)中固有空間結(jié)構(gòu)，另外向量化過程產(chǎn)生的高維向量導(dǎo)致了“維度災(zāi)難”問題。由于圖像和視頻的自然表達方式是張量形式，因此基于張量表達的學(xué)習(xí)方法越來越受到圖像處理和視頻分析領(lǐng)域的關(guān)注。但是基于張量表達的方法目前大部分被用在子空間學(xué)習(xí)或者低階張量

2、空間中，這在實際應(yīng)用中存在很多限制或者約束。在高階張量學(xué)習(xí)模型中，有的研究工作在支持向量回歸和嶺回歸中引入了張量的CP(CANDECOMP/PARAFAC)分解，從而得到了支持張量回歸和張量嶺回歸模型。但是由于CP分解存在張量秩不唯一問題，導(dǎo)致模型的分析準確率下降。
　　為了解決CP分解中存在的張量秩不唯一問題，本文第二章通過引入結(jié)構(gòu)化稀疏方法，使張量經(jīng)過CP分解以后在每一個因子矩陣上產(chǎn)生不同的稀疏效果。然后在模型中加入聯(lián)合稀疏約

3、束，使得所有因子矩陣產(chǎn)生相同的列稀疏。最終通過計算選擇，保留下來的非稀疏列數(shù)目即為張量的秩，從而達到自動選擇張量秩的目的。由于加入了兩種不同的稀疏約束，因此可以充分發(fā)掘每一個因子矩陣的稀疏信息，然后利用這些稀疏信息進行張量秩的選擇。另外，為了解決視覺詞袋(Bag-of-Words，BoWs)在統(tǒng)計量化過程中造成的結(jié)構(gòu)信息丟失的問題，本文在第二章提出了張量視覺詞袋模型。實驗證明張量視覺詞袋與其他向量表示方法相比，能更有效的表示多媒體數(shù)據(jù)包

4、含的內(nèi)容。本章提出的算法與張量視覺詞袋相結(jié)合在視頻和圖像分析中取得了更好的效果。雖然有的研究工作已經(jīng)提出了基于CP分解的張量回歸模型，但是CP分解造成的張量秩不唯一問題依然存在。在本文的第三章通過在張量模型中引入張量Tucker分解方法，得到了Tucker。嶺回歸算法。本文第四章利用結(jié)構(gòu)化稀疏以及張量Tucker分解方法將向量邏輯回歸模型擴展到其對應(yīng)的張量模型。第三、四章得到的張量學(xué)習(xí)算法有效的解決了CP分解后張量秩不唯一的問題。算法的

5、有效性在不同的2階和3階多媒體數(shù)據(jù)集中得到了驗證。
　　傳統(tǒng)的監(jiān)督學(xué)習(xí)方法，當(dāng)數(shù)據(jù)維數(shù)過高并且有標(biāo)簽訓(xùn)練數(shù)據(jù)太少的時候，容易產(chǎn)生“過擬合”問題，從而降低其學(xué)習(xí)的準確率。半監(jiān)督的學(xué)習(xí)方法在訓(xùn)練過程中可以利用無標(biāo)簽的數(shù)據(jù)信息，因此在處理現(xiàn)實數(shù)據(jù)時被廣泛應(yīng)用?？紤]到在現(xiàn)實世界中存在大量無標(biāo)簽或者弱標(biāo)簽的視頻數(shù)據(jù)，但是有標(biāo)簽的視頻很少，而且人為標(biāo)注這些無標(biāo)簽視頻代價過高。為了更有效地處理現(xiàn)實世界的復(fù)雜視頻數(shù)據(jù)，本文第五章提出了一種半監(jiān)督的

6、遷移學(xué)習(xí)方法。首先在視頻特征基礎(chǔ)上建立基于圖模型的半監(jiān)督分類器，從而可以充分的利用無標(biāo)簽的視頻信息提高分類器的準確率。另外利用視頻關(guān)鍵幀和圖像之間的共享特征，建立遷移學(xué)習(xí)模型，從而可以利用圖像包含的相關(guān)信息強化分類結(jié)果。最后將兩個分類器放在統(tǒng)一的框架中進行優(yōu)化，利用圖像以及無標(biāo)簽視頻的相關(guān)信息得到更加有效的視頻分類模型。在標(biāo)準視頻數(shù)據(jù)集以及現(xiàn)實世界收集的視頻數(shù)據(jù)集上進行實驗，結(jié)果表明第五章的提出的方法比相關(guān)最新算法更有效。為了有效的利用