多媒體分析中的半監(jiān)督和張量學(xué)習(xí)的研究.pdf

1、隨著移動(dòng)互聯(lián)的發(fā)展，用戶自制的多媒體數(shù)據(jù)開(kāi)始大量出現(xiàn)，其所具有的高維、信息復(fù)雜和無(wú)標(biāo)簽或弱標(biāo)簽等特性給多媒體數(shù)據(jù)分析帶來(lái)了巨大的挑戰(zhàn)。傳統(tǒng)的基于向量表達(dá)的學(xué)習(xí)方法在對(duì)多媒體數(shù)據(jù)向量化過(guò)程中，破壞了多媒體數(shù)據(jù)中固有空間結(jié)構(gòu)，另外向量化過(guò)程產(chǎn)生的高維向量導(dǎo)致了“維度災(zāi)難”問(wèn)題。由于圖像和視頻的自然表達(dá)方式是張量形式，因此基于張量表達(dá)的學(xué)習(xí)方法越來(lái)越受到圖像處理和視頻分析領(lǐng)域的關(guān)注。但是基于張量表達(dá)的方法目前大部分被用在子空間學(xué)習(xí)或者低階張量

2、空間中，這在實(shí)際應(yīng)用中存在很多限制或者約束。在高階張量學(xué)習(xí)模型中，有的研究工作在支持向量回歸和嶺回歸中引入了張量的CP(CANDECOMP/PARAFAC)分解，從而得到了支持張量回歸和張量嶺回歸模型。但是由于CP分解存在張量秩不唯一問(wèn)題，導(dǎo)致模型的分析準(zhǔn)確率下降。
　　為了解決CP分解中存在的張量秩不唯一問(wèn)題，本文第二章通過(guò)引入結(jié)構(gòu)化稀疏方法，使張量經(jīng)過(guò)CP分解以后在每一個(gè)因子矩陣上產(chǎn)生不同的稀疏效果。然后在模型中加入聯(lián)合稀疏約

3、束，使得所有因子矩陣產(chǎn)生相同的列稀疏。最終通過(guò)計(jì)算選擇，保留下來(lái)的非稀疏列數(shù)目即為張量的秩，從而達(dá)到自動(dòng)選擇張量秩的目的。由于加入了兩種不同的稀疏約束，因此可以充分發(fā)掘每一個(gè)因子矩陣的稀疏信息，然后利用這些稀疏信息進(jìn)行張量秩的選擇。另外，為了解決視覺(jué)詞袋(Bag-of-Words，BoWs)在統(tǒng)計(jì)量化過(guò)程中造成的結(jié)構(gòu)信息丟失的問(wèn)題，本文在第二章提出了張量視覺(jué)詞袋模型。實(shí)驗(yàn)證明張量視覺(jué)詞袋與其他向量表示方法相比，能更有效的表示多媒體數(shù)據(jù)包

4、含的內(nèi)容。本章提出的算法與張量視覺(jué)詞袋相結(jié)合在視頻和圖像分析中取得了更好的效果。雖然有的研究工作已經(jīng)提出了基于CP分解的張量回歸模型，但是CP分解造成的張量秩不唯一問(wèn)題依然存在。在本文的第三章通過(guò)在張量模型中引入張量Tucker分解方法，得到了Tucker。嶺回歸算法。本文第四章利用結(jié)構(gòu)化稀疏以及張量Tucker分解方法將向量邏輯回歸模型擴(kuò)展到其對(duì)應(yīng)的張量模型。第三、四章得到的張量學(xué)習(xí)算法有效的解決了CP分解后張量秩不唯一的問(wèn)題。算法的

5、有效性在不同的2階和3階多媒體數(shù)據(jù)集中得到了驗(yàn)證。
　　傳統(tǒng)的監(jiān)督學(xué)習(xí)方法，當(dāng)數(shù)據(jù)維數(shù)過(guò)高并且有標(biāo)簽訓(xùn)練數(shù)據(jù)太少的時(shí)候，容易產(chǎn)生“過(guò)擬合”問(wèn)題，從而降低其學(xué)習(xí)的準(zhǔn)確率。半監(jiān)督的學(xué)習(xí)方法在訓(xùn)練過(guò)程中可以利用無(wú)標(biāo)簽的數(shù)據(jù)信息，因此在處理現(xiàn)實(shí)數(shù)據(jù)時(shí)被廣泛應(yīng)用?？紤]到在現(xiàn)實(shí)世界中存在大量無(wú)標(biāo)簽或者弱標(biāo)簽的視頻數(shù)據(jù)，但是有標(biāo)簽的視頻很少，而且人為標(biāo)注這些無(wú)標(biāo)簽視頻代價(jià)過(guò)高。為了更有效地處理現(xiàn)實(shí)世界的復(fù)雜視頻數(shù)據(jù)，本文第五章提出了一種半監(jiān)督的

6、遷移學(xué)習(xí)方法。首先在視頻特征基礎(chǔ)上建立基于圖模型的半監(jiān)督分類(lèi)器，從而可以充分的利用無(wú)標(biāo)簽的視頻信息提高分類(lèi)器的準(zhǔn)確率。另外利用視頻關(guān)鍵幀和圖像之間的共享特征，建立遷移學(xué)習(xí)模型，從而可以利用圖像包含的相關(guān)信息強(qiáng)化分類(lèi)結(jié)果。最后將兩個(gè)分類(lèi)器放在統(tǒng)一的框架中進(jìn)行優(yōu)化，利用圖像以及無(wú)標(biāo)簽視頻的相關(guān)信息得到更加有效的視頻分類(lèi)模型。在標(biāo)準(zhǔn)視頻數(shù)據(jù)集以及現(xiàn)實(shí)世界收集的視頻數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明第五章的提出的方法比相關(guān)最新算法更有效。為了有效的利用