統(tǒng)計稀疏學(xué)習(xí)-特征提取、聚類、分類及多特征融合.pdf

1、統(tǒng)計學(xué)習(xí)作為統(tǒng)計學(xué)和人工智能的交叉學(xué)科，近年來得到快速發(fā)展，并在諸多領(lǐng)域得到了廣泛的應(yīng)用，例如數(shù)據(jù)挖掘、機器學(xué)習(xí)、內(nèi)容檢索、計算機視覺等等。其中基于稀疏理論的統(tǒng)計學(xué)習(xí)方法因稀疏分解理論、壓縮傳感理論的研究及其成功的廣泛應(yīng)用，引起了信息科學(xué)與統(tǒng)計學(xué)等領(lǐng)域研究者的極大關(guān)注，并對當(dāng)前統(tǒng)計學(xué)習(xí)的研究產(chǎn)生了深刻影響。當(dāng)前，統(tǒng)計學(xué)習(xí)領(lǐng)域的學(xué)者結(jié)合稀疏特性對傳統(tǒng)統(tǒng)計學(xué)習(xí)理論和方法進(jìn)行了豐富和拓展，正逐步形成有特色的統(tǒng)計稀疏學(xué)習(xí)學(xué)科，并成為統(tǒng)計學(xué)習(xí)與信

2、息處理的重要研究方向。
　　 本文以統(tǒng)計稀疏學(xué)習(xí)方法為主線，著重在基于統(tǒng)計稀疏學(xué)習(xí)的數(shù)據(jù)降維、特征提取、遷移學(xué)習(xí)、聚類及分類等任務(wù)方面進(jìn)行了深入的調(diào)研及探討，并提出了相應(yīng)的新方法和研究的新思路。其主要內(nèi)容如下:
　　 1.本文首先對于統(tǒng)計稀疏學(xué)習(xí)方法的研究背景和意義進(jìn)行了介紹，并對其在視覺問題上的應(yīng)用進(jìn)行了探索，然后分析了統(tǒng)計稀疏學(xué)習(xí)方法在國內(nèi)外的研究現(xiàn)狀。
　　 2.本文對當(dāng)前的稀疏主元分析進(jìn)行了調(diào)研，并分析了

3、其若干局限性，特別是當(dāng)前的方法無法對高階的數(shù)據(jù)進(jìn)行直接處理，而只能先把數(shù)據(jù)轉(zhuǎn)換成向量進(jìn)行操作。這樣的轉(zhuǎn)換必然破壞了數(shù)據(jù)之間的空間關(guān)系。對于這個問題，本文提出了一個嶄新的稀疏高階數(shù)據(jù)主元分析算法。我們的算法可以直接對基于張量表達(dá)的高階數(shù)據(jù)進(jìn)行分析，以達(dá)到數(shù)據(jù)降維和特征提取的效果。
　　 3.對于聚類問題，我們對于當(dāng)前的一個基于字典學(xué)習(xí)的方法進(jìn)行的分析，并對當(dāng)前最廣泛應(yīng)用的k-means算法進(jìn)行考查，然后指出了其在某些方面的局限性。

4、針對這些局限性，我們提出了一個基于稀疏表達(dá)和字典學(xué)習(xí)的多任務(wù)聚類算法。我們的算法對于每一個潛在類學(xué)習(xí)一個字典以表達(dá)這個類的特征信息，同時對于所有數(shù)據(jù)學(xué)習(xí)一個公共字典以捕捉那些被多個類共享的信息。我們的算法以多任務(wù)學(xué)習(xí)的方式進(jìn)行運作，并相應(yīng)地提高了聚類性能。
　　 4.本文考察了當(dāng)前的遷移學(xué)習(xí)領(lǐng)域中學(xué)者還未涉及到的方向，即如何對于無標(biāo)簽的異構(gòu)數(shù)據(jù)進(jìn)行無監(jiān)督地遷移以達(dá)到增強求解目標(biāo)任務(wù)性能的目的。面對這個問題，我提出了一個基于稀疏表

5、達(dá)及字典學(xué)習(xí)的無監(jiān)督遷移學(xué)習(xí)算法。我們的算法可以對源域數(shù)據(jù)尋找一個投影空間，以使驅(qū)使著這些異構(gòu)數(shù)據(jù)像目標(biāo)域數(shù)據(jù)空間靠攏。之后，我們的算法有選擇性的地挑取更有意義的數(shù)據(jù)進(jìn)行遷移，以提高目標(biāo)域任務(wù)的性能。
　　 5.對于基于稀疏表達(dá)和字典學(xué)習(xí)的圖片分類問題，本文進(jìn)行了深刻地探討和分析，并指出了當(dāng)前的前沿方法的缺陷。針對這些缺陷，我們提出了一個新的基于字典學(xué)習(xí)的圖片分類算法。我們的算法對于每個類都學(xué)習(xí)一個字典以捕捉那些最具有特色的信息

6、，同時對于所有類學(xué)習(xí)一個共享字典以表達(dá)那些被多個類共享的必要的數(shù)據(jù)重構(gòu)信息。通過我們的算法學(xué)習(xí)到的字典更加緊湊、更加具有判別能力，更重要的是，我們的算法可以把每個類中最具有判別特征的信息和那些被其他類也共享的信息分離開來，以達(dá)到提高分類正確率的效果。
　　 6.本文進(jìn)一步把基于字典學(xué)習(xí)的圖片分類算法擴展到了多特征分類任務(wù)中。與基于一種特征的圖片分類相比，對于一張圖片的多個特征同時進(jìn)行分析并依據(jù)多個特征進(jìn)行分類將能得到更好的分類結(jié)