面向高維數據的特征學習理論與應用研究.pdf

1、隨著信息獲取和信息傳輸技術的飛速發(fā)展，海量圖像、視頻、文本以及音頻等數據不斷生成。這些數據結構復雜、表征維度高，通常含有大量無關的冗余信息，直接處理和利用這些原始數據通常難以獲得理想的效果。特征學習就是要從復雜的高維數據中挖掘出反映數據本質的、更為緊湊的內蘊結構特征，不僅可以降低數據處理的時空復雜度，而且可以顯著改善后續(xù)處理任務如分類、聚類、檢索等的性能。為此，圍繞特征學習方法的研究受到了機器學習領域專家的高度重視。目前廣為使用的特征學

2、習方法包括線性特征學習的主成分分析、線性判別分析、非負矩陣分解等，以及非線性特征學習的等距映射、局部線性嵌入方法、拉普拉斯特征映射、鄰域保持嵌入、等距投影、局部保持投影以及判別鄰域嵌入等，雖然這些方法在分析和處理高維數據時有其各自的優(yōu)勢，但是在某些場合應用時仍然會出現各種問題。本論文正是針對現有特征學習方法中的不足，研究相應的應對措施，并提出了若干全新的算法。除此之外，由于張量能夠自然的表征復雜的數據結構近年來備受關注，本論文在張量學習

3、方法上進行了大膽的探索。
　　具體來說，本文的主要貢獻集中在以下幾個方面:
　　(1)概念分解是純粹的無監(jiān)督學習方法，不能利用先驗知識指導學習過程。針對上述不足，本文提出基于半監(jiān)督概念分解的特征學習方法。該方法利用有監(jiān)督信息指導聚類過程，把對約束獎懲項引入概念分解框架中。由于屬于同一類的數據點對在新的表示空間有不同的強度，因此在為每個對約束添加懲罰時，依據其重要性的大小添加相應權重，更好地解釋了類內方差，因而得到了更易于聚類

4、的低維特征。通過精心設計目標函數使得那些在源空間屬于同一類的數據點在低維轉換空間仍然屬于同一類，同時給出了求解局部最優(yōu)解的迭代更新策略，并證明了該迭代更新策略收斂。和時下經典聚類算法的對比實驗，表明本算法獲得的特征表示更有利于文檔聚類任務的高效實現。
　　(2)針對半監(jiān)督概念分解方法忽略無標記樣本的局部結構信息這一缺陷，提出了基于鄰域保持的半監(jiān)督概念分解特征學習方法。該方法把對約束信息和與不變性相關的信息引入到概念分解框架中以提高

5、學習性能。這里的不變性不僅包括幾何空間上的鄰域保持性質，也包括由對約束must-link產生的約束保持性質。為此我們使用了捕獲幾何結構信息的p-近鄰圖和保持約束限制的成員鄰接圖編碼信息。此外，構造了目標函數的迭代優(yōu)化算法，分析了迭代優(yōu)化算法的收斂性。通過充分的對比實驗驗證了本算法具有更好的適應性，可以獲得區(qū)分度更高的特征表示。
　　(3)局部保持投影是一種經典的無監(jiān)督的流形學習方法，但是該方法不能利用有監(jiān)督信息指導學習過程。針對上

6、述不足，本文提出了基于局部一致判別的特征學習方法。該方法在LPP的基礎上，借助有類別標記數據點構建類內鄰接圖和類間鄰接圖，通過優(yōu)化目標函數使得同類的頂點更加緊湊，不同類的頂點更加疏遠，從而完成劃分過程。由此得到的局部一致判別分析方法不僅保持數據的局部幾何結構信息，同時也增強了數據的判別性。除此之外，給出了局部一致判別分析的目標函數的優(yōu)化算法。和經典的人臉識別算法在公開數據集上的對比試驗表明了本算法的有更強的判別能力。
　　(4)給

7、出了張量樹特征學習算法框架，揭示了經典張量分解如Tucker分解和CP分解與張量樹學習理論的關系，并給出了張量樹特征學習算法框架下的鄰域嵌入張量學習新算法。數據的多樣化、海量化、高階化使研究者們展開多方位的研究，張量作為一種有效的表示和分析復雜數據的工具受到了廣泛關注。我們在已有工作的基礎上，提出了新的張量樹學習算法并構建張量樹特征學習理論框架，豐富和發(fā)展了張量學習的研究內容。進一步地，在判別鄰域嵌入方法的基礎上，提出了張量樹特征學習理