基于深度學習的多模態(tài)數據特征提取與選擇方法研究.pdf

1、隨著互聯網的發(fā)展以及科學技術的不斷進步，在現實生活與科學研究中都積累了大量類型不同的數據。而且其中大部分數據都呈現為結構各異的非結構化數據，具有維度較高，表現形式迥異，含有大量冗余信息等特點。而傳統的機器學習方法又無法直接利用這些多模態(tài)非結構化數據，提出一種用于多模態(tài)數據的特征提取方法成為迫切需要。同時因為不同模態(tài)中包含著冗余信息甚至噪聲信息，對于這一問題需要提出一種能夠對不同數據模態(tài)的特征進行選擇的方法，以便去除冗余與噪聲信息。

2、>　　本文提出了一系列基于深度學習的多模態(tài)數據特征提取與特征選擇方法。首先為了解決多模態(tài)環(huán)境下不同數據模態(tài)之間結構差異巨大，傳統機器學習方法無法直接應用這一現實問題，本文引入了深度學習這一特征提取方法，將深度學習的思想應用于多模態(tài)特征提取。本文提出了一種多模態(tài)神經網絡，對于每一種模態(tài)都有一個獨立結構的多層子神經網絡與之對應，用于將不同模態(tài)下的特征轉換為同模態(tài)特征。同時通過位于這些子神經網絡之上的所有模態(tài)共有的一個網絡層，在這些這些不同的

3、模態(tài)之間建立聯系，最終將多個異構模態(tài)轉換成為同一模態(tài)并且從中提取出多種數據模態(tài)的融合特征。
　　另一方面，不同的模態(tài)對于當前的學習任務作用也不盡相同，為了評價不同模態(tài)對于當前學習任務的重要程度，本文提出了一種結合了深度神經網絡與稀疏表達學習的多模態(tài)特征評價與選擇方法。首先使用多模態(tài)神經網絡將不同模態(tài)的異構特征轉換成為同模態(tài)下的同構特征，隨后采用基于結構化稀的特征選擇方法，得到不同模態(tài)的重要性權值，選擇出對于當前學習任務最重要的特征