基于局部和非局部規(guī)則化的半監(jiān)督深度學習.pdf

1、隨著深度學習模型在多領域的成功應用，基于規(guī)則化的深度神經網絡得到了迅猛發(fā)展，即在深度學習模型最終優(yōu)化的目標函數（損失函數）中加入了一些規(guī)則化項，使得最終訓練得到的特征更有益于后續(xù)的應用。但就分類任務而言，當前規(guī)則化方法的性能面臨著嚴重的挑戰(zhàn)。
　　針對上述問題，本論文就分類任務，設計了一種新穎的規(guī)則化方法，它整合了標記樣本和無標記樣本中的局部和非局部約束信息，通過利用這些信息來提取那些能夠有效保留原始樣本空間中的類別可分性的抽象特

2、征。對于標記樣本，利用類標簽來定義局部和非局部的信息，然后通過最小化類內緊密性（局部性）和最大化類間可分性（非局部性）來獲得拓撲規(guī)則化項。對于無標記樣本，使用一個樣本到其他樣本的平均距離作為閾值來判定它的鄰居和非鄰居樣本，然后這個拓撲規(guī)則化項就是同時最大化非局部散度和最小化局部散度。通過整合標記樣本和無標記樣本的局部和非局部拓撲規(guī)則化項，判別規(guī)則化項能夠提取那些更適合分類的特征。
　　綜上所述，本文提出的基于局部和非局部規(guī)則化的半