多視圖的半監(jiān)督學習研究.pdf

1、學習是人類具有的一種重要智能行為,模仿人類的學習過程是機器學習的主要目標。機器學習根據(jù)生理學、認知科學等對人類學習機理的研究成果,建立人類學習過程的計算模型,研究通用的學習算法,是人工智能和神經(jīng)計算的核心研究內(nèi)容之一。
　　 基于數(shù)據(jù)的機器學習從觀測數(shù)據(jù)中構建模型,以對無法觀測的數(shù)據(jù)或未見數(shù)據(jù)進行預測。隨著信息時代的到來,數(shù)據(jù)大量存在,但獲取數(shù)據(jù)的標記需要耗費人力物力。這里的“標記”是指數(shù)據(jù)所對應的輸出,如在分類問題中標記就是數(shù)

2、據(jù)的類別。傳統(tǒng)的監(jiān)督學習方法從有標記的數(shù)據(jù)中構建模型,當有標記的數(shù)據(jù)較少時所訓練出的學習系統(tǒng)很難具有好的性能。半監(jiān)督學習研究當有標記的數(shù)據(jù)較少時如何利用大量的未標記數(shù)據(jù)來改善學習性能,具有廣泛的應用領域,是當前機器學習研究的熱點問題之一。
　　 在機器學習的許多實際問題中數(shù)據(jù)有多個視圖,如何綜合利用數(shù)據(jù)的多個視圖進行學習是具有挑戰(zhàn)性的研究內(nèi)容。本文研究多視圖的半監(jiān)督學習,對多視圖半監(jiān)督學習中的學習理論、學習算法、以及多視圖的構造

3、等關鍵問題進行了深入的研究,取得了一定的研究成果,并經(jīng)過充分的實驗驗證,為進一步的研究和應用奠定了基礎。
　　 本文創(chuàng)造性的研究成果主要有:
　　 1.提出一種多視圖半監(jiān)督學習中的正則化方法。從有限樣本中學習往往是病態(tài)逆問題,解決的辦法是對學習過程加以限制,這個過程稱為正則化。針對多視圖的半監(jiān)督學習,利用假設空間的度量結構,定義學習函數(shù)的光滑性和一致性。在每個視圖內(nèi)的學習過程中限制函數(shù)的光滑性,在多個視圖的協(xié)同學習過程中

4、限制函數(shù)的一致性。提出一種兩個層次的正則化算法,同時使用函數(shù)的光滑性和一致性進行正則化,并對算法預測誤差進行理論分析。實驗表明,該算法較僅使用光滑性或僅使用一致性的正則化方法在預測性能上有顯著提高。
　　 2.提出一種基于圖的多視圖半監(jiān)督學習方法。分析圖表示法的適用性,使用多個圖結構表示多視圖數(shù)據(jù),將基于圖的半監(jiān)督學習擴展到數(shù)據(jù)有多個視圖的情況。提出一種多個圖的半監(jiān)督學習算法,在每個圖上進行半監(jiān)督學習,并在多個圖上協(xié)同學習,從而

5、同時優(yōu)化多個圖上的學習器。從概率角度分析多個圖上的學習過程。實驗表明,該算法較單個圖上的半監(jiān)督學習算法有更高的分類精度。
　　 3.提出一種隨機子空間中的多視圖構造及學習方法。在數(shù)據(jù)的特征空間中取隨機子空間,將數(shù)據(jù)映射到多個隨機子空間中,以構造數(shù)據(jù)的多個視圖。提出一種隨機子空間中的多視圖半監(jiān)督學習算法,將每個視圖上的學習器預測置信度最高的未標記數(shù)據(jù)用于訓練其它視圖上的學習器,從而使各個視圖上的學習器協(xié)同訓練。使用隨機判別理論對算