基于構造性學習的覆蓋算法的發(fā)展及應用.pdf

1、機器學習通過使用機器來模擬人類的學習活動，從已知事物中發(fā)現(xiàn)規(guī)律、獲取知識，從而建立對未知事物的預測模型，根據經驗不斷提高自身的水平。研究者經過多年的探索，提出了如支持向量機、決策樹、神經網絡等多種優(yōu)秀的學習方法，并將這些方法推廣到機器學習中的各個領域。中國學者在基于覆蓋思想的學習方法上進行了很多工作，張鈴和張鈸所提出的基于構造性學習的覆蓋算法被認為是一種具有代表性的方法。
　　 覆蓋算法能夠根據樣本的自身特點來構造神經網絡，克服

2、了傳統(tǒng)神經網絡中的一些缺陷，如網絡結構難以確定、速度慢等。該方法形式直觀，能夠有效對多類分類問題和海量數據進行處理，在一些實際應用中表現(xiàn)出良好的性能。相關研究者圍繞著該算法的改進和應用進行了大量的研究工作。
　　 目前已有的對覆蓋算法的各項工作都是針對單示例單標記的學習方式來進行的，但隨著機器學習的發(fā)展，不斷出現(xiàn)一些新的學習問題。本文結合機器學習中出現(xiàn)的一些新模型，對覆蓋算法進行了發(fā)展和應用，主要體現(xiàn)在如下幾個方面：
　　

3、 (1)對覆蓋算法進行了全面研究，并將算法應用于實際分類問題的解決。
　　 本文對覆蓋算法的基本模型以及近年來所取得的各項理論和應用成果進行了全面研究，探討了如何將算法應用于文本分類和垃圾郵件過濾等問題的解決。
　　 在應用過程中，針對實際問題的特點，設計了不同的改進策略。在文本分類中，通過引入維數調節(jié)的策略，使不同類別文本的特征能夠在特征向量中均等出現(xiàn)，提高文本分類的準確率。在垃圾郵件過濾中，將郵件的各類附加信息與正

4、文內容一起構成復合特征，提高過濾器的分類效果，并針對垃圾郵件過濾中正常郵件的風險最小化問題進行了討論。
　　 (2)對核覆蓋算法進行了細致分析，將算法加強為模糊核覆蓋算法。
　　 支持向量機方法通過將樣本映射到高維特征空間后構造最優(yōu)分類超平面，取得了優(yōu)秀的分類性能。將核函數引入到覆蓋算法后所得到的核覆蓋算法能夠有效提高分類能力，但仍存在不足之處。本文對核覆蓋算法中的半徑選擇策略和分類原則進行了細致分析，指出現(xiàn)有處理方式所

5、存在的缺陷。通過改變領域半徑的確定原則，并對拒識樣本引入新的隸屬度函數來描述樣本對各個類別的隸屬度，將算法加強為模糊核覆蓋算法，明確了隸屬度函數的物理意義。引入幾種性能不同的覆蓋約簡方法，結合模糊核覆蓋算法，能夠在保持識別性能的前提下，有效降低覆蓋數量，提高分類效率。在一些數據集上的測試和對比表明了方法的有效性。
　　 (3) 研究了多標記學習下的覆蓋算法。
　　 傳統(tǒng)學習問題中，每個樣本只屬于一個類別，即僅有一個標記。

6、而在實際應用中，一個樣本可能同時屬于多個類別，如文本分類和場景分類等。本文對多標記學習中的樣本集分解和算法改造兩種策略進行了研究，針對多標記學習的特點和評價指標，探討如何使用覆蓋算法來解決多標記問題。實驗表明，多標記覆蓋算法的性能達到了同類算法中的先進水平，并且在時空開銷上具有優(yōu)勢。由于多標記學習中對訓練數據的標記需要更多的人力和物力，因此數據集中的已標記樣本數量一般較少。為了能利用大量未標記樣本來輔助學習，本文采用半監(jiān)督學習中的自訓練

7、策略，結合已標記樣本和未標記樣本來訓練分類器，提高分類性能，取得了一定成效。
　　 (4) 討論了如何在多示例學習中使用覆蓋算法進行分類。
　　 多示例學習與傳統(tǒng)的監(jiān)督學習、無監(jiān)督學習和強化學習都存在差異，是機器學習中的第四種框架，起源于藥物分子活性預測的研究。在多示例學習中，學習的對象是由多個示例所構成的包，包的標記已知，示例的標記未知，但包的標記是由某些示例決定的。多示例學習的難度比帶噪聲的監(jiān)督學習難度更大。本文對現(xiàn)

8、有的各類多示例學習方法進行了研究，對如何將覆蓋算法應用于多示例學習進行了探討，根據不同的解決思路，給出幾種多示例學習覆蓋算法，算法效果達到大多數同類方法的水平。多示例多標記學習結合了多示例學習和多標記學習兩種問題，是分類問題中的最一般情況，能夠描述輸入空間和輸出空間中所具有的歧義性。本文探討了如何將覆蓋算法與其它方法相結合來解決該問題的思路，并給出初步的解決方案。
　　 在本文的研究工作中，進行了如下創(chuàng)新：
　　 (1)

9、 將覆蓋算法應用于文本分類和垃圾郵件過濾等實際分類問題，并針對具體應用的特點分別提出不同的調整策略，提高分類器的性能。
　　 (2)對核覆蓋算法中如何確定領域半徑給出新的策略；對拒識點引入新的隸屬度函數；對隸屬度函數的物理意義給予明確的解釋；將核覆蓋算法加強為模糊核覆蓋算法；結合模糊核覆蓋算法給出幾種覆蓋精簡的方法。
　　 (3) 將覆蓋算法推廣到多標記學習，結合樣本集分解和算法改造兩種策略，提出多標記覆蓋算法，其性能達