基于KL距離的半監(jiān)督分類算法.pdf

1、隨著網(wǎng)絡、醫(yī)學等技術(shù)的發(fā)展,每時每刻都會產(chǎn)生大量的數(shù)據(jù),為了儲存和管理數(shù)據(jù),還需要耗費大量的人力和物力。在這種背景下,數(shù)據(jù)挖掘方法被用于處理分類等實際應用中。但是,在傳統(tǒng)分類任務中,只有通過增加人工標識的已知訓練樣本來提高分類精準度,造成了標注成本的增加。因此,圍繞如何利用未標識樣本來提高分類性能的研究與應用就引起了學術(shù)界和工業(yè)界越來越多的關注,其中,基于已知正類樣本和未標識樣本的半監(jiān)督分類就成了研究的熱點問題之一。
　　本文主要

2、研究在訓練集中沒有任何反類實例可供學習前提下,如何有效找未標記集中隱藏的反類實例。目前,基于已知正樣本和未標識樣本的半監(jiān)督分類方法都是針對均衡數(shù)據(jù)集的,而無法有效處理非平衡數(shù)據(jù)問題,即訓練集和未標識數(shù)據(jù)集中的類別數(shù)據(jù)分布差異很大或者未標識數(shù)據(jù)集中的反類實例個數(shù)特別少。針對這一特殊問題,本文提出的解決方法也是非常直接和高效的。由于在傳統(tǒng)分類過程中,分類器最終是根據(jù)實例所屬后驗概率的大小來未標識實例分類,因此,本文提出了基于KL距離的半監(jiān)督

3、分類算法,利用未標識實例所屬后驗概率和訓練集中類別先驗概率的相對熵來衡量分類結(jié)果的正確度,從而抵消了類別不平衡對分類結(jié)果的影響,提高了分類的精確度。同時,針對平衡數(shù)據(jù)集,本文又提出了直接基于后驗概率的熵值來衡量后驗概率的差異程度:當后驗概率的熵值越小時,后驗概率的分布就越不均勻,對實例的分類可信度就越高,反之亦然。
　　本文的主要貢獻包括:
　　1.提出了一種新的半監(jiān)督學習方法。該方法的底層可以使用任何一種具體的分類技術(shù),依

4、賴任何一種底層分類技術(shù),從而避免了分類器對分類結(jié)果的影響,降低了數(shù)據(jù)類型和分類器之間的依賴度。
　　2.采用了更加簡單靈活的處理方式:對于非平衡訓練集,就采用基于KL距離的半監(jiān)督學習算法;而對于平衡訓練集,可以直接采用基于熵的半監(jiān)督學習算法。
　　3.提供的實驗數(shù)據(jù)集,不僅有文本數(shù)據(jù),還有非文本數(shù)據(jù)。同時,保證了不同參數(shù)或因素下的性能對比。
　　4.提供了大量充分的實驗來驗證所提方法的有用性和高效性。通過文本數(shù)據(jù)集和非