基于KL距離的半監(jiān)督分類算法.pdf

1、隨著網(wǎng)絡(luò)、醫(yī)學(xué)等技術(shù)的發(fā)展,每時(shí)每刻都會(huì)產(chǎn)生大量的數(shù)據(jù),為了儲(chǔ)存和管理數(shù)據(jù),還需要耗費(fèi)大量的人力和物力。在這種背景下,數(shù)據(jù)挖掘方法被用于處理分類等實(shí)際應(yīng)用中。但是,在傳統(tǒng)分類任務(wù)中,只有通過增加人工標(biāo)識(shí)的已知訓(xùn)練樣本來提高分類精準(zhǔn)度,造成了標(biāo)注成本的增加。因此,圍繞如何利用未標(biāo)識(shí)樣本來提高分類性能的研究與應(yīng)用就引起了學(xué)術(shù)界和工業(yè)界越來越多的關(guān)注,其中,基于已知正類樣本和未標(biāo)識(shí)樣本的半監(jiān)督分類就成了研究的熱點(diǎn)問題之一。
　　本文主要

2、研究在訓(xùn)練集中沒有任何反類實(shí)例可供學(xué)習(xí)前提下,如何有效找未標(biāo)記集中隱藏的反類實(shí)例。目前,基于已知正樣本和未標(biāo)識(shí)樣本的半監(jiān)督分類方法都是針對(duì)均衡數(shù)據(jù)集的,而無法有效處理非平衡數(shù)據(jù)問題,即訓(xùn)練集和未標(biāo)識(shí)數(shù)據(jù)集中的類別數(shù)據(jù)分布差異很大或者未標(biāo)識(shí)數(shù)據(jù)集中的反類實(shí)例個(gè)數(shù)特別少。針對(duì)這一特殊問題,本文提出的解決方法也是非常直接和高效的。由于在傳統(tǒng)分類過程中,分類器最終是根據(jù)實(shí)例所屬后驗(yàn)概率的大小來未標(biāo)識(shí)實(shí)例分類,因此,本文提出了基于KL距離的半監(jiān)督

3、分類算法,利用未標(biāo)識(shí)實(shí)例所屬后驗(yàn)概率和訓(xùn)練集中類別先驗(yàn)概率的相對(duì)熵來衡量分類結(jié)果的正確度,從而抵消了類別不平衡對(duì)分類結(jié)果的影響,提高了分類的精確度。同時(shí),針對(duì)平衡數(shù)據(jù)集,本文又提出了直接基于后驗(yàn)概率的熵值來衡量后驗(yàn)概率的差異程度:當(dāng)后驗(yàn)概率的熵值越小時(shí),后驗(yàn)概率的分布就越不均勻,對(duì)實(shí)例的分類可信度就越高,反之亦然。
　　本文的主要貢獻(xiàn)包括:
　　1.提出了一種新的半監(jiān)督學(xué)習(xí)方法。該方法的底層可以使用任何一種具體的分類技術(shù),依

4、賴任何一種底層分類技術(shù),從而避免了分類器對(duì)分類結(jié)果的影響,降低了數(shù)據(jù)類型和分類器之間的依賴度。
　　2.采用了更加簡(jiǎn)單靈活的處理方式:對(duì)于非平衡訓(xùn)練集,就采用基于KL距離的半監(jiān)督學(xué)習(xí)算法;而對(duì)于平衡訓(xùn)練集,可以直接采用基于熵的半監(jiān)督學(xué)習(xí)算法。
　　3.提供的實(shí)驗(yàn)數(shù)據(jù)集,不僅有文本數(shù)據(jù),還有非文本數(shù)據(jù)。同時(shí),保證了不同參數(shù)或因素下的性能對(duì)比。
　　4.提供了大量充分的實(shí)驗(yàn)來驗(yàn)證所提方法的有用性和高效性。通過文本數(shù)據(jù)集和非