面向不平衡分類(lèi)的邏輯回歸算法.pdf

1、類(lèi)分布不平衡的數(shù)據(jù)集在現(xiàn)實(shí)生活中大量存在，傳統(tǒng)的成熟分類(lèi)算法大多建立在數(shù)據(jù)集類(lèi)分布大致平衡這一假設(shè)上，而對(duì)于類(lèi)分布不平衡的數(shù)據(jù)集往往取得較差的分類(lèi)效果。而且，在不平衡分類(lèi)問(wèn)題中往往少數(shù)類(lèi)比多數(shù)類(lèi)具有更重要的意義，因此不能僅僅使用準(zhǔn)確率來(lái)評(píng)估不平衡分類(lèi)算法的性能，對(duì)于不平衡分類(lèi)問(wèn)題可用召回率、g-mean值以及f-measure值等評(píng)估指標(biāo)對(duì)不平衡分類(lèi)算法進(jìn)行評(píng)估。邏輯回歸算法是數(shù)據(jù)挖掘中常用的分類(lèi)方法，尤其對(duì)于兩類(lèi)分類(lèi)問(wèn)題。邏輯回歸算法

2、最明顯的優(yōu)勢(shì)就是它是基于概率的分類(lèi)算法并且很容易被擴(kuò)展到多類(lèi)問(wèn)題，但是邏輯回歸并不適應(yīng)于不平衡分類(lèi)問(wèn)題，因?yàn)槠淠繕?biāo)函數(shù)是最大化每個(gè)實(shí)例被正確分類(lèi)的概率的對(duì)數(shù)之和，而不考慮該實(shí)例是少數(shù)類(lèi)還是多數(shù)類(lèi)，這樣會(huì)導(dǎo)致將更多的少數(shù)類(lèi)實(shí)例誤分為多數(shù)類(lèi)。
　　本文在邏輯回歸的基礎(chǔ)處上，根據(jù)類(lèi)分布不平衡數(shù)據(jù)集的特點(diǎn)，結(jié)合傳統(tǒng)的邏輯回歸算法和三個(gè)不平衡分類(lèi)問(wèn)題的評(píng)價(jià)指標(biāo)召回率、g-mean值以及f-measure值提出了三種適合于不平衡分類(lèi)的目標(biāo)函數(shù)

3、 LRM(Logistic and Recall based Metric)、GBM(G-mean based Metric)和FBM(F-measure based Metric)，在這三種目標(biāo)函數(shù)的基礎(chǔ)上，本文提出三種適合于不平衡分類(lèi)問(wèn)題的分類(lèi)算法RBLR(Recall Based Logistic Regression)、GBLR(G-mean Based Logistic Regression)和FBLR(F-measure B

4、ased Logistic Regression)。在這三種算法的求解過(guò)程中，使用擬牛頓法來(lái)解決最優(yōu)化問(wèn)題，預(yù)測(cè)階段使用和傳統(tǒng)的邏輯回歸算法類(lèi)似的方法進(jìn)行預(yù)測(cè)。在16個(gè)UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的三種算法RBLR、GBLR以及 FBLR能在很好的在保持較高準(zhǔn)確率的前提下，有效地提高少數(shù)類(lèi)的召回率、g-mean值以及f-measure值。與過(guò)采樣邏輯回歸OSLR(Over-Sampled Logistic Regression