結(jié)合標(biāo)記相關(guān)性的多標(biāo)記特征選擇及分類算法研究.pdf

1、區(qū)別于傳統(tǒng)監(jiān)督學(xué)習(xí)中每個(gè)對(duì)象只隸屬于一個(gè)概念標(biāo)記的學(xué)習(xí)框架，多標(biāo)記學(xué)習(xí)中一個(gè)對(duì)象同時(shí)對(duì)應(yīng)于多個(gè)概念標(biāo)記的學(xué)習(xí)框架能夠更加有效地對(duì)現(xiàn)實(shí)世界中所存在的問題進(jìn)行分析:例如，一幅圖像可能同時(shí)具有“沙漠”、“仙人掌”、“太陽(yáng)”等標(biāo)記;一篇文檔也可同時(shí)標(biāo)記為“諾貝爾獎(jiǎng)”、“屠呦呦”、“醫(yī)學(xué)”等。近十幾年以來(lái)，在眾多領(lǐng)域的成功應(yīng)用使得多標(biāo)記學(xué)習(xí)的研究一直炙手可熱，而標(biāo)記相關(guān)性的挖掘與利用這一核心研究?jī)?nèi)容更是倍受關(guān)注。學(xué)者們已經(jīng)提出了一系列利用標(biāo)記相關(guān)

2、性的多標(biāo)記分類算法，然而高維數(shù)據(jù)中大量冗余特征、不相關(guān)特征的存在仍然導(dǎo)致了分類器性能的降低。因此，特征選擇在高維數(shù)據(jù)的多標(biāo)記分類中發(fā)揮著至關(guān)重要的作用，但在現(xiàn)有的多標(biāo)記特征選擇算法中，有效利用標(biāo)記相關(guān)性的并不多見。為此，本文圍繞如何挖掘與利用標(biāo)記相關(guān)性以提高多標(biāo)記特征選擇并輔助多標(biāo)記分類這一目標(biāo)，提出了三種結(jié)合標(biāo)記相關(guān)性的多標(biāo)記特征選擇及分類算法。主要研究工作如下:
　　1.提出了一種結(jié)合標(biāo)記相關(guān)性的多標(biāo)記ReliefF特征選擇算

3、法(ML-ReliefF:Multi-label ReliefF Feature Selection Algorithm)。該算法以經(jīng)典的ReliefF特征選擇算法為基礎(chǔ)，在同類近鄰與異類近鄰的劃分中將樣本所隸屬的標(biāo)記集之間的相關(guān)程度作為衡量標(biāo)準(zhǔn)來(lái)取代原先簡(jiǎn)單的距離度量，有效結(jié)合了多個(gè)標(biāo)記之間的相關(guān)性。與此同時(shí)，改進(jìn)后的權(quán)值更新公式也更加適用于多標(biāo)記學(xué)習(xí)框架。在多標(biāo)記數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，ML-ReliefF算法能夠有效選擇出最優(yōu)特征

4、子集，顯著提高了多標(biāo)記學(xué)習(xí)的分類效果。
　　2.提出了一種結(jié)合標(biāo)記相關(guān)性的半監(jiān)督多標(biāo)記特征選擇及分類算法(LCCSFS: Label Correlation joined Convex Semi-supervised Feature Selection forMulti-label Classificaition)。該算法針對(duì)樣本標(biāo)記難以獲取這一問題，改進(jìn)了半監(jiān)督學(xué)習(xí)框架下的多標(biāo)記特征選擇及分類算法CSFS。LCCSFS算法通過(guò)構(gòu)

5、建標(biāo)記協(xié)方差矩陣自動(dòng)學(xué)習(xí)了成對(duì)且對(duì)稱的標(biāo)記相關(guān)性，并有效利用了未知標(biāo)記數(shù)據(jù)的信息以幫助標(biāo)記協(xié)方差的估計(jì)，從而將標(biāo)記相關(guān)性的自動(dòng)學(xué)習(xí)與利用，多標(biāo)記特征選擇和多標(biāo)記分類統(tǒng)一在同一個(gè)模型框架中。實(shí)驗(yàn)結(jié)果表明，標(biāo)記相關(guān)性的加入有效提高了半監(jiān)督多標(biāo)記特征選擇及分類算法的效果。
　　3.提出了一種結(jié)合局部標(biāo)記相關(guān)性的多標(biāo)記特征選擇算法(Loc-MLFS:Multi-label Feature Selection by exploiting L

6、abel Correlation Locally)。該算法以標(biāo)記相關(guān)性的局部性質(zhì)（學(xué)習(xí)過(guò)程中并非所有樣本利用的標(biāo)記相關(guān)性都相同，即標(biāo)記相關(guān)性并非全局共享）為立足點(diǎn)，有效地將局部標(biāo)記相關(guān)性利用到多標(biāo)記特征選擇算法中。Loc-MLFS算法通過(guò)對(duì)標(biāo)記空間進(jìn)行屬性聚類將樣本劃分為組，再分別對(duì)每組數(shù)據(jù)進(jìn)行多標(biāo)記特征選擇，從而實(shí)現(xiàn)局部標(biāo)記相關(guān)性的利用。與此同時(shí)，該算法可以推廣為一個(gè)統(tǒng)一架構(gòu)。多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，局部相關(guān)性的利用顯著提高了多標(biāo)