基于標(biāo)記依賴關(guān)系的多標(biāo)記學(xué)習(xí)算法研究.pdf

1、多標(biāo)記分類是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘中一個(gè)重要的研究問題，其目的是為了預(yù)測(cè)實(shí)例同時(shí)具有的多個(gè)標(biāo)記。在大多實(shí)際應(yīng)用中，實(shí)例的多個(gè)標(biāo)記之間存在著潛在的依賴關(guān)系，發(fā)掘其中蘊(yùn)含的有用信息往往能夠有效地提高分類模型的學(xué)習(xí)性能。因此，如何學(xué)習(xí)和利用標(biāo)記間的依賴關(guān)系，已經(jīng)成為當(dāng)前多標(biāo)記分類學(xué)習(xí)領(lǐng)域的關(guān)鍵問題之一。
　　本文首先對(duì)研究現(xiàn)狀進(jìn)行了總結(jié)，分析了現(xiàn)有方法的優(yōu)缺點(diǎn)。接著，探索了學(xué)習(xí)和利用不同類型和應(yīng)用場(chǎng)景下的多標(biāo)記間依賴關(guān)系的多種途徑，提出了多

2、種更加有效的多標(biāo)記分類模型和算法。本文取得的研究成果主要如下:
　　(1)分類器鏈等模型往往隨機(jī)地為每個(gè)標(biāo)記確定其所依賴的其它標(biāo)記，因此可能獲得與實(shí)際不符的結(jié)果。為解決這一問題，本文提出了一種利用樹型貝葉斯網(wǎng)絡(luò)來表示標(biāo)記間依賴關(guān)系的方法。該方法通過明確度量多標(biāo)記間依賴程度的大小，來構(gòu)建一個(gè)以標(biāo)記為節(jié)點(diǎn)，標(biāo)記間依賴程度大小為權(quán)重的網(wǎng)絡(luò)結(jié)構(gòu)，從而能夠合理地確定多標(biāo)記間的依賴關(guān)系。進(jìn)一步，還利用集成學(xué)習(xí)技術(shù)構(gòu)建了多個(gè)可能的標(biāo)記間依賴結(jié)構(gòu)

3、，從而能夠更充分地考慮多標(biāo)記間的相互依賴關(guān)系。實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性，這表明通過度量標(biāo)記間的依賴程度大小并充分考慮標(biāo)記間的相互依賴關(guān)系，能夠進(jìn)一步提升分類模型的性能。
　　(2)提出了一種利用圖結(jié)構(gòu)表示標(biāo)記間的依賴程度，并將多標(biāo)記間依賴關(guān)系的迭代傳播表示成在圖上的隨機(jī)游走過程的多標(biāo)記學(xué)習(xí)算法。該方法首先構(gòu)建了標(biāo)記間的圖結(jié)構(gòu)，并利用重啟動(dòng)隨機(jī)游走模型來模擬標(biāo)記間依賴關(guān)系在圖中的迭代傳播過程。對(duì)給定測(cè)試實(shí)例，該方法首先給出各標(biāo)記

4、為其真實(shí)標(biāo)記的初始概率，然后采用類似PageRank的方法迭代地更新各標(biāo)記的值直到收斂為止。這種迭代重復(fù)更新的過程使得，各標(biāo)記不僅能考慮和其有直接依賴關(guān)系的標(biāo)記對(duì)其的影響，也能考慮其它間接的依賴關(guān)系。實(shí)驗(yàn)結(jié)果表明，該算法在多種評(píng)價(jià)標(biāo)準(zhǔn)下都明顯優(yōu)于其它對(duì)比算法，尤其當(dāng)數(shù)據(jù)集具有較多的標(biāo)記時(shí)。這表明，考慮標(biāo)記間依賴關(guān)系的迭代傳播，能夠更為有效地發(fā)掘和利用其中潛在的有用信息。
　　(3)在上一種方法的基礎(chǔ)上，進(jìn)一步提出了一種能夠考慮多種

5、潛在因素，并通過最優(yōu)化給定的目標(biāo)函數(shù)來學(xué)習(xí)多標(biāo)記間最優(yōu)的依賴程度的多標(biāo)記學(xué)習(xí)算法。該方法利用了多核學(xué)習(xí)的思想，首先基于不同的依賴關(guān)系定義，從不同方面給出了標(biāo)記間依賴程度的多種度量結(jié)果，然后以這些度量為輸入利用線性模型學(xué)習(xí)標(biāo)記間的最終依賴程度。該方法的優(yōu)勢(shì)包括:一是能夠綜合考慮從不同角度出發(fā)的標(biāo)記間依賴程度的度量;二是其通過最小化分類模型所采用的損失函數(shù)來估計(jì)線性模型的參數(shù)，因此能夠?qū)W習(xí)到對(duì)當(dāng)前分類任務(wù)最優(yōu)的標(biāo)記間依賴程度。實(shí)驗(yàn)結(jié)果表明，

6、通過優(yōu)化目標(biāo)函數(shù)而學(xué)習(xí)到的標(biāo)記間依賴關(guān)系和程度，和上一種方法等對(duì)比算法相比，該方法能明顯地提升相應(yīng)分類模型的性能。
　　(4)針對(duì)弱標(biāo)記和存在大量標(biāo)記的問題，本文基于矩陣分解模型提出了一種學(xué)習(xí)最優(yōu)的標(biāo)記排序的方法。該方法能夠?qū)⒃瓨?biāo)記空間映射到一個(gè)低維空間，從而能夠顯著地減少標(biāo)記個(gè)數(shù)并因此降低計(jì)算量。對(duì)訓(xùn)練集中的每個(gè)實(shí)例，都可以獲得兩個(gè)標(biāo)記集合:已經(jīng)明確給出的標(biāo)記，和其它沒有明確給出的標(biāo)記?，F(xiàn)有方法中大多假設(shè)，若標(biāo)記沒有明確給出則即

7、為實(shí)例的非相關(guān)標(biāo)記（非1即0）。為避免該假設(shè)可能引入的錯(cuò)誤信息，本文所提方法僅假設(shè)，對(duì)每個(gè)實(shí)例，和沒有明確給出的標(biāo)記相比，那些明確給出的標(biāo)記更應(yīng)該是實(shí)例的相關(guān)標(biāo)記。相應(yīng)地，該方法設(shè)計(jì)了一種類似AUC曲線的損失函數(shù)，并通過優(yōu)化該損失函數(shù)使得在為實(shí)例預(yù)測(cè)的標(biāo)記排序中，那些明確給出的標(biāo)記都盡量排在沒有明確給出的標(biāo)記之前。因此，該方法能夠在存在弱標(biāo)記的情況下，充分利用標(biāo)記間的依賴關(guān)系來產(chǎn)生一個(gè)更為合理的標(biāo)記排序。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法在特定數(shù)據(jù)集