高維數(shù)據(jù)的若干分類(lèi)問(wèn)題及算法研究.pdf

1、隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等科學(xué)技術(shù)的飛速發(fā)展，許多實(shí)際應(yīng)用產(chǎn)生的數(shù)據(jù)規(guī)模越來(lái)越大，維度越來(lái)越高。由于高維數(shù)據(jù)的普遍性和重要性，研究高維數(shù)據(jù)挖掘具有非常重要的意義，因而在學(xué)術(shù)界引起了高維數(shù)據(jù)挖掘研究熱潮的興起。目前研究的熱點(diǎn)主要集中在高維數(shù)據(jù)分類(lèi)上。由于受維度效應(yīng)的影響，許多在低維數(shù)據(jù)上表現(xiàn)良好的分類(lèi)方法運(yùn)用在高維數(shù)據(jù)上時(shí)無(wú)法獲得好的分類(lèi)效果，因此，高維數(shù)據(jù)分類(lèi)對(duì)傳統(tǒng)的分類(lèi)技術(shù)而言是新的挑戰(zhàn)。
　　高維數(shù)據(jù)分類(lèi)具有重要的意義，其能幫助人們

2、自動(dòng)分類(lèi)數(shù)據(jù)所屬的類(lèi)別。譬如，新聞文本的自動(dòng)分類(lèi)，基因表達(dá)的所屬功能的自動(dòng)判別，網(wǎng)絡(luò)營(yíng)銷(xiāo)中不同興趣用戶的區(qū)分，輿情分析中有用信息的過(guò)濾等。然而對(duì)于高維數(shù)據(jù)的分類(lèi)問(wèn)題，目前的研究結(jié)果和技術(shù)還很少，高維數(shù)據(jù)分類(lèi)存在許多研究問(wèn)題需要解決。因此，本文針對(duì)高維數(shù)據(jù)分類(lèi)展開(kāi)研究，主要考慮多噪音屬性的高維數(shù)據(jù)分類(lèi)問(wèn)題、多領(lǐng)域轉(zhuǎn)移學(xué)習(xí)問(wèn)題、多類(lèi)標(biāo)學(xué)習(xí)問(wèn)題、多實(shí)例多類(lèi)標(biāo)學(xué)習(xí)問(wèn)題，提出系列算法來(lái)解決這四個(gè)研究問(wèn)題。本文的主要研究?jī)?nèi)容和創(chuàng)新包括：
　　

3、1.針對(duì)多噪音屬性的高維數(shù)據(jù)分類(lèi)問(wèn)題，本文提出了基于分層抽樣的隨機(jī)森林子空間選擇方法。針對(duì)不同高維數(shù)據(jù)類(lèi)型上的分類(lèi)問(wèn)題。本文通過(guò)隨機(jī)森林為載體提出一系列的分層抽樣隨機(jī)森林算法。針對(duì)高噪音屬性數(shù)據(jù)分類(lèi)，提出了SRF算法。該方法能夠有效提高包含大量噪音屬性的高維數(shù)據(jù)的分類(lèi)精度。針對(duì)不平衡文本數(shù)據(jù)分類(lèi)，提出了ForesTexter算法。該方法能夠有效提高不平衡數(shù)據(jù)中小樣本類(lèi)別的分類(lèi)精度。針對(duì)全基因組數(shù)據(jù)分析，提出了GWA-SRF算法。該方法能

4、夠有效避免窮舉搜素最優(yōu)子空間大小的計(jì)算代價(jià)，并且自動(dòng)計(jì)算屬性重要性，發(fā)現(xiàn)與研究疾病相關(guān)的重要屬性。這些方法的提出為高維數(shù)據(jù)分類(lèi)帶來(lái)更多更好的選擇。
　　2.針對(duì)高維數(shù)據(jù)的多領(lǐng)域轉(zhuǎn)移學(xué)習(xí)，本文提出了基于聯(lián)合馬爾可夫鏈的MT-Learn算法。該算法通過(guò)構(gòu)建相同樣本空間內(nèi)的樣本相似性關(guān)系，以及不同樣本空間之間的樣本相似性關(guān)系，將所有樣本關(guān)聯(lián)在一個(gè)聯(lián)合馬爾可夫鏈的轉(zhuǎn)移概率圖中進(jìn)行隨機(jī)游走，最后得到一個(gè)穩(wěn)態(tài)概率集合，該集合代表不同樣本空間中

5、各個(gè)學(xué)習(xí)任務(wù)的分類(lèi)結(jié)果。本文從理論上分析證明了MT-Learn算法解的存在性、唯一性以及求解算法收斂性。在圖像和文本數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明MT-Learn算法能夠在多領(lǐng)域轉(zhuǎn)移學(xué)習(xí)問(wèn)題上獲得較好的分類(lèi)精度。
　　3.針對(duì)多類(lèi)標(biāo)學(xué)習(xí)問(wèn)題，本文提出了基于層次樹(shù)模型的ML-Tree算法。該算法的特點(diǎn)包括以下三方面：1）層次樹(shù)中每個(gè)節(jié)點(diǎn)都能進(jìn)行學(xué)習(xí)和多類(lèi)標(biāo)預(yù)測(cè)；2）父節(jié)點(diǎn)學(xué)習(xí)的預(yù)測(cè)類(lèi)標(biāo)可以傳遞和繼承給子節(jié)點(diǎn)；3）節(jié)點(diǎn)間的類(lèi)標(biāo)傳遞模式能夠有效地

6、對(duì)多類(lèi)標(biāo)數(shù)據(jù)進(jìn)行分類(lèi)，并且自動(dòng)發(fā)現(xiàn)類(lèi)標(biāo)之間的關(guān)系。在多類(lèi)標(biāo)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明ML-Tree算法的分類(lèi)結(jié)果明顯優(yōu)于傳統(tǒng)算法。
　　4.針對(duì)多實(shí)例多類(lèi)標(biāo)學(xué)習(xí)問(wèn)題，本文提出了基于馬爾可夫鏈模型的Markov-MIML算法。該算法通過(guò)實(shí)例與實(shí)例之間相似性關(guān)系，以及對(duì)象與實(shí)例之間從屬關(guān)系進(jìn)行學(xué)習(xí)，推衍出對(duì)象與對(duì)象之間相似性關(guān)系。算法中通過(guò)構(gòu)建馬爾可夫鏈模型將所有對(duì)象關(guān)聯(lián)在一個(gè)馬爾科夫鏈的轉(zhuǎn)移概率圖中進(jìn)行隨機(jī)游走，最后得到一個(gè)穩(wěn)態(tài)概率分布。

7、該分布代表多實(shí)例多類(lèi)標(biāo)對(duì)象的類(lèi)標(biāo)排序結(jié)果。本文從理論上分析了Markov-MIML算法解的存在性、唯一性以及求解算法收斂性。在圖像和文本數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明Markov-MIML算法能夠優(yōu)于傳統(tǒng)MIML算法。
　　總體而言，本文圍繞多噪音屬性的高維數(shù)據(jù)分類(lèi)、多領(lǐng)域轉(zhuǎn)移學(xué)習(xí)、多類(lèi)標(biāo)學(xué)習(xí)、多實(shí)例多類(lèi)標(biāo)學(xué)習(xí)這四個(gè)研究問(wèn)題，提出了SRF算法，MT-Learn算法， ML-Tree算法和Markov-MIML算法。本文的研究將推動(dòng)高維數(shù)據(jù)