聚類式最小角回歸與聚類式坐標(biāo)下降仿真及實(shí)例分析.pdf

1、隨著人工智能的興起，機(jī)器學(xué)習(xí)作為人工智能的核心被更多的人熟知。機(jī)器學(xué)習(xí)本質(zhì)上分為有監(jiān)督學(xué)習(xí)問題和無監(jiān)督學(xué)習(xí)問題。有監(jiān)督學(xué)習(xí)問題中，數(shù)據(jù)本身具備類別標(biāo)簽，學(xué)習(xí)問題的目標(biāo)是完成分類或回歸。有監(jiān)督學(xué)習(xí)過程中，變量的輸入和輸出是能夠被充分觀察到的。而無監(jiān)督學(xué)習(xí)問題中，數(shù)據(jù)本身沒有類別標(biāo)簽，學(xué)習(xí)問題的目標(biāo)是完成聚類。無監(jiān)督學(xué)習(xí)過程中，聚類結(jié)果可以不代表明確類別含義。
　　而模型選擇作為機(jī)器學(xué)習(xí)中的重要一環(huán)，是幫助分析數(shù)據(jù)有效性、探求變量間相

2、關(guān)關(guān)系以及試洽實(shí)際案例的有力工具。傳統(tǒng)的模型選擇方法往往假定了源數(shù)據(jù)是獨(dú)立同分布的，這使得目前模型選擇問題的研究，主要針對(duì)有限維特征的情況?？墒牵笠?guī)模數(shù)據(jù)的案例中，源數(shù)據(jù)來自不同的數(shù)據(jù)生成過程，已經(jīng)是不爭(zhēng)的公判。這使得數(shù)據(jù)異質(zhì)性問題成為模型選擇乃至機(jī)器學(xué)習(xí)中不可忽視的問題。
　　在許多實(shí)際問題中，數(shù)據(jù)異質(zhì)性具體體現(xiàn)為:(1)數(shù)據(jù)明確屬于不同的來源（如本文4.3.1小節(jié)中的花卉數(shù)據(jù)），但可能我們不知道具體的分類。(2)我們明確知曉

3、存在不同的分類（例如本文4.3.2中300個(gè)城市的各項(xiàng)指標(biāo))，但不同城市之間又存在特征（城市大小，發(fā)展程度等）的相似性，因此實(shí)際中不可能分成300個(gè)類別去處理數(shù)據(jù)。此時(shí)，將源數(shù)據(jù)劃分為多少個(gè)類別才合適，就變成一個(gè)重要的問題。
　　為了解決數(shù)據(jù)異質(zhì)性對(duì)模型選擇帶來的糟糕影響，本文提出一類聚類式算法解決這一問題:用分層模型實(shí)現(xiàn)對(duì)源數(shù)據(jù)的聚類，在每一層內(nèi)部獨(dú)立完成有監(jiān)督學(xué)習(xí)，并計(jì)算每一種聚類結(jié)果對(duì)應(yīng)的學(xué)習(xí)過程的BIC分?jǐn)?shù)，選擇BIC得分

4、最小的那一層做為數(shù)據(jù)生成過程的個(gè)數(shù)。
　　聚類式算法，本質(zhì)上對(duì)有監(jiān)督學(xué)習(xí)問題求解算法的改進(jìn)。傳統(tǒng)模型選擇對(duì)于源數(shù)據(jù)獨(dú)立同分布的假設(shè)，可以看做，將源數(shù)據(jù)的數(shù)據(jù)生成過程個(gè)數(shù)假設(shè)為n=1。聚類式算法，將數(shù)據(jù)生成過程的個(gè)數(shù)n推廣到任意正整數(shù)。而數(shù)據(jù)生成過程的數(shù)量，由算法外層的聚類分析完成。
　　基于上述想法，再考慮到高斯分布的廣泛性、Lasso回歸的優(yōu)良特征，本文重點(diǎn)研究了聚類式最小角回歸與聚類式坐標(biāo)下降兩個(gè)算法，通過Python隨