kmeans應(yīng)用與特征選擇

1、Kmeans應(yīng)用與特征選擇應(yīng)用與特征選擇近些年來，機(jī)器學(xué)習(xí)的發(fā)展日新月異，機(jī)器學(xué)習(xí)的兩大問題：分類和聚類也不斷有新的算法來填充。而對(duì)于大量樣本的數(shù)據(jù)，由于人工標(biāo)注成本很高，經(jīng)常是沒有標(biāo)簽的數(shù)據(jù)，需要用聚類算法來發(fā)現(xiàn)數(shù)據(jù)中有幾類，每一類是什么樣，有什么性質(zhì)，各類之間的關(guān)系是什么樣。Kmeans是聚類算法中簡(jiǎn)單有效的一種，也稱為k均值算法。本文先介紹kmeans聚類的方法，包括主要思想和具體步驟；然后把算法應(yīng)用在鳶尾花數(shù)據(jù)集上，并且改變特征

2、的數(shù)量，來看對(duì)聚類結(jié)果的影響；接著，本文對(duì)kmeans算法的優(yōu)缺點(diǎn)進(jìn)行了討論，并和其他算法進(jìn)行比較，還介紹了該算法在使用時(shí)候需要注意的問題；最后，我們根據(jù)實(shí)驗(yàn)結(jié)果總結(jié)結(jié)論，得出kmeans是有效的一種聚類算法，并且特征的選擇會(huì)對(duì)聚類結(jié)果產(chǎn)生很大影響。2方法Kmeans的主要思想是將離散的許多數(shù)據(jù)點(diǎn)利用k個(gè)質(zhì)心進(jìn)行聚類，分成k簇來區(qū)分相似性較小的數(shù)據(jù)點(diǎn)，并把相似性較大的數(shù)據(jù)點(diǎn)歸為一類。該方法利用不斷更新數(shù)據(jù)點(diǎn)的質(zhì)心歸屬和質(zhì)心的位置來最終收

3、斂到最優(yōu)解。Kmeans有四個(gè)主要步驟：（1）利用kmeans在n個(gè)數(shù)據(jù)點(diǎn)中取k個(gè)質(zhì)心：普通kmeans算法中，是隨機(jī)選取k個(gè)數(shù)據(jù)點(diǎn)最為初始的質(zhì)心，但這樣的對(duì)于聚類的個(gè)數(shù)，我們分別設(shè)為2，3，4來進(jìn)行實(shí)驗(yàn)，觀察實(shí)驗(yàn)結(jié)果，通過可視化方法，判斷設(shè)為幾類才是最合適的。4結(jié)果展示我們用散點(diǎn)圖標(biāo)注每個(gè)數(shù)據(jù)點(diǎn)，并且用顏色（紅，藍(lán)，綠，黃）區(qū)分它所屬的類別，來觀察數(shù)據(jù)點(diǎn)在特征空間的分布，判斷聚類結(jié)果十分合理。在每個(gè)圖中，橫坐標(biāo)代表花某一部分的長(zhǎng)度，縱

4、坐標(biāo)代表花某一部分的寬度，坐標(biāo)軸的單位都是厘米，每一種顏色是一簇。首先我們僅用花萼長(zhǎng)度，花萼寬度來聚類，聚類的類別個(gè)數(shù)分別設(shè)定為2，3，4，對(duì)應(yīng)從左到右三個(gè)圖?？梢钥闯龌ㄝ嚅L(zhǎng)度和寬度的數(shù)據(jù)分布沒有特別明顯的簇狀分布，所以類別個(gè)數(shù)分為2，3，4看起來都有一定道理。然后，我們用花瓣長(zhǎng)度，花瓣寬度來聚類，聚類的類別個(gè)數(shù)分別設(shè)定為2，3，4，對(duì)應(yīng)從左到右三個(gè)圖。我們能看到很明顯有兩簇?cái)?shù)據(jù)點(diǎn)分布較遠(yuǎn)，中間隔著很大距離，即畫面左下角的簇和畫面中間到