聚類分析在stata中的實現和案例

1、第 15 15 章 聚類分析 聚類分析聚類分析是根據樣品或指標的“相似”特征進行分類的一種多元統(tǒng)計分析 方法，其目標是發(fā)現樣品或指標的自然分類方法。在社會經濟領域中存在著大量分類問題，比如對我國 31 個省市自治區(qū)獨立核算工業(yè)企業(yè)經濟效益進行分 析，一般不逐個分析省市自治區(qū)，而較好的做法是選取反映企業(yè)經濟效益的代表性指標，如百元固定資產實現利率、資金利稅率、產值利稅率、百元銷售收入實現利潤、全員勞動生產率等等，根據這些指標對 31 個省

2、市自治區(qū)進行分 類，然后根據分類結果對企業(yè)經濟效益進行綜合評價，就易于得出科學的分 析。聚類分析方法包括兩個體系：系統(tǒng)聚類和非系統(tǒng)聚類。系統(tǒng)聚類法包括最短距離法、最長距離法、中間距離法、可變距離法、重心法、類平均法、加權類平均法、Ward 最小方差法。非系統(tǒng)聚類方根包括 K 均值、K 中位數法。15.1 15.1 相似性測度 相似性測度很多多元統(tǒng)計方法，包括聚類分析，是基于變量或觀測值的相近程度來分析的，因此在介紹聚類的 Stata 命

3、令之前，我們首先介紹一下 Stata 中關于矩陣相似性或異性的測度方法。統(tǒng)計學中用各種距離來測度變量或觀測值的相似性或相異性。一般將這種相似性稱為相似系數，來刻畫兩個指標的相似程度，相似系數絕對值越接近于 1,表示兩個指標之間的關系越密切，相似系數絕對值 越接近于 0,則表示兩個指標之間的關系越疏遠。Stata 計算相似性的命令格式如下：matrix dissimilarity matname = [varlist] [if] [in]

4、 [,options] 一般情況下，我們選用默認情況就行了，對于 options 不用去理。15.2 15.2 系統(tǒng)聚類法 系統(tǒng)聚類法命令格式 1（利用數據進行系統(tǒng)聚類）：cluster singlelinkage [varlist] [if] [in] [, options] 最短距離法將兩個組之間最接近的一對觀測案例之間的相異性作為兩個組之間的相異性來加以計算。盡管簡單，但是這一方法對特異值或測量錯誤的耐抗性較差。觀測案例是

5、一次性聚類，往往形成非平衡的、不斷加大的組。在這組中，成員很少具有共性，但是又通過中間觀測案例連結起來，這種問題被稱作鏈接問題。cluster completelinkage [varlist] [if] [in] [, options] 最長距離法使用兩組之間距離最遠的一對觀測案例作為代表。該方法對特異值沒有最短聯結法那樣敏感，但具有相反的傾向，即容易將許多案例聚集成空間緊密的群。cluster averagelinkage [v

6、arlist] [if] [in] [, options] 類平均法使用兩個組之間觀測案例的平均相異性，產生的屬性居于最短聯結法和最長聯結法之間。模擬研究報告表明，這一方法在許多情況下都表現很好，并且合理地穩(wěn)健。這種方法常用于考古學中。cluster waveragelinkage [varlist] [if] [in] [, options] 加權類平均法cluster medianlinkage [varlist] [if

7、] [in] [, options] 中間距離法加權平均聯結法和中位數聯結法分別是平均聯結法和重心聯結法的變種。在這兩種情形中，差異在于不等規(guī)模的組在合并時是如何處理的。對于平均聯結法和重心聯結法說，每一組元素的數量被分解到計算中，并對更大的組相應地賦予更大的影響（因為每條觀測15.3 15.3 K 均值聚類法 均值聚類法利用數據進行 k 均值聚類和 k 中位數聚類的 Stata 命令為：cluster kmeans [varl

8、ist] [if] [in] ,k(#) [options]cluster kmedians [varlist] [if] [in] ,k(#) [options]其中，k(#)表示分為#組。measure(measure) 相似性的測度方法，見測度方法匯總表name(clname) 聚類分析的名稱start(*) 初始值的設定方法，包括如下幾種：krandom[(see

9、d#)] 隨機抽取 k 個不同的觀測值作為 k 組的中心點firstk[,exclude] 前 k 個觀測值作為 k 組的初始中心點，exclude 表示前 k個觀測值不進行聚類last[,exclude] 后 k 個觀測值作為 k 組的初始中心點，exclude 表示后 k個觀測值不進行聚類random[seed(#)] 從[min,max]的均勻分布中隨機生成 k 個數作為 k 組的初始中心

10、點prandom[seed(#)] 將觀測值隨機分為 k 組，用 k 組的均值作為 k 組的初始中心點例子： 例子：use http://www.stata-press.com/data/r11/physed,clearsummarize flex speed strengthgraph matrix flex speed strength*從圖形中判斷要分成多少類cluster k flex speed strength,k(

11、4) name(g4abs) cluster list g4abstable g4abstabstat flex speed strength,by(g4abs) stat(min mean max)graph matrix flex speed strength,m(i) mlabel(g4abs) mlabpos(0)cluster k flex speed strength,k(3) name(g3abs) cluster k f

12、lex speed strength,k(5) name(g5abs) table g3abs g4abs,coltable g5abs g4abs,col15.4 15.4 聚類停止法則 聚類停止法則對于系統(tǒng)聚類法，Stata 可以計算不同分類的 Calinski and Harabasz(1974)pseudo-F 指數和 Duda and Hart(1973)Je(2)/Je(1)指數，從而 判斷最優(yōu)的分類數。對于 k 均值分類