Logistic回歸參數(shù)遺傳算法估計(jì)的分類(lèi)效果和泛化誤差的分析研究.pdf

1、研究背景：
　　 在處理醫(yī)學(xué)方面的數(shù)據(jù)時(shí)，我們通常需要對(duì)某個(gè)個(gè)體進(jìn)行疾病分類(lèi)的判斷，logistic回歸是常用的方法之一，logistic回歸方法適合用于兩類(lèi)的判別，模型較為簡(jiǎn)單易懂，是統(tǒng)計(jì)軟件中常有的模塊。極大似然法估計(jì)模型的參數(shù)是應(yīng)用最多的，但極大似然估計(jì)本身有一些不足之處，例如在小樣本時(shí)極大似然法無(wú)法估計(jì)logistic回歸模型參數(shù)。隨著數(shù)據(jù)挖掘方法的悄然興起，各個(gè)領(lǐng)域的學(xué)者都在開(kāi)始一些新的方法嘗試，已經(jīng)有一些研究采用遺傳

2、算法對(duì)醫(yī)學(xué)數(shù)據(jù)進(jìn)行分析，得到了比較好的結(jié)果，并且證實(shí)遺傳算法中的一種算法遺傳程序設(shè)計(jì)應(yīng)用于疾病分類(lèi)時(shí)的性能要比logistic回歸優(yōu)越。本次研究的主要目的是在logistic回歸模型的基礎(chǔ)上，考察參數(shù)估計(jì)的方法，研究遺傳算法作為參數(shù)估計(jì)的方法應(yīng)用于logistic回歸模型，較之極大似然法應(yīng)用于logistic回歸模型的優(yōu)劣，嘗試新的logistic回歸的參數(shù)估計(jì)方法。
　　 研究方法：
　　 本文通過(guò)模擬數(shù)據(jù)來(lái)進(jìn)行分析，

3、模擬數(shù)據(jù)結(jié)構(gòu)為八個(gè)自變量，一個(gè)因變量。模擬數(shù)據(jù)以后從中抽取100份訓(xùn)練集樣本來(lái)分別進(jìn)行極大似然法的logistic回歸和遺傳算法的logistic回歸，建立模型以后將模型參數(shù)代入驗(yàn)證集樣本，計(jì)算模型對(duì)數(shù)據(jù)的擬合效果，進(jìn)而比較兩種方法的優(yōu)劣。同時(shí)也考察模擬數(shù)據(jù)的不同變量組成和樣本量的大小對(duì)兩種方法的影響，從而討論兩種方法各自的適用情況。
　　 研究結(jié)果：
　　 自變量之間比較獨(dú)立，數(shù)據(jù)模擬模型中沒(méi)有二次項(xiàng)的情況下，極大似然

4、法的logistic回歸要優(yōu)于遺傳算法的logistic回歸，樣本量分別為800、200、80和40時(shí)，極大似然法的正確度都在0.8以上，而遺傳算法的正確度在0.7到0.8之間。但隨著樣本量的下降，極大似然法在驗(yàn)證集中的正確度下降明顯，對(duì)應(yīng)每個(gè)樣本量分別為0.802、0.776、0.738和0.703，而這一趨勢(shì)在遺傳算法并不明顯。這說(shuō)明極大似然法的logistic回歸在小樣本的情況下具有比較大的泛化誤差，所以極大似然法的logisti

5、c回歸的泛化誤差同樣值得考慮。
　　 在自變量間加入相關(guān)，并且數(shù)據(jù)模擬模型中出現(xiàn)二次項(xiàng)的情況下，極大似然法的logistic回歸的效能下降，而這在遺傳算法的logistic回歸中并不明顯?？梢?jiàn)遺傳算法的logistic回歸比較少受到數(shù)據(jù)結(jié)構(gòu)和樣本量等因素的影響，有某些方面的優(yōu)勢(shì)。
　　 討論：
　　 通常我們做logistic回歸，只注重分析模型中的回歸系數(shù)，并沒(méi)有直觀的來(lái)考慮模型對(duì)分類(lèi)變量的歸類(lèi)效能。而擬合優(yōu)度

6、檢驗(yàn)是logistic回歸分析過(guò)程中不可缺少的一部分，然而，實(shí)際應(yīng)用中這一點(diǎn)往往被忽略，所以這一點(diǎn)在以后的研究中需要提起注意。
　　 通過(guò)本文的研究雖然暫時(shí)還未發(fā)現(xiàn)遺傳算法的logistic回歸得到的靈敏度、特異度等指標(biāo)顯著高于極大似然法的logistic回歸，但是，遺傳算法應(yīng)用于疾病分類(lèi)也有它的價(jià)值。在某種數(shù)據(jù)結(jié)構(gòu)或某種樣本量的情況下，極大似然法無(wú)法估計(jì)得到logistic回歸模型的參數(shù)，但遺傳算法受這兩方面的影響不大。并且遺