Logit模型參數(shù)估計方法的研究.pdf

1、近年來，統(tǒng)計學(xué)與機器學(xué)習(xí)得到了深入的發(fā)展，數(shù)據(jù)正以前所未有的速度產(chǎn)生著，越來越多的統(tǒng)計模型在計算機領(lǐng)域得到了廣泛深入的應(yīng)用，其中l(wèi)ogit模型發(fā)揮了重要的作用。此外，logit模型在處理經(jīng)濟、生物醫(yī)藥、金融、語音以及圖像識別上逐漸顯示出良好的特性。而對于logit模型的參數(shù)估計，人們一般根據(jù)訓(xùn)練樣本構(gòu)造極大似然函數(shù)，結(jié)合擬牛頓法或者梯度下降法對目標函數(shù)進行逐步優(yōu)化，來得到模型參數(shù)的估計值.這種參數(shù)求解方法有以下幾個局限性。首先是這種方法

2、對于初值的選取有較大的依賴，而且并不能保證得到全局最優(yōu)解;其次是進行求解的過程中，迭代的速度以及得到的結(jié)果的精度并沒有成型的結(jié)論。此外，這種方法只考慮使用模型的離散的輸出變量來進行參數(shù)估計，并沒有考慮數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，在實際運用中，受到了較大的限制.由于logit模型在經(jīng)濟、金融、生物等領(lǐng)域取得了不錯的成果，所以研究這個模型參數(shù)求解的其他方法對于更好地發(fā)揮模型的效用有著較大的意義。Logit模型的基本假設(shè)是事件發(fā)生的對數(shù)機會比是各輸入變量

3、的線性函數(shù)。本文中對樣本進行分組的思想正是基于此。在logit模型中，輸入變量會對事件發(fā)生的概率產(chǎn)生影響。對于給定的一個輸入，會以一定的概率得到一個輸出。由此，得到這樣一個思想，給定一組樣本，這組樣本的輸入變量有的相同，有的不同，我們根據(jù)樣本數(shù)據(jù)的輸入變量，將輸入變量相同的樣本分為一組，然后分別統(tǒng)計各組的事件發(fā)生頻率，這樣可以得到多組不同輸入條件下的事件發(fā)生的頻率。這種通過對模型中的潛變量進行估計，繼而進行模型的參數(shù)估計的方法，克服了極

4、大似然估計參數(shù)估計方法忽視數(shù)據(jù)內(nèi)在結(jié)構(gòu)的弊端，提高了參數(shù)估計的精度。
　　本文在對模型中的潛變量進行估計后，提出了兩種基于不同目標函數(shù)的參數(shù)估計方法。其中，基于分組數(shù)據(jù)的最小二乘估計方法由于并非是迭代求解，所以對初值的依賴性在這里不存在，而且在樣本量比較大時，算法所耗費的時間遠遠少于通過迭代進行參數(shù)估計的算法;此外基于分組數(shù)據(jù)的EM算法選定了基于核函數(shù)的目標函數(shù)，并且在目標函數(shù)中根據(jù)各分組樣本量的不同，設(shè)置了不同的權(quán)重，克服了基于