logistic回歸模型

1、Logistic回歸模型回歸模型1Logistic回歸模型的基本知識回歸模型的基本知識1.1Logistic模型簡介主要應(yīng)用在研究某些現(xiàn)象發(fā)生的概率，比如股票漲還是跌，公司成功或失敗的概率，以及討論概p率與那些因素有關(guān)。顯然作為概率值，一定有，因此很難用線性模型描述概率與自變量的p10??pp關(guān)系，另外如果接近兩個極端值，此時一般方法難以較好地反映p的微小變化。為此在構(gòu)建與自變pp量關(guān)系的模型時，變換一下思路，不直接研究，而是研究的一個

2、嚴(yán)格單調(diào)函數(shù)，并要求pp)(pG在接近兩端值時對其微小變化很敏感。于是Logit變換被提出來：)(pGp（1）pppLogit??1ln)(其中當(dāng)從時，從，這個變化范圍在模型數(shù)據(jù)處理上帶來很大的方便，p10?)(pLogit?????解決了上述面臨的難題。另外從函數(shù)的變形可得如下等價的公式：（2）XTXTTeepXpppLogit?????????11ln)(模型(2)的基本要求是，因變量（y）是個二元變量，僅取0或1兩個值，而因變量取

3、1的概率就是模型要研究的對象。而，其中表示影響的第個因素，它可)|1(XyP?TkxxxX)1(21??ixyi以是定性變量也可以是定量變量，。為此模型(2)可以表述成：Tk)(10??????（3）kxkxkxkxkkeepxxpp??????????????????????????11011011011ln顯然，故上述模型表明是的線性函數(shù)。此時我們稱滿足上面條件pyE?)()(1)(lnyEyE?kxxx21?的回歸方程為Logis

4、tic線性回歸。Logistic線性回歸的主要問題是不能用普通的回歸方式來分析模型，一方面離散變量的誤差形式服從伯努利分布而非正態(tài)分布，即沒有正態(tài)性假設(shè)前提；二是二值變量方差不是常數(shù)，有異方差性。不同于多元線性回歸的最小二乘估計法則(殘差平方和最小)，Logistic變換的非線性特征采用極大似然估計極大似然估計的方法尋求最佳的回歸系數(shù)。因此評價模型的擬合度的標(biāo)準(zhǔn)變?yōu)樗迫恢翟u價模型的擬合度的標(biāo)準(zhǔn)變?yōu)樗迫恢刀请x差平方和。定義定義1稱事件發(fā)

5、生與不發(fā)生的概率比為優(yōu)勢比優(yōu)勢比(比數(shù)比比數(shù)比oddsratio簡稱簡稱)，形式上表示為，形式上表示為=（4）kxkxepp?????????1101定義定義2Logistic回歸模型是通過極大似然估計法得到的，故模型好壞的評價準(zhǔn)則有似然值來表征，稱表2.1.1購房分組數(shù)據(jù)購房分組數(shù)據(jù)序號年家庭收入X(萬元)簽訂意向人數(shù)實(shí)際購買人數(shù)11.525822.5321333.5582644.5522255.5432066.5392277.528

6、1688.5211299.51510例2.1.2藥物療效數(shù)據(jù)藥物療效數(shù)據(jù)[2]為考察某藥物療效，隨機(jī)抽取220例病人并分配到治療組和對照組，治療組采用治療藥物，對照組采用安慰劑。治療一段時間后觀察病人的療效，得到表2.1.2數(shù)據(jù)。設(shè)y為療效指標(biāo)(y=1有效，y=0無效)，為治療組指標(biāo)(1為治療組，0為對照組)，為年齡組指標(biāo)(1為45歲，0為其1x2x他)。表2.1.2藥物療效數(shù)據(jù)藥物療效數(shù)據(jù)序號治療分組1x年齡分組2x有療效無效合計11

7、1321850210402060301213152400184058上述兩個例子數(shù)據(jù)都是經(jīng)過統(tǒng)計加工后的分組數(shù)據(jù)，對此類數(shù)據(jù)進(jìn)行Logistic回歸，首先要明確應(yīng)變量對應(yīng)事件的發(fā)生概率如何確定和進(jìn)行Logit變換，其次才能建立Logistic回歸。為便于數(shù)據(jù)處理，我們?yōu)楸阌跀?shù)據(jù)處理，我們將此類數(shù)據(jù)的格式作個約定，排列格式為（組序號，自變量將此類數(shù)據(jù)的格式作個約定，排列格式為（組序號，自變量，該組事件發(fā)生數(shù)，該組總例數(shù)），該組事件發(fā)生數(shù)，