EM算法及其改進(jìn)算法在參數(shù)估計(jì)中的應(yīng)用研究.pdf

1、最大期望算法(簡稱 EM算法)是機(jī)器學(xué)習(xí)中一種極其重要的迭代算法，主要用于解決數(shù)據(jù)缺失情形下參數(shù)估計(jì)問題。EM算法也是一種數(shù)據(jù)添加算法，通過引入“潛在數(shù)據(jù)”可以實(shí)現(xiàn)對(duì)不完全數(shù)據(jù)到完全數(shù)據(jù)的轉(zhuǎn)換。因而，EM算法在處理數(shù)據(jù)缺失情形下的各類統(tǒng)計(jì)分析問題時(shí)備受歡迎。
　　但EM算法也存在不少缺陷，如收斂速度慢、某些情形下難以給出E步或M步的明確表達(dá)式。正是這些缺陷給統(tǒng)計(jì)分析帶來諸多不便，促使不少學(xué)者提出了多種改進(jìn)的EM算法以及EM算法與其

2、他算法相結(jié)合的混合算法。
　　論文結(jié)合已有研究成果，著重研討了 EM算法及其改進(jìn)算法在指數(shù)族混合分布、多層線性模型參數(shù)估計(jì)問題中的應(yīng)用問題。主要完成的工作和獲得的成果如下：
　?、俑攀隽?EM算法及其改進(jìn)算法的研究背景、國內(nèi)外研究文獻(xiàn)，以及 EM算法及其改進(jìn)算法在解決缺失數(shù)據(jù)情形下參數(shù)估計(jì)問題的研究現(xiàn)狀和應(yīng)用狀況。
　　②研究了EM算法、MCEM算法、MCEM加速算法和改進(jìn)的MCEM加速算法的基本原理，給出了各算法的迭

3、代步驟、優(yōu)缺點(diǎn)分析。針對(duì)四種算法，論文給出了算例分析，參數(shù)迭代結(jié)果精確，并對(duì)參數(shù)迭代值收斂速度進(jìn)行了比較。
　　③針對(duì)指數(shù)族混合分布，給出了 EM算法下一般性指數(shù)族混合分布參數(shù)估計(jì)的推導(dǎo)過程，給出了EM算法和MCEM算法下常見指數(shù)族混合分布參數(shù)估計(jì)的迭代公式，并通過模擬獲得了較為精確的參數(shù)估計(jì)值。研究填補(bǔ)了基于 EM算法和MCEM算法的指數(shù)族混合分布參數(shù)估計(jì)問題這一空白。
　　④針對(duì)多層線性模型，給出了EM算法和MCEM算法