EM算法及其改進在混合模型參數(shù)估計中的應用研究.pdf

1、有限混合模型是分析復雜現(xiàn)象的一個靈活而強有力的建模工具，它提供了用簡單結構模擬復雜密度的一個有效方法，給出了模擬同質性和異質性的一個自然框架和半?yún)?shù)結構。 EM算法為有限混合模型的極大似然估計提供了一個標準框架。本文簡單推導了有限混合高斯分布的EM算法，并針對其收斂速度慢的缺點設計了一種有效選取參數(shù)初始值的方法，數(shù)值實驗表明，該方法有助于EM算法以較快的速度在參數(shù)真值附近收斂。 EM算法思想簡單，易于實現(xiàn)。但是，EM算法

2、往往獲得的只是一個局部最優(yōu)解，這是因為它本質上是一個迭代算法，只能保證達到局部最優(yōu)，而遺傳算法具有強大的全局搜索能力，因此，本文將采用遺傳算法來改進EM算法，提出一種以遺傳算法為主、結合EM迭代算法的混合算法(即GAEM算法)。在前面的研究中，我們總是提前定義一個混合模型的分支數(shù)，但在大多實際應用中，最優(yōu)分支數(shù)是未知的，所以為混合模型選擇一個最優(yōu)分支數(shù)是一個相當重要又困難的問題。本文將使用GAEM算法來學習未知支數(shù)的多元高斯混合模型，算

3、法中使用MDL準則作為選擇最優(yōu)分支數(shù)的信息準則。采用EM算法和遺傳算法混合編程的目的是為了更好地利用兩種算法各自的優(yōu)點，基于隨機搜索優(yōu)化技術遺傳算法的種群極大地拓展了EM算法的搜索空間，有效地降低了基本EM算法對初始值的依賴程度，改善了其收斂到局部最大值的缺陷。數(shù)值實驗也表明，GAEM算法不僅繼承了EM算法的單調收斂性，對模型參數(shù)初始值也更加穩(wěn)?。?)在同樣的迭代終止條件下，GAEM算法能夠得到比EM算法更好的MDL值。2)GAEM算法