基于高斯混合模型的EM算法及其應(yīng)用研究.pdf

1、高斯混合模型（GMM）被廣泛應(yīng)用于模式識別、計算機視覺、機器學(xué)習(xí)、數(shù)據(jù)挖掘、生物信息學(xué)等不同領(lǐng)域。在這些領(lǐng)域里，它被用來完成諸如圖像分割、聚類、概率密度函數(shù)的構(gòu)建等任務(wù)。
　　通常，人們用期望最大化（EM）算法求解GMM模型中的參數(shù)。盡管EM是一種非常有效的算法，且能保證收斂。但 EM算法存在兩個還沒有被完全解決的問題：（1）因為 EM只能保證收斂到局部最優(yōu)點，所以 EM算法對初始條件非常敏感；（2）用戶需要預(yù)先設(shè)置 GMM中高斯

2、成員的個數(shù)，而在沒有任何先驗信息的情況下，如何設(shè)置高斯成員的個數(shù)也通常非常棘手。
　　本文主要研究內(nèi)容分為以下兩個部分：
　　在第一部分中，本文試圖解決EM算法存在的不足。本文首先分析并指出EM算法的初始化敏感問題源于它的并行式學(xué)習(xí)策略所帶來的高斯成員之間的競爭關(guān)系對公平的競爭條件的苛刻要求。由此，本文從改善學(xué)習(xí)策略的角度，在 EM算法的前端加入了類似于 EM算法的串行式學(xué)習(xí)過程，即讓所有高斯成員在參與競爭前先避免競爭，以減

3、小EM算法對隨機初始條件的敏感程度。在串行學(xué)習(xí)階段，所有的高斯成員都試圖找到各自的散點簇，在參與競爭前先獲得公平的競爭條件；在并行學(xué)習(xí)階段，EM算法對串行學(xué)習(xí)的結(jié)果進行微調(diào)，通過高斯成員間的競爭式學(xué)習(xí)，獲得全局最優(yōu)的競爭結(jié)果。此外，用戶也不用提前為設(shè)置高斯成員的個數(shù)。本文將所求解的GMM模型應(yīng)用于聚類，結(jié)果表明本文的算法大大提升了 EM算法在聚類應(yīng)用上的性能。
　　在第二部分中，本文試圖繼承 EM算法的優(yōu)點，以期獲得一個更一般的學(xué)