隱馬爾可夫模型簡(jiǎn)介

1、隱馬爾可夫模型簡(jiǎn)介,劉群2001-6-11,假設(shè),對(duì)于一個(gè)隨機(jī)事件，有一個(gè)觀察值序列：O1,...,OT該事件隱含著一個(gè)狀態(tài)序列：X1,...,XT假設(shè)1：馬爾可夫假設(shè)（狀態(tài)構(gòu)成一階馬爾可夫鏈） p(Xi|Xi-1…X1) = p(Xi|Xi-1)假設(shè)2：不動(dòng)性假設(shè)（狀態(tài)與具體時(shí)間無(wú)關(guān)） p(Xi+1|Xi) = p(Xj+1|Xj)，對(duì)任意i,j成立假設(shè)3：輸出獨(dú)立性假設(shè)（輸

2、出僅與當(dāng)前狀態(tài)有關(guān)） p(O1,...,OT | X1,...,XT) = Π p(Ot | Xt),定義,一個(gè)隱馬爾可夫模型 (HMM) 是一個(gè)五元組： (ΩX , ΩO, A, B, π )其中： ΩX = {q1,...qN}：狀態(tài)的有限集合 ΩO = {v1,...,vM}：觀察值的有限集合 A = {aij}，aij = p(Xt+1 = qj |Xt =

3、qi)：轉(zhuǎn)移概率 B = {bik}，bik = p(Ot = vk | Xt = qi)：輸出概率 π = {πi}， πi = p(X1 = qi)：初始狀態(tài)分布,問(wèn)題,令 λ = {A,B,π} 為給定HMM的參數(shù)，令 σ = O1,...,OT 為觀察值序列，隱馬爾可夫模型（HMM）的三個(gè)基本問(wèn)題： 評(píng)估問(wèn)題：對(duì)于給定模型，求某個(gè)觀察值序列的概率p(σ|λ) ；解碼問(wèn)題：對(duì)于給定模型和觀察值序列，求可能性最大的狀

4、態(tài)序列；學(xué)習(xí)問(wèn)題：對(duì)于給定的一個(gè)觀察值序列，調(diào)整參數(shù)λ，使得觀察值出現(xiàn)的概率p(σ|λ)最大。,算法,評(píng)估問(wèn)題：向前算法定義向前變量采用動(dòng)態(tài)規(guī)劃算法，復(fù)雜度O(N2T)解碼問(wèn)題：韋特比（Viterbi）算法采用動(dòng)態(tài)規(guī)劃算法，復(fù)雜度O(N2T)學(xué)習(xí)問(wèn)題：向前向后算法EM算法的一個(gè)特例，帶隱變量的最大似然估計(jì),算法：向前算法（一）,定義前向變量為HMM在時(shí)間t輸出序列O1…Ot，并且位于狀態(tài)Si的概率：,算法：向前算法（二）,

5、迭代公式為：,結(jié)果為：,變化,連續(xù)輸出模型輸出矩陣變?yōu)槟撤N概率分布，如高斯分布多階轉(zhuǎn)移矩陣,例子：病情轉(zhuǎn)化,假設(shè)：某一時(shí)刻只有一種疾病，且只依賴于上一時(shí)刻疾病一種疾病只有一種癥狀，且只依賴于當(dāng)時(shí)的疾病癥狀(觀察值)：發(fā)燒，咳嗽，咽喉腫痛，流涕疾病(狀態(tài)值)：感冒，肺炎，扁桃體炎轉(zhuǎn)移概率：從一種疾病轉(zhuǎn)變到另一種疾病的概率輸出概率：某一疾病呈現(xiàn)出某一癥狀的概率初始分布：初始疾病的概率解碼問(wèn)題：某人癥狀為：咳嗽→咽喉痛→

6、流涕→發(fā)燒請(qǐng)問(wèn)：其疾病轉(zhuǎn)化的最大可能性如何？,例子：詞性標(biāo)注,問(wèn)題：已知單詞序列w1w2…wn，求詞性序列c1c2…cnHMM模型：將詞性為理解為狀態(tài)將單詞為理解為輸出值訓(xùn)練：統(tǒng)計(jì)詞性轉(zhuǎn)移矩陣[aij]和詞性到單詞的輸出矩陣[bik]求解：Viterbi算法,應(yīng)用,語(yǔ)音識(shí)別音字轉(zhuǎn)換詞性標(biāo)注（POS Tagging）組塊分析基因分析一般化：任何與線性序列相關(guān)的現(xiàn)象,資源,Rabiner, L. R., A T

7、utorial on Hidden Markov Models and Selected Applications in Speech Recognition, Proceedings of the IEEE, vol. 77, no. 2, Feb. 1989, pgs 257 - 285. There is a lot of notation but verbose explanations accompany. 翁富良，王野翊，