馬爾可夫過(guò)程的發(fā)展和應(yīng)用

1、<p>　　Harbin Institute of Technology</p><p><b>　　課程設(shè)計(jì)（論文）</b></p><p>　　課程名稱： 應(yīng)用隨機(jī)過(guò)程 </p><p>　　設(shè)計(jì)題目： 馬爾可夫過(guò)程的發(fā)展與應(yīng)用</p><p>　　院 系： 電子

2、信息與工程學(xué)院 </p><p>　　班 級(jí)： 通信一班 </p><p>　　設(shè) 計(jì) 者： </p><p>　　學(xué) 號(hào)： </p><p>　　指導(dǎo)教師： 田波

3、平 </p><p>　　設(shè)計(jì)時(shí)間： 2009/12/17 </p><p>　　馬爾可夫鏈(過(guò)程)的發(fā)展與應(yīng)用</p><p>　　1. 隨機(jī)過(guò)程發(fā)展簡(jiǎn)述</p><p>　　在當(dāng)代科學(xué)與社會(huì)的廣闊天地里，人們都可以看到一種叫作隨機(jī)過(guò)程的數(shù)學(xué)模型：從銀河亮度的起伏到星

4、系空間的物質(zhì)分布、從分子的布朗運(yùn)動(dòng)到原子的蛻變過(guò)程，從化學(xué)反應(yīng)動(dòng)力學(xué)到電話通訊理論、從謠言的傳播到傳染病的流行、從市場(chǎng)預(yù)測(cè)到密碼破譯，隨機(jī)過(guò)程理論及其應(yīng)用幾乎無(wú)所不在。</p><p>　　一些特殊的隨機(jī)過(guò)程早已引起注意，例如1907年前后，Α.Α.馬爾可夫研究過(guò)一列有特定相依性的隨機(jī)變量，后人稱之為馬爾可夫鏈（見(jiàn)馬爾可夫過(guò)程）；又如1923年N.維納給出了布朗運(yùn)動(dòng)的數(shù)學(xué)定義（后人也稱數(shù)學(xué)上的布朗運(yùn)動(dòng)為維納過(guò)程）

5、，這種過(guò)程至今仍是重要的研究對(duì)象。雖然如此，隨機(jī)過(guò)程一般理論的研究通常認(rèn)為開(kāi)始于30年代。1931年，Α.Η.柯?tīng)柲缏宸虬l(fā)表了《概率論的解析方法》；三年后，Α.Я.辛欽發(fā)表了《平穩(wěn)過(guò)程的相關(guān)理論》。這兩篇重要論文為馬爾可夫過(guò)程與平穩(wěn)過(guò)程奠定了理論基礎(chǔ)。稍后，P.萊維出版了關(guān)于布朗運(yùn)動(dòng)與可加過(guò)程的兩本書(shū)，其中蘊(yùn)含著豐富的概率思想。1953年，J.L.杜布的名著《隨機(jī)過(guò)程論》問(wèn)世，它系統(tǒng)且嚴(yán)格地?cái)⑹隽穗S機(jī)過(guò)程的基本理論。1951年伊藤清建

6、立了關(guān)于布朗運(yùn)動(dòng)的隨機(jī)微分方程的理論(見(jiàn)隨機(jī)積分)，為研究馬爾可夫過(guò)程開(kāi)辟了新的道路；近年來(lái)由于鞅論的進(jìn)展，人們討論了關(guān)于半鞅的隨機(jī)微分方程；而流形上的隨機(jī)微分方程的理論，正方興未艾。60年代，法國(guó)學(xué)派基于馬爾可夫過(guò)程和位勢(shì)理論中的一些思想與結(jié)果，在相當(dāng)大的程度上發(fā)展了隨機(jī)過(guò)程的一般理論，包括截口定理與過(guò)程的投影理論等，中國(guó)學(xué)者在平</p><p>　　2. 馬爾可夫過(guò)程發(fā)展</p><p&g

7、t;　　2.1 馬爾可夫過(guò)程簡(jiǎn)介</p><p>　　馬爾科夫過(guò)程(MarKov Process)是一個(gè)典型的隨機(jī)過(guò)程。設(shè)X(t)是一隨機(jī)過(guò)程，當(dāng)過(guò)程在時(shí)刻t0所處的狀態(tài)為已知時(shí)，時(shí)刻t(t>t0)所處的狀態(tài)與過(guò)程在t0時(shí)刻之前的狀態(tài)無(wú)關(guān)，這個(gè)特性成為無(wú)后效性。無(wú)后效的隨機(jī)過(guò)程稱為馬爾科夫過(guò)程。馬爾科夫過(guò)程中的時(shí)同和狀態(tài)既可以是連續(xù)的，又可以是離散的。我們稱時(shí)間離散、狀態(tài)離散的馬爾科夫過(guò)程為馬爾科夫鏈。馬爾

8、科夫鏈中，各個(gè)時(shí)刻的狀態(tài)的轉(zhuǎn)變由一個(gè)狀態(tài)轉(zhuǎn)移的概率矩陣控制。</p><p>　　2.2 馬爾可夫過(guò)程的發(fā)展</p><p>　　20世紀(jì)50年代以前，研究馬爾可夫過(guò)程的主要工具是微分方程和半群理論（即分析方法）；1936年前后就開(kāi)始探討馬爾可夫過(guò)程的軌道性質(zhì)，直到把微分方程和半群理論的分析方法同研究軌道性質(zhì)的概率方法結(jié)合運(yùn)用，才使這方面的研究工作進(jìn)一步深化，并形成了對(duì)軌道分析必不可少的強(qiáng)

9、馬爾可夫性概念。1942年，伊藤清用他創(chuàng)立的隨機(jī)積分和隨機(jī)微分方程理論來(lái)研究一類特殊而重要的馬爾可夫過(guò)程──擴(kuò)散過(guò)程，開(kāi)辟了研究馬爾可夫過(guò)程的又一重要途徑?！　〕鲇跀U(kuò)大極限定理應(yīng)用范圍的目的，馬爾科夫在20世紀(jì)初開(kāi)始考慮相依隨機(jī)變量序列的規(guī)律，并從中選出了最重要的一類加以研究。1906年他在《大數(shù)定律關(guān)于相依變量的擴(kuò)展》一文中，第一次提到這種如同鎖鏈般環(huán)環(huán)相扣的隨機(jī)變量序列，其中某個(gè)變量各以多大的概率取什么值，完全由它前面的一個(gè)變量來(lái)

10、決定，而與它更前面的那些變量無(wú)關(guān)。這就是被后人稱作馬爾科夫鏈的著名概率模型。也是在這篇論文里，馬爾科夫建立了這種鏈的大數(shù)定律?！　∮靡粋€(gè)通俗的比喻來(lái)形容，一只被切除了大腦的白鼠在若干個(gè)洞穴間的躥動(dòng)就構(gòu)成一個(gè)馬爾科夫鏈。因?yàn)檫@只白鼠已沒(méi)有了記憶，瞬間而生的念頭決定了它從一個(gè)洞穴躥到另一個(gè)洞穴；當(dāng)其</p><p>　　3 馬爾可夫過(guò)程的應(yīng)用</p><p>　　3.1 馬爾可夫應(yīng)用概述&l

11、t;/p><p>　　馬爾可夫隨機(jī)過(guò)程的發(fā)展史說(shuō)明了理論與實(shí)際之間的密切關(guān)系。許多研究方向的提出，歸根到底是有其實(shí)際背景的。反過(guò)來(lái)，當(dāng)這些方向被深入研究后，又可指導(dǎo)實(shí)踐，進(jìn)一步擴(kuò)大和深化應(yīng)用范圍。下面簡(jiǎn)略介紹一下馬爾可夫隨機(jī)過(guò)程本身在各方面的應(yīng)用情況。 　　在物理學(xué)方面，高能電子或核子穿過(guò)吸收體時(shí)，產(chǎn)生級(jí)聯(lián)（或倍增）現(xiàn)象,在研究電了-光子級(jí)聯(lián)過(guò)程的起伏問(wèn)題時(shí)，要用到隨機(jī)過(guò)程，常以泊松過(guò)程、弗瑞過(guò)程或波伊亞過(guò)程作為實(shí)

12、際級(jí)聯(lián)的近似，有時(shí)還要用到更新過(guò)程（見(jiàn)點(diǎn)過(guò)程）的概念。當(dāng)核子穿到吸收體的某一深度時(shí)，則可用擴(kuò)散方程來(lái)計(jì)算核子的概率分布。物理學(xué)中的放射性衰變，粒子計(jì)數(shù)器，原子核照相乳膠中的徑跡理論和原子核反應(yīng)堆中的問(wèn)題等的研究，都要用到泊松過(guò)程和更新理論。湍流理論以及天文學(xué)中的星云密度起伏、輻射傳遞等研究要用到隨機(jī)場(chǎng)的理論。探討太陽(yáng)黑子的規(guī)律及其預(yù)測(cè)時(shí)，時(shí)間序列方法非常有用。 　　化學(xué)反應(yīng)動(dòng)力學(xué)中，研究化學(xué)反應(yīng)的時(shí)變率及影響這些時(shí)變率的因素問(wèn)題,自動(dòng)

13、催化反應(yīng)，單分子反應(yīng),雙分子反應(yīng)及一些連鎖反應(yīng)的動(dòng)力學(xué)模型等，都要以生滅過(guò)程（見(jiàn)馬爾可夫過(guò)程）來(lái)描述。 　　隨機(jī)過(guò)程理論所提供的方法對(duì)于生物數(shù)學(xué)具有很大的重要性</p><p>　　3.2 一種新的馬爾可夫模型應(yīng)用舉例</p><p>　　隱馬爾可夫模型（Hidden Markov Model，HMM）是統(tǒng)計(jì)模型，它用來(lái)描述一個(gè)含有隱含未知參數(shù)的馬爾可夫過(guò)程。其難點(diǎn)是從可觀察的參數(shù)中確定

14、該過(guò)程的隱含參數(shù)。然后利用這些參數(shù)來(lái)作進(jìn)一步的分析，例如模式識(shí)別。在正常的馬爾可夫模型中，狀態(tài)對(duì)于觀察者來(lái)說(shuō)是直接可見(jiàn)的。這樣狀態(tài)變遷概率便是全部的參數(shù)。而在隱馬爾可夫模型中,狀態(tài)并不是直接可見(jiàn)的，但受狀態(tài)影響的某些變量則是可見(jiàn)的。每一個(gè)狀態(tài)在可能輸出的符號(hào)上都有一概率分布。因此輸出符號(hào)的序列能夠透露出狀態(tài)序列的一些信息。</p><p>　　隱馬爾可夫模型是馬爾可夫鏈的一種，它的狀態(tài)不能直接觀察到，但能通過(guò)觀測(cè)

15、向量序列觀察到，每個(gè)觀測(cè)向量都是通過(guò)某些概率密度分布表現(xiàn)為各種狀態(tài)，每一個(gè)觀測(cè)向量是由一個(gè)具有響應(yīng)概率密度分布的狀態(tài)序列產(chǎn)生。所以，隱馬爾可夫模型是一個(gè)雙重隨機(jī)過(guò)程----具有一定狀態(tài)數(shù)的隱馬爾可夫鏈和顯示隨機(jī)函數(shù)集。自20世紀(jì)80年代以來(lái)，HMM被應(yīng)用于語(yǔ)音識(shí)別，取得重大成功。到了90年代，HMM還被引入計(jì)算機(jī)文字識(shí)別和移動(dòng)通信核心技術(shù)“多用戶的檢測(cè)”。近年來(lái)，HMM在生物信息科學(xué)、故障診斷等領(lǐng)域也開(kāi)始得到應(yīng)用。</p>

16、<p>　　附：與馬爾可夫過(guò)程相關(guān)的歷史事件</p><p>　　1997年提出在因果馬爾科夫條件下,可以由網(wǎng)絡(luò)的條件獨(dú)立和條件相關(guān)關(guān)系推斷因果關(guān)系。</p><p>　　夸（Qllah）于 1993年采用馬爾科夫漣模型 對(duì)歐洲經(jīng)濟(jì)的發(fā)展作了進(jìn)一步分析，認(rèn)為以前傳統(tǒng)的經(jīng)驗(yàn)方法對(duì)研究收斂性有時(shí)可能有 誤導(dǎo)作用。</p><p>　　1991年Cohen等采

17、用高斯一馬爾科夫隨機(jī)場(chǎng)(GMRF)紋理模型對(duì)織物疵點(diǎn)的檢測(cè)進(jìn)行了研究,從正常紋理中提取模型參數(shù),再通過(guò)統(tǒng)計(jì)假設(shè)檢驗(yàn)判別疵點(diǎn)。</p><p>　　1990年 撰寫“馬爾科夫鏈預(yù)測(cè)技術(shù)的應(yīng)用”等論文 1992年之后撰寫成“現(xiàn)代控制理論在森林資源動(dòng)態(tài)預(yù)測(cè)中的應(yīng)用”和“森林資源動(dòng)態(tài)系統(tǒng)Kalman濾波”等文章。</p><p>　　1973年Dudley“和Burt把動(dòng)態(tài)規(guī)劃應(yīng)用于灌溉水庫(kù)的管理

18、上,利用馬爾科夫鏈的轉(zhuǎn)移概率對(duì)遞推動(dòng)態(tài)方程加權(quán)。</p><p>　　直到 1971年 Hammersly等提出H C定理 從理論上證明了馬爾科夫性與吉布斯分布等價(jià)性 以吉布斯為代表的隨機(jī)場(chǎng)理論才得到空前發(fā)展與運(yùn)用。</p><p>　　1948年,Shannon首先證明遍歷齊次馬爾科夫鏈的極限是存在的;1957年,Briemann證明了平穩(wěn)遍歷的馬爾科夫鏈的極限是存在的。</p&g