第十六章section3隨機過程

1、3隨機隨機過程、、一般隨機過程[隨機過程的定義]對于每個t?T(T是某個固定的實數(shù)集)?(t)是個隨機變量，就把這樣的隨機變量族?(t)，t?T稱為隨機過程。隨機過程一次實驗的結(jié)果是定義在T上的函數(shù)，稱為隨機過程的一次實現(xiàn)。當參數(shù)t的變化范圍T是個整數(shù)集合，則稱?(t)t=0?1?2?為隨機序列。當T只包含一個或有限個元素，?(t)，t?T就是概率論中研究過的隨機變量或隨機矢量。[隨機過程的有窮維分布函數(shù)族]設(shè)?(t)，t?T是隨機過程

2、，對任意的正整數(shù)n及任意的t1t2?，tn?T隨機變量?(t1)?(t2)?，?(tn)的聯(lián)合分布函數(shù)為))()()(()(2212121nnntttxtxtxtPxxxFn??????????稱??)(2121ntttxxxFn??為隨機過程的有窮維分布函數(shù)族。它不僅刻劃了對應于每一個t的隨機變量?(t)的統(tǒng)計規(guī)律性，而且也刻劃了各個隨機變量?(t)之間的關(guān)系，從而完整地描述了隨機過程的統(tǒng)計規(guī)律性。[隨機過程的統(tǒng)計參數(shù)]設(shè)?(t)，t

3、?T是個復值隨機過程(指它的實部和虛部都是實的隨機過程)。主要的統(tǒng)計參數(shù)有：1均值函數(shù)對每個t?T隨機變量?(t)的數(shù)學期望（均值）)(d)()(xFxtEtmt???????稱為隨機過程的均值函數(shù)，式中Ft(x)是?(t)的分布函數(shù)。2協(xié)方差函數(shù)與方差函數(shù)對任意的st?T)]()()][()([)(tmtsmsEtsR?????稱為隨機過程的協(xié)方差函數(shù)(或相關(guān)函數(shù))，式中m(t)是均值函數(shù)。特別地，當s=t則稱2)]()([)(tmt

4、EttR???為隨機過程的方差函數(shù)(或自相關(guān)函數(shù))。3高階矩若對任意的正整數(shù)n，非負整數(shù)m1m2?mnm=m1m2?mn及任意實數(shù)t1t2?tn，隨機變量nmnmmttt)()()(2121?????的數(shù)學期望存在，則)(d])()([)(11111111nttmnmnmnnmnmmxxFxxttEttnnn?????????????????????????稱它為?(t)在t1t2?tn矩的一個m階矩。[隨機過程的均方連續(xù)性]設(shè)?(t)

5、，t?T是一隨機過程，t0?T如果0)()(lim200????ttETttt??即)(.m.i.l)(00tttt????則稱?(t)在t=t0是均方連續(xù)的，式中l(wèi).i.m.表示均方收斂。如果?(t)對于任意t?T都是均方連續(xù)，就稱?(t)在T上是均方連續(xù)的。隨機過程?(t)，t?T的如下三命題是等價的：1隨機過程?(t)，t?T在T上均方連續(xù)；2隨機過程?(t)，t?T的協(xié)方差函數(shù)R(st)(st?T)關(guān)于st是連續(xù)的；3隨機過程?

6、(t)，t?T的協(xié)方差函數(shù)R(st)(st?T)在對角線s=t上關(guān)于st是連續(xù)的。)()(())())()()(()(1112211111nttnnnnnttxxFxtPxtPxtxtxtPxxFnn???????????????????????????成立，則稱?(t)，t?T是平穩(wěn)過程(狹義的平穩(wěn)過程)。、、馬爾科夫過程1、轉(zhuǎn)移概率[狀態(tài)與狀態(tài)轉(zhuǎn)移概率]考慮一系列隨機試驗，其中每次試驗的結(jié)果如果出現(xiàn)可列個兩兩互斥事件E1E2?中的一

7、個而且僅出現(xiàn)一個，則稱這些事件Ei(i=12?)為狀態(tài)。如果Ei出現(xiàn)，就稱系統(tǒng)處在狀態(tài)Ei。用pij(tτ)表示“已知在時刻t系統(tǒng)處在狀態(tài)Ei的條件下，在時刻τ（tτ）系統(tǒng)處在狀態(tài)Ej”的條件概率，稱pij(tτ)為轉(zhuǎn)移概率。[過程的無后效應與時齊性]無后效性若在已知時刻t0系統(tǒng)所處狀態(tài)的條件下，在時刻t0以后系統(tǒng)將到達狀態(tài)的情況與時刻t0以前系統(tǒng)所處的狀態(tài)無關(guān)，則稱過程為無后效的。時齊性若轉(zhuǎn)移概率pij(tτ)只與ijτ有關(guān)，則稱過程

8、為時齊的，簡記t?pij(τ)=pij(ttτ)2、馬爾科夫鏈[馬爾科夫鏈]馬爾科夫鏈是時間與狀態(tài)都是離散的馬爾科夫過程。1設(shè)在一系列隨機試驗下，系統(tǒng)的可能離散狀態(tài)為E0E1?如果對于任意二正整數(shù)km任意整數(shù)0≤j1j2?jlm等式)|()|(12mkmjjjlmkmEEPEEEEEP???????????都成立(mE?表示“第m次試驗出現(xiàn)Em”的事件)，那末稱這一隨機試驗列為馬爾科夫鏈，簡稱馬氏鏈。2隨機變量序列?n(n=01?)為馬

9、爾科夫鏈的定義設(shè)?n(n=01?)為一隨機變量序列，它們中間的每一個都可能取值(相當于所處狀態(tài)Ei)xi(i=012?)如果對于任意正整數(shù)km任意正整數(shù)0≤j1j2?jlm等式)()(1122mmkmkmjjjjjjmmkmkmxxPxxxxxPll????????????????????成立，就稱?n為馬爾科夫鏈，簡稱馬氏鏈。通?？扇i=12?。馬氏鏈所刻劃的隨機試驗序列，可以直觀地理解為要驗測“將來”所處的狀態(tài)只要用“現(xiàn)在”已知的

10、狀態(tài)，而“過去”的狀態(tài)不起任何作用，這就是無后效性。馬氏鏈，以至于馬爾科夫過程都是具有無后效性的隨機過程。[馬爾科夫鏈的轉(zhuǎn)移概率矩陣]如果在時刻m系統(tǒng)由狀態(tài)Ei經(jīng)過一次轉(zhuǎn)移到達狀態(tài)Ej的概率和時刻m無關(guān)，那末就可用pij表示這個一次轉(zhuǎn)移概率。顯然1??jijp（pij≥0ij=012?）轉(zhuǎn)移概率pij可排成一個轉(zhuǎn)移概率矩陣??????????????????121110020100)(pppppppPij這是一個每行元素和為1的非負元素