中南大學(xué)隨機過程第七章

1、隨機過程與排隊論,數(shù)學(xué)科學(xué)與計算技術(shù)學(xué)院胡朝明Email：math_hu2000@csu.edu.cn 2024年3月19日星期二,2024/3/19,胡朝明,37－2,上一講內(nèi)容回顧,馬爾可夫過程馬爾可夫過程的概念馬爾可夫過程的分類離散參數(shù)馬氏鏈k步轉(zhuǎn)移概率、 k步轉(zhuǎn)移矩陣齊次馬爾可夫鏈,2024/3/19,胡朝明,37－3,本講主要內(nèi)容,離散參數(shù)馬氏鏈齊次馬氏鏈的性質(zhì)鏈初始分布、絕對分布、極限分布遍歷性平穩(wěn)性,

2、2024/3/19,胡朝明,37－4,§3.2 離散參數(shù)馬氏鏈,狀態(tài)空間E和參數(shù)集T都是離散的馬爾可夫過程稱為離散參數(shù)馬氏鏈，簡稱馬氏鏈。即,設(shè){X(n),n=0,1,2,…}為隨機序列，狀態(tài)空間E={0,1,2,…}。如果對于任意非負(fù)整數(shù)k、n1<n2<…<nj<m及in1,in2,…inj,im,im+k?E馬爾可夫性 P{X(m+k)=im+k|X(n1)=in1, X

3、(n2)=in2,…,X(nj)=inj,X(m)=im} ＝P{X(m+k)=im+k|X(m)=im}成立，則稱{X(n),n=0,1,2,…}為離散參數(shù)馬爾可夫鏈，簡稱馬氏鏈。,2024/3/19,胡朝明,37－5,k步轉(zhuǎn)移概率,設(shè){X(n),n=0,1,2,…}為馬氏鏈，E={0,1,2,…}，稱條件概率pij(m,k)＝P{X(m+k)=j|X(m)=i}為馬氏鏈{X(n),n=0,1,…}在m時刻的k步轉(zhuǎn)移概率.

4、,k步轉(zhuǎn)移概率的直觀意義是：質(zhì)點在時刻m時處于狀態(tài)i，再經(jīng)過k步(k個單位時間)處于狀態(tài)j的條件概率。,特別地，k=1時，pij(m,1)＝P{X(m+1)=j|X(m)=i}稱為一步轉(zhuǎn)移概率，簡稱轉(zhuǎn)移概率。,2024/3/19,胡朝明,37－6,k步轉(zhuǎn)移矩陣,稱矩陣,為馬氏鏈{X(n),n=0,1,…}在m時刻的k步轉(zhuǎn)移矩陣。一步轉(zhuǎn)移矩陣P(m,1)簡稱轉(zhuǎn)移矩陣。,由轉(zhuǎn)移概率的定義，顯然有：,2024/3/19,胡朝明,37－7,

5、齊次馬爾可夫鏈,若馬氏鏈{X(n),n=0,1,2,…}的轉(zhuǎn)移概率pij(m,k)與m,無關(guān)，即pij(m,k)＝P{X(m+k)=j|X(m)=i}＝pij(k)；pij(m,1)＝P{X(m+1)=j|X(m)=i}＝pij(1)＝pij；則稱{X(n),n=0,1,2,…}為齊次馬爾可夫鏈，簡稱齊次馬氏鏈。,齊次馬氏鏈的k步轉(zhuǎn)移矩陣記為：P(m,k)＝P(k)＝(pij(k))i,j?E一步轉(zhuǎn)移矩陣，簡稱轉(zhuǎn)移矩陣，記

6、為：P(m,1)＝P(1)＝P＝(pij)i,j?E齊次馬氏鏈的轉(zhuǎn)移概率具有如下性質(zhì)：0?pij(k)?1， 0?pij?1，,,2024/3/19,胡朝明,37－8,例1 貝努里序列,如上節(jié)例2所述，貝努里序列是一個齊次馬氏鏈，其轉(zhuǎn)移矩陣為,一般地，獨立同分布的離散隨機變量序列{X(n),n=0,1,2,…}都是齊次馬氏鏈。,2024/3/19,胡朝明,37－9,例2 隨機游動,一質(zhì)點在數(shù)軸上的整數(shù)點上作隨機游動的，以

7、X(n)表示時刻n質(zhì)點的位置。質(zhì)點在某一時刻m時處于狀態(tài)i，即X(m)=i，則下一步以概率q左移到狀態(tài)i-1，即pi,i-1(m,1)=q；而以概率p右移到狀態(tài)i+1，即pi,i+1(m,1)=p。因而質(zhì)點將來所處的狀態(tài)X(m+1),X(m+2),…,X(m+k)等僅與現(xiàn)在所處的狀態(tài)X(m)=i有關(guān)，而與過去所處的狀態(tài)無關(guān)。因此，隨機游動{X(n),n=0,1,2,…}是齊次馬氏鏈。隨機游動的統(tǒng)計特征由它在邊界的特點決定，

8、下面給出幾種特殊的情形。,2024/3/19,胡朝明,37－10,1.自由(無限制)隨機游動,狀態(tài)空間E＝{…,-2,-1,0,1,2,…}兩端無限制。轉(zhuǎn)移概率：pi,i-1＝q，pi,i+1＝p，其余pi,j＝0，j?i-1,i+1,轉(zhuǎn)移矩陣：,2024/3/19,胡朝明,37－11,2.兩個吸收壁隨機游動,狀態(tài)空間E＝{1,2,3,4,5}。轉(zhuǎn)移概率p11＝p55＝1；p1j＝0，j?1；p5j＝0，j?5；pi,i-1＝

9、q，pi,i+1＝p，i=2,3,4；pi,j＝0，j?i-1,i+1。質(zhì)點運動到1,5時，永遠留在那里，稱狀態(tài)1,5為吸收壁(狀態(tài))。,轉(zhuǎn)移矩陣：,2024/3/19,胡朝明,37－12,3.帶有兩個反射壁的隨機游動,狀態(tài)空間E＝{1,2,3,4,5}。轉(zhuǎn)移概率：p11＝0，p12＝1，p1j＝0，j=3,4,5；p55＝0，p54＝1，p5j＝0，j=1,2,3；pi,i-1＝q，pi,i+1＝p，i=2,3,4；pi

10、j＝0，j?i-1,i+1，i=2,3,4。狀態(tài)1和5永遠不能停留，稱為反射壁。,轉(zhuǎn)移矩陣：,2024/3/19,胡朝明,37－13,3.帶有兩個彈性壁的隨機游動,狀態(tài)空間E＝{1,2,3,4,5}。轉(zhuǎn)移概率：p11＝q，p12＝p，p1j＝0，j=3,4,5；p55＝p，p54＝q，p5j＝0，j=1,2,3；pi,i-1＝q，pi,i+1＝p，i=2,3,4；pij＝0，j?i-1,i+1，i=2,3,4。狀態(tài)1和5稱為

11、彈性壁。,轉(zhuǎn)移矩陣：,2024/3/19,胡朝明,37－14,齊次馬氏鏈的性質(zhì)1,齊次馬氏鏈{X(n),n=0,1,2,…}的轉(zhuǎn)移概率pij(k)滿足C-K方程(Chapman-Kolmogrov)。,采用矩陣記號為：P(k+s)＝P(k)P(s)。,證明,pij(k+s)＝P{X(m+k+s)=j|X(m)=i},?！?帶條件的乘法公式：P(A1A2|B)=P(A1|B)·P(A2|A1B),全概率公式,2024/3/1

12、9,胡朝明,37－15,齊次馬氏鏈的性質(zhì)2,齊次馬氏鏈{X(n),n=0,1,2,…}的n步轉(zhuǎn)移矩陣等于一步轉(zhuǎn)移矩陣的n次方，即：P(n)＝Pn。,證明 由C-K方程有：P(k+s)＝P(k)·P(s)。令k=s=1，有：P(2)＝P(1)·P(1)＝P2；令k=2,s=1，有：P(3)＝P(2)·P(1)＝P2·P＝P3；由數(shù)學(xué)歸納法得：P(n)＝Pn。■ 由此得知，齊次馬氏鏈

13、的n布轉(zhuǎn)移概率由一步轉(zhuǎn)移概率確定。,2024/3/19,胡朝明,37－16,齊次馬氏鏈的性質(zhì)3,給定齊次馬氏鏈{X(n),n=0,1,2,…}，稱pi＝P{X(0)=i}i?E，即X(0)概率分布，為齊次馬氏鏈的初始分布。其中0?pi?1,i?E且 ＝1，記,證明 pj(n)＝P{X(n)=j},性質(zhì)3 絕對分布由初始分布和轉(zhuǎn)移概率確定，且滿足,給定齊次馬氏鏈{X(n),n=0,1,2,…}，稱pi(n)＝P

14、{X(n)=i}i?E，即X(n)概率分布，為齊次馬氏鏈的絕對分布。其中0?pi(n)?1,i?E且 ＝1，記,或記為,?！?2024/3/19,胡朝明,37－17,齊次馬氏鏈的性質(zhì)4,齊次馬氏鏈的有限維分布由初始分布和轉(zhuǎn)移概率確定，且滿足,證明 P{X(n1)=i1,X(n2)=i1,…,X(nk)=ik},P{X(n1)=i1,X(n2)=i1,…,X(nk)=ik},其中P{X(n1)=i1,X(

15、n2)=i1,…,X(nk)=ik}為齊次馬氏鏈的k維概率分布。,。■,2024/3/19,胡朝明,37－18,遍歷性、極限分布,設(shè){X(n),n=0,1,2,…}為齊次馬氏鏈，如果對,一切狀態(tài)i和j，存在與i無關(guān)的極限,則稱此馬氏鏈具有遍歷性。,如果?j>0, j?E且 ＝1，則稱(?j,j?E)為齊次馬氏鏈{X(n),n=0,1,2,…}的極限分布，或稱最終分布，記為?＝(?j,j?E),2024/3/19

16、,胡朝明,37－19,齊次馬氏鏈的性質(zhì)5,設(shè)齊次馬氏鏈{X(n),n=0,1,2,…}的狀態(tài)空間,E={1,2,…,s}為有限，若存在正整數(shù)n0,對任意i,j?E，有pij(n0)>0，則此馬氏鏈?zhǔn)潜闅v的，且極限分布是方程組,在滿足條件,下的唯一解。,2024/3/19,胡朝明,37－20,推論,設(shè)齊次馬氏鏈{X(n),n=0,1,2,…}具有遍歷性，則,即遍歷的齊次馬氏鏈的絕對分布與轉(zhuǎn)移概率有相同的極限。,證明 由絕對分布的

17、性質(zhì),兩邊對n取極限,?！?2024/3/19,胡朝明,37－21,齊次馬氏鏈的性質(zhì)6,設(shè){X(n),n=0,1,2,…}為齊次馬氏鏈，若存在一個分,布V=(vj,j?E)滿足下列條件,則稱此馬氏鏈?zhǔn)瞧椒€(wěn)的，稱V=(vj,j?E)為此馬氏鏈的平穩(wěn)分布，即V＝VP。,性質(zhì)6 遍歷的齊次馬氏鏈的極限分布是平穩(wěn)分布。,證明 設(shè)齊次馬氏鏈{X(n),n=0,1,2,…}具有遍歷性，即,故{?j,j?E}為極限分布，由C-K方程,令n→?有：

18、,則(?j,j?E)為馬氏鏈{X(n),n=0,1,2,…}的平穩(wěn)分布?！?2024/3/19,胡朝明,37－22,齊次馬氏鏈的性質(zhì)7,設(shè){X(n),n=0,1,2,…}的平穩(wěn)分布為{vj,j?E}，則有V＝VPn，n=0,1,2,…,證明 由平穩(wěn)分布的定義和C-K方程得,即有：V＝VP2。,容易由數(shù)學(xué)歸納法證得：,即證得：V＝VPn?！?2024/3/19,胡朝明,37－23,齊次馬氏鏈的性質(zhì)8,如果齊次馬氏鏈{X(n),n=0

19、,1,2,…}的初始分布{pj,j?E}恰好是平穩(wěn)分布，則對一切n有pj(n)＝pj，n=0,1,2,…，j?E即,證明 設(shè)初始分布{pj,j?E}是平穩(wěn)分布，由性質(zhì)3和性質(zhì)7得,?！?由此性質(zhì)可知，如果齊次馬氏鏈的初始分布為平穩(wěn)分布，則絕對分布將始終等于初始分布，而不隨時間的推移而改變，即系統(tǒng)具有平穩(wěn)性。,2024/3/19,胡朝明,37－24,重要推論,設(shè)齊次馬氏鏈{X(n),n=0,1,2,…}的狀態(tài)空間有,限E={1,

20、2,…,s}，若存在正整數(shù)n0,對任意i,j?E，n0步轉(zhuǎn)移概率pij(n0)>0，則此鏈?zhǔn)潜闅v的，且極限分布等于平穩(wěn)分布。,此結(jié)果在概率上可以具體求出平穩(wěn)分布，在代數(shù)上是方程組的求解問題，即系數(shù)矩陣是轉(zhuǎn)移矩陣的方程組的求解問題。,2024/3/19,胡朝明,37－25,齊次馬氏鏈例3,在傳送數(shù)字0和1的通訊系統(tǒng)中，每一傳送數(shù)字必須經(jīng)過若干級。第i級正確傳送的概率為pi，X(0)表示進入系統(tǒng)第一級的數(shù)字，X(n)表示離開通訊系統(tǒng)第

21、n級的數(shù)字。{X(n)，n=0,1,2,…}是狀態(tài)空間E＝{0,1}的齊次馬氏鏈。若更設(shè)pi＝p（與狀態(tài)無關(guān)）。,(1)轉(zhuǎn)移概率矩陣,(2)n步轉(zhuǎn)移矩陣,為求Pn，先求P的特征值和特征向量,求得特征值?1=1和?2=p-q，特征向量,2024/3/19,胡朝明,37－26,齊次馬氏鏈例3(續(xù)1),正交，將其單位化得,得正交矩陣,2024/3/19,胡朝明,37－27,齊次馬氏鏈例3(續(xù)2),(3)討論遍歷性，求極限分布和平穩(wěn)分布,令n→

22、?，由于|p-q|<1，所以,由遍歷性的定義，此馬氏鏈遍歷。（也可利用性質(zhì)5，狀態(tài)有限，n0＝1，pij>0，i,j?E，知其遍歷）,平穩(wěn)分布等于極限分布,故(?0,?1)＝,2024/3/19,胡朝明,37－28,齊次馬氏鏈例4,設(shè)有6個球(其中2個紅球4個白球)分別放于甲、乙兩個盒子中，每盒3個。令每次從兩個盒子中各取一個球進行交換，X(0)表示開始時甲盒中紅球的個數(shù)，X(n),n=1,2,…表示經(jīng)過n次交換后甲盒中的紅

23、球數(shù)。{X(n)，n=0,1,2,…}是狀態(tài)空間E＝{0,1,2}的齊次馬氏鏈。,(1)初始分布,(2)轉(zhuǎn)移矩陣,2024/3/19,胡朝明,37－29,齊次馬氏鏈例4(續(xù)1),(3)遍歷性，極限分布，平穩(wěn)分布,pij(2)>0，i,j?E，故此馬氏鏈為遍歷的，其極限分布等于平穩(wěn)分布。,,(?0,?1,?2)＝(?0,?1,?2)P,解得平穩(wěn)分布,(?0,?1,?2)＝,2024/3/19,胡朝明,37－30,齊次馬氏鏈例4(續(xù)2

24、),(4)絕對分布,因初始分布為平穩(wěn)分布,,故絕對分布永遠等于初始分布。,比如，可以驗證,2024/3/19,胡朝明,37－31,齊次馬氏鏈例4(續(xù)3),(4)有限維分布,P{X(1)=1,X(2)=2,X(4)=1}＝P{X(1)=1}·P{X(2)=2|X(1)=1}·P{X(4)=1|X(1)=1,X(2)=2}=P{X(1)=1}·p12·p21(2),P{X(2)=2,X(4)=2|

25、X(1)=1}＝P{X(2)=2|X(1)=1}·P{X(4)=2|X(1)=1,X(2)=2}=p12·p22(2),2024/3/19,胡朝明,37－32,齊次馬氏鏈例5,若顧客的購買是無記憶的，即已知顧客現(xiàn)在的購買情況，顧客將來購買的情況不受過去歷史購買的影響，而只與現(xiàn)在的購買情況有關(guān)。現(xiàn)在市場上供應(yīng)A、B、C三個不同廠生產(chǎn)的50克袋裝味精。X(n)=1、X(n)=2、X(n)=3分別表示顧客第n次購買A、

26、B、C廠的味精。 {X(n)，n=1,2,3,…}是一個齊次馬氏鏈，狀態(tài)空間E＝{1,2,3}。 若已知第一次顧客購買三個廠味精的概率分布，即初始分布P1＝(P{X(1)=1},P{X(1)=2},P{X(1)=3})＝(0.2,0.4,0.4) 又知道一般顧客的購買傾向——轉(zhuǎn)移矩陣,～,2024/3/19,胡朝明,37－33,齊次馬氏鏈例5(續(xù)1),顧客第二次購買各廠味精的概率,求第1次購買各廠味精的

27、顧客，經(jīng)過3次購買，第4次購買各廠味精的概率,2024/3/19,胡朝明,37－34,齊次馬氏鏈例5(續(xù)2),預(yù)測經(jīng)過長期多次購買之后，顧客購買傾向—各廠味精市場占有率,因pij>0，i,j?E，故為遍歷的馬氏鏈，其極限分布等于平穩(wěn)分布,解得平穩(wěn)分布,2024/3/19,胡朝明,37－35,本講主要內(nèi)容,離散參數(shù)馬氏鏈齊次馬氏鏈的性質(zhì)鏈初始分布、絕對分布、極限分布遍歷性平穩(wěn)性,2024/3/19,胡朝明,37－36,下一講