中南大學(xué)隨機(jī)過(guò)程第九章

1、隨機(jī)過(guò)程與排隊(duì)論,數(shù)學(xué)科學(xué)與計(jì)算技術(shù)學(xué)院胡朝明Email：math_hu2000@csu.edu.cn2024年3月19日星期二,2024/3/19,胡朝明,37－2,上一講內(nèi)容回顧,齊次馬氏鏈狀態(tài)的分類互通 首達(dá)常返與非常返正常返與零常返狀態(tài)空間分解不可約馬氏鏈狀態(tài)的周期性,2024/3/19,胡朝明,37－3,本講主要內(nèi)容,連續(xù)參數(shù)馬爾可夫鏈轉(zhuǎn)移概率函數(shù)、轉(zhuǎn)移矩陣連續(xù)參數(shù)齊次馬氏鏈初始分布、絕對(duì)分布、遍歷性

2、、平穩(wěn)分布轉(zhuǎn)移概率函數(shù)的性質(zhì)狀態(tài)轉(zhuǎn)移速度矩陣生滅過(guò)程,2024/3/19,胡朝明,37－4,§3.4 連續(xù)參數(shù)馬爾可夫鏈,類似離散參數(shù)馬氏鏈，只是把離散的時(shí)間參數(shù)改為連續(xù)的時(shí)間參數(shù)，便可得到類似的結(jié)果。,設(shè)隨機(jī)過(guò)程{X(t),t?0}，狀態(tài)空間E={0,1,2,,…}。若對(duì)于0<t1<t2<…<tn<tn+1及非負(fù)整數(shù)i1,i2,…in,in+1，有P{X(tn+1)＝in+1|X(t

3、1)=i1,X(t2)=i2,…,X(tn)=in}＝P{X(tn+1)＝in+1|X(tn)=in}即馬爾可夫性成立，則稱{X(t),t?0}為連續(xù)參數(shù)馬爾可夫鏈。,2024/3/19,胡朝明,37－5,轉(zhuǎn)移概率函數(shù),設(shè){X(t),t?0}為連續(xù)參數(shù)馬氏鏈，對(duì)任意i,j?E＝{0,1,2,…}，任意非負(fù)實(shí)數(shù)s,t，條件概率pij(s,t)＝P{X(t+s)=j|X(s)=i}稱為此馬氏鏈{X(t),t?0}的轉(zhuǎn)移概率函數(shù)，顯

4、然,我們稱P(s,t)＝(pij(s,t))i,j?E為此馬氏鏈的轉(zhuǎn)移矩陣。,這里，pij(s,t)的直觀意義是：系統(tǒng)(或質(zhì)點(diǎn))在時(shí)刻s時(shí)處于狀態(tài)i，再經(jīng)過(guò)t時(shí)間轉(zhuǎn)到狀態(tài)j的條件概率。,2024/3/19,胡朝明,37－6,連續(xù)參數(shù)齊次馬氏鏈,若{X(t),t?0}為連續(xù)參數(shù)馬氏鏈的轉(zhuǎn)移概率pij(s,t)與,時(shí)間起點(diǎn)s無(wú)關(guān)，即pij(s,t)＝P{X(s+t)=j|X(s)=i}＝pij(t)則稱{X(t),t?0}為連續(xù)參

5、數(shù)齊次馬氏鏈。,類似地，,一般地，我們要求齊次馬氏鏈的轉(zhuǎn)移概率函數(shù)滿足如下的連續(xù)性條件：,P(t)＝(pij(t))i,j?E稱為此齊次馬氏鏈的轉(zhuǎn)移矩陣。0?pij(t)?1，,2024/3/19,胡朝明,37－7,絕對(duì)分布、遍歷性、平穩(wěn)分布,設(shè){X(t),t?0}為連續(xù)參數(shù)齊次馬氏鏈,則稱{vj，j?E}為齊次馬氏鏈{X(t),t?0}的平穩(wěn)分布。,pj＝P{X(0)=j}，j?E，稱{pj,j?E}為該馬氏鏈的初始分布；P

6、j(t)＝P{X(t)=j}，j?E，稱{pj(t),j?E}為該馬氏鏈的絕對(duì)分布；如果轉(zhuǎn)移概率極限存在，,，且與i無(wú)關(guān)則稱此連續(xù)參數(shù)齊次馬氏鏈為遍歷的馬氏鏈，此時(shí)，我們說(shuō)該鏈具有遍歷性。,若?j>0， ，則稱{?j,j?E}為齊次馬氏鏈{X(t),t?0}的極限分布。,如果{vj,j?E}滿足,2024/3/19,胡朝明,37－8,轉(zhuǎn)移概率函數(shù)的性質(zhì),0?pij(t)?1，i,j?E；,連續(xù)性條件：,

7、pij(t)滿足C-K方程,矩陣形式:P(t+s)＝P(t)P(s),絕對(duì)概率滿足,如果齊次馬氏鏈{X(t),t?0}是遍歷馬氏鏈，則,2024/3/19,胡朝明,37－9,轉(zhuǎn)移概率函數(shù)的性質(zhì)(續(xù)1),設(shè)齊次馬氏鏈{X(t),t?0}的狀態(tài)有限，E={0,1,2,…,s}，如果存在t0>0，使得對(duì)任意i,j?E，都有pij(t0)>0，則此齊次馬氏鏈{X(t),t?0}為遍歷的齊次馬氏鏈。即,存在且與i無(wú)關(guān)，并且極限

8、分布{?j,j?E}是唯一的平穩(wěn)分布：,對(duì)固定的i,j，函數(shù)pij(t)是t>0的一致連續(xù)函數(shù)。,滿足連續(xù)性條件的連續(xù)參數(shù)齊次馬氏鏈{X(t),t?0}存在下列極限,其中qi表示在時(shí)刻t時(shí)通過(guò)狀態(tài)i的通過(guò)速度(或通過(guò)強(qiáng)度)；qij表示時(shí)刻t時(shí)從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的速度(或強(qiáng)度)，qij統(tǒng)稱轉(zhuǎn)移速度。,2024/3/19,胡朝明,37－10,狀態(tài)轉(zhuǎn)移速度矩陣,設(shè)連續(xù)參數(shù)齊次馬氏鏈{X(t),t?0}，狀態(tài)空間E={0,1,2,…,s

9、}，下面s+1階方陣：,稱為齊次馬氏鏈{X(t),t?0}的狀態(tài)轉(zhuǎn)移速度矩陣，簡(jiǎn)稱Q-矩陣。,由連續(xù)性條件和導(dǎo)數(shù)的定義，顯然有,即P’(+0)＝Q。,2024/3/19,胡朝明,37－11,轉(zhuǎn)移概率函數(shù)的性質(zhì)(續(xù)2),設(shè)齊次馬氏鏈{X(t),t?0}，狀態(tài)空間E={0,1,2,…,s}，其轉(zhuǎn)移速度,設(shè){X(t),t?0}為連續(xù)參數(shù)齊次馬氏鏈，當(dāng)qi<+?， ＝qi 時(shí)，滿足柯?tīng)柲缏宸蚝笸宋⒎址匠?即P

10、’(t)＝QP(t),設(shè){X(t),t?0}為連續(xù)參數(shù)齊次馬氏鏈,當(dāng)qi<+?, ＝qri 時(shí)，則有柯?tīng)柲缏宸蚯斑M(jìn)微分方程,即P’(t)＝P(t)Q,2024/3/19,胡朝明,37－12,轉(zhuǎn)移概率函數(shù)的性質(zhì)(續(xù)3),絕對(duì)概率滿足（福克-普朗克方程）,齊次不可約連續(xù)參數(shù)馬氏鏈{X(t),t?0}存在極限分布，即為平穩(wěn)分布{?j,j?E},即?Q＝0（零向量）,2024/3/19,胡朝明,37

11、－13,§3.5 生滅過(guò)程,設(shè){X(t),t?0}是連續(xù)參數(shù)齊次馬氏鏈，狀態(tài)空間E＝{0,1,2,…,N}，如果它的狀態(tài)轉(zhuǎn)移速度矩陣為,則稱{X(t),t?0}為生滅過(guò)程。,2024/3/19,胡朝明,37－14,生滅過(guò)程的轉(zhuǎn)移概率,上述生滅過(guò)程{X(t),t?0}的定義可等價(jià)地用轉(zhuǎn)移概率pij(t)表示為：,生滅過(guò)程的狀態(tài)空間可以推廣到可數(shù)無(wú)窮多個(gè)狀態(tài)的情形。,2024/3/19,胡朝明,37－15,生滅過(guò)程的概率意

12、義,設(shè)X(t)表示時(shí)刻t時(shí)某生物群體的個(gè)數(shù)，{X(t),t?0}為生滅過(guò)程，由上式可見(jiàn)，在長(zhǎng)度為t的一小段時(shí)間內(nèi)，如果忽略t的高階無(wú)窮小量o(t)后，生滅過(guò)程的狀態(tài)變化只有3種情況：i→i+1，狀態(tài)增加1，可理解為“生”了一個(gè)個(gè)體，其概率為?it，其生長(zhǎng)率為?i；i→i-1，狀態(tài)減少1，可理解為“死”了一個(gè)個(gè)體，其概率為?it，其生長(zhǎng)率為?i；i→i，狀態(tài)不增不減，群體個(gè)數(shù)不變，其概率為1-(?i+?i)t；狀態(tài)增加或減少

13、2個(gè)或2個(gè)以上的概率為0。,生滅過(guò)程的所有狀態(tài)都是互通的，但在有限短時(shí)間內(nèi)，只能在相鄰兩個(gè)狀態(tài)內(nèi)變化，或者“生”一個(gè)，或者“死”一個(gè)，或者狀態(tài)無(wú)變化，故稱之為生滅過(guò)程。,2024/3/19,胡朝明,37－16,生滅過(guò)程的狀態(tài)轉(zhuǎn)移速度圖,,,?1,,?0,…,…,,?2,,?3,,?4,,?n-1,,?n,,?n+1,,?1,,?n,,?n-2,,?n-1,,?2,,?3,2024/3/19,胡朝明,37－17,生滅過(guò)程滿足的柯?tīng)柲缏宸?/p>

14、方程,柯?tīng)柲缏宸蚝笸朔匠蹋篜’(t)＝QP(t)，P(+0)＝I(單位陣),柯?tīng)柲缏宸蚯斑M(jìn)方程：P’(t)＝P(t)Q，P(+0)＝I,2024/3/19,胡朝明,37－18,?？耍绽士朔匠?絕對(duì)概率滿足福克－普朗克方程：,(1),推廣到無(wú)限狀態(tài)E{0,1,2,…,n,…}為：,(2),2024/3/19,胡朝明,37－19,?？耍绽士朔匠探獾拇嬖谛?對(duì)有限狀態(tài)E＝{0,1,2,…,N}的生滅過(guò)程，若滿足pj(t)?0，,，則

15、對(duì)任給的初始條件，方程組,(1)的解存在、唯一，而且,對(duì)可列無(wú)限狀態(tài)E＝{0,1,2,…,n,…}的生滅過(guò)程，若,而且滿足pj(t)?0，,，則對(duì)任給的初始條件，,方程組(2)的解存在、唯一，且,2024/3/19,胡朝明,37－20,極限定理,對(duì)有限狀態(tài)E＝{0,1,2,…,N}的生滅過(guò)程，{?j，j=0,1,,2,…,N}存在，與初始條件無(wú)關(guān)，且,即{?j，j=0,1,…,N}為平穩(wěn)分布。,對(duì)可列無(wú)限狀態(tài)E＝{0,1,2,…,n,…

16、}的生滅過(guò)程，若有條件,成立，則{?j，j=0,1,2,…}存在，與初始條件無(wú)關(guān)，且,令,?j>0，,及,，即{?j，j=0,1,…,n,…}為平穩(wěn)分布。,?j>0，,2024/3/19,胡朝明,37－21,有限狀態(tài)生滅過(guò)程的平穩(wěn)分布,有限狀態(tài)E={0,1,2,…,N}的生滅過(guò)程{X(t),t?0}是遍歷的齊次連續(xù)參數(shù)馬氏鏈。生滅過(guò)程存在極限分布即為平穩(wěn)分布?＝{?j,j?E}。?Q＝0即,2024/3/19,胡朝明

17、,37－22,有限狀態(tài)生滅過(guò)程的平穩(wěn)分布的解,解得生滅過(guò)程{X(t),t?0}，E={0,1,2,…,N}的平穩(wěn)分布?＝{?j,j?E}為：,當(dāng)?0＝ ?1＝ …＝?N-1＝ ?，?1＝ ?2＝…＝ ?N＝ ?時(shí)，有,2024/3/19,胡朝明,37－23,無(wú)限狀態(tài)生滅過(guò)程的平穩(wěn)分布,無(wú)限狀態(tài)E={0,1,2,…,}的生滅過(guò)程{X(t),t?0}若滿足,是遍歷的齊次連續(xù)參數(shù)馬氏鏈。生滅過(guò)程存在極限分布即為平穩(wěn)分布?＝{?j,j?E}

18、。?Q＝0即,及,2024/3/19,胡朝明,37－24,無(wú)限狀態(tài)生滅過(guò)程的平穩(wěn)分布的解,解得生滅過(guò)程{X(t),t?0}，E={0,1,2,…,}的平穩(wěn)分布?＝{?j,j?E}為：,特別，當(dāng)?0＝ ?1 =?2 ＝ …＝ ?，?1＝ ?2＝ ?3＝ …＝ ?時(shí)，只要?/?＜1，則{?j,j?E}存在，且有,2024/3/19,胡朝明,37－25,注,由生滅過(guò)程{X(t),t?0} 的平穩(wěn)分布可得：?j?j＝?j-1?j-1此

19、式的概率解釋為：當(dāng)群體大小X(t)處于統(tǒng)計(jì)平衡時(shí)，在一個(gè)很小的時(shí)間區(qū)間t時(shí)，群體大小增加1的概率(??j-1?j-1)等于群體大小減少1的概率(??j?j)。,當(dāng)?j=0時(shí)，生滅過(guò)程{X(t),t?0}為純生過(guò)程，即“滅”是不可能的；當(dāng)?j=0時(shí)，生滅過(guò)程{X(t),t?0}為純滅過(guò)程，即“生”是不可能的,2024/3/19,胡朝明,37－26,例1,泊松過(guò)程{N(t),t?0}是生率為?的純生過(guò)程。,狀態(tài)空間E＝{0,1,2,…}狀

20、態(tài)轉(zhuǎn)移速度圖,狀態(tài)轉(zhuǎn)移速度矩陣,2024/3/19,胡朝明,37－27,例1(續(xù)),前進(jìn)方程：P’(t)＝P(t)Q，P(+0)=I即,解得轉(zhuǎn)移概率,也可直接按轉(zhuǎn)移概率的定義來(lái)求Pij(t)：(平穩(wěn)獨(dú)立增量過(guò)程),Pij(t)＝P{N(t+s)=j|N(s)=i},＝P{N(t+s)-N(s)=j-i|N(s)-N(0)=i-0} ＝P{N(t+s)-N(s)=j-i},＝P{N(t)=j-i},獨(dú)立增量,增量的平穩(wěn)性,202

21、4/3/19,胡朝明,37－28,例2 機(jī)器維修問(wèn)題,一部機(jī)器正常工作時(shí)間服從參數(shù)為?的負(fù)指數(shù)分布，,若出故障，維修時(shí)間服從參數(shù)為?的負(fù)指數(shù)分布，二者獨(dú)立。令X(t)表示時(shí)刻t出故障的機(jī)器數(shù)，則{X(t),t?0}是一個(gè)狀態(tài)空間E＝{0,1}的生滅過(guò)程。,狀態(tài)轉(zhuǎn)移速度圖,狀態(tài)轉(zhuǎn)移速度矩陣,前進(jìn)方程：P’(t)＝P(t)Q，P(+0)=I即,2024/3/19,胡朝明,37－29,例2(續(xù)1),解得,極限分布,2024/3/19,

22、胡朝明,37－30,例2(續(xù)2),平穩(wěn)分布(等于極限分布),2024/3/19,胡朝明,37－31,例3,設(shè)有2個(gè)通信通道，每個(gè)通道正常工作時(shí)間服從參數(shù)為,?的負(fù)指數(shù)分布。2個(gè)通道出故障是統(tǒng)計(jì)獨(dú)立的，若通道出故障，由2個(gè)維修人員獨(dú)立維修。修理的時(shí)間服從參數(shù)為?的負(fù)指數(shù)分布。假設(shè)2個(gè)通道在t=0時(shí)正常工作，設(shè)X(t)表示時(shí)刻t時(shí)出故障的通道數(shù)，則{X(t),t?0}是狀態(tài)空間E＝{0,1,2}的生滅過(guò)程。,狀態(tài)轉(zhuǎn)移速度圖,狀態(tài)轉(zhuǎn)移速度矩陣

23、,2024/3/19,胡朝明,37－32,例3(續(xù)),平穩(wěn)分布?Q＝0，,即,解得,即平穩(wěn)分布?＝(?0,?1,?2),2024/3/19,胡朝明,37－33,例4 電話問(wèn)題,考慮有3條線路的電話交換臺(tái)。呼喚次數(shù)是參數(shù)為?的,泊松過(guò)程；通話時(shí)間服從參數(shù)為?的負(fù)指數(shù)分布，二者相互獨(dú)立。用戶不等待。設(shè)X(t)表示時(shí)刻t時(shí)通話線路數(shù)，則{X(t)，t?0}是狀態(tài)空間E＝{0,1,2,3}的生滅過(guò)程。,狀態(tài)轉(zhuǎn)移速度圖,狀態(tài)轉(zhuǎn)移速度矩陣,2

24、024/3/19,胡朝明,37－34,例4(續(xù)),平穩(wěn)分布?Q＝0，,即,解得,即平穩(wěn)分布?＝(?0,?1,?2,?3)，其中,2024/3/19,胡朝明,37－35,本講主要內(nèi)容,連續(xù)參數(shù)馬爾可夫鏈轉(zhuǎn)移概率函數(shù)、轉(zhuǎn)移矩陣連續(xù)參數(shù)齊次馬氏鏈初始分布、絕對(duì)分布、遍歷性、平穩(wěn)分布轉(zhuǎn)移概率函數(shù)的性質(zhì)狀態(tài)轉(zhuǎn)移速度矩陣生滅過(guò)程,2024/3/19,胡朝明,37－36,下一講內(nèi)容預(yù)告,排隊(duì)論簡(jiǎn)介排隊(duì)的概念基本的排隊(duì)系統(tǒng)排隊(duì)系統(tǒng)