時(shí)間不相容的隨機(jī)控制問題和弱形式的正倒向隨機(jī)微分方程.pdf

1、在本篇論文中，我們主要研究了兩類不滿足Bellman's最優(yōu)性原理的時(shí)間不相容隨機(jī)控制問題:一個(gè)是隨機(jī)系數(shù)的時(shí)間不相容最優(yōu)控制問題，另一個(gè)是部分觀測(cè)的時(shí)間不相容遞歸最優(yōu)控制問題。另外，我們還研究了一類受障礙約束的遞歸最優(yōu)控制問題，它的代價(jià)泛函由反射倒向隨機(jī)微分方程(BSDE)的解給出。我們建立了該問題的近似最大值原理及其最優(yōu)解和近似最優(yōu)解的充分條件。進(jìn)而，通過考察與隨機(jī)最優(yōu)控制理論的緊密聯(lián)系以及其它的實(shí)際應(yīng)用，我們引入了一類新型的正倒向

2、隨機(jī)微分方程(FBSDEs)，稱為弱形式的FBSDEs。我們還進(jìn)一步討論了這類方程解的適定性。
　　下面我們給出本文的主要內(nèi)容和結(jié)構(gòu)框架。
　　在第一章中，我們簡(jiǎn)明扼要地介紹了本文所研究問題的歷史背景，研究動(dòng)機(jī)以及理論工具。
　　在第二章中，我們研究了一類隨機(jī)系數(shù)的時(shí)間不相容最優(yōu)控制問題。通過構(gòu)造多人微分對(duì)策問題的方法，我們得到了一族刻畫平衡值函數(shù)的倒向隨機(jī)發(fā)展方程，稱為隨機(jī)平衡Hamilton-Jacobi-Bell

3、man(HJB)方程。在適當(dāng)?shù)臈l件下，該方程存在唯一解，從而可以給出閉環(huán)形式的時(shí)間相容平衡控制。另外，我們還相應(yīng)討論了特殊并且重要的線性二次時(shí)間不相容控制問題。
　　在第三章中，我們研究了一類部分觀測(cè)的時(shí)間不相容遞歸最優(yōu)控制問題。我們首先研究了相應(yīng)的完全觀測(cè)的時(shí)間不相容遞歸最優(yōu)控制問題，得到平衡控制的驗(yàn)證定理和該問題的Hamiltonian系統(tǒng)，并且還進(jìn)一步建立了該Hamiltonian系統(tǒng)的Kalman-Bucy濾波公式。從而由

4、倒向分離原理，我們可以給出部分觀測(cè)的時(shí)間不相容遞歸最優(yōu)控制問題的平衡控制，它是狀態(tài)濾波估計(jì)的反饋調(diào)節(jié)。另外，作為理論的應(yīng)用，我們還研究了一個(gè)制訂最優(yōu)保險(xiǎn)費(fèi)用的問題，給出平衡保費(fèi)的顯式表示。
　　在第四章中，我們研究了一類受障礙約束的遞歸最優(yōu)控制問題，其值函數(shù)由反射BSDEs的解給出。通過一族帶懲罰的BSDEs逼近一個(gè)反射BSDE的方法，我們建立了該問題的近似最大值原理。另外，我們還分別得到了該問題最優(yōu)解以及近似最優(yōu)解的充分條件。最

5、后，我們用一個(gè)混合最優(yōu)控制問題的例子說明所得理論的實(shí)際應(yīng)用，并給出最優(yōu)控制和最優(yōu)停時(shí)。
　　在第五章中，我們引入了一類新型的弱形式的正倒向隨機(jī)微分方程。通過考察在期權(quán)對(duì)沖理論，非線性Feynman-Kac公式以及最大值原理和動(dòng)態(tài)規(guī)劃原理的關(guān)系問題中的應(yīng)用，我們可以看到此類FBSDEs是自然合理的。特別地，我們用兩個(gè)例子說明這類新型的弱形式的FBSDEs聯(lián)系著弱框架的隨機(jī)最優(yōu)控制問題，它們?cè)谙鄬?duì)強(qiáng)框架問題更一般的條件下存在最優(yōu)解。另

6、外，我們還討論了這類弱形式的FBSDEs解的適定性。
　　接下來(lái)，我們給出本篇論文的主要結(jié)論。
　　1.隨機(jī)系數(shù)的時(shí)間不相容最優(yōu)控制問題及隨機(jī)平衡HJB方程。
　　對(duì)給定的完備概率空間（Ω，F(xiàn)，P）和其中相互獨(dú)立的1-維和d-維布朗運(yùn)動(dòng){Wt，t≥0}，{W1t，t≥0}，考慮如下的控制系統(tǒng):dys=b(ts，vs，s)ds+σ(ys，s)dWs+π（ys，s）dW1s，s∈[t，T]，(1)yt=x，以及代價(jià)泛函:J

7、(v;x，t)=EFWt[∫TtL(ys，vs，s，t)ds+h(yT，t)]，(2)其中b(x，v，s):Rn×Rk×[0，T]→Rn，σ(x，s）:Rn×[0，T]→Rn，π(x，s):Rn×[0，T]→Rn×d，L(x，v，s，t):Rn×Rl×[0，T]×[0，T]→R均為確定性函數(shù)，且h(x，t，ω):Rn×[0，T]×Ω→R是FWT-可測(cè)的隨機(jī)變量。[t,T]時(shí)間段內(nèi)的容許控制v是取值于U(∈)Rk的FW,W1t-適應(yīng)隨機(jī)過

8、程，且E[∫Tt|vs|2ds]＜+∞。我們稱該隨機(jī)系數(shù)的時(shí)間不相容控制問題為問題(N)。
　　定理2.3.1.若假設(shè)2.3.1和2.3.2成立，則存在唯一的(Θ.(·;Τ)，Λ.(·;Τ))∈M2((Τ)，T;V)×M2((Τ)，T;H)，0≤(Τ)≤T，滿足隨機(jī)平衡HJB方程(3)。
　　從而我們可以給出定義2.2.1意義下問題(N)的時(shí)間相容平衡控制和平衡值函數(shù):
　　定理2.3.2.若假設(shè)2.3.1，2.3.2

9、和2.3.3成立，則隨機(jī)平衡HJB方程(3)的解Θt(x;t)是初值為(x，t)∈Rn×[0，T]的問題(N)的平衡值函數(shù)，相應(yīng)的時(shí)間相容平衡控制由(2.29)給出。
　　另外，我們還研究了一類時(shí)間不相容的線性二次(LQ)控制問題，定理2.4.1.若命題2.4.1中的假設(shè)全部成立，則初始狀態(tài)為(x，t)∈Rn×[0，T]的平衡值函數(shù)為Θt(x;t）=1/2，其中K(·)滿足(4)。時(shí)間相容平衡控制由(2.39)給

10、出。
　　2.部分觀測(cè)的時(shí)間不相容遞歸最優(yōu)控制問題及應(yīng)用。
　　定理3.3.1.若假設(shè)3.1.1和3.2.1成立，則部分觀測(cè)的時(shí)間不相容遞歸最優(yōu)控制問題的平衡控制為(3.31)，其中M(·)，N(·)，Γ(·)和φ(·)分別為(3.16)，(3.17)，(3.18)，(3.19)的解，且(X)*(·)是相應(yīng)于平衡控制(3.31)的狀態(tài)濾波估計(jì)，由(3.33)給出。
　　最后，作為理論結(jié)果的應(yīng)用，我們研究了一個(gè)制訂最優(yōu)保

11、險(xiǎn)費(fèi)用的實(shí)際問題?？紤]一家保險(xiǎn)公司，其現(xiàn)金流過程X(·)為:{dX(s)=(δ(s)X(s)+l(s)+v(s))ds+σ(s)dW1(s)，s∈[0，T]，(12)X(0)=x0，其中x0＞0為初始資金，無(wú)風(fēng)險(xiǎn)利率δ(·)＞0，責(zé)任率l(·)＞0是單位時(shí)間的預(yù)期責(zé)任，保費(fèi)率v(·)是控制變量，波動(dòng)率σ(·)＞0表示責(zé)任風(fēng)險(xiǎn)。
　　這家公司希望制訂最優(yōu)保費(fèi)率v(·)最小化代價(jià)泛函:J（v）=1/2E[∫T0e-βsR(s)v2(s

12、)ds+Ge-βT(X(T)-c0）2]+Q/2e-βTVar[X(T)]，(13)其中，常數(shù)β是折現(xiàn)因子，常數(shù)c0是某個(gè)預(yù)定的目標(biāo)，常數(shù)G，Q以及隨機(jī)過程R(·)是為了使代價(jià)泛函(13)一般化的權(quán)重因子。但是決策者通常不能直接觀測(cè)到現(xiàn)金流X(·)，而可以觀測(cè)到公司的股票價(jià)格S(·)，它與X(·)的關(guān)系如下:{dS(s)/S(s)=(a+cX(s))ds+ρ(s)dW2(s),s∈[0，T]，S(0)=s0,(14)其中，常數(shù)a，c為相

13、關(guān)系數(shù)，隨機(jī)過程ρ(·)為波動(dòng)率。
　　通過變量代換及計(jì)算，該控制問題可以轉(zhuǎn)化為前面研究的部分觀測(cè)的時(shí)間不相容遞歸最優(yōu)控制問題。從而我們可以得到平衡保費(fèi)策略:
　　定理3.4.1.若假設(shè)3.4.1和3.4.2成立，則可觀測(cè)的平衡保費(fèi)策略為v*(s)=J1(s)X*(s)+φ1(s)，(15)其中J1(·)和φ1(·)分別由(3.58)和(3.59)給出，且X*(·)是相應(yīng)于平衡保費(fèi)策略的現(xiàn)金流濾波估計(jì)，滿足(3.52)。

14、r>　　3.一類受障礙約束的遞歸最優(yōu)控制問題的隨機(jī)最大值原理。
　　對(duì)給定的完備概率空間（Ω，F(xiàn)，P），和其中的d-維標(biāo)準(zhǔn)布朗運(yùn)動(dòng){Wt，t≥0}，考慮如下的正向控制系統(tǒng):{dxt=b(t，xt，vt)dt+σ(t，xt)dWt，t∈[0，T]，(16)x0=α，和一個(gè)受控的反射BSDE:{yt=g(xT)+∫Tt f(s，xs，ys，vs)ds+kT-kt-∫TtzsdWs，0≤t≤T，(17)yt≥h(t，xt)，0≤t≤T，

15、∫T0(ys-h(s，xs))dks=0，以及代價(jià)泛函J（v）=E[γ（y0）]，(18)其中α∈Rd是一個(gè)給定的常數(shù)，且b(t，x，v):[0，T]×Rd×Rl→Rd，σ（t,x）:[0，T]×Rd→Rd×d，f（t，x，y，v）:[0，Rd×Rd×Rm×Rl→Rm，h(t，x):[0，T]×Rd→Rm，g(x):Rd→Rm，γ(y):Rm→R均為確定性函數(shù)。容許控制v是取值于緊集U(C)Rl的FWt-適應(yīng)隨機(jī)過程，且E[∫T0|vt

16、|2dt]＜+∞。記全體容許控制構(gòu)成的集合為u。我們稱這個(gè)受障礙約束的遞歸最優(yōu)控制問題為問題(P)。
　　4.一類弱形式的正倒向隨機(jī)微分方程。
　　我們引入一類弱形式的正倒向隨機(jī)微分方程:{Xt=x+∫t0b(s,X.,Ys,Zs)ds+∫t0σ(s,X.,Ys,Zs)dWs,0≤t≤T.(32)Yt=g(X)+∫Tt f(s，X.，Ys，Zs）ds-∫Tt ZsdXs+Nt-Nt，
　　我們從理論結(jié)果以及實(shí)際應(yīng)用的角

17、度，給出了幾個(gè)具體的例子，如例5.1.2，5.2.1和5.2.2說明此類弱形式的FBSDEs的研究動(dòng)機(jī)，特別是它與隨機(jī)最優(yōu)控制理論的聯(lián)系，并且(32)聯(lián)系著一類擬線性拋物型PDE:{(e)tu+1/2σ2(t,x,u,(e)xu）(e)2xxu+f（t,x,u,(e)xu）=0'(33)u(T,x)=g(x).
　　定理5.3.1.令假設(shè)5.3.1成立。若PDE(33)存在經(jīng)典解u∈C1，2，且(e)xu和(e)2xxu均一致有界