應用統(tǒng)計學與隨機過程第1章--概述2016

1、,主講教師：何松華 教授聯系電話：(0731）82687718 13973132618電子信箱：13973132618@139.com,,應用統(tǒng)計學與隨機過程(通信專業(yè))Applied Statistics and Random Process,,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,1. 概 述[兼《概率論》復習] (6學時),,1.1,,不確定性事件,1.2,,通信

2、與電子系統(tǒng)中的不確定性,1.3,,含噪信號的最優(yōu)處理問題,1.4,,隨機變量及其數字特征,1.5,,隨機變量函數的概率密度分布,1.6,,隨機變量的特征函數,不確定性事件,1.1,客觀世界中的兩大類規(guī)律：1.確定性事件中蘊涵的確定性規(guī)律2.不確定性事件中蘊涵的統(tǒng)計性規(guī)律,確定性事件及確定性規(guī)律：1.因果律 確定的原因產生確定的\可預知的結果“如果蘋果從樹上掉下(B),則肯定往下掉到地上(A)” if B then A

3、 Prob{A|B}=100%, Prob{ā|B}=0%,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,2.排中律 事物歸屬關系的確定性,“非此即彼” “我(x)現在是湖南大學的教師(A)” I：論域（被討論的對象的全體范圍） A∩B=?（空集），A∪B=I if x?A then uA(x)=100%,x?B, uB(x)=0% if x?B then uB(x)=10

4、0%,x?A, uA(x)=0%,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,3.恒等律 事物(A,B,C,…)之間相互約束關系的確定性 “三角形的三個內角之和為180度” R（A，B，C，…）= Constant,,,4.守恒律 事物(A,B,C,…)(a,b,c,…)之間轉換或交換過程中的確定性 “物質不滅,能量守恒” R1（A，B，C，…）= R2(a,

5、b,c,…),5.周期律 事物在有限域內變化的重復性 “物極必返” if ‖A‖=N,M≧N,xi∈A(i=1,2,…,M) then 存在 i1≠i2,1?i1,i2?M,xi1=xi2毛澤東：打破周期率；習近平：建立舉國創(chuàng)新體制,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,,不確定性事件及不確定性：1.隨機性,因果律的一種破缺 隨機試驗：可以在相同

6、條件下重復進行,每次試驗的結果是事先不可預測的,所有可能的結果不止一個，但每次試驗的結果是唯一的, 這樣的試驗稱為隨機試驗。 隨機事件：在隨機試驗中，對于1次試驗可能發(fā)生也可能不發(fā)生、但在大量重復的試驗中按一定規(guī)律發(fā)生的某種事情，稱為隨機事件。 基本事件：在隨機試驗中，最簡單、不可再分、互不相容的事件稱為基本事件。,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,例如:不同的人通過測量蘋果落地的時間

7、獲得樹的高度,,“隨機試驗”舉例：袋中有編號為0到5的6個乒乓球，從里面隨機地拿出一個，以拿出的球的編號為試驗結果；觀察結果后再放回；反復進行試驗。 6種基本事件：(1)拿到編號為0的球；(2)拿到編號為1的球；(3)拿到編號為2的球；(4)拿到編號為3的球；(5)拿到編號為4的球；(6)拿到編號為5的球。 “隨機事件”舉例：拿到編號大于等于4的球(在一次試驗中可能發(fā)生也可能不發(fā)生；在大量重復的試驗中發(fā)生的比例約為1/3

8、；無窮次試驗中發(fā)生的比例為1/3) “基本事件”是隨機事件的特例。 所有基本事件的組合稱為隨機試驗的“樣本空間”。,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,,不確定性事件及不確定性：2.模糊性,排中律的一種破缺 事物之間歸屬關系的不確定性，不能確定某個對象肯定屬于某個集合或肯定不屬于某個集合，但能夠確定或定義對象屬于某個集合的程度。 模糊性舉例：論域 I={各種不同年齡x的人

9、} 模糊集合 Ã ={年輕人} 1 （0 ? x? 24） uÃ(x)= {1+[（x-25）/5]2}-1（25 ? x） 年齡x越大，則歸屬于年輕人Ã的隸屬度uÃ(x)就越小。,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,,通信與電子系統(tǒng)中的不確定性(隨機性),1.2,湖南大學

10、教學課件：應用統(tǒng)計學與隨機過程 概述,由于信道噪聲的存在(電子的布朗運動)，確定的傳輸系統(tǒng)對確定的傳輸信號并不產生確定的響應。,傳輸系統(tǒng)h(t),,傳輸信號X(t),,響應 Y(t),,信道噪聲?(t),Y(t)= X(t)?h(t)+ ?(t) (卷積）?(t)的取值是隨機的、不可預測的，則Y(t)也是隨機的、不確定的。,,通信電子系統(tǒng)中的不確定性所帶來的問題：(通信與電子系統(tǒng)工程師要解決的問題舉例)1

11、.信號的檢測問題 在數字通信中，0，1編碼用不同的兩種波形 X0(t)、 X1(t)進行傳輸;接收端信號為Y(t) H0：（傳輸 0 編碼信號） Y(t)= X0(t)?h(t) + ?0(t) H1：（傳輸 1 編碼信號） Y(t)= X1(t)?h(t) + ?1(t) 怎樣從接收信號Y(t)中判斷出發(fā)送端傳輸的信號是X0(t) 還是X1(t) ？ 如何將假設檢驗理論應用于信號的假設檢驗?,

12、湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,,2.信號及系統(tǒng)參數的估計問題,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,系統(tǒng)h(t，õ2),A(t，õ)+ ?(t),a(t，õ1),,,Y(t)=a（t，õ1)? h(t，õ2) + ?(t) õ1：信號的未知參數矢量(K個參數) õ2：系

13、統(tǒng)的未知參數矢量(M個參數)問題：Y(t)、 ?(t)是不可預知的隨機過程，怎樣從接收信號Y(t)的有限個采樣值Y(0)、Y(T)、…Y[(N-1)T]求得õ1、 õ1的最佳估計呢？簡單的方程[K+M個]聯立為什么不能求得統(tǒng)計意義上的最佳估計？,3.最優(yōu)濾波器的設計問題,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,問題：Y(t)、 ?(t)是不可預知的隨機過程，采用什么樣的濾波器h1(t

14、)，使得含噪失真信號Y(t)通過該濾波器后，其輸出信號與X(t)最逼近？ minimum E{[Y(t)? h1(t)-X(t)]2} h1(t),傳輸系統(tǒng)h(t),,傳輸信號X(t),,響應 Y(t),,信道噪聲?(t),濾波器h1(t),,含噪失真信號Y(t),,恢復信號Z(t),如果沒有信道噪聲如何求解？,4.系統(tǒng)的性能評估以及信號波形參數的設計問題(自學),湖南大學教學課件：應用統(tǒng)計學與隨機過程

15、 概述,已知信道噪聲?(t)的統(tǒng)計特性[平均值、方差、相關函數、概率分布等]，要求在給定接收端檢測性能的情況下對傳輸信號的波形進行設計。舉例：軍用雷達目標檢測H0：（無目標） Y(t)= ?(t)H1：（有目標） Y(t)= kA?s?(t-2R/c)+ ?(t) s?(t)：寬度為?的正弦脈沖,R:目標距離,c:光速，k：信號傳輸衰減系數;要求虛警概率Pf=P（H1┃H0）=10-7，已知?(t)服從N(0，?2

16、)，如何對發(fā)射信號的幅度A、脈沖寬度?進行設計？,5.噪聲背景中的最優(yōu)預測問題(自學),湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,舉例：軍用雷達機動目標狀態(tài)(距離、速度)預測測量方程：Y(n)= A(n) + ?(n) n?[0,N-1] Y(n):n時刻目標距離的測量值(已知) A(n):n時刻實際的目標距離值(未知) ?(n):測量誤差(隨機

17、過程,概率分 布密度函數及相關特性已知) 目標運動狀態(tài)方程：A(n+1)=A(n)+T?V(n)+ (1/2)T2?W(n) V(n+1)=V(n)+T?W(n) V(n):目標第n個時刻的速度(未知) T :時間采樣間隔 W(n):目標的加速度擾動(隨機過程，概率密度、相

18、 關性已知),假設為帶有加速度擾動的勻速運動,如何根據目標當前狀態(tài)預測目標未來狀態(tài)? A(n+1),V(n+1),,社會及國民經濟領域中的統(tǒng)計問題舉例1.19世紀末中華民族無人能解的一個難問題,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,加拿大山貓年捕獲量數據 (1821-1878),269,321,585,871,1475,2821,3928,5943,4950,2577

19、,523,98,184,279,409,2285,2685,3409,1824,409,151,45,68,213,546,1033,2129,2536,957,361,377,225,360,731,1638,2725,2871,2119,684,299,236,245,552,1623,3311,6721,4254,687,255,473,358,784,1594,1676,2251,1426,756,299,假設今年為18

20、78年,請根據歷史數據建立預測模型, 得到明年及1880,1881,1882,1883五年內的山貓捕獲量的預測.,有限次差分后平穩(wěn),2. 現在一個很容易解決的問題,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,舉例: 某城市居民季度用煤消耗量 ( 單位: 噸 ),請預測1997年度每個季度的用煤消耗量,非平穩(wěn)隨機過程: (1)趨勢項; (2)季節(jié)(周期)項,含噪信號的最優(yōu)處理問題,1.3,湖南大學教學課件：應用統(tǒng)

21、計學與隨機過程 概述,信號處理的主要研究內容 從噪聲背景中檢測感興趣的信號、提取信息或對信號的參數進行估計[圖像處理、語音信號處理、數據處理],最優(yōu)信號處理方法 信號處理的方法不僅與信號本身的特性有關，還與噪聲背景的統(tǒng)計特性(概率密度分布、功率譜等)密切相關；從事通信與電子系統(tǒng)領域研究的人員除了掌握確定性的《信號與系統(tǒng)》分析方法外，必須了解噪聲等隨機過程的特性，掌握各種統(tǒng)計方法在信號處理中的應用,信號處理方法

22、舉例1：最優(yōu)預測,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,設x(n)(n=1,2,…)為離散時間隨機信號，n為采樣時刻；該隨機信號的相關函數及功率譜定義為,(數學期望),如果該隨機信號的功率譜密度函數為,則最優(yōu)的因果IIR 3步預測方程為,根據x(n),x(n-1), x(n-3),… 預測x(n+3);n為當前時刻,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,其中,(逆z變換),

23、如果該隨機信號的功率譜密度函數為,則最優(yōu)的因果IIR 3步預測濾波器應修正為,隨機信號的最優(yōu)預測方法與其統(tǒng)計特性有關,信號處理方法舉例2：最優(yōu)估計,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,利用氣壓計對某棟高樓的高度進行測量,根據甲班各個學生的測量結果，該樓高度的測量值的平均值為h0，變化的范圍(方差)為?02 ，測量值分布接近高斯分布。,現由乙班對該樓高度h進行測量，N個學生中第n個學生的測量值xn, 第n

24、個學生的測量儀器的精度(誤差的方差)為?n2;誤差服從正態(tài)分布,各觀測相互獨立。 (1) 不參考甲班的測量結果，且假設乙班不同儀器的測量精度相同， ?12= ?22=…= ?N2,則高度的最優(yōu)估計值為,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,(簡單平均),(2) 不參考甲班的測量結果，但乙班每個學生的測量儀器的精度不同，則高度的最優(yōu)估計值為,(加權平均，精度越高，方差越小，加權系數越大),(3)

25、參考甲班的測量結果，則高度的最優(yōu)估計值為,信號處理方法舉例3：正弦信號的參數估計,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,(?已知),假設觀測噪聲?(n)服從零均值正態(tài)分布,各觀測值之間相互獨立，求A、B的最優(yōu)估計值,頻率已知、幅相未知的正弦信號的參數估計。假設獲得了正弦信號在N個不同時刻的觀測值,為什么不能解方程？,僅僅兩個參數而已?,信號處理方法舉例4：數據的最優(yōu)平滑(維納濾波器),湖南大學教學課件：應

26、用統(tǒng)計學與隨機過程 概述,x(n)：測量數據(已知)； s(n)：需要恢復的信號數據(未知)?(n)：測量誤差(未知且隨機)。如何恢復s(n)？,濾波器h(n),,含噪數據x(n),,恢復的數據s1(n),求解如下的最優(yōu)化問題：,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,其中：,(信號相關函數的傅立葉變換，信號功率譜),(噪聲相關函數的傅立葉變換，噪聲功率譜),濾波器的單位脈沖響應,

27、社會與經濟領域中數據的統(tǒng)計處理方法1. 統(tǒng)計描述方法 對所收集的數據進行加工處理，計算綜合性的統(tǒng)計指標，描述所研究的隨機現象的總體數量特征和數量關系2. 統(tǒng)計推斷方法 在對已獲取的數據進行統(tǒng)計描述的基礎上，建立預測模型，對未知的或未來的數據進行推斷。統(tǒng)計研究的作用 (1) 提供決策咨詢服務；(2)提供監(jiān)督服務；(3)提供其他形式的信息服務,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,

28、社會與經濟領域中的應用統(tǒng)計舉例： 移動通信公司之客戶保持 已知歷史客戶(包括離網客戶、忠誠客戶)的基本屬性，例如：性別、年齡、職業(yè)類型、在網時長、發(fā)展渠道、繳費方式、繳費途徑、平均每次繳費金額、平均每月話費、所選套餐類型、...(1)如何確定影響客戶是否離網的最主要屬性(因素)？(2)如何根據歷史客戶數據建立預測模型，預測目前在網客戶的離網可能性？(3)對離網可能性比較大的目前在網客戶，如何進行合理的分類，應采

29、取何種針對性的營銷或客戶保持措施，以最低的活動成本實現客戶保持？,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,隨機變量及其數字特征,1.4,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,隨機變量 (事件?變量，物理描述?數學問題) 設隨機試驗E的樣本空間 S＝{e}，如果對于每一個e∈S，有一個實數X(e)和它對應，這樣就得到一個定義在S上的單值實函數X(e)，稱X(e)為隨機變量，一

30、般簡記為X。,舉例1：拋擲硬幣(隨機試驗E) 樣本空間 S＝{正面朝上，反面朝上} 定義：如果正面朝上，則 X=0；反面朝上，則X=1 則X為隨機變量，且取值為離散的，稱為離散隨機變量,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,舉例1(續(xù)) P(X=0)=0.5 (X取值為0的概率); P(X=1)=0.5,舉例2：用標尺測量長度，最小刻度單位1mm樣本空間S={長度測量誤差的分布范圍} 設X為

31、測量值與實際值之間的誤差，則X為隨機變量，且取值范圍為連續(xù)區(qū)間[-0.5mm,0.5mm] ，稱為連續(xù)隨機變量。 對于本例，P{x≤X<y}=min{y,0.5}-max{x,-0.5} (隨機變量X取值落在區(qū)間[x,y)內的概率),湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,古典概率模型,若某一隨機事件可以分解為某些基本事件的組合,則該事件發(fā)生的概率為這些基本事件發(fā)生概率的和。舉例：

32、設離散隨機變量X有只有3種可能的取值0,1,2;各種取值出現的概率為0.2,0.5,0.3;求X<1.5這一事件的發(fā)生概率。,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,幾何概率模型,若向有界區(qū)域G內投擲質點，所有質點落在G中任何一點是等可能的(均勻分布)，若g是G中一部分，則質點落在g中的概率：P = g的區(qū)域寬度/G的區(qū)域寬度。舉例：設連續(xù)隨機變量X在[-3,1]區(qū)間內均勻分布;求X<0.2這

33、一事件的發(fā)生概率。,聯系前面的舉例2,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,全概率公式與貝葉斯公式舉例,設S為隨機試驗E[例如：從n個車間的產品中隨機地抽取1個進行檢驗]的樣本空間[例如：{抽到車間1的正品，抽到車間1的劣品，抽到車間2的正品，抽到車間2的劣品，…,抽到車間n的正品，抽到車間n的劣品}] (2n個基本事件),設A1、A2、…、An為S的一個劃分[例如事件Ai：“抽到

34、車間i的產品”],即,空集,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,設B為任意的隨機事件[例如：抽到劣品}]，則B發(fā)生的概率為,P(A1)、P(A2) 、…、P(AN)稱為先驗概率[例如P(Ai) 為車間i的產品占總產品的比例]， P(B|Ai)為似然概率(條件概率)[例如：車間i的產品是劣品的概率],全概率公式,假如B已經發(fā)生[例如抽到劣品]，則該事件在多大的可能性上應由Ai負責？[例如：“抽到的劣品是車

35、間i的產品的概率”(與“車間i的產品是劣品的概率”并不等價)]，如何計算P(Ai|B),貝葉斯公式,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,P(Ai|B）稱為后驗概率[事件發(fā)生后對事件各種起因的可能性的概率性推斷]，P(Ai,B）稱為聯合概率[例如：既是劣品又是車間i的產品的概率],貝葉斯公式,顯然，B肯定來源于劃分中的其中某一個 [例如：劣品肯定來自某個車間，劣品來自于各車間的概率和為1],湖南大學教學課

36、件：應用統(tǒng)計學與隨機過程 概述,例題：已知某地區(qū)銷售的計算機主板有20%來自供應商1，50%來自供應商2，30％來自供應商3。假定這三個供應商所生產的主板的不合格率已知，分別為0.01、0.004和0.008，請計算每個供應商應承擔的責任(主板返修費用)比例。市場上的主扳S由3家供應商的產品A1,A2,A3組成,隨機抽取一件為不合格產品(事件B)的概率,與商1比,雖然不合格比例較低,但產品量較大,承擔責任不一定

37、少,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,隨機變量的概率分布函數與概率密度分布函數,(x的單調非減函數),概率分布函數,概率密度分布函數,關系,根據幾何概型,為什么是x+,非負函數,可能存在不連續(xù)點,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,概率分布函數與概率密度分布函數舉例1,設離散隨機變量X有3種可能的取值0,1,2;各種取值出現的概率為0.2,0.5,0.3;求其概率分布

38、函數及概率密度分布函數,解:根據古典概型,注意定義及開閉區(qū)間,單位階躍函數,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,單位階躍函數(詳見《信號與系統(tǒng)》),在x=0處不連續(xù),u(0)=1,u(0-)=0,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,其中,?()為單位沖激函數,滿足,在信號與系統(tǒng)理論中,采用單位沖激函數解決不可微問題,其他任何位置的導數為零，x=0,1,2三處的導數為無窮

39、大(不同的無窮大),對無窮大的約束,沖激強度為1,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,單位沖激函數與單位階躍函數的關系,,,u(x),x,0,,1,,,兩個1的區(qū)別,偶函數,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,舉例：利用沖激函數的積分性質求概率分布函數,(1),(2),在,內的x=0處有一個沖激,其他位置處的積分和為零,+號可省去,湖南大學教學課件：應用統(tǒng)計學與隨機過程

40、 概述,沖激強度分別為0.2,0.5,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,推廣到離散隨機變量的更一般情況,設離散隨機變量X有I種可能的取值x1,x2,…,xI;其中第i(i=1,2,…,I)種取值出現的概率為pi;則其概率分布函數及概率密度分布函數分別為,參見前面FX(x)圖,根據古典概型,附錄：沖激函數積分性質：設g(x)在x0處連續(xù)，則,湖南大學教學課件：應用統(tǒng)計學與隨機過程

41、 概述,概率分布函數與概率密度分布函數舉例2,設連續(xù)隨機變量在區(qū)間[a,b]上服從均勻分布;求其概率分布函數及概率密度分布函數,解:根據幾何概型,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,多維隨機變量的聯合概率分布函數與聯合概率密度分布函數,設X1、X2、…XN為不同的隨機變量，則其聯合概率分布函數以及概率密度分布函數定義為,多個隨機事件同時發(fā)生的概率,一般省去“+”,湖南大學教學課件

42、：應用統(tǒng)計學與隨機過程 概述,多維連續(xù)隨機變量分布函數的性質,(練習：根據幾何概型證明其為所有變量的單調非減函數),事件,等價于事件,下面考察如何由高維的聯合分布得到低維的聯合分布。,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,邊緣分布,上式兩邊對x1,x2,…,xn-1求偏導，再作積分變量置換,采用遞推方法不難得到：,根據概率分布函數定義：,思考:n個隨機變量中的任意k個變量的情況?,

43、思考:n個隨機變量中的任意k個變量的情況?,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,隨機變量之間相互獨立的定義,如果,或,則這n個隨機變量相互獨立,離散隨機變量相互獨立，要求對所有可能取值組合(x1,x2,…,xn),對于離散型隨機變量，聯合概率分布或分布律定義為,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,隨機變量的數字特征,(1)均值(數學期望),(連續(xù)隨機變量),(有I種取值

44、的離散隨機變量),(2)方差,(連續(xù)),(離散),或,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,(3)k階原點矩,(連續(xù)隨機變量),(離散隨機變量),(4)k階中心矩,(連續(xù)隨機變量),(離散隨機變量),1階原點矩即為均值，二階中心矩即為方差；二階原點矩稱為均方值，滿足,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,(5)隨機變量函數的數學期望,(連續(xù)隨機變量),(離散隨機變量),(6

45、)兩個隨機變量之間的相關函數,(連續(xù)隨機變量),(離散隨機變量),附錄(證)：,思考:為什么乘積的數學期望可以表示相關性?,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,(離散隨機變量),(9)多維隨機變量函數的數學期望,(8)兩個隨機變量之間的相關系數或標準協方差,(連續(xù)隨機變量),(7)兩個隨機變量之間的協方差函數,對于零均值變量，協方差函數與相關函數等價,顯然,湖南大學教學課件：應用統(tǒng)計學與隨機過程

46、 概述,隨機變量之間不相關及正交的定義,若,則稱兩個隨機變量X、Y互不相關,若,則稱兩個隨機變量X、Y相互正交,在零均值情況下，正交與不相關等價,或,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,隨機變量數字特征的性質,以c為變量的拋物線在c軸上方的充要條件,A:,根據 同理可得,B:對稱性,附錄,證：根據定義以及乘法的交換率(練習),為

47、什么？,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,數學期望\方差\協方差函數的運算性質,A,B,C,常數b只影響均值，不影響方差,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,概率密度函數的全積分為1,附錄:,邊緣分布,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,利用隨機變量和的數學期望性質,利用隨機變量和的數學期望性質(將整個函數作為新的隨機變量),當各隨機

48、變量不相關時,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,(10)多維隨機矢量的均值矢量,定義由n個隨機變量構成的矢量,則其均值矢量定義為,各隨機變量的均值所構成的矢量,(10)多維隨機變量的協方差矩陣(n行n列對稱矩陣),協方差矩陣的第i行第j列元素值為,矩陣對稱性Cij=Cji,列矢量,行矢量,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,附錄：(證明)若兩個變量相互獨立，則必然不

49、相關(反之不一定),證：設X、Y兩個隨機變量相互獨立，即,則：,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,正態(tài)分布以及多維聯合正態(tài)分布的定義,設X為隨機變量，如果其概率密度函數為,則稱X服從均值為u，方差為?2的正態(tài)分布或高斯分布,容易證明(參見后面附錄)：,概率密度函數的積分性質,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,當u=0, ?2=1時，此時的正態(tài)分布稱為標準正態(tài)分布,,

50、x,0,,fX(x),,mX=u,,u,,,x=u+?,,x=u-?,最大值點(均值u處)、最大值、兩個拐點、對稱性、漸近線\平移參數u，形狀參數?(方差的性質？),,x,u,,fX(x),? =1,? =1.5,? =3,,,,,,,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,附錄,直角坐標系內的積分轉化為極坐標系內的積分,練習：在此式的基礎上運用常規(guī)的積分方法證明前面的3個式子(全積分,均值,方差),湖南大

51、學教學課件：應用統(tǒng)計學與隨機過程 概述,如果這n個隨機變量的多維聯合概率密度分布函數滿足,下面介紹多維聯合正態(tài)分布。定義n維隨機矢量,定義隨機變量取值所構成的矢量,C：n?n的正定對稱方陣、對角線元素值大于0；||：行列式值,n維常數列矢量,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,則稱這n個隨機變量服從聯合正態(tài)分布，且均值矢量以及協方差矩陣滿足,容易證明(見第4章ppt附錄)：,對除

52、xi外的所有變量積分(n-1重積分),矩陣的數學期望的概念,,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,結論1：若多個隨機變量服從聯合正態(tài)分布，則其中的任意變量服從正態(tài)分布(反之則不一定),進一步,若C為對角矩陣，即各個變量之間不相關,對稱矩陣,于是可得到如下結論:,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,結

53、論2：若多個隨機變量服從聯合正態(tài)分布，且各變量互不相關，則這些變量相互獨立,其他分布不一定滿足此性質,則多維聯合概率密度分布函數為,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,結論2的推論：若多個隨機變量各自服從正態(tài)分布，且相互獨立(充分條件，并非必要條件) ，則其聯合分布為聯合正態(tài)分布。二維情況的充分必要條件為：,容易證明：若隨機變量X、Y分別服從均值、方差分別為(mX,?X2)、(mY,?Y2)的正態(tài)分布，

54、且在X=x的情況下，Y的條件概率密度分布為如下的正態(tài)分布,則X、Y服從聯合正態(tài)分布，且r為兩變量的相關系數,即,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,(相關系數),練習,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,隨機變量函數的概率密度分布,1.5,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,1. 單調單變量函數的概率密度分布 設隨機變量X和Y存在

55、單調函數關系Y=g(X)，存在唯一反函數X=h(Y)。如果Y在任意小區(qū)間(y,y+dy)內變化時，X在(h(y), h(y)+ dy)區(qū)間內變化，這兩個事件的概率相等，即,(dy、dx可能為負,但區(qū)間的長度是正的,取絕對值),得到,,,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,證(附錄)：設,性質：若X服從正態(tài)分布，Y是X的線性函數，則Y也服從正態(tài)分布,則有：,正態(tài)?均值?方差,湖南大學教學課件：應用

56、統(tǒng)計學與隨機過程 概述,附錄:實際應用中，可利用上述性質以及概率論中數學期望與方差的性質，直接寫出Y的概率密度分布函數,則有：,數學期望的性質,方差的性質,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,2. 多值單變量函數的概率密度分布 設隨機變量X和Y存在函數關系Y=g(X)，除個別的Y值外，存在多個反函數(以2個為例)X=h1(Y)、X=h2(Y)。如果Y在任意小區(qū)間(y,y+d

57、y)內變化時，則X 可以在兩個區(qū)間(h1(y),h1(y)+ dy)、(h2(y),h2(y)+ dy)區(qū)間內變化，這兩個事件的概率相等，即,得到:,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,隨機變量Y和X間的關系為Y=sin(X)，X在區(qū)間 -??X??內服從均勻分布。求隨機變量Y的概率密度,多值函數概率密度分布函數舉例,解：-1≤Y≤1，對于任意一個Y值(0除外)，有兩個X值與之對應，有

58、,值域范圍?,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,附錄:,當-?/2<x1<?/2時,cos(x1)非負,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,3. 多變量函數的概率密度分布,如果存在唯一的反函數,對于多維隨機變量的函數,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,其中 表示矩陣J的行列式值的絕對值，J為如下的矩陣(雅可比

59、矩陣),“超體積”放大系數,根據高等數學(積分變換)：,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,(附錄)以二維為例,當矢量 的終點在2維平面上由如下四個頂點組成的長方形區(qū)域(面積為dy1dy2)內時,則矢量 的終點落在由如下四個頂點組成四邊形區(qū)域內(邊之間不一定垂直,也可能是曲邊),湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,附錄:可以證

60、明(高等數學),該四邊形區(qū)域的面積為,對于二維情況,根據等概率事件原理,有,矩陣的行列式值的絕對值,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,定理：若X1、X2、...、Xn服從聯合正態(tài)分布，則這些隨機變量的任意非退化線性組合(其中的任意組合不能由其他組合確定)之間服從聯合正態(tài)分布,定義由n個隨機變量構成的矢量,設A為任意的可逆矩陣 (n行n列)，定義另外的n個隨機變量構成的矢量,令：,顯然，任意的Yi都是X

61、1、X2、…、Xn的線性組合,滿秩非退化方陣,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,于是可以得到,設：,其中：,矩陣A-1的第i行,,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,于是有,其中：,由,得到,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,矩陣及行列式的各種性質以及C的正定性,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述

62、,于是得到Y1、Y2、…、Yn的聯合概率密度函數為,結論：n維隨機矢量 服從均值矢量為 ，協方差矩陣為 的n維聯合正態(tài)分布；根據前面的結論，則從其中抽取任意m(? n)個變量Yi服從m維的聯合正態(tài)分布。,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,推論：若X1、X2、...、Xn服從聯合正態(tài)分布，則這些隨機變量的任意線性組合服從正態(tài)分布,定義由n個隨機變量構成的矢量,對于任

63、意的非零行矢量,以及,構造n維的隨機矢量,則 服從聯合正態(tài)分布,其中的變量 服從正態(tài)分布,總能找到一個可逆矩陣 (n行n列)A ，使得 為A的行,,隨機變量 為X1,X2,…,Xn的任意線性組合,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,附錄:實際應用中，可利用上述性質，直接得到Y的概率密度分布函數,舉例：X1、X2服從0均值方差為2的正態(tài)分布，兩個隨機變量的相關系數為0.5,(1)分別求Y1、Y2

64、的概率密度分布函數，(2)求Y1、Y2的聯合概率密度分布函數,解:(1)正態(tài)隨機變量的線性組合依然服從正態(tài)分布,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,同理可以求得(練習)：,(2),,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,均方值性質以及相關函數與協方差函數、均值的關系,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,驗證邊緣分布(練習/自學)：,湖南大

65、學教學課件：應用統(tǒng)計學與隨機過程 概述,均值為 、方差為26?(1-0.8912)的正態(tài)分布函數的全積分為1(任意均值成立),均值為0情況下的條件正態(tài)分布,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,性質(練習/自學)：標準正態(tài)分布隨機數Y1可以通過兩個相互獨立的[0,1]區(qū)間上均勻分布的隨機數X1、X2按照如下的函數產生,證：按如下方式構造新的隨機變量,存在唯一反函數

66、關系,求多維函數變量概率密度分布函數的技能之一:構造新的變量,形成多維函數關系,四象限反正切函數,值域范圍[0,2?],通過反正切函數的值域擴展得到,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,雅可比行列式值為,,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,Y1、Y2的聯合概率密度分布函數為,Y1、Y2的概率密度分布函數均為標準正態(tài)分布，且兩個隨機變量相互獨立。,X1、X2的聯合概率密

67、度分布函數為,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,技巧(練習/自學)：利用概率密度分布函數的積分特性求無窮區(qū)間內的函數積分,變換成正態(tài)概率密度分布函數的積分形式,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,求正態(tài)分布隨機變量的均方值,隨機變量的特征函數,1.6,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,1. 連續(xù)型隨機變量X的特征函數,概率密度函數的

68、頻域特征(在某些時候,采用頻域分析方法比時域分析方法更方便 ),(概率密度函數的傅立葉變換?X的函數ej?X的數學期望),參見《工程數學》之《積分變換》《復變函數》,為虛數單位,(歐拉定理),為復數,湖南大學教學課件：應用統(tǒng)計學與隨機過程 概述,2. 離散型隨機變量X的特征函數,特征函數與概率密度函數的傅立葉變換對關系,為什么稱為特征函數？,附錄：,見附錄,符號反轉的傅立葉變換對關系,假設極限