大數(shù)定律及中心極限定理

1、第五章 大數(shù)定律及中心極限定理,概率論與數(shù)理統(tǒng)計是研究隨機現(xiàn)象統(tǒng)計規(guī)律性的學科. 隨機現(xiàn)象的規(guī)律性只有在相同的條件下進行大量重復試驗時才會呈現(xiàn)出來. 也就是說，要從隨機現(xiàn)象中去尋求必然的法則，應該研究大量的隨機現(xiàn)象.,,研究大量的隨機現(xiàn)象，常常采用極限形式，由此導致對極限定理進行研究.極限定理的內(nèi)容很廣泛，其中最重要的有兩種:,定理1 切比雪夫大數(shù)定律的特殊情況,設 X1, X2, …是相互獨立的隨機變量序列，它們具有相同的數(shù)學

2、期望和方差，即 E(Xi)=? ， D(Xi)=? 2 ，i=1,2, …則對任意的? ?0，有,切比雪夫(1821-1894),證明：,切比雪夫大數(shù)定律表明，當n充分大時，,與 ? 偏差很小的概率接近于1.,當 n 很大時，X1, …, Xn 的算術平均值在概率意義下接近于它們公共的均值?,注1：,有,設 Y1, Y2, … Yn 是隨機變量序列，a 是一個常數(shù)。若對任意的? ?0，有,則稱序列Y1, Y2, … Yn

3、 以概率收斂于常數(shù)a 記為,以概率收斂于有以下性質(zhì),若,又 g(x, y) 設在點 (a, b) 連續(xù)，則,定理1,設 X1, X2, …是相互獨立的隨機變量序列，它們具有相同的數(shù)學期望和方差，即 E(Xi)=? ， D(Xi)=? 2 ，i=1,2, …,以概率收斂于 ? ，即,則序列,即：具有相同數(shù)學期望和方差的獨立隨機變量序列的算術平均值依概率收斂于數(shù)學期望.,定理2（辛欽大數(shù)定律）,設X1, X2, …是獨立同分布的隨

4、機變量序列，且E(Xi)= ? ，i=1, 2,…, 則對任給? >0,,辛欽(1894-1959),辛欽大數(shù)定律為尋找隨機變量的期望值提供了一條實際可行的途徑.,當 n 足夠大時，算術平均值幾乎就是一個常數(shù),可以用算術平均值近似地代替數(shù)學期望.,設Sn是n重貝努里試驗中事件A發(fā)生的 次數(shù)，p 是一次試驗中事件A發(fā)生的概率，則對任給的ε> 0，,定理3（貝努里大數(shù)定律）,或,(1654-1705),設Sn是n重貝努

5、里試驗中事件A發(fā)生的 次數(shù)，p 是一次試驗中事件A發(fā)生的概率,則有,且,由辛欽大數(shù)定律，有,設,證明,貝努里大數(shù)定律表明，當重復試驗次數(shù)n充分大時，事件A發(fā)生的頻率Sn/n與事件A的概率p有較大偏差的概率很小.,貝努里大數(shù)定律提供了通過試驗來確定事件概率的方法.,貝努里大數(shù)定律為小概率原理（或?qū)嶋H推斷原理）提供了理論依據(jù),小概率原理是：小概率事件在一次試驗中，它是幾乎不能發(fā)生的,例1：設X1, X2, …獨立同分布，且 Xi 的k階

6、矩mk=E(Xi k)存在，則有,證明：令,則有,Y1, Y2, …獨立同分布,且,所以由辛欽大數(shù)定律,也即,,,中心極限定理的客觀背景,在客觀實際中有許多隨機變量，它們是由大量的相互獨立的隨機因素的綜合影響所形成的. 而其中每一個別因素在總的影響中所起的作用都是微小的。,該結(jié)論得益于高斯對測量誤差分布的研究.他指出測量誤差服從正態(tài)分布,這種隨機變量往往近似地服從正態(tài)分布。,高斯1777-1855,例如：考慮炮彈的射擊誤差。設靶心為坐

7、標原點，彈著點的坐標為( X, Y )， X, Y 分別表示彈著點與靶心的橫向和縱向誤差。我們來看造成誤差的原因是什么？,炮身在每次射擊后，因震動而造成的微小偏差,每發(fā)炮彈內(nèi)炸藥的數(shù)量和質(zhì)量上的微小差異而引起的誤差,每發(fā)炮彈外形上的細小差別引起空氣阻力不同，由此出現(xiàn)的誤差,,炮彈在前進時遇到的空氣氣流的微小擾動而造成的誤差,而誤差X（或Y）是這許多彼此間相互獨立的隨機小誤差的總和，即,等等許多原因，每種原因引起一個微小的誤差，有的為正，

8、有的為負，都是隨機的,一般認為它服從正態(tài)分布。,以下我們從數(shù)學上來研究這種隨機變量之和的分布,考慮,取值的概率.,可以證明，滿足一定的條件時，上述和的分布函數(shù)的極限是標準正態(tài)分布.,在概率論中，習慣于把和的分布收斂于正態(tài)分布這一類定理都叫做中心極限定理.,我們只討論幾種簡單情形.,下面給出的獨立同分布隨機變量序列的中心極限定理，也稱列維一林德伯格（Levy－Lindberg）中心極限定理.,定理1（獨立同分布的中心極限定理）,設X1,

9、 X2 , …是獨立同分布的隨機變量序列，且E(Xi)= ，D(Xi)= >0 ，i=1,2,…，則,當 n 較大時,近似服從正態(tài)分布 N(0,1),另外，利用該定理，當 n 較大時,近似服從正態(tài)分布 N(n? , n? 2),特別地,近似服從正態(tài)分布 N(? , ? 2/n),這表明，當 n 較大時，可以用正態(tài)分布N(? , ? 2/n)近似計算與n個相互獨立、同分布隨機變量的算術平均值,有關事件的概率,定理2

10、 李雅普諾夫(Liapunov)定理,設隨機變量序列,相互,獨立，且有有限的期望和方差：,記,若,則對于任意實數(shù) x ,,定理3 (棣莫佛－拉普拉斯定理）,設隨機變量 服從參數(shù)n, p(0<p<1)的二項分布，則對任意x，有,定理表明，當 n 較大，0<p<1時，可以用正態(tài)分布 N(np,np(1-p))近似二項分布.常有下面的近似計算。,即對任意的 a < b,例2 設有一大批種子，其中良種占1/6.

11、 試估計 在任選的6000粒種子中，良種所占比例與 1/6比較上下不超過1%的概率.,解 設 X 表示6000粒種子中的良種數(shù) , 則,X ~ B(6000,1/6),比較幾個近似計算的結(jié)果,用中心極限定理,用二項分布(精確結(jié)果),用Poisson 分布,用Chebyshev 不等式,例3. (供電問題)某車間有200臺車床, 在生產(chǎn)期間由于需要檢修、調(diào)換刀具、變換位置及調(diào)換工件等常需停車.設開工率為0.6,并設每臺

12、車床的工作是獨立的，且在開工時需電力1千瓦.,問應供應多少千瓦電力就能以99.9%的概率保證該車間不會因供電不足而影響生產(chǎn)?,用 X 表示在某時刻工作著的車床數(shù),解：對每臺車床的觀察作為一次試驗，,每次試驗觀察該臺車床在某時刻是否工作,工作的概率為0.6，共進行200次試驗.,依題意，,X~B(200,0.6),現(xiàn)在的問題是：,求滿足,設最多供應N臺車床工作，,,由德莫佛-拉普拉斯極限定理,近似N(0,1),,于是 P(X≤N)= P(

13、0≤X≤N),這里 np=120, np(1-p)=48,由3σ準則，此項為0。,查正態(tài)分布函數(shù)表得,由 ≥0.999，,從中解得N≥141.5,,即所求N=142.,也就是說,應供應142 千瓦電力就能以99.9%的概率保證該車間不會因供電不足而影響生產(chǎn),例4 對敵人的防御工事用炮火進行 100 次轟擊,設每次轟擊命中的炮彈數(shù)服從同一分布, 其數(shù)學期望為 2, 均方差為 1.5 . 如果各次

14、轟擊命中的炮彈數(shù)是相互獨立的, 求100 次轟擊 (1) 至少命中180發(fā)炮彈的概率; (2) 命中的炮彈數(shù)不到200發(fā)的概率.,解 設 X k 表示第 k 次轟擊命中的炮彈數(shù),相互獨立，,設 X 表示100次轟擊命中的炮彈數(shù),則,(1),(2),例5. 假如在市場調(diào)查中獨立獲得10000個由四舍五入獲得的用5位小數(shù)表示的近似數(shù)。設用一個5位小數(shù) x* 近似表示一個實數(shù)時，其誤差可看作是區(qū)間（?0.000005， 0.000

15、005)上的均勻分布。求這10000個近似數(shù)和的誤差的分布。,解：,設Xi表示第i個數(shù)近似時產(chǎn)生的誤差,則：Xi~U(-0.000005,0.000005),EXi=0, DXi=10-10/12,故滿足獨立同分布情形下的中心極限定理,所以,中心極限定理的意義,在實際問題中，若某隨機變量可以看作是有相互獨立的大量隨機變量綜合作用的結(jié)果，每一個因素在總的影響中的作用都很微小，則綜合作用的結(jié)果服從正態(tài)分布.,這一講我們介紹了中