大数定律和中心极限定理

谢益辉 2006-03-17

这是SEM伟大工程第二步中的序曲(注意只是序曲)——大数定律和中心极限定理,目的是研究统计计算算法,尤其是Monte Carlo方法,因为据我所知,这玩意儿是基于大数定律的。学习至今,发现自己的基础是千疮百孔,惨不忍睹,遂把这些漏洞趁现在尽力补上。还有另外一个原因是看着别人动不动就叫唤:“俺的结论是有大数定律支持的!”然后就把听众吓坏了,因为有好些人自己也搞不清楚这所谓的Law of Large Numbers是个啥东东,于是,大家一起忽悠吧!

不是我贬损谁,确实有这样的例子。像王星老师上课讲有些学生,“我都这么大样本量了还不服从正态分布啊?”言下之意就是说只要搞到的数字足够多,那么就可以请出正态分布老祖宗了。这不扯的么?……我坦言,我自己对于大数定律和中心极限定理其实也是有些晕晕乎乎,还是有些怕所谓的测度论这些东西的,不过无论如何,我还是努力把这俩玩意儿清理明白吧。

首先看看究竟啥叫大数定律和中心极限定理。(下面的东西叫“定义”,不叫“证明”,当年某人为此还和我争了半天,真是想不明白这有什么好争的)

定义1 若ξ1, ξ2, …, ξn, …是随机变量序列,令

若存在常数序列a1, a2, …, an, …对任何的正数ε,恒有

则称序列{ξn}服从大数定律(或大数法则

定义2 对于独立随机变量序列ξ1, ξ2, …, ξn, …假定Eξn和Dξn都存在,令

则称序列{ξn}服从中心极限定理Central Limit Theorem)。

(1)切比雪夫(Chebyishev)不等式 它是切比雪夫大数定律的基础:

设随机变量X有数学期望E(X)与方差D(X),则对任意的正数ε,有

(2)大数定律

切比雪夫定理的特殊情况 设随机变量X1, X2, …, Xn相互独立,且具有相同的数学期望和方差:

则对任意的正数ε,有

·贝努利定理 设nA是n次独立重复试验中事件A发生的次数,p是事件A在每次试验中发生的概率,则对任意的正数ε,有

·辛钦定理 设X1, X2, …, Xn相互独立,服从同一分布,具有数学期望E(Xk)=μ,则对任意正数,有

(3)中心极限定律

·同分布的中心极限定理 设X1, X2, …, Xn相互独立,服从同一分布,具有数学期望和方差:

则对任意的x,恒有

德莫佛-拉普拉斯定理 设随机变量ηn(n=1, 2, …)服从参数为n, p (0<p<1)的二项分布,