大数定律和中心极限定理

1、切比雪夫不等式 #

切比雪夫不等式： 若随机变量 $X$ 具有期望 $EX=\mu$ ，方差 $DX=\sigma^{2}$ ，则对于任意的 $\varepsilon>0$ 有

$$P\{|X-\mu| \geq \varepsilon\} \leq \frac{\sigma^{2}}{\varepsilon^{2}}$$

或

$$P\{|X-\mu|<\varepsilon\} \geq 1-\frac{\sigma^{2}}{\varepsilon^{2}}$$

2、大数定律 #

切比雪夫大数定律： 设相互独立的随机变量 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 分别具有均值 $E X_{1}, E X_{2}, \cdots, E X_{n}, \cdots$ ，方差 $DX_{1}, DX_{2}, \cdots, DX_{n}, \cdots$ ，若存在公共上界 $C$ ，使 $D\left(X_{k}\right) \leqslant C(k= 1,2, \cdots )$，则对于任意 $\varepsilon>0$ ，有$\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{k=1}^{n} X_{k}-\frac{1}{n} \sum_{k=1}^{n} E X_{k}\right|<\varepsilon\right\}=1$。

依概率收敛： 设 $Y_{1}, Y_{2}, \cdots, Y_{n}, \cdots$ 为随机变量序列，$a$ 为常数，则 $\forall \varepsilon>0$ ，有 $\lim_{n \rightarrow \infty} P\left\{\left|Y_{n}-a\right|<\varepsilon\right\}=1$ ，则称随机序列 $Y_{1}, Y_{2}, \cdots, Y_{n}, \cdots$ 依概率收敛于 $a$ ，记为 $Y_{n} \xrightarrow{P} a$ 。

伯努利大数定律： 设 $n(A)$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数， $p$ 为事件 $A$ 在每次试验中发生的概率，记 $f_{n}(A)=\frac{n(A)}{n}$ 为事件 A 发生的频率，则对于任意 $\varepsilon>0$ ，有$f_{n}(A) \xrightarrow{P} p$，即$\lim_{n \rightarrow \infty} P\{|f_{n}(A)-p|<\varepsilon\}=1$。

辛钦大数定律： 设 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 是一列独立同分布的随机变量，$E X_{i}=\mu(i=1,2, \cdots)$ ，则对于任意 $\varepsilon>0$ ，有$\lim _{n \rightarrow \infty} P\{|\frac{1}{n} \sum_{i=1}^{n} X_{i}-\mu|<\varepsilon\}=1$ 。

3、中心极限定理 #

林德伯格—列维定理（独立同分布的中心极限定理）： 设 $X_{1}, X_{2}, \cdots, X_{n} \cdots$ 为独立同分布的随机变量序列且期望 $E X_{i}=\mu$ ，方差 $D X_{i}=\sigma^{2} \neq 0(i=1,2, \cdots, n)$ ，则 $\forall x \in R$ 有 $\lim _{n \rightarrow \infty} P\left\{\frac{\sum_{i=1}^{n} X_{i}-n \mu}{\sqrt{n} \sigma} \leq x\right\}=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-\frac{1}{2} t^{2}} d t$。

棣莫弗－拉普拉斯（二项分布以正态分布为极限）： 设 $X$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数，$P(A)=p(0<p<1)$ ，因此 $X \sim B(n, p)$ ，则 $\forall x \in R$ 有$\lim _{n \rightarrow \infty} P\left\{\frac{X-n p}{\sqrt{n p q}} \leq x\right\}=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-\frac{1}{2} t^{2}} d t \quad(q=1-p)$。