随机变量及其分布

一、随机变量及其分布函数 #

随机变量：设 $E$ 是随机试验，它的样本空间为 $\Omega=\{e\}$ ，如果对于每一个 $e \in \Omega$ ，都有唯一的实数 $X(e)$ 和它对应，且对于任何实数 $x$，$\{X(e) \leq x\}$ 具有确定的概率，则称 $X(e)$（简记为 $X$ ）为随机变量（Random Variable），简记为$r\cdot v$。

简单来说，随机变量是随机事件的映射，用来简化随机事件的表示。

分布函数：设 $X$ 为一随机变量，$\forall x \in R$ ，令$F(x)=P\{X \in(-\infty, x]\}=P\{X \leq x\}$，则称 $F(x)$ 为 $r \cdot v X$ 的分布函数。

分布函数具有如下性质

1. $0 \leq F(x) \leq 1$；
2. $F(x)$是一个单调不减函数；
3. $F(x)$右连续，即 $\lim_{x \rightarrow a^{+}} F(x)=F(a)$；
4. $\lim_{x \rightarrow+\infty} F(x)=1$，$\lim_{x \rightarrow-\infty} F(x)=0$。

注意：$F(x)=P\{X\leq x\}$，$F(x^-)=P\{X<x\}$。

二、离散型随机变量及概率分布 #

1、离散型随机变量的分布 #

离散型随机变量：若随机变量的所有可能取值为有限个或可列个，我们称这类随机变量为离散型随机变量。

离散型随机变量的概率分布：设 X 为离散型 $r \cdot v$ ，所有可能取值为 $x_{k}(k=1,2, \cdots)$ ，且$P\{X=x_{k}\} = p_{k} (k=1,2, \cdots)$。则称 $p_{k}(k=1,2, \cdots)$ 为 X 的概率分布（分布律）简记为 $\{p_{k}\}_{1}^{\infty}$ 。

离散型随机变量概率分布 $\{p_{k}\}_{1}^{\infty}$ 的性质：

• $p_{k} \geq 0(k=1,2, \cdots)$；
• $\sum_{k=1}^{\infty} p_{k}=1$。

2、常用的离散型随机变量分布 #

0-1分布：若 X 的分布列为

$X$	0	1
$P$	$1-p$	$p$

即$P\{X=k\}=p^{k}(1-p)^{1-k}(k=0,1)$ 则称 $X$ 服从参数为 $p$ 的0-1分布，记为 $X \sim B(1, p)$。对只含两个样本点的样本空间 $\Omega=\{e_{1}, e_{2}\}$ 总可定义

$$X=X(e)=\{\begin{array}{ll} 1, & e=e_{1} \\ 0, & e=e_{2} \end{array}.$$

二项分布：若随机试验 $E$ 只有两个可能的结果 $A$ 与 $\bar{A}$ ，记 $P(A)=p$，$P(\bar{A})=1-p=q(0<p<1)$ ，将试验 $E$ 独立地重复进行 $n$ 次，则称这一串独立重复试验为n重伯努利试验。以 $X$ 表示 $n$ 重贝努利试验中事件 $A$ 发生的次数，则 $X$ 是一随机变量，$X$ 的可能取值为 $0,1,2, \cdots, n$ 。 $A$ 出现 $k$ 次的概率为 $P\{X=k\}= P_{n}(k)$。$P\{X=k\}=C_{n}^{k} p^{k} q^{n-k}(k=0,1,2, \cdots, n)$。则称 $X$ 为服从参数$n$，$p$的二项分布，记作$X \sim B(n, p)$。

泊松分布：如果随机变量 $X$ 的所有可能取值为 $0,1,2, \cdots$ ，其分布律为

$$P\{X=k\}=\frac{\lambda^{k} e^{-\lambda}}{k!} (k=0,1,2, \cdots ; \lambda>0)$$

，则称 $X$ 服从参数为 $\lambda$ 的泊松分布，记为 $X \sim P(\lambda)$ 。

泊松分布是概率论中一个重要的离散分布，主要用于描述单位时间或单位空间内随机事件的发生次数。是指数分布的离散版本。此外，泊松分布是二项分布的极限形式，当试验次数$n$很大，成功概率$p$很小，且$\lambda=np$为有限值时，二项分布可以用泊松分布近似表示，$C_{n}^{k} p^{k}(1-p)^{n-k} \approx \frac{\lambda^{k} e^{-\lambda}}{k!}$。

三、连续型随机变量及概率分布 #

1、连续型随机变量的分布 #

连续型随机变量：若 $r\cdot v X$ 的分布函数 $F(x)$ 可表示成$F(x)=\int_{-\infty}^{x} f(u) d u$，其中 $f(x)$ 为一非负可积函数，则称 $X$ 为连续型随机变量, $f(x)$ 称为 $X$ 的概率密度函数（或概率分布、分布密度）。

连续型 $r\cdot v X$ 的分布函数 $F(x)$ 是连续函数，而概率密度不一定连续。

概率密度 f(x) 具有如下性质：

1. $f(x) \geq 0$ ；
2. $\int_{-\infty}^{+\infty} f(x) d x=1$；
3. $P\{x_{1}<X \leq x_{2}\}=F(x_{2})-F(x_{1})=\int_{x_{1}}^{x_{2}} f(x) d x$；
4. 若 $f(x)$ 在 $x$ 点连续，则 $F^{\prime}(x)=f(x)$。

注意：与离散型随机变量的分布函数不同，在连续型随机变量的分布中，$\forall a\in R,P\{X=a\}=F(a)-F(a-0)=0$；

2、常用的连续型随机变量分布 #

均匀分布： 设随机变量 $X$ 在有限区间 $[a, b]$ 内取值，且其分布密度为

$$f(x)=\{\begin{array}{cc}\frac{1}{b-a}, & a \leq x \leq b \\ 0, & \text { 其他 }\end{array}.$$

，则称 $X$ 在有限区间 $[a, b]$ 上服从均匀分布，记为 $X \sim U(a, b)$ 。其分布函数为

$$F(x)=\{\begin{array}{cc} 0, & x<a \\ \frac{x-a}{b-a}, & a \leq x<b \\ 1, & x \geq b \end{array}.$$

指数分布： 若随机变量 $X$ 的概率密度

$$f(x)=\{\begin{array}{ll} \lambda e^{-\lambda x}, & x>0 \\ 0, & x \leq 0 \end{array}.$$

其中 $\lambda>0$ 为常数，则称 $X$ 服从参数为 $\lambda$ 的指数分布，记为 $X \sim e(\lambda)$。分布函数为

$$F(x)=\{\begin{array}{l} 0, x<0 \\ 1-e^{-\lambda x}, x \geq 0 \end{array}.$$

指数分布是概率论中一种重要的分布，用来描述事件发生的时间间隔。

正态分布：若随机变量 $X$ 的分布密度为

$$f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{1}{2 \sigma^{2}}(x-\mu)^{2}} (-\infty<x<+\infty)$$

其中 $\mu$，$\sigma(\sigma>0)$ 为常数，则称 $X$ 服从参数为 $\mu$，$\sigma$ 的正态分布或高斯分布，记为 $X \sim N(\mu, \sigma^{2})$ 。分布函数为

$$F(x)=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{1}{2 \sigma^{2}}(t-\mu)^{2}} d t$$

特别地，当 $\mu=0$，$\sigma=1$ 时，图形关于 $x=0$ 对称，此时称 X 服从标准正态分布，记为 $X \sim N(0,1)$ 。密度函数变为

$$\varphi(x)=\frac{1}{\sqrt{2 \pi}} e^{-\frac{1}{2} x^{2}} (-\infty<x<+\infty)$$

其分布函数为

$$\Phi(x)=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-\frac{1}{2} t^{2}} d t (-\infty<x<+\infty)$$

正态分布的性质如下：

1. $\frac {X-\mu}{\sigma} \sim N(0,1)$ ，这反映了一般正态分布与标准正态分布的关系，由此可得，$F(x)=\Phi(\frac{x-\mu}{\sigma})$。
2. $\varphi(-x)=\varphi(x)$，$\Phi(-x)=1-\Phi(x)$。

四、随机向量及其分布 #

1、二维随机变量及其联合分布 #

随机向量：一般地，设 $X_{1}, X_{2}, \cdots, X_{n}$ 为定义同一个样本空间上的$r \cdot v$，称$X=(X_{1}, X_{2}, \cdots, X_{n})$为 $n$ 维随机向量或 $n$ 维 $r \cdot v$ 。

设 $(X, Y)$ 为二维 $r \cdot v$，$\forall x, y \in R$ ，称$F(x, y)=P\{X \leq x, Y \leq y\}$为随机向量 $(X, Y)$ 的分布函数，或随机变量 $X$ 和 $Y$ 的联合分布函数。

$F(x, y)$ 有如下性质：

1. $0 \leq F(x, y) \leq 1$；且 对任意固定的 $y$，$F(-\infty, y)=0$； 对任意固定的 $x$，$F(x,-\infty)=0$； 及 $F(-\infty,-\infty)=0$ ; $F(+\infty,+\infty)=1$ ；
2. $F(x, y)$ 是变量 $x$ 和 $y$ 的不减函数；
3. $F(x, y)$ 关于变量 $x$ 和变量 $y$ 右连续；
4. $\forall x_{1}<x_{2}, y_{1}<y_{2}$ 有$F(x_{2}, y_{2})-F(x_{2}, y_{1})-F(x_{1}, y_{2})+F(x_{1}, y_{1}) \geq 0$。

二维离散型随机变量：如果 $(X, Y)$ 的所有可能取值是有限个或可列无穷个，记为 $(x_{i}, y_{j})(i, j=1,2,3, \cdots)$ ，则称 $(X, Y)$ 为二维离散型 $r \cdot v$ 。并称$P\{X=x_{i}, Y=y_{j}\} = p_{i j} (i, j=1,2,3, \cdots)$为二维离散型 $r \cdot v(X, Y)$ 的分布律或 $X$ 与 $Y$ 的联合分布律。 $X$ 与 $Y$ 的联合分布律也可用概率分布表表示。

二维连续型随机变量：对于二维随机变量 $(X, Y)$，$F(x, y)$ 为 $(X, Y)$ 的分布函数。若存在非负可积函数 $f(x, y)$ ，使对任意实数 $x$ 、$y$ 有$F(x, y)=\int_{-\infty}^{x} \int_{-\infty}^{y} f(u, v) d u d v$，则称 $(X, Y)$ 为二维连续型随机变量，$f(x, y)$ 称为 $(X, Y)$ 的概率密度或 $X$ 、$Y$ 的联合概率密度。

概率密度 $f(x, y)$ 有如下性质：

1. $f(x, y) \geq 0$；
2. $\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) d x d y=1$；
3. 若 $f(x, y)$ 在点 $(x, y)$ 处连续，则$f(x, y)=\frac{\partial^{2} F(x, y)}{\partial x \partial y}$；
4. 设 $G$ 为一平面区域，则$P\{(X, Y) \in G\}=\iint_{G} f(x, y) d x d y$。特别地，$P\{x_{1}<X \leq x_{2}, y_{1}<Y \leq y_{2}\}=\int_{x_{1}}^{x_{2}} \int_{y_{1}}^{y_{2}} f(x, y) d x d y$。

2、二维随机变量的边缘分布 #

边缘分布函数：设 $(X, Y)$ 的分布函数 $F(x, y)$ ，则关于 $X$ 和关于 $Y$ 的边缘分布函数分别为

$$\begin{array}{l} F_{X}(x)=F(x,+\infty)=\lim _{y \rightarrow+\infty} F(x, y) \\ F_{Y}(y)=F(+\infty, y)=\lim _{x \rightarrow+\infty} F(x, y) \end{array}$$

设 $(X, Y)$ 为离散型 $r\cdot v$，其分布律为$P\{X=x_{i}, Y=y_{j}\} = p_{i j} (i, j=1,2,3, \cdots)$，则关于 X 和关于 Y 的边缘分布律分别为

$$\begin{array}{l} P\{X=x_{i}\}=\sum_{j=1}^{\infty} p_{i j} = p_{i .} (i=1,2,3, \cdots) \\ P\{Y=y_{j}\}=\sum_{i=1}^{\infty} p_{i j} = p_{\cdot j} (j=1,2,3, \cdots) \end{array}$$

设 $(X, Y)$ 为连续型 $r\cdot v$，概率密度为 $f(x, y)$ ，则关于 $X$ 和关于 $Y$ 的边缘分布密度分别为

$$\begin{aligned} f_{X}(x) & =\int_{-\infty}^{+\infty} f(x, y) d y \\ f_{Y}(y) & =\int_{-\infty}^{+\infty} f(x, y) d x \end{aligned}$$

3、二维随机变量的条件分布 #

二维离散型随机变量的条件分布律： 设 $(X, Y)$ 为离散型随机变量，对于固定的 $j$ ，若$P\{Y=y_j\}>0$，则称

$$P\{X=x_{i} \mid Y=y_{j}\}=\frac{P\{X=x_{i}, Y=y_{j}\}}{P\{Y=y_{j}\}}=\frac{p_{i j}}{p_{\cdot j}}(i=1,2,3, \cdots)$$

为在 $Y=y_{j}$ 的条件下随机变量 $X$ 的条件分布律。 同样地，可定义 $Y$ 的条件分布律，称

$$P\{Y=y_{j} \mid X=x_{i}\}=\frac{P\{X=x_{i}, Y=y_{j}\}}{P\{X=x_{i}\}}=\frac{p_{i j}}{p_{i} .}(j=1,2,3, \cdots)$$

为在 $X=x_{i}$ 的条件下随机变量 $Y$ 的条件分布律。

即

$$条件分布律=\frac{联合分布律}{边缘分布律}$$

二维连续性随机变量的条件概率密度： 设$(X,Y)$为连续型随机变量，其概率密度为$f(x,y)$，边缘概率密度分别为$f_X(x)$和$f_Y(y)$。若$f_Y(y)\ne 0$，则称$f_{X \mid Y}(x \mid y)=\frac{f(x, y)}{f_{Y}(y)}$为在$Y=y$条件下$X$的条件概率密度。则$F_{X \mid Y}(x \mid y)=\int_{-\infty}^{x} f_{X \mid Y}(x \mid y) d x$。 同理，若$f_X(x)\ne 0$，则称$f_{Y \mid Y}(y \mid x)=\frac{f(x, y)}{f_{X}(x)}$为在$X=x$条件下$Y$的条件概率密度。则$F_{Y \mid X}(y \mid x) =\int_{-\infty}^{y} f_{Y \mid X}(y \mid x) d y$。

4、常用的二维连续型随机变量分布 #

二维均匀分布： 设 $G$ 为一平面区域，$G$ 的面积为 $A(0<A<+\infty)$ ，若 $(X, Y)$ 的概率密度为

$$f(x, y)=\{\begin{array}{cc} 1 / A, & (x, y) \in G \\ 0, & \text { 其他 } \end{array}.$$

则称 $(X, Y)$ 在 $G$ 上服从均匀分布，记为$(X, Y) \sim U(G)$。

二维正态分布： 如果 (X, Y) 的概率密度为$f(x, y)=\frac{1}{2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}} \exp \{\bullet\} (-\infty<x, y<+\infty)$，其中$\exp \{\bullet\}=\exp \left\{\frac{-1}{2\left(1-\rho^{2}\right)}\left[\left(\frac{x-\mu_{1}}{\sigma_{1}}\right)^{2}-2 \rho \frac{\left(x-\mu_{1}\right)\left(y-\mu_{2}\right)}{\sigma_{1} \sigma_{2}}+\left(\frac{y-\mu_{2}}{\sigma_{2}}\right)^{2}\right]\right\}$。则称 $(X, Y)$ 服从参数为 $\mu_{1}$，$\mu_{2}$，$\sigma_{1}(\sigma_{1}>0)$，$\sigma_{2}(\sigma_{2}>0)$，$\rho(|\rho|<1)$ 的二维正态分布。$(X, Y) \sim N(\mu_{1}, \mu_{2} ; \sigma_{1}^{2}, \sigma_{2}^{2} ; \rho)$。

二维正态分布的性质： 设$(X, Y) \sim N(\mu_{1}, \mu_{2} ; \sigma_{1}^{2}, \sigma_{2}^{2} ; \rho)$，则

• 两个边缘分布均为正态分布，$X\sim N(\mu_1,\sigma_1^2)$，$Y\sim N(\mu_2,\sigma_2^2)$；
• $X$与$Y$相互独立的充分必要条件为$\rho =0$；
• $X$与$Y$的非零线性组合$(aX+bY,cX+dY)$服从二维正态分布。

五、随机变量的独立性 #

二维随机变量的独立性： 设 $F(x, y)$ 、 $F_{X}(x)$ 和 $F_{Y}(y)$ ，依次为 $(X, Y)$ 的分布函数、边缘分布函数。若对任意的实数 $x, y$ 有$F(x, y)=F_{X}(x) \cdot F_{Y}(y)$，即 $P\{X \leq x, Y \leq y\}=P\{X \leq x\} \cdot P\{Y \leq y\}$，则称随机变量 $X$ 与 $Y$ 相互独立。

当 $(X, Y)$ 为离散型 $r\cdot v$ 时，上面的条件等价于$P\{X=x_{i}, Y=y_{j}\}=P\{X=x_{i}\} \cdot P\{Y=y_{j}\}$，简记 $p_{i j}=p_{i \cdot} \cdot p_{\cdot j}(i, j=1,2,3, \cdots)$。

六、随机变量函数的分布 #

1、离散型随机变量函数的分布 #

离散型随机变量的函数的分布一般都是求分布律，只要根据表格逐项计算即可。

2、连续型随机变量函数的分布 #

设 $X$ 为连续型随机变量，其分布密度为 $f(x)$，$y=g(x)$ 是一处处可导而且严格单调函数，则 $Y=g(X)$ 是连续型随机变量，其分布密度为

$$f_{Y}(y)=\{\begin{array}{cc} f[h(y)]|h^{\prime}(y)|, & \alpha<y<\beta \\ 0, & \text { 其他 } \end{array}.$$

其中 $h(y)$ 是 $g(x)$ 的反函数，$\alpha=\min \{g(-\infty), g(+\infty)\}$，$\beta=\max \{g(-\infty), g(+\infty)\}$ 。

3、二维随机变量函数的分布 #

$(X, Y)$ 为二维 $r\cdot v$，$z=g(x, y)$ 为连续函数，则称 $Z=g(X, Y)$ 为 $(X, Y)$ 的函数。$Z$ 的分布函数为$F_{Z}(z)=P\{Z \leq z\}=P\{g(X, Y) \leq z\}$，此时有两种求解方法：

• 定义法：$F_{Z}(z)=P\{Z \leq z\}=\iint_{g(x, y) \leq z} f(x, y) d x d y$，由此得 Z 的分布密度为$f_{Z}(z)=\frac{d F_{Z}(z)}{d z}=\frac{d}{d z} \iint_{g(x, y) \leq z} f(x, y) d x d y$。
• 卷积公式法：若Z=g(X,Y)是X，Y的线性函数，可反解出Y=h(X,Z)（或X=s(Y,Z)），则Z的概率密度为

$$f_{Z}(z)=\int_{-\infty}^{+\infty} f(x, h(x,z))|\frac{\partial[h(x,z)]}{\partial z}| dx$$

或

$$f_{Z}(z)=\int_{-\infty}^{+\infty} f(s(y,z), y)|\frac{\partial[s(y,z)]}{\partial z}| dy$$