第2章 随机变量的分布
随机变量及其分布是概率论的重点，本章主要讨论一维随机变量及其分布。
1. 随机变量及其分布函数¶
-
随机变量：定义在样本空间上的实值函数，常用大写字母表示，取值常用小写字母表示。
-
分布函数：对于一个随机变量，定义\(F(x)=P(X\leq x)\)为分布函数，称X服从\(F(x)\).满足下列三种基本性质：单调性，有界性，右连续性
2. 随机变量的数学期望¶
根据分布计算随机变量的特征数（均值，方差，分位数），侧面反映分布的特征。下介绍最重要的特征数：数学期望。
数学期望
- 起源：分赌本问题
- 均值：算术平均，加权平均（根据频率）
- 离散表达式：\(E(x)=\sum x_{i}p(x_{i})\) (当且仅当绝对收敛的时唯一)
- 连续表达式：\(E(s)=\int xp(x) \, dx\)
- 物理解释：重心
- 统计学作用：消除随机性的重要手段
数学期望的性质
- \(E(c)=c\)
- \(E(aX)=aE(x)\)
- \(E(g_{1}+g_{2})=E(g_{1})+E(g_{2})\)
3. 随机变量的方差与标准差¶
方差
- 对于随机变量\(X\)的均值a，定义新的随机变量\((x-a)^2\)，其均值称作方差。
- 记作：\(Var(X)=E(x-E(x))^2\)
标准差
- 定义方差的平方根：\(\sqrt{ Var(x) }=\sigma(X)\)
- 刻画\(X\)的波动程度（集中与分散程度），越小愈集中。
注：
（1）标准差的量纲与数学期望一致，标准差的使用倾向更大。
（2）期望存在，方差不一定存在。但方差存在，期望一定存在。
性质
- \(Var(X)=E(X^2)-[E(x)]^2\)
- 常数的方差为0
- \(Var(aX+b)=a^2Var(X)\)
- 切比雪夫不等式（chebyshev）： $$ P(\mid X-E(x)|\geq \sigma) \leq \frac{Var(X)}{\sigma^2} $$
注：对于切比雪夫不等式，描述了这样一个现实： 大偏差（\(X-E(x)\)）的概率，称作偏差发生概率，其上界与方差成正比，方差愈大，其上界愈大。
4. 常用的几种分布（离散）¶
伯努利分布 \(X \sim B(p)\)¶
- 单次实验的结果（0或1），成功的概率\(p\)，也叫0-1分布
- 公式：\(P(X=k) = p^k (1-p)^{1-k}\)
二项分布 \(X \sim B(n, p)\)¶
- 描述在\(n\)次独立重复的伯努利试验中，成功的概率\(p\)
- 公式： \(P(X=k) = C_n^k p^k (1-p)^{n-k}\)
- 期望与方差：\(E(X)=np,\quad Var(X)=np(1-p)\)
泊松分布 \(X \sim P(\lambda)\)¶
- 描述稀有事件在单位时间内发生次数
- 公式\(P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!}\)
- 期望与方差：\(E(X)=\lambda,\quad Var(X)=\lambda\)
几何分布 \(X \sim \text{Ge}(p)\)¶
- 在第\(k\)次试验才获得第一次成功的概率
- 公式: \(P(X=k) = (1-p)^{k-1}p\)
超几何分布¶
- 在含有 \(M\) 个成功类别的 \(N\) 个总体中，不放回地抽取 \(n\) 个样本，其中成功类别个数为 \(k\)。
-
公式 ： $$ P(X=k) = \frac{\binom{M}{k} \binom{N-M}{n-k}}{\binom{N}{n}} $$
-
期望与方差：
$$ E(X)=n\cdot\frac{M}{N} $$ $$ Var(X)=n\cdot\frac{M}{N}\cdot\left(1-\frac{M}{N}\right)\cdot\frac{N-n}{N-1} $$
5. 常用的几种分布（连续）¶
正态分布 \(X \sim N(\mu, \sigma^2)\)¶
- 自然界最常见的分布，描述受众多独立微小因素影响的变量。
- 由均值 \(\mu\) 和方差 \(\sigma^2\)决定，又称高斯分布
- 公式：
\[
f(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}
\]
- \(\hat{\mu} = \bar{x}\)（样本均值），\(\hat{\sigma}^2 = \frac{1}{n}\sum(x_i - \bar{x})^2\)（样本偏方差）
均匀分布 \(X \sim U(a, b)\)¶
- 在区间 \([a, b]\) 内，每个数值出现的可能性相等。
- 公式 ：\(f(x|a, b) = \frac{1}{b-a}, \quad a \le x \le b\)
- 期望与方差：\(E(X)=\frac{a+b}{2},\quad Var(X)=\frac{(b-a)^2}{12}\)
指数分布 \(X \sim \text{Exp}(\lambda)\)¶
- 泊松分布关注单位时间内事件发生了多少次，指数分布则关注两次事件发生的间隔时间。（无记忆性）
- 概率密度函数：\(f(x)=\lambda e^{-\lambda x},\quad x\ge0\)
- 累积分布函数：\(F(x|\lambda) = 1 - e^{-\lambda x}, \quad x \ge 0\)
- 均值/期望：\(E(X) = \frac{1}{\lambda}\)
- 方差：\(Var(X) = \frac{1}{\lambda^2}\)
伽马分布 \(X \sim \Gamma(\alpha, \beta)\)¶
- 指数分布的推广，如果指数分布是“等 1 次随机事件发生的时间”，那么伽马分布就是“等 \(\alpha\) 次事件发生的时间”。
- 概率密度函数：\(f(x)=\frac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x},\quad x>0\)
- 期望与方差： \(E(X)=\frac{\alpha}{\beta},\quad Var(X)=\frac{\alpha}{\beta^2}\)
- 具有加性：如果 \(X_1, X_2\) 独立且服从相同 \(\beta\) 的伽马分布，其和仍服从伽马分布。
- 当 \(\alpha = 1\) 时，退化为指数分布。
- 当 \(\alpha = \frac{n}{2}, \beta = \frac{1}{2}\) 时，退化为卡方分布。
贝塔分布 \(X \sim \text{Be}(\alpha, \beta)\)¶
- 定义在区间 \([0, 1]\) 上的连续分布。它最常用于建模概率的概率。在贝叶斯估计中，它是二项分布的共轭先验。
- 参数：\(\alpha, \beta\) 控制分布的偏斜程度和峰度。
- 当 \(\alpha = 1, \beta = 1\) 时，它就是 \([0, 1]\) 上的均匀分布。
- 如果 \(\alpha = \beta\)，分布是对称的。
卡方分布 \(X \sim \chi^2(n)\)¶
- 是 k 个独立标准正态随机变量的平方和所服从的分布，其中k为自由度。
- 概率密度函数：
\[
f(x)=\frac{1}{2^{k/2}\Gamma(k/2)}x^{k/2-1}e^{-x/2},\quad x>0
\]
- 期望与方差 ：\(E(X)=k,\quad Var(X)=2k\)
- 分布始终在正轴上
- 随着自由度 \(n\) 的增大，分布逐渐趋近于正态分布
- 用于检验方差
6. 分布的其他特征数¶
\(k\)阶原点矩¶
- \(\mu_{k}= E(X^k)\)
- 一阶原点矩：数学期望
\(k\)阶中心矩¶
- \(\nu_{k}= E(X-E(X))^k\)
- 二阶中心矩：方差
二者存在对应关系
- 变异系数：标准差比期望（消除量纲的影响）
- 分位数：分为两块（下侧，上侧）
- 中位数：均分的分位数
- 偏度系数：描述分布偏离对称性的程度（三阶中心矩/二阶中心矩的3/2次方）
- 峰度系数：描述分布尖峭程度或尾部粗细（四阶中心矩/二阶中心矩的2次方 -3）