随机数学与统计
大二上学期随机数学与统计的复习笔记，目前更新至极限定理。
一、概率与概率空间
1. 基本概念
- 样本空间、基本事件（样本点）：选取不唯一
- 事件：样本空间的子集（样本空间的子集不一定是事件，可能不可测）
- 随机试验：可重复性、不确定性
- 等可能概型：古典概型、几何概型（须可测）
- 小概率原则（单次几乎不发生，足够次一定发生）、实际推断原理（否定前提）
2. 公理化定义
- 事件域/族/体（$\sigma$-代数/域）：$\Omega$ 的子集的集合，含全集、对补和可数并封闭
- 例：平凡、幂集、生成、$\mathrm{Borel}$ 事件域（实数上的开集生成）
- 概率（概率测度）：定义在事件域上的非负函数，$P(\Omega)=1$、可数互斥可加
- 随机试验的概率空间：$(\Omega, \mathcal{F}, P)$
- 可数/不可数：可/不可指定单点概率、$\mathcal{F}=/\neq\mathcal{P}(\Omega)$
3. 概率的性质
- 事件序列的下极限：$\displaystyle\underline{\lim_{n\to\infty}} A_n=\bigcup_{n=1}^\infty \bigcap_{k=n}^\infty A_k$
- 上极限：属于无穷多个；下极限：不属于有限个
- $(\displaystyle\underline{\lim_{n\to\infty}} A_n)^C=\displaystyle\overline{\lim_{n\to\infty}} A_n^C$
- 概率的下连续性：非减事件序列，$\displaystyle\lim_{n\to\infty} P(A_n)=P\left(\bigcup_{n=1}^\infty A_n\right)$
- 定理：有限可加性 $+$ 连续性 $\Leftrightarrow$ 可数可加性
4. 独立性
- $A,B$ 独立，则 $A$ 与 $B^C$、$A^C$ 与 $B$、$A^C$ 与 $B^C$ 独立
- 多事件独立：任意 $k$ 个独立
- 极端事件与任意事件独立，非极端事件独立与互斥矛盾
- 独立性的实质：事件 $\sigma$-域 独立（将事件序列分成 $m$ 组，可推出性质一）
- 独立试验序列：任一试验的事件不依赖其他试验
- $X,Y$ 独立，则 $f(X),g(Y)$ 独立
5. 条件独立
- 定义：$P(AB|C)=P(A|C)P(B|C)$
- $A$ 与 $B$ 独立，$A$ 与 $C$ 独立，$A$ 与 $BC$ 不一定独立
- $A$ 与 $B$ 独立，对任意的 $C$，$A$ 与 $B$ 不一定关于 $C$ 条件独立
- 若 $A$ 与 $B$ 关于 $C$ 条件独立，$A$ 与 $B$ 不一定关于 $C^C$ 条件独立
- $\mathrm{Simpson}$ 悖论：$P(A|BC)>P(A|B^CC),P(A|BC^C)>P(A|B^CC^C)$，但 $P(A|B)\le P(A|B^C)$
6. 事件的相关性
- $r(A,B)=\frac{P(AB)-P(A)P(B)}{\sqrt{P(A)(1-P(A))P(B)(1-P(B))}}$
- $-1\le r \le 1$，$r=1$ 当且仅当 $P(A)=P(AB)=P(B)$；$r=-1$ 当且仅当 $P(A^C)=P(A^CB)=P(B)$
7. 典型模型
- 等可能分析：无限硬币
- 概率的连续性：实数单点概率
- 首步分析法：赌徒输光
- 末步分析法：传球
- 样本空间缩减法：三门问题
- 期望效用理论：圣彼得堡悖论，$\displaystyle EU=\sum_{i=1}^\infty \frac{\ln(x+2^{n-1}-C)-\ln(x)}{2^n}<+\infty$
- 随机变量的可加性：匹配数问题
- 可靠性问题
8. 例题
- 已知 $P(AB)=P(A)P(B),AB\subset C,A^CB^C\subset C^C$，求证 $P(AC)\ge P(A)P(C)$
- 从 $1,2,\cdots,N$ 中有放回地取 $n$ 个数，按大小排列为 $X_1\le X_2\le \cdots\le X_n$，求 $P(X_m=M)$
- 从 $1,2,\cdots,N$ 中不放回地取 $n$ 个数，按大小排列为 $X_1\lt X_2\lt \cdots\lt X_n$，试证 $E(X_n)=(N+1)\frac{n}{n+1}$
- 把 $r$ 个球随机地放到 $n$ 个盒子中，记 $X$ 表示空盒个数，求 $E(X)$
- 设随机变量 $X\sim B(n,p),Y=\begin{cases} 1,&X\text{ 为偶数} \\ -1,&X\text{ 为奇数} \end{cases}$，求 $EY$
- $X\sim B(n,p)$，求 $E\left(\frac{1}{1+X}\right)$
- $X\sim \mathrm{Poisson}(\lambda)$，$B$ 为事件 $X$ 为偶数，求 $X$ 在 $B$ 下的条件分布
- 设随机变量 $X$ 在 $[a,b]$ 中取值，证明：$DX\le \frac{(b-a)^2}{4}$，并说明取等条件
- 三人同时投掷硬币，每人投掷出正面向上后停止，求进行的轮数的期望。
二、离散型随机变量与过程
1. 基本概念
- 随机变量：定义在随机试验样本空间上的单值实函数，且 $\forall x\in \mathbb{R}, \{\omega|X(\omega)\le x\}\in \mathcal{F}$
- 分布函数：$F(x)=P(X\le x)$，右连续
- 矩母函数：$M_X(u)=E(e^{uX})$，$E(X^n)=M_X^{(n)}(0)$，独立时 $M_{X+Y}(u)=M_X(u)M_Y(u)$
2. 常见离散型分布
- 二项分布：众数 $\lfloor (n+1)p\rfloor$ 或 $(n+1)p,(n+1)p-1$
- 超几何分布：二项分布逼近，方差 $\frac{N-n}{N-1}$ 倍
- 几何分布：无记忆性，方差 $\frac{1-p}{p^2}$
3. 期望与中位数
- 期望：绝对收敛（可换序）
- 分位数：$P(X\le x)\ge p,P(X\ge x)\ge 1-p$，中位数 $\frac{1}{2}\le F(x)\le \frac{1}{2}+P(X=x)$
- $E|X-C|$ 在中位数处取最小值，$E(X-C)^2$ 在期望处取最小值 $DX$
- 期望的性质：可加；独立则可乘；$(E(XY))^2\le E(X^2)E(Y^2)$
- $\mathrm{Markov}$ 不等式：非负随机变量，$P(X\gt c)\le \frac{EX}{c}$，对 $(X-EX)^2$ 使用则 $P(|X-EX|\ge c)\le \frac{DX}{c^2}$
4. 随机向量
- 联合分布函数：$F(x_2,y_2)-F(x_2,y_1)-F(x_1,y_2)+F(x_1,y_1)\ge 0$
- 独立性：$p_{ij}=f(x_i)g(y_j)$，则 $P(X=x_i)=C_1f(x_i),P(Y=y_j)=C_2g(y_j),C_1C_2=1$
- $k+l$ 阶混合中心矩：$E[(X-EX)^k(Y-EY)^l]$
5. 方差与协方差
- 协方差：$\mathrm{Cov}(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EXEY$
- 独立则 $D(\sum a_iX_i)=\sum a_i^2DX_i$，不独立则 $\displaystyle D(\sum a_iX_i)=\sum a_i^2DX_i+2\sum_{i<j}a_ia_j\mathrm{Cov}(X_i,X_j)$
- 相关系数：$r_{X,Y}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{DXDY}}$，不相关是独立的必要不充分条件，但两点分布下等价
- 最佳线性预测：$\hat{Y}=aX+b$，$a=\frac{\mathrm{Cov}(X,Y)}{DX},b=EY-aEX,E(Y-\hat{Y})^2=DY(1-r_{X,Y}^2)$
- 协方差的性质：对称性、双线性性 $\mathrm{Cov}(\sum a_iX_i, \sum b_jY_j)=\sum a_ib_j\mathrm{Cov}(X_i,Y_j)$，协方差矩阵对称非负定
- 相关系数的性质：$r_{aX+b,cY+d}=\frac{ac}{|ac|}r_{X,Y}$，$X^*=\frac{X-EX}{\sqrt{DX}}$ 时 $r_{X,Y}=r_{X^*,Y^*}$
6. 条件分布与期望
- 条件方差：$D(Y|X)=E[(Y-E(Y|X))^2|X]=E(Y^2|X)-(E(Y|X))^2$
- $E(Y-g(X))^2=E(Y-E(Y|X))^2+E(E(Y|X)-g(X))^2$ 始终成立
- 取 $g(X)=E(Y|X)$ 得最佳预测，预测误差 $Y-E(Y|X)$ 与预测变量 $X$ 和预测值 $E(Y|X)$ 都不相关
- 取 $g(X)=EY$ 得全方差公式 $DY=E(D(Y|X))+D(E(Y|X))$，推论：$DY\ge D(E(Y|X))$，当且仅当 $Y=E(Y|X)$ 时取等号
- 例：随机变量随机和 $EY=ENEX_1,DY=ENDX_1+DN(EX_1)^2$
7. 随机过程与徘徊
- 定义：依赖参数 $t$ 的随机变量族 $\{X(t),t\in T\}$，$T$ 为指标集
- 对基本事件 $\omega$，$\{X(t,\omega),t\in T\}$ 是定义在 $T$ 上的实函数，称为随机过程 $X$ 的一条样本轨道
- 有限维分布族：$F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n)=P(X(t_1)\le x_1,X(t_2)\le x_2,\cdots,X(t_n)\le x_n)$
- 独立增量过程：互不相交的区间 $X_{m_1}-X_{n_1},X_{m_2}-X_{n_2},\cdots,X_{m_k}-X_{n_k}$ 独立；时齐：$X_{m+n}-X_{m}$ 对 $m$ 同分布
- 独立增量过程一定是 $\mathrm{Markov}$ 过程，有限维分布由其增量的分布和过程的初始分布唯一决定
- 随机徘徊：$S_n=S_0+\sum_{i=1}^n X_i$，$\{X_i\}$ 独立同分布于 $\begin{pmatrix} -1 & 1 \\ 1-p & p \end{pmatrix}$，$X_0$ 为任意整值随机变量，$p=\frac{1}{2}$ 时称为一维对称简单随机徘徊
- $\mathrm{Cov}(S_n,S_m)=\min(n,m)DX_1$
三、$\mathrm{Poisson}$ 分布与过程
1. 物理背景
- 时齐的独立增量过程，连续时间、离散状态空间
- 普通性：$P(N_{t+h}-N_t\ge 2)=o(h),P(N_{t+h}-N_t=1)=\lambda h+o(h)$
- $\mathrm{Poisson}$ 定理（二项分布逼近）：$\displaystyle X\sim B(n,p_n),\lim_{n\to\infty} np_n=\lambda$，则 $P(X=k)\rightarrow e^{-\lambda}\frac{\lambda^k}{k!}$
2. $\mathrm{Poisson}$ 分布
- $P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!},k=0,1,2,\cdots$
- $EX=DX=\lambda,M_X(u)=e^{\lambda(e^u-1)}$
- 合/分流：可加性、随机选择下的不变性
3. $\mathrm{Poisson}$ 过程
- 定义：$N_0=0$，独立增量，$N_{t+h}-N_t\sim \mathrm{Poisson}(\lambda h)$
- 分流选择：$\{X_t\},\{Y_t\}$ 强度分别为 $\lambda_1,\lambda_2$ 的独立 $\mathrm{Poisson}$ 过程，则 $Y_t|X_t+Y_t=n\sim B\left(n,\frac{\lambda_2}{\lambda_1+\lambda_2}\right)$
- 时间选择：$X_u|X_t=n\sim B\left(n,\frac{u}{t}\right)$
4. 复合 $\mathrm{Poisson}$ 过程
- 定义：$\displaystyle Y_t=\sum_{i=1}^{N_t} X_i$，$\{X_i\}$ 独立同分布且与 $\{N_t\}$ 独立，是时齐的独立增量过程
- $EY_t=\lambda t EX_1,DY_t=\lambda t E(X_1^2),M_{Y_t}(u)=e^{\lambda t[M_{X_1}(u)-1]}$
四、连续型随机变量
五、$\mathrm{Gauss}$ 分布与 $\mathrm{Brown}$ 运动
1. 留数定理
- 留数的计算：$\displaystyle\mathrm{Res}(f,z_0)=\frac{1}{(m-1)!}\lim_{z\to z_0}\frac{\mathrm{d}^{m-1}}{\mathrm{d}z^{m-1}}\left[(z-z_0)^mf(z)\right]$
- 实函数无穷积分：上半平面 $|z|\to\infty$ 时 $zf(z)\to 0$，则 $\displaystyle\int_{-\infty}^{+\infty} f(x)dx=2\pi i\sum \mathrm{Res}f(z)$
- $\mathrm{Jordan}$ 引理（上半）：若 $p\gt 0$，且上半平面 $|z|\to\infty$ 时 $Q(z)\to 0$，则 $\displaystyle\int_{-\infty}^{+\infty}Q(z)e^{ipz}dz=2\pi i\sum \mathrm{Res}[Q(z)e^{ipz}]$
- $\mathrm{Jordan}$ 引理（下半）：若 $p\lt 0$，且下半平面 $|z|\to\infty$ 时 $Q(z)\to 0$，则 $\displaystyle\int_{-\infty}^{+\infty}Q(z)e^{ipz}dz=-2\pi i\sum \mathrm{Res}[Q(z)e^{ipz}]$
随机数学与统计
https://sqzr2319.github.io/25Fall/ProbStats/