随机数学与统计

大二上学期随机数学与统计的复习笔记，目前已完结。

一、概率与概率空间

1. 基本概念

样本空间、基本事件（样本点）：选取不唯一
事件：样本空间的子集（样本空间的子集不一定是事件，可能不可测）
随机试验：可重复性、不确定性
等可能概型：古典概型、几何概型（须可测）
小概率原则（单次几乎不发生，足够次一定发生）、实际推断原理（否定前提）

2. 公理化定义

事件域/族/体（$\sigma$-代数/域）：$\Omega$ 的子集的集合，含全集、对补和可数并封闭
例：平凡、幂集、生成、$\mathrm{Borel}$ 事件域（实数上的开集生成）
概率（概率测度）：定义在事件域上的非负函数，$P(\Omega)=1$、可数互斥可加
随机试验的概率空间：$(\Omega, \mathcal{F}, P)$
可数/不可数：可/不可指定单点概率、$\mathcal{F}=/\neq\mathcal{P}(\Omega)$

3. 概率的性质

事件序列的下极限：$\displaystyle\underline{\lim_{n\to\infty}} A_n=\bigcup_{n=1}^\infty \bigcap_{k=n}^\infty A_k$
上极限：属于无穷多个；下极限：不属于有限个
$(\displaystyle\underline{\lim_{n\to\infty}} A_n)^C=\displaystyle\overline{\lim_{n\to\infty}} A_n^C$
概率的下连续性：非减事件序列，$\displaystyle\lim_{n\to\infty} P(A_n)=P\left(\bigcup_{n=1}^\infty A_n\right)$
定理：有限可加性 $+$ 连续性 $\Leftrightarrow$ 可数可加性

4. 独立性

$A,B$ 独立，则 $A$ 与 $B^C$、$A^C$ 与 $B$、$A^C$ 与 $B^C$ 独立
多事件独立：任意 $k$ 个独立
极端事件与任意事件独立，非极端事件独立与互斥矛盾
独立性的实质：事件 $\sigma$-域独立（将事件序列分成 $m$ 组，可推出性质一）
独立试验序列：任一试验的事件不依赖其他试验
$X,Y$ 独立，则 $f(X),g(Y)$ 独立

5. 条件独立

定义：$P(AB|C)=P(A|C)P(B|C)$
$A$ 与 $B$ 独立，$A$ 与 $C$ 独立，$A$ 与 $BC$ 不一定独立
$A$ 与 $B$ 独立，对任意的 $C$，$A$ 与 $B$ 不一定关于 $C$ 条件独立
若 $A$ 与 $B$ 关于 $C$ 条件独立，$A$ 与 $B$ 不一定关于 $C^C$ 条件独立
$\mathrm{Simpson}$ 悖论：$P(A|BC)>P(A|B^CC),P(A|BC^C)>P(A|B^CC^C)$，但 $P(A|B)\le P(A|B^C)$

6. 事件的相关性

$r(A,B)=\frac{P(AB)-P(A)P(B)}{\sqrt{P(A)(1-P(A))P(B)(1-P(B))}}$
$-1\le r \le 1$，$r=1$ 当且仅当 $P(A)=P(AB)=P(B)$；$r=-1$ 当且仅当 $P(A^C)=P(A^CB)=P(B)$

7. 典型模型

等可能分析：无限硬币
概率的连续性：实数单点概率
首步分析法：赌徒输光
末步分析法：传球
样本空间缩减法：三门问题
期望效用理论：圣彼得堡悖论，$\displaystyle EU=\sum_{i=1}^\infty \frac{\ln(x+2^{n-1}-C)-\ln(x)}{2^n}<+\infty$
随机变量的可加性：匹配数问题
可靠性问题

二、离散型随机变量与过程

1. 基本概念

随机变量：定义在随机试验样本空间上的单值实函数，且 $\forall x\in \mathbb{R}, \{\omega|X(\omega)\le x\}\in \mathcal{F}$
分布函数：$F(x)=P(X\le x)$，右连续
矩母函数：$M_X(u)=E(e^{uX})$，$E(X^n)=M_X^{(n)}(0)$，独立时 $M_{X+Y}(u)=M_X(u)M_Y(u)$

2. 常见离散型分布

二项分布：众数 $\lfloor (n+1)p\rfloor$ 或 $(n+1)p,(n+1)p-1$
超几何分布：二项分布逼近，方差 $\frac{N-n}{N-1}$ 倍
几何分布：无记忆性，方差 $\frac{1-p}{p^2}$

3. 期望与中位数

期望：绝对收敛（可换序）
分位数：$P(X\le x)\ge p,P(X\ge x)\ge 1-p$，中位数 $\frac{1}{2}\le F(x)\le \frac{1}{2}+P(X=x)$
$E|X-C|$ 在中位数处取最小值，$E(X-C)^2$ 在期望处取最小值 $DX$
期望的性质：可加；独立则可乘；$(E(XY))^2\le E(X^2)E(Y^2)$
$\mathrm{Markov}$ 不等式：非负随机变量，$P(X\gt c)\le \frac{EX}{c}$，对 $(X-EX)^2$ 使用则 $P(|X-EX|\ge c)\le \frac{DX}{c^2}$

4. 随机向量

联合分布函数：$F(x_2,y_2)-F(x_2,y_1)-F(x_1,y_2)+F(x_1,y_1)\ge 0$
独立性：$p_{ij}=f(x_i)g(y_j)$，则 $P(X=x_i)=C_1f(x_i),P(Y=y_j)=C_2g(y_j),C_1C_2=1$
$k+l$ 阶混合中心矩：$E[(X-EX)^k(Y-EY)^l]$

5. 方差与协方差

协方差：$\mathrm{Cov}(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EXEY$
独立则 $D(\sum a_iX_i)=\sum a_i^2DX_i$，不独立则 $\displaystyle D(\sum a_iX_i)=\sum a_i^2DX_i+2\sum_{i<j}a_ia_j\mathrm{Cov}(X_i,X_j)$
相关系数：$r_{X,Y}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{DXDY}}$，不相关是独立的必要不充分条件，但两点分布下等价
最佳线性预测：$\hat{Y}=aX+b$，$a=\frac{\mathrm{Cov}(X,Y)}{DX},b=EY-aEX,E(Y-\hat{Y})^2=DY(1-r_{X,Y}^2)$
协方差的性质：对称性、双线性性 $\mathrm{Cov}(\sum a_iX_i, \sum b_jY_j)=\sum a_ib_j\mathrm{Cov}(X_i,Y_j)$，协方差矩阵对称非负定
相关系数的性质：$r_{aX+b,cY+d}=\frac{ac}{|ac|}r_{X,Y}$，$X^*=\frac{X-EX}{\sqrt{DX}}$ 时 $r_{X,Y}=r_{X^*,Y^*}$

6. 条件分布与期望

条件方差：$D(Y|X)=E[(Y-E(Y|X))^2|X]=E(Y^2|X)-(E(Y|X))^2$
$E(Y-g(X))^2=E(Y-E(Y|X))^2+E(E(Y|X)-g(X))^2$ 始终成立
取 $g(X)=E(Y|X)$ 得最佳预测，预测误差 $Y-E(Y|X)$ 与预测变量 $X$ 和预测值 $E(Y|X)$ 都不相关
取 $g(X)=EY$ 得全方差公式 $DY=E(D(Y|X))+D(E(Y|X))$，推论：$DY\ge D(E(Y|X))$，当且仅当 $Y=E(Y|X)$ 时取等号
例：随机变量随机和 $EY=ENEX_1,DY=ENDX_1+DN(EX_1)^2$

7. 随机过程与徘徊

定义：依赖参数 $t$ 的随机变量族 $\{X(t),t\in T\}$，$T$ 为指标集
对基本事件 $\omega$，$\{X(t,\omega),t\in T\}$ 是定义在 $T$ 上的实函数，称为随机过程 $X$ 的一条样本轨道
有限维分布族：$F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n)=P(X(t_1)\le x_1,X(t_2)\le x_2,\cdots,X(t_n)\le x_n)$
独立增量过程：互不相交的区间 $X_{m_1}-X_{n_1},X_{m_2}-X_{n_2},\cdots,X_{m_k}-X_{n_k}$ 独立；时齐：$X_{m+n}-X_{m}$ 对 $m$ 同分布
独立增量过程一定是 $\mathrm{Markov}$ 过程，有限维分布由其增量的分布和过程的初始分布唯一决定
随机徘徊：$S_n=S_0+\sum_{i=1}^n X_i$，$\{X_i\}$ 独立同分布于 $\begin{pmatrix} -1 & 1 \\ 1-p & p \end{pmatrix}$，$X_0$ 为任意整值随机变量，$p=\frac{1}{2}$ 时称为一维对称简单随机徘徊
$\mathrm{Cov}(S_n,S_m)=\min(n,m)DX_1$

三、$\mathrm{Poisson}$ 分布与过程

1. 物理背景

时齐的独立增量过程，连续时间、离散状态空间
普通性：$P(N_{t+h}-N_t\ge 2)=o(h),P(N_{t+h}-N_t=1)=\lambda h+o(h)$
$\mathrm{Poisson}$ 定理（二项分布逼近）：$\displaystyle X\sim B(n,p_n),\lim_{n\to\infty} np_n=\lambda$，则 $P(X=k)\rightarrow e^{-\lambda}\frac{\lambda^k}{k!}$

2. $\mathrm{Poisson}$ 分布

$P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!},k=0,1,2,\cdots$
$EX=DX=\lambda,M_X(u)=e^{\lambda(e^u-1)}$
合/分流：可加性、随机选择下的不变性

3. $\mathrm{Poisson}$ 过程

定义：$N_0=0$，独立增量，$N_{t+h}-N_t\sim \mathrm{Poisson}(\lambda h)$
分流选择：$\{X_t\},\{Y_t\}$ 强度分别为 $\lambda_1,\lambda_2$ 的独立 $\mathrm{Poisson}$ 过程，则 $Y_t|X_t+Y_t=n\sim B\left(n,\frac{\lambda_2}{\lambda_1+\lambda_2}\right)$
时间选择：$X_u|X_t=n\sim B\left(n,\frac{u}{t}\right)$

4. 复合 $\mathrm{Poisson}$ 过程

定义：$\displaystyle Y_t=\sum_{i=1}^{N_t} X_i$，$\{X_i\}$ 独立同分布且与 $\{N_t\}$ 独立，是时齐的独立增量过程
$EY_t=\lambda t EX_1,DY_t=\lambda t E(X_1^2),M_{Y_t}(u)=e^{\lambda t[M_{X_1}(u)-1]}$

四、连续型随机变量与过程

1. 常见分布

标准 $\mathrm{Cauchy}$ 分布：$f(x)=\frac{1}{\pi(1+x^2)}$，无期望与方差
均匀分布：$EX=\frac{a+b}{2},DX=\frac{(b-a)^2}{12},M_X(u)=\frac{e^{ub}-e^{ua}}{u(b-a)}$
指数分布：$X\sim E(\lambda)\Rightarrow EX=\frac{1}{\lambda},DX=\frac{1}{\lambda^2},M_X(u)=\frac{\lambda}{\lambda-u}$
$\mathrm{Gamma}$ 函数：$\displaystyle \Gamma(\alpha)=\int_0^{+\infty} x^{\alpha-1}e^{-x}dx$，$\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$=$\alpha!$，$\Gamma(\frac{1}{2})=\sqrt{\pi}$
$\mathrm{Gamma}$ 分布：$X\sim\Gamma(\alpha,\lambda)\Rightarrow f(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}$
$\mathrm{Beta}$ 函数：$\displaystyle \Beta(\alpha,\beta)=\int_0^1 x^{\alpha-1}(1-x)^{\beta-1}dx=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}$
$\mathrm{Beta}$ 分布：$X\sim \Beta(\alpha,\beta)\Rightarrow f(x)=\frac{1}{B(\alpha,\beta)}x^{\alpha-1}(1-x)^{\beta-1},EX=\frac{\alpha}{\alpha+\beta},DX=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}$

2. 基本性质

条件密度：$f_{X|Y}(x|y)=\frac{f_{X,Y}(x,y)}{f_Y(y)}$
一维变换：$Y=g(X),f_Y(y)=f_X(g^{-1}(y))\left|\frac{\mathrm{d}}{\mathrm{d}y}g^{-1}(y)\right|$，$g^{-1}(y)$ 在 $f_X$ 的支撑集中，反函数多值则相加
二维变换：$(Y_1,Y_2)=T(X_1,X_2),f_{Y_1,Y_2}(y_1,y_2)=f_{X_1,X_2}(x_1(y_1,y_2),x_2(y_1,y_2))|J(y_1,y_2)|,J(y_1,y_2)=\frac{\partial(x_1,x_2)}{\partial(y_1,y_2)}$，$T^{-1}(y_1,y_2)$ 在 $f_{X_1,X_2}$ 的支撑集中，逆映射多值则相加
随机数生成：$u\sim U(0,1)$，生成 $X\sim F(x)$，取 $X=F^{-1}(u)$（即 $F(X)\sim U(0,1)$）
$X\sim\Gamma(\alpha_1,\lambda),Y\sim\Gamma(\alpha_2,\lambda)$ 独立，则 $\frac{X}{X+Y}\sim \Beta(\alpha_1,\alpha_2),X+Y\sim \Gamma(\alpha_1+\alpha_2,\lambda)$ 独立

3. 留数定理

留数的计算：$\displaystyle\mathrm{Res}(f,z_0)=\frac{1}{(m-1)!}\lim_{z\to z_0}\frac{\mathrm{d}^{m-1}}{\mathrm{d}z^{m-1}}\left[(z-z_0)^mf(z)\right]$
实函数无穷积分：上半平面 $|z|\to\infty$ 时 $zf(z)\to 0$，则 $\displaystyle\int_{-\infty}^{+\infty} f(x)dx=2\pi i\sum \mathrm{Res}f(z)$
$\mathrm{Jordan}$ 引理（上半）：若 $p\gt 0$，且上半平面 $|z|\to\infty$ 时 $Q(z)\to 0$，则 $\displaystyle\int_{-\infty}^{+\infty}Q(z)e^{ipz}dz=2\pi i\sum \mathrm{Res}[Q(z)e^{ipz}]$
$\mathrm{Jordan}$ 引理（下半）：若 $p\lt 0$，且下半平面 $|z|\to\infty$ 时 $Q(z)\to 0$，则 $\displaystyle\int_{-\infty}^{+\infty}Q(z)e^{ipz}dz=-2\pi i\sum \mathrm{Res}[Q(z)e^{ipz}]$

4. 特征函数

特征函数是非负定函数：$\displaystyle\sum_{i=1}^n\sum_{j=1}^n \varphi(t_i-t_j)c_i\overline{c_j}\ge 0$
$F$ 和 $\varphi$ 一一对应：$P(x\lt X\lt y)+\frac{P(X=x)+P(X=y)}{2}=$ $\displaystyle \lim_{T\to\infty}\frac{1}{2\pi}\int_{-T}^T \frac{e^{-i\theta x}-e^{-i\theta y}}{i\theta}\varphi(\theta)\mathrm{d}\theta,f_X(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty} e^{-i\theta x}\varphi(\theta)\mathrm{d}\theta$
$X_1,X_2,\cdots,X_m$ 独立等价于 $\displaystyle\varphi(\theta_1,\theta_2,\cdots,\theta_m)=\prod_{i=1}^m \varphi_{X_i}(\theta_i)$

5. $\mathrm{Gauss}$ 分布

一维正态分布：$E(X^{2k})=(2k-1)!!,\mathrm{Kurt}(X)=E\left(\frac{X-EX}{\sqrt{DX}}\right)^4-3=0$
多维 $\mathrm{Gauss}$ 分布：$\mathbf{X}=\mathbf{A}_{m\times n}\mathbf{Z}+\boldsymbol{\mu}\sim \mathbf{N}(\boldsymbol{\mu},\mathbf{AA^T}),Z_i\sim N(0,1)$ 独立，$\mathrm{rank}(\mathbf{A})=m$ 为正态
特征函数：$\varphi_{\mathbf{X}}(\boldsymbol{\theta})=e^{i\boldsymbol{\theta^T\mu}-\frac{1}{2}\boldsymbol{\theta^T\Sigma \theta}}$
$\mathrm{Gauss}$ 向量分量独立等价于不相关
密度函数：$f(\mathbf{x})=\frac{1}{(2\pi)^{m/2}|\boldsymbol{\Sigma}|^{1/2}}e^{-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})}$
条件分布：$\mathbf{X}=\begin{pmatrix} \mathbf{X_1} \\ \mathbf{X_2} \end{pmatrix}\sim \mathbf{N}\left(\begin{pmatrix} \boldsymbol{\mu_1} \\ \boldsymbol{\mu_2} \end{pmatrix},\begin{pmatrix} \boldsymbol{\Sigma_{11}} & \boldsymbol{\Sigma_{12}} \\ \boldsymbol{\Sigma_{21}} & \boldsymbol{\Sigma_{22}} \end{pmatrix}\right)$，则 $\mathbf{X_1|X_2=x_2}\sim \mathbf{N}(\boldsymbol{\mu_1}+\boldsymbol{\Sigma_{12}}\boldsymbol{\Sigma_{22}^{-1}}(\mathbf{x_2}-\boldsymbol{\mu_2}),\boldsymbol{\Sigma_{11}}-\boldsymbol{\Sigma_{12}}\boldsymbol{\Sigma_{22}^{-1}}\boldsymbol{\Sigma_{21}})$

6. $\mathrm{Brown}$ 运动

背景：时齐独立增量、空间对称、$\sigma(t)=E(B_{t+h}-B_t)^2$ 连续 $\Rightarrow B_{s+t}-B_s\sim N(0,t)$
$\mathrm{Brown}$ 运动 $\Leftrightarrow$ $\mathrm{Gauss}$ 过程（有限维向量服从 $\mathrm{Gauss}$ 分布）且 $EB_t=0,E(B_sB_t)=\min(s,t)$
不变性：$\{\frac{B_{ct}}{\sqrt{c}}\},\{tB_{\frac{1}{t}}\}$ 是 $\mathrm{Brown}$ 运动
$\mathrm{Brown}$ 桥：$B_t^*=B_t-tB_1,0\le t\le 1$，不是 $\mathrm{Brown}$ 运动
对时间积分：$\displaystyle \int_0^t B_s\mathrm{d}s\sim N\left(0,\frac{t^3}{3}\right)$

五、极限定理

1. 收敛性

依分布收敛：一切连续点上有 $F_{X_n}(x)\to F_X(x)$，等价于 $\varphi_{X_n}(\theta)\to \varphi_X(\theta)$
依概率收敛：$\displaystyle\forall \varepsilon\gt 0,\lim_{n\to\infty} P(|X_n-X|\ge \varepsilon)=0$，连续映射和四则运算下保持、可推出依分布收敛（收敛到常数时等价）
几乎处处收敛：$\displaystyle P(\lim_{n\to\infty} X_n=X)=1$，可推出依概率收敛
$k$ 阶矩收敛：$\displaystyle\lim_{n\to\infty} E|X_n-X|^k=0$，可推出依概率收敛、高阶矩可推出低阶矩
$\mathrm{Slutsky}$ 定理：$X_n\stackrel{D}{\to} X,Y_n\stackrel{P}{\to} a$，则 $X_n+Y_n\stackrel{D}{\to} X+a,X_nY_n\stackrel{D}{\to} aX,\frac{X_n}{Y_n}\stackrel{D}{\to} \frac{X}{a}$
$\mathrm{Delta}$ 方法：$\sqrt{n}(X_n-\theta)\stackrel{D}{\to} N(0,\sigma^2)\Rightarrow \sqrt{n}(g(X_n)-g(\theta))\stackrel{D}{\to} N(0,(g^\prime(\theta))^2\sigma^2)$
$Y_n=o_p(X_n)\Leftrightarrow \frac{Y_n}{X_n}\stackrel{P}{\to} 0,Y_n=O_p(X_n)\Leftrightarrow \frac{Y_n}{X_n}$ 依概率有界
$Y_n=o_p(X_n)$ 且 $X_n$ 依概率有界 $\Rightarrow Y_n\stackrel{P}{\to} 0$

2. 大数定律

定义：$\displaystyle \frac{1}{n}\left(\sum_{i=1}^n(X_i-EX_i)\right)\stackrel{P}{\to} 0$
$\mathrm{Chebyshev\ LLN}$：两两不相关、方差一致有界
$\mathrm{Khintchine\ LLN}$：独立同分布

3. 中心极限定理

定义：$\frac{\sum_{i=1}^n (X_i - EX_i)}{\sqrt{D\left(\sum_{i=1}^n X_i\right)}}\stackrel{D}{\to} N(0,1)$
$\mathrm{Levy-Lindeberg\ CLT}$：独立同分布
$\mathrm{Liapunov\ CLT}$：$\displaystyle B_n^2=\sum_{i=1}^n DX_i$，满足 $\displaystyle \exists \delta\gt 0,\lim_{n\to\infty} \frac{1}{B_n^{2+\delta}}\sum_{i=1}^n E|X_i-EX_i|^{2+\delta}=0$
$\mathrm{Lindeberg\ CLT}$：满足 $\displaystyle\forall \varepsilon\gt 0,\lim_{n\to\infty} \frac{1}{B_n^2}\sum_{i=1}^n \int_{|x-EX_i|\ge \varepsilon B_n} (x-EX_i)^2 f_{X_i}(x)\mathrm{d}x=0$

六、抽样分布

1. 统计量

定义：样本的函数，不含未知参数
常见统计量：$D(\bar{X})=\frac{DX}{n},E(S^2)=DX,EM_k=EX^k$
无偏与有效：$\mathrm{MSE}(\hat{\theta}-\theta)=E(\hat{\theta}-\theta)^2=D\hat{\theta}+E(\hat{\theta}-\theta)^2$
$\mathrm{MLE}$ 的不变性：$\hat{\theta}$ 是 $\theta$ 的 $\mathrm{MLE}$，则 $g(\hat{\theta})$ 是 $g(\theta)$ 的 $\mathrm{MLE}$

2. 经验分布函数

定义：$F_n(x)=\frac{V_n(x)}{n}$，$V_n(x)$ 为样本中不大于 $x$ 的个数 $\sim B(n,F(x))\Rightarrow E(F_n(x))=F(x),D(F_n(x))=\frac{F(x)(1-F(x))}{n}$
由 $\mathrm{CLT}$：$\sqrt{n}(F_n(x)-F(x))\stackrel{D}{\to} N(0,F(x)(1-F(x)))$
由 $\mathrm{Delta}$ 方法：$\sqrt{n}(F^{-1}(F_n(x))-x)=\sqrt{n}(X_{([np])}-x)\stackrel{D}{\to} N\left(0,\frac{F(x)(1-F(x))}{(f(x))^2}\right)$
$\mathrm{Glivenko}$ 定理：$\displaystyle \sup_x |F_n(x)-F(x)|\stackrel{a.s.}{\to} 0$

3. 顺序统计量

分布：$\displaystyle f_{X_{(1)},X_{(2)},\cdots,X_{(n)}}(x_{(1)},x_{(2)},\cdots,x_{(n)})=n! \prod_{i=1}^n f(x_{(i)})$
边缘：$X_{(k)}\sim \frac{n!}{(k-1)!(n-k)!}[F(x)]^{k-1}[1-F(x)]^{n-k}f(x)$
样本 $p$ 分位数：$X_p=\begin{cases} X_{([np+1])},&np\text{ 非整数} \\ \frac{X_{(np)}+X_{(np+1)}}{2},&np\text{ 整数} \end{cases}$
$X_p$ 的渐进分布：$X_p\stackrel{D}{\to} N\left(x_p,\frac{p(1-p)}{nf^2(x_p)}\right)$

4. 常见抽样分布

$\chi^2$ 分布：$\chi^2\sim \chi^2(n)\Leftrightarrow \chi^2=\sum_{i=1}^n X_i^2,X_i\sim N(0,1)$ 独立，$\chi^2(n)=\Gamma(\frac{n}{2},\frac{1}{2})$
$t$ 分布：$T\sim t(n)\Leftrightarrow T=\frac{X}{\sqrt{Y/n}},X\sim N(0,1),Y\sim \chi^2(n)$ 独立，$n=1$ 为标准 $\mathrm{Cauchy}$ 分布；$n\gt 1,ET=0$；$n\gt 2,DT=\frac{n}{n-2}$
$F$ 分布：$F\sim F(m,n)\Leftrightarrow F=\frac{X/m}{Y/n},X\sim \chi^2(m),Y\sim \chi^2(n)$ 独立
单正态总体
1. $\bar{X}$ 与 $S^2$ 独立（对称分布不相关）
2. $\bar{X}$ 与 $X_{(n)}-X_{(1)}$ 独立
3. 方差已知：$\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$
4. 方差未知：$\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$
5. 均值已知：$\frac{\sum_{i=1}^n (X_i-\mu)^2}{\sigma^2}\sim \chi^2(n)$
6. 均值未知：$\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$
双正态总体
1. 均值差，方差已知：$\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1)$
2. 均值差，方差齐性：$\frac{\bar{X}-\bar{Y}-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2),S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$
3. 均值差，方差未知：$\frac{\bar{X}-\bar{Y}-(\mu_1-\mu_2)}{\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}}\stackrel{D}\sim N(0,1)$ 或 $t(f),f=\frac{\left(\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}\right)^2}{\frac{(S_1^2/n_1)^2}{n_1-1}+\frac{(S_2^2/n_2)^2}{n_2-1}}$
4. 方差比：$\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n_1-1,n_2-1)$
$\mathrm{Bernoulli}$ 分布
1. 单总体：$\frac{\bar{X}-p}{\sqrt{\frac{p(1-p)}{n}}}\stackrel{D}{\sim} N(0,1)$
2. 双总体均值差：$\frac{\bar{X}-\bar{Y}-(p_1-p_2)}{\sqrt{\frac{\bar{X}(1-\bar{X})}{n_1}+\frac{\bar{Y}(1-\bar{Y})}{n_2}}}\stackrel{D}{\sim} N(0,1)$

七、点估计

1. 相合估计

定义：$\hat{\theta}_n\stackrel{P}{\to} \theta$
常见统计量：$M_k,S^2,S_n^2$ 都相合，但 $S_n^2$ 有偏
若渐进无偏 $\displaystyle\lim_{n\to\infty}E\hat{\theta_n}=\theta$ 且 $\displaystyle\lim_{n\to\infty} D\hat{\theta}_n=0$，则 $\hat{\theta}_n$ 是相合估计
若 $\hat{\theta}_n^k$ 是 $\theta_k$ 的相合估计，则 $g(\hat{\theta}_n^1,\hat{\theta}_n^2,\cdots,\hat{\theta}_n^k)$ 是 $g(\theta_1,\theta_2,\cdots,\theta_k)$ 的相合估计

2. 充分统计量

定义：$(X_1,X_2,\cdots,X_n)$ 关于统计量的条件分布与参数无关
因子分解定理：$\displaystyle\prod_{i=1}^n f(x_i;\theta)=h(x_1,x_2,\cdots,x_n)g(T(x_1,x_2,\cdots,x_n);\theta)$
若 $T$ 是 $\theta$ 的充分统计量，$S=g(T)$ 是双射，则 $S$ 也是 $\theta$ 的充分统计量

3. 完备统计量

完备分布族：$\forall\theta,E_\theta(g(X))=0\Rightarrow P_\theta(g(X)=0)=1$
二项分布族、$\mathrm{Poisson}$ 分布族、几何分布族、指数分布族、均匀分布族、$\mathrm{Gamma}$ 分布族、$\mathrm{Beta}$ 分布族都是完备分布族
正态分布族：关于 $(\mu,\sigma^2)$ 和 $\mu$ 完备，关于 $\sigma^2$ 不完备
完备分布族的统计量是完备统计量
指数族分布：$f(x;\theta)=h(x)c(\theta)e^{\sum_{j=1}^k \xi_j(\theta)T_j(x)}$，必要条件为支撑集与参数无关
满秩指数族：$\{(\xi_1(\theta),\xi_2(\theta),\cdots,\xi_k(\theta))\}$ 包含 $R^k$ 的一个开集，即 $\mathrm{dim}=k$
满秩指数族的充分统计量是完备统计量

4. $\mathrm{UMVUE}$

定义：最小方差无偏估计
$\mathrm{Rao-Blackwell}$ 定理：$\hat{\theta}$ 是 $\theta$ 的无偏估计，$T$ 是 $\theta$ 的充分统计量，则 $\varphi(T)=E(\hat{\theta}|T)$ 方差不大于 $\hat{\theta}$
零无偏估计定理：$\hat{\theta}$ 是 $\theta$ 的无偏估计，且对任意零无偏估计 $\varphi$ 有 $\mathrm{Cov}_\theta(\hat{\theta},\varphi)=0$，则 $\hat{\theta}$ 是 $\theta$ 的 $\mathrm{UMVUE}$
$\mathrm{Lehmann-Scheffe}$ 定理：$T$ 是 $\theta$ 的完备充分统计量，$\varphi$ 是 $g(\theta)$ 的无偏估计，则 $E[\varphi|T]$ 是 $g(\theta)$ 的唯一 $\mathrm{UMVUE}$

5. 有效估计

$\mathrm{Score}$ 函数：对数似然关于参数的梯度
$\mathrm{Score}$ 量：随机变量 $s(X)$，$E(s(X))=0,D(s(X))=I_n(\theta)=-E\left(\frac{\partial^2}{\partial \theta^2}\ln f(X;\theta)\right)$，称为 $\mathrm{Fisher}$ 信息量
独立样本 $(X,Y)$ 的 $\mathrm{Fisher}$ 信息量为各自信息量之和
$\mathrm{Cramer-Rao}$ 不等式：$D(T(X))\ge \frac{(\frac{\partial}{\partial\theta}E(T(X)))^2}{I_n(\theta)}$，无偏时等于 $\frac{(g^\prime(\theta))^2}{I_n(\theta)}$
支撑集与参数有关时一般不能用 $\mathrm{Cramer-Rao}$ 不等式，但指数族分布一定可用
有效估计：达到 $\mathrm{Cramer-Rao}$ 下界的无偏估计，必为 $\mathrm{UMVUE}$

八、区间估计与检验

1. 置信区间

枢轴变量：先找 $\theta$ 的点估计 $T$（充分统计量或 $\mathrm{MLE}$），再找 $Z(T,\theta)$，使得 $Z$ 本身不含其他未知参数，$Z$ 的分布不含估计参数和其他未知参数
最优置信区间：在所有置信水平为 $1-\alpha$ 的置信区间中，长度最短的置信区间
枢轴变量的分布为单峰对称分布时，最优置信区间等价于等尾置信区间
构造枢轴量的一般方法：$T\sim F(t;\theta)$，取 $F(T;\theta)\sim U(0,1)$

2. 显著性检验

两类错误：弃真 $\alpha(\theta)$，存伪 $\beta(\theta)$
势函数 $g(\theta)=E_\theta(\delta(X))=P_\theta(X\in W)=\begin{cases} \alpha(\theta),&\theta\in \Theta_0 \\ 1-\beta(\theta),&\theta\in \Theta_1 \end{cases},\delta(x)=\begin{cases}1,&x\in W\\0,&x\notin W\end{cases}$，$W$ 为拒绝域
显著性检验：控制第一类错误 $\alpha(\theta)$ 不超过显著性水平 $\alpha$，将原假设的取等条件代入枢轴量
单参数指数族分布：若 $\xi(\theta)$ 严格增，取统计量为 $T(X)$，若 $E_\theta(T)$ 关于 $\theta$ 严格增，则 $T$ 较小时拒绝 $H_0:\theta\ge \theta_0$
$p$ 值：原假设为真时出现观察样本及更极端情况的概率，$p\lt \alpha$ 则拒绝原假设

3. 最优势检验

有效性：样本容量 $n$ 固定，检验法 $\phi_1,\phi_2$ 的势函数分别为 $g_1(\theta),g_2(\theta)$，若两者显著性水平均为 $\alpha$，即 $\displaystyle\sup_{\theta\in\Theta_0} g_1(\theta),\sup_{\theta\in\Theta_0} g_2(\theta)\le\alpha$，且 $\forall \theta\in \Theta,g_1(\theta)\ge g_2(\theta)$，则称 $\phi_1$ 比 $\phi_2$ 有效（控制第一类错误概率下，第二类错误概率更小）
似然比检验：简单假设对简单假设，$\lambda(x_1,x_2,\cdots,x_n)=\frac{L(x_1,x_2,\cdots,x_n;\theta_1)}{L(x_1,x_2,\cdots,x_n;\theta_0)}$，拒绝域为 $\{(x_1,x_2,\cdots,x_n):\lambda(x_1,x_2,\cdots,x_n)\ge k\}$
$\mathrm{Neyman-Pearson}$ 引理：简单假设对简单假设时，似然比检验是显著性水平相同时的最优势检验
复合假设：分子取 $\displaystyle\sup_{\theta\in\Theta}$，分母取 $\displaystyle\sup_{\theta\in\Theta_0}$

九、$\mathrm{Bayes}$ 统计

1. $\mathrm{Bayes}$ 估计

后验分布 $\pi(\theta|X)\propto f(X|\theta)\pi(\theta)$
共轭先验分布族：先验和后验分布属于同一个分布族
$\mathrm{Jeffreys}$ 先验：$\pi_{J}(\theta)\propto \sqrt{I(\theta)}$
不变性：双射 $g(\theta)$ 的先验仍为 $\sqrt{I(\theta)}$ 形式

2. $\mathrm{Bayes}$ 检验

后验概率比：对 $H_0:\theta\in \Theta_0,H_1:\theta\in \Theta_1$，后验分布 $\pi(\theta|X)$，$\frac{\alpha_0}{\alpha_1}=\frac{P(\theta\in\Theta_0)}{P(\theta\in\Theta_1)}$
$\mathrm{Jeffreys}$ 准则：$\frac{\alpha_0}{\alpha_1}\lt 1$ 拒绝 $H_0$
$\mathrm{Bayes}$ 因子：先验分布 $\pi$，$B^\pi=\frac{\alpha_0/\alpha_1}{\pi_0/\pi_1}$，越大约偏向于接受 $H_0$

十、例题

1. 离散型随机变量与过程

已知 $P(AB)=P(A)P(B),AB\subset C,A^CB^C\subset C^C$，求证 $P(AC)\ge P(A)P(C)$
从 $1,2,\cdots,N$ 中有放回地取 $n$ 个数，按大小排列为 $X_1\le X_2\le \cdots\le X_n$，求 $P(X_m=M)$
从 $1,2,\cdots,N$ 中不放回地取 $n$ 个数，按大小排列为 $X_1\lt X_2\lt \cdots\lt X_n$，试证 $E(X_n)=(N+1)\frac{n}{n+1}$
把 $r$ 个球随机地放到 $n$ 个盒子中，记 $X$ 表示空盒个数，求 $E(X)$
设随机变量 $X\sim B(n,p),Y=\begin{cases} 1,&X\text{ 为偶数} \\ -1,&X\text{ 为奇数} \end{cases}$，求 $EY$
$X\sim B(n,p)$，求 $E\left(\frac{1}{1+X}\right)$
$X\sim \mathrm{Poisson}(\lambda)$，$B$ 为事件 $X$ 为偶数，求 $X$ 在 $B$ 下的条件分布
设随机变量 $X$ 在 $[a,b]$ 中取值，证明：$DX\le \frac{(b-a)^2}{4}$，并说明取等条件
三人同时投掷硬币，每人投掷出正面向上后停止，求进行的轮数的期望。

2. 连续型随机变量与过程

若 $\{B_t\}$ 为 $\mathrm{Brown}$ 运动，证明：$E(B_s|B_t=x)=\frac{s}{t}x,s\lt t$
若 $\{B_t\}$ 为 $\mathrm{Brown}$ 运动，由 $Y_t=e^{B_t}$ 定义的过程 $\{Y_t:t\gt 0\}$ 称为几何 $\mathrm{Brown}$ 运动。求 $EY_t$ 和 $DY_t$。
设 $\{B(t),t\ge 0\}$ 为标准 $\mathrm{Brown}$ 运动，$B(0)=0$。令 $T_a=\inf\{t\gt 0:B(t)=a\}$ 表示首达时间。
1. 求 $P(T_1\lt T_{-1}\lt T_2)$
2. $\forall t_1\lt t_2$，记事件 $0(t_1,t_2)$ 为 $B(t)$ 在区间 $(t_1,t_2)$ 内至少过一次零点，证明：$P(0(t_1,t_2))=\frac{2}{\pi}\arccos\sqrt{\frac{t_1}{t_2}}$
设连续型随机变量 $X$ 的分布函数为 $F(x)$ 且 $EX$ 存在，证明：
1. $\displaystyle \lim_{x\to -\infty}xF(x)=0,\lim_{x\to +\infty}x(1-F(x))=0$
2. $\displaystyle EX=\int_0^{+\infty} (1-F(x))\mathrm{d}x-\int_{-\infty}^0 F(x)\mathrm{d}x$
连续型随机变量 $X$ 与 $Y$ 相互独立，且 $EX=EY=0$，$E|X|,E|Y|$ 均存在，证明：$E|X+Y|\ge \max\{E|X|,E|Y|\}$
设随机向量 $(X_1,X_2,X_3)$ 相互之间的相关系数分别为 $\rho_{12},\rho_{23},\rho_{31}$，证明：$\rho_{12}^2+\rho_{23}^2+\rho_{31}^2\le 1+2\rho_{12}\rho_{23}\rho_{31}$
设 $M_X(s)=E(e^{sX})$ 是随机变量 $X$ 的矩母函数，假定该矩母函数在 $s=0$ 的一个小区域内取有限值，设 $\displaystyle\phi(a)=\max_{s\ge 0}(sa-\ln M_X(s))$，证明：
1. 如果 $a\gt EX$，则 $\phi(a)\gt 0$
2. 设 $X_1,X_2,\cdots,X_n$ 是独立的随机变量序列，均从 $\{0,1\}$ 当中取值。设 $\displaystyle X=\sum_{i=1}^n X_i,\mu\ge EX$，则 $\forall\delta\gt 0$，有 $P(X\gt (1+\delta)\mu)\lt \left(\frac{e^\delta}{(1+\delta)^{1+\delta}}\right)^\mu$

3. 极限定理与抽样分布

设随机变量 $\displaystyle X\sim U[-\pi,\pi],S_n=\sum_{k=1}^n \cos(kX)$，证明：$\frac{S_n}{n}\stackrel{P}{\to} 0$
$\eta_{(1)}\le \eta_{(2)}\le \cdots\le \eta_{(n)}$ 为来自均匀分布 $U[0,1]$ 的样本的顺序统计量，求 $\mathrm{Cov}(\eta_{(i)},\eta_{(j)})$
设总体 $X$ 的密度函数为 $f(x)=\begin{cases} 3x^2,&0\lt x\lt 1 \\ 0,&\text{其他} \end{cases}$，$X_{(1)}\le X_{(2)}\le \cdots\le X_{(5)}$ 为来自该总体的样本的顺序统计量，证明：$\frac{X_{(2)}}{X_{(4)}}$ 和 $X_{(4)}$ 独立
设 $X_{(1)},X_{(2)},\cdots,X_{(n)}$ 是来自总体 $U(0,\theta)$ 的样本的顺序统计量，记统计量 $Y_i=\frac{X_{(i)}}{X_{(i+1)}},1\le i\le n-1,Y_n=X_{(n)}$，证明：$Y_1,Y_2,\cdots,Y_n$ 相互独立
设总体 $X$ 的三阶矩存在，若 $X_1,X_2,\cdots,X_n$ 是取自该总体的简单随机样本，$\bar{X}$ 为样本均值，$S^2$ 为样本方差，证明：$\mathrm{Cov}(\bar{X},S^2)=\frac{E(X-EX)^3}{n}$
设随机变量 $X\sim F(n,m)$，证明：$Z=\frac{(n/m)X}{1+(n/m)X}$ 服从 $\mathrm{Beta}$ 分布，并求其参数
设 $X_1,X_2$ 是来自 $N(0,\sigma^2)$ 的样本，求 $Y=\left(\frac{X_1+X_2}{X_1-X_2}\right)^2$ 的分布
设 $X_1,X_2,\cdots,X_n$ 是来自 $N(\mu_1,\sigma^2)$ 的样本，$Y_1,Y_2,\cdots,Y_m$ 是来自 $N(\mu_2,\sigma^2)$ 的样本，$c,d$ 是任意两个不为零的常数，证明：$t=\frac{c(\bar{X}-\mu_1)+d(\bar{Y}-\mu_2)}{S_w\sqrt{\frac{c^2}{n}+\frac{d^2}{m}}}\sim t(n+m-2)$，其中 $S_w^2=\frac{(n-1)S_X^2+(m-1)S_Y^2}{n+m-2}$
设 $X_1,X_2,\cdots,X_{n+1}$ 是来自正态总体的简单样本，$\displaystyle\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i,S_n^2=\frac{1}{n}\sum_{i=1}^n (X_i-\bar{X})^2$，求 $\frac{X_{n+1}-\bar{X}}{S_n}\sqrt{\frac{n-1}{n+1}}$ 的分布

4. 统计与检验

设 $X_1,X_2,\cdots,X_n$ 为独立同分布变量，$0\lt\theta\lt 1$，$P(X_1=-1)=\frac{1-\theta}{2},P(X_1=0)=\frac{1}{2},P(X_1=1)=\frac{1+\theta}{2}$，求 $\theta$ 的 $\mathrm{MLE}$，并检验其无偏性
设 $X_1,X_2,\cdots,X_n\mathrm{i.i.d}\sim N(\mu,1)$，求 $\mu^2$ 的 $\mathrm{UMVUE}$，并检验其有效性
已知 $X_1,X_2,\cdots,X_n$ 是取自总体 $X$ 的样本，已知 $Y=\ln X$ 服从正态分布 $N(\mu,1)$，求 $X$ 的数学期望的置信水平为 95% 的等尾置信区间
设 $X_1,X_2,\cdots,X_n$ 是来自 $E(\lambda)$ 的样本，求均值 $\mu=\frac{1}{\lambda}$ 的置信水平为 90% 的等尾置信区间
设 $X_1,X_2,\cdots,X_n$ 是总体 $X$ 的样本，$X$ 的密度函数为 $f(x;\theta)=\begin{cases} \frac{2}{\pi\theta}e^{-\frac{x^2}{\theta}},&x\gt 0 \\ 0,&\text{其他}\end{cases}$，已知 $\hat{\theta_\mathrm{MLE}}=\frac{2}{n}\sum_{i=1}^n X_i^2$，基于 $\hat{\theta_\mathrm{MLE}}$ 构造枢轴量，并求出参数 $\theta$ 的置信水平为 $1-\alpha$ 的双侧等尾置信区间
若总体 $X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)$ 且 $X,Y$ 相互独立。$X_1,X_2,\cdots,X_n$ 与 $Y_1,Y_2,\cdots,Y_m$ 分别是 $X$ 和 $Y$ 的简单随机样本。已知 $\sigma_1^2=\frac{1}{4}\sigma_2^2$，但具体数据未知。
1. 证明：$\displaystyle S_w^2=\frac{1}{n+m-2}\left(\sum_{i=1}^n (X_i-\bar{X})^2+\frac{1}{4}\sum_{i=1}^m (Y_i-\bar{Y})^2\right)$ 是 $\sigma_1^2$ 的无偏估计量
2. 给出假设检验 $H_0:\mu_1=\mu_2\leftrightarrow H_1:\mu_1\ne \mu_2$ 的检验法
设 $X_1,X_2,\cdots,X_n$ 是总体 $X$ 的简单随机样本，$X$ 的密度函数为 $f(x;\sigma)=\begin{cases} \frac{1}{\sigma}\sqrt{\frac{2}{\pi}}e^{-\frac{x^2}{2\sigma^2}},&x\gt 0 \\ 0,&\text{其他} \end{cases}$，求假设 $H_0:\sigma=1\leftrightarrow H_1:\sigma=2$ 的似然比检验的拒绝域（检验水平为 $\alpha$）

笔记

#大二上 #数学

随机数学与统计

https://sqzr2319.github.io/25Fall/ProbStats/

作者

sqzr2319

发布于

2026年1月10日

许可协议

大学物理B(2) 上一篇

计算机组成原理下一篇