概率论笔记

随机事件与概率

基本概念

随机试验：$\mathcal{E}$

样本点（基本事件）：$\omega$

样本空间：$\Omega$

e.g.

$\mathcal{E}_1$ ：抛一枚硬币

$\Omega_1=\{H,T\}$ （离散）

$\mathcal{E}_2$ ：电视寿命

$\Omega_2=[0,+\infty)$ （连续）

事件：$A, B\subseteq \Omega$

逆事件/对立事件：$\bar{A}=\Omega-A$

不相容：$AB=\emptyset$

并：$A\cup B=A+B$

交：$A\cap B=AB$

差：$A-B$

若 $\mathcal{F}\in 2^\Omega$ ，且

1. $\Omega\in \mathcal{F}$
2. $A\in F\iff \bar{A}\in F$
3. $\forall A_n\in \mathcal{F}, n\le 1\implies \cup_{n=1}^\infty A_n\in \mathcal{F}$

称 $\mathcal{F}$ 为事件域，$\mathcal{F}$ 中的元素为事件

若 $P:\mathcal{F} \to \R$ ，且

1. $\forall A\in \mathcal{F}, P(A)\ge 0$ （非负性）
2. $P(\Omega)=1$ （规范性）
3. 若 $A_1, A_2, ...$ 两两不相容，则 $P(\cup_{i=1}^\infty A_i)=\sum_{i=1}^\infty P(A_i)$ （可列可加性）

称 $P$ 为概率，$(\Omega,\mathcal{F},P)$ 为概率空间

半可列可加性：

$P(\cup_{i=1}^nA_i)\ge \sum_{i=1}^n P(A_i)-\sum_{1\le i<j\le n}P(A_iA_j)$

下连续性：若事件序列$A_1,A_2,...$ 单调增（$A_1\subset A_2\subset ...$），则

$\lim_{n\to \infty}P(A_n)=P(\cup_{n=1}^\infty A_n)$

证明：

记 $B_i=A_i-A_{i-1}$

$B_i$ 两两不相容

$P(\cup_{n=1}^\infty A_n)=P(\cup_{i=1}^\infty B_i)=\sum_{i=1}^\infty P(B_i)\\=\lim_{n\to \infty}\sum_{i=1}^n(P(A_i)-P(A_{i-1}))=\lim_{n\to \infty}P(B_i)$

上连续性：若事件序列$A_1,A_2,...$ 单调减（$A_1\supset A_2\supset ...$），则

$\lim_{n\to \infty}P(A_n)=P(\cap_{n=1}^\infty A_n)$

证明同理

古典概型（等可能概型）

样本空间元素有限，且可能性相等

$\Omega=...$

$A=...$

$P(A)=...$

几何概型

$P(A)=\frac{S(A)}{S(\Omega)}$

蒲丰投针问题

$\Omega=\{(x,\beta)\mid 0\le x\le \frac{\alpha}{2},0\le \beta\le \pi\}$

$A=\{(x,\beta)\mid 0\le x\le \frac{l}{2}\sin \beta\}$

$P(A)=\frac{S(A)}{S(\Omega)}=\frac{\frac{l}{2}\int_0^\pi \sin \beta d\beta}{\frac{\alpha}{2}\pi}=\frac{2l}{\alpha\pi}$

改为正方形

$\Omega=\{(x,\beta)\mid 0\le x\le \frac{\alpha}{2},0\le \beta\le \frac{\pi}{4}\}$

$A=\{(x,\beta)\mid 0\le x\le \min(\frac{\sqrt{2}l}{2}\cos \beta,\frac{\alpha}{2})\}$

$P(A)=\frac{S(A)}{S(\Omega)}=\frac{\int_0^\frac{\pi}{4} \min(\frac{\sqrt{2}l}{2}\cos \beta,\frac{\alpha}{2}) d\beta}{\frac{\alpha\pi}{8}}$

条件概率

$P(A|B)=\frac{P(AB)}{P(B)}$

$P(A_1A_2...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)...P(A_n|A_1A_2...A_{n-1})$

全概率公式

若 $\cup_{i=1}^nB_i=\Omega, B_iB_j=\emptyset(i\ne j), P(B_i)>0$ ，称 $B_1,B_2,...,B_n$ 为完备事件组。

$P(A)=\sum_{i=1}^nP(A|B_i)P(B_i)$

可列个事件：

若 $\cup_{i=1}^\infty B_i=\Omega, B_iB_j=\emptyset(i\ne j), P(B_i)>0$ ，称 $B_1,B_2,...$ 为完备事件组。

$P(A)=\sum_{i=1}^\infty P(A|B_i)P(B_i)$

Bayes 公式

$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum_{j=1}^nP(B_j)P(A|B_j)}$

先验概率：$P(B_i)$

后验概率：$P(B_i|A)$

若 $B_1=B, B_2=\bar{B}$

$P(B|A)=\frac{P(B)P(A|B)}{P(B)P(A|B)+P(\bar{B})P(A|\bar{B})}$

事件的独立性

若 $P(AB)=P(A)P(B)$ 则 $A,B$ 独立

若 $A,B$ 独立，则 $\bar{A},B$ 独立

证明：$P(\bar{A}B)=P(B-AB)=P(B)-P(AB)=P(B)-P(A)P(B)=P(\bar{A})P(B)$

若 $A,B,C$ 两两独立，且 $P(ABC)=P(A)P(B)P(C)$ ，则称 $A,B,C$ 相互独立

若 $\forall 1\le i_1<i_2<...<i_k\le n, P(A_{i_1})P(A_{i_2})...P(A_{i_k})=P(A_{i_1})P(A_{i_2})...P(A_{i_k})$ ，称 $A_1,A_2,...,A_n$ 相互独立

共 $2^n-n-1$ 个式子

Bernoulli试验

随机试验 $\mathcal{E}$ 结果只有 $A, \bar{A}$ ，重复做 $n$ 次，称为 $n$ 重Bernoulli试验，记作 $\mathcal{E}$

样本空间：$\Omega=\{(w_1,w_2,...,w_n)\mid w_i\in \{A,\bar{A}\}\}$

$P(B_k)=\binom{n}{k}p^k(1-p)^{n-k}$

随机变量与概率分布

若 $(\Omega,\mathcal{F},P)$ 为概率空间，$X$ 为定义在 $\Omega$ 上的实值函数。若 $\forall x\in \R, \{X\le x\}$ 为随机事件，即 $\{\omega:X(\omega)\le x\}\in \mathcal{F}$ ，则称 $X$ 为随机变量。

称实变实值函数 $F(x)=P(X\le x)$ 为 $X$ 的分布函数 (CDF)。

$P(X<a)=F(a-0), P(X=a)=F(a)-F(a-0), P(a\le X\le b)=F(b)-F(a-0)$

单调性、有界性、右连续性

离散型随机变量

退化分布：

$F(x)=\begin{cases}0&x<a\\1&x\ge a\end{cases}$

分布律 \pmatrix{a\\1}

Bernoulli 分布：

$F(x)=\begin{cases}0&x<0\\1-p&0\le x<1\\1&x\ge 1\end{cases}$

分布律 \pmatrix{0&1\\1-p&p}

$E(X)=p$

$D(X)=p(1-p)$

二项分布

$P(X=k)=b(k;n,p)=\binom{n}{k}p^k(1-p)^k$

记作 $X\sim B(n,p)$

$[(n+1)p]$ 处取最大值

$E(X)=np$

$D(X)=\sum_{k=0}^nk^2\binom{n}{k}p^k(1-p)^{n-k}\\=\sum_{k=1}^nn\binom{n-1}{k-1}p^k(1-p)^{n-k}+\sum_{k=2}^nn(n-1)\binom{n-2}{k-2}p^k(1-p)^{n-k}\\=np+n(n-1)p^2$

$D(X)=np(1-p)$

Poisson定理：

若 $\lim_{n\to \infty}np_n=\lambda, k\in \Z^+$ （$n$ 较大，$p$ 很小，$np$ 适中），则

$p(k,\lambda)=\lim_{n\to \infty}\binom{n}{k}p_n^k(1-p_n)^{n-k}=\frac{\lambda^k}{k!}e^{-\lambda}$

Poisson逼近：$b(k;n,p)\approx \begin{cases}p(k,np)=\frac{(np)^k}{k!}e^{-np} &p 很小\\p(k,n(1-p))=\frac{(n(1-p))^k}{k!}e^{-n(1-p)} &p 接近 1\end{cases}$

负二项分布（Pascal分布）：

$f(k;r,p)=\binom{k-1}{r-1}p^{r-1}(1-p)^{k-r}$

第 $r$ 次成功出现在第 $k$ 次试验的概率

Poisson分布

$P(X=k)=p(k,\lambda)=\frac{\lambda^k}{k!}e^{-\lambda}$

记作 $X\sim \mathscr{P}(\lambda)$

$E(X)=\sum_{k=0}^{+\infty}k\frac{\lambda^k}{k!}e^{-\lambda}=e^{-\lambda}\lambda\sum_{k=1}^{+\infty}\frac{\lambda^{k-1}}{(k-1)!}=\lambda$

$E(X^2)=\sum_{k=0}^{+\infty}k^2\frac{\lambda^k}{k!}e^{-\lambda}=e^{-\lambda}(\lambda\sum_{k=1}^{+\infty}\frac{\lambda^{k-1}}{(k-1)!}+\lambda^2\sum_{k=2}^{+\infty}\frac{\lambda^{k-2}}{(k-2)!})=\lambda+\lambda^2$

$D(X)=\lambda$

若 $X_1\sim \mathscr{P}(\lambda_1), X_2\sim \mathscr{P}(\lambda_2)$

则 $X_1+X_2\sim \mathscr{P}(\lambda_1+\lambda_2)$

$\lambda$ 是单位时间内随机事件的平均发生率

适用大量实验中稀有事件的发生

几何分布、超几何分布

超几何分布：$P(X=k)=\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}$

几何分布：$P(X=k)=p(1-p)^{k-1}$

首次成功出现在在第 $k$ 次试验中的概率

离散型唯一无记忆性的分布

连续型随机变量

概率密度函数 (PDF) $f(x)$

分布函数 (CDF) $F(x)=\int_{-\infty}^xf(y)dy$

若 $f(x)$ 为实变实值函数，则 $x$ 为连续型随机变量

概率密度函数不唯一（在零测集上可改变）

均匀分布

$f(x)=\begin{cases}\frac{1}{b-a}&a\le x\le b\\0&\text{else}\end{cases}$

$F(x)=\begin{cases}0&x<a\\\frac{x-a}{b-a}&a\le x\le b\\1&x>b\end{cases}$

记作 $X\sim U[a,b]$

$E(X)=\frac{a+b}{2}$

$D(X)=\frac{1}{12}(b-a)^2$

指数分布

$f(x)=\begin{cases}\lambda e^{-\lambda x}&x\ge 0\\0&x<0\end{cases}$

$F(x)=\begin{cases}1-e^{-\lambda x}&x\ge 0\\0&\text{x<0}\end{cases}$

无记忆性

记作 $X\sim \mathscr{E}(\lambda)$

$E(X)=\lambda \int_0^{+\infty}xe^{-\lambda x}dx=\lambda (x\frac{1}{-\lambda}e^{-\lambda x}|_0^{+\infty}-\int_0^{+\infty}\frac{1}{-\lambda}e^{-\lambda x}dx)=\int_0^{+\infty}e^{-\lambda x}dx=\frac{1}{\lambda}$

$E(X^2)=\lambda\int_0^{+\infty}x^2e^{-\lambda x}dx=\lambda (x^2\frac{1}{-\lambda}e^{-\lambda x}|_0^{+\infty}-\int_0^{+\infty}2x\frac{1}{-\lambda}e^{-\lambda x}dx)=\frac{2}{\lambda}E(X)=\frac{2}{\lambda^2}$

$D(X)=\frac{1}{\lambda^2}$

正态分布（Gauss分布）

$f(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu)^2)$

记作 $X\sim N(\mu, \sigma^2)$

Stirling 公式：$n!\sim \sqrt{2\pi n}(\frac{n}{e})^n, n\to +\infty$

$3\sigma$ 原则：

$P(-\sigma\le X-\mu\le \sigma)\approx 0.683$

$P(-2\sigma\le X-\mu\le 2\sigma)\approx 0.954$

$P(-3\sigma\le X-\mu\le 3\sigma)\approx 0.997$

因此可基本认为 $X-\mu \in [-3\sigma, 3\sigma]$

标准化：$F(X)=\phi(\frac{X-\mu}{\sigma})$

$\phi(x)=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}e^{-u^2/2}du$

$\phi'(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

若 $X_1\sim N(\mu_1,\sigma_1^2),X_2\sim N(\mu_2,\sigma_2^2)$ ，$X_1,X_2$ 相互独立，则 $X_1+X_2\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$ ，$\frac{X_1}{X_2}$ 服从 Cauchy 分布 $f(x)=\frac{1}{\pi (1+x^2)}$

标准正态分布：

$X\sim N(0,1)$

$\phi(x)=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}t^2)dt$

上 $\alpha$ 分位数 $z_\alpha$ ： $P(X>z_\alpha)=\alpha$

双侧 $\alpha$ 分位数 $c_\alpha$：$P(|C|>c_\alpha)=\alpha$

若 $X_1,X_2\sim N(0,1)$ 且相互独立，则 $\frac{X_1}{X_2}$ 服从 Cauchy 分布：

$f(x)=\frac{1}{\pi(1+x^2)}$

$\Gamma$ 分布

$f(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}I_{(0,+\infty)}(x)$

其中 $\Gamma(\alpha)=\int_0^{+\infty}u^{\alpha-1}e^{-u}du$

$\Gamma(\frac{1}{2})=\sqrt{\pi}$

$\Gamma(n+1)=n!$

记作 $X\sim \Gamma(\alpha, \lambda)$

$\Gamma(1,\lambda)=\mathscr{E}(\lambda)$，即 $f(x)=\lambda e^{-\lambda x}I_{(0,+\infty)}(x)$

$\Gamma(\frac{n}{2},\frac{1}{2})=\chi^2(n)$ ，即 $f(x)=\frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}e^{-\frac{1}{2}x}I_{(0,+\infty)}(x)$

Beta 分布：$f(x;\alpha,\beta)=\frac{1}{B(\alpha,\beta)}x^{\alpha-1}(1-x)^{\beta-1}$

记作 $X\sim Be(\alpha,\beta)$

$B(\alpha,\beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}$

Maxwell 分布：$f(v)=4\pi (\frac{m}{2\pi kT})^{\frac{3}{2}}e^{-\frac{mv^2}{2kT}}v^2$

随机变量函数分布

$Y=g(X)$

$X$ 离散，$Y$ 一定离散

$X$ 连续，$Y$ 不一定

若 $X\sim N(\mu, \sigma^2)$ ，则 $Y=aX+b\sim N(a\mu+b,a^2\sigma ^2)$

对数正态分布：$X\sim N(\mu, \sigma^2), Y=e^X$

$F_Y(y)=P(g(X)\le y)$

若 $F_Y(y)$ 几乎处处连续，则 $f_Y(y)=\begin{cases}F'_Y(y)&F_Y'(y)存在\\0&F_Y'(y)不存在\end{cases}$

若 $f_X(x), g(x)$ 几乎处处连续，且 $\forall h\in C(x), \int_{-\infty}^{+\infty}h(g(x))f_X(x)dx=\int_\alpha^\beta h(y)p(y)dy$

则 $f_Y(y)=p(y), \alpha<y<\beta$

多维随机变量与概率分布

二维

联合分布函数：

$F(x,y)=P(X\le x, Y\le y)$

边缘分布：

$F_X(x)=F(x,\infty)$

$F_Y(y)=F(\infty,y)$

二维离散型

$P(X=i,Y=j)=P(X=i)P(Y=j|X=i)$

联合分布律可以写成表格形式

二维连续型

联合概率密度函数：

$f(x,y)=\frac{\partial^2F(x,y)}{\partial x\partial y}$

可以在零测集上任意更改

$F(x,y)=\int_{-\infty}^x\int_{=\infty}^yf(u,v)dudv, (x,y)\in \R^2$

$f_X(x)=\int_{-\infty}^{+\infty}f(x,v)dv$

$F(+\infty,+\infty)=1$

$F(-\infty,y)=F(x,-\infty)=0$

二维正态分布

记 $u=\frac{x-\mu_1}{\sigma_1},v=\frac{y-\mu_2}{\sigma_2}$

$f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp{(-\frac{1}{2(1-\rho^2)}(u^2-2\rho uv+v^2))}\\=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp{(-\frac{1}{2(1-\rho^2)}((\frac{x-\mu_1}{\sigma_1})^2-2\rho (\frac{x-\mu_1}{\sigma_1})(\frac{y-\mu_2}{\sigma_2})+(\frac{y-\mu_2}{\sigma_2})^2))}$

记作 $(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$

协方差矩阵 \Sigma=\pmatrix{\sigma_1^2&\rho \sigma_1\sigma_2\\\rho\sigma_1\sigma_2&\sigma_2^2}

$X,Y$ 独立 $\iff \rho=0$

$k$ 维正态分布

$N(\mu,\Sigma): f(x)=(2\pi)^{-\frac{k}{2}}|\Sigma|^{-\frac{1}{2}}e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)}$

各分量相互独立等价于两两不相关

若 $X\sim N(\mu,\Sigma)$ ，则 $CX\sim N(C\mu,C\Sigma C^T)$

条件分布

$P(X=n\mid Y=m)=\frac{P(X=n,Y=m)}{P(Y=m)}$

连续型：

条件概率密度：$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$

条件分布：$F_{X|Y}(x|y)=\int_{-\infty}^x\frac{f(u,y)}{f_Y(y)}du$

$x,y$ 相互独立：$F(x,y)=F_X(x)F_Y(y)$

连续：$f(x,y)=f_X(x)f_Y(y)$ 几乎处处成立

二维随机变量函数分布

独立随机变量函数仍相互独立

离散：

取值较少可一一列出

若 $Z=X+Y$

$P(X+Y=k)=\sum_iP(X=i)P(Y=k-i)$

若 $X\sim \mathscr{P}(\lambda_1),Y\sim \mathscr{P}(\lambda_2)$ ，且 $X,Y$ 相互独立，则 $X+Y\sim \mathscr{P}(\lambda_1+\lambda_2)$ （再生性），但 $X-Y$ 不是 Poisson 分布

若 $X\sim B(n,p), Y\sim B(m,p)$ ，且 $X,Y$ 相互独立，则 $X+Y\sim B(n+m,p)$

$\sum_{i+j=k}\binom{n}{i}\binom{m}{j}=\binom{n+m}{k}$

连续：

若 $Z=g(X,Y)$

$F_Z(z)=P(g(x,y)\le z)=\iint_{g(x,y)\le z}f(x,y)dxdy$

1. 确定 $z$ 取值范围
2. 确定积分区域
3. 积分

e.g.

$\{(x,y)\mid 0<x<1,0<y<2x\},Z=2X-Y$

$0\le Z\le 2$ 时 $P(Z\le z)=1-\int_\frac{z}{2}^1\int_0^{2x-z}dydx$

和的分布

若 $Z=X+Y$

$f_Z(z)=\iint_{x+y=z}f(x,y)dxdy=\int_{-\infty}^{+\infty}f(x,z-x)dx$ （卷积）

若 $X\sim N(0,1), Y\sim N(0,1)$ ，则 $X+Y\sim N(0,2)$

$f_Z(z)=\int_{-\infty}^{+\infty}f(x)f(z-x)dx=\int_{-\infty}^{+\infty}\frac{1}{2\pi}e^{-\frac{x^2+(z-x)^2}{2}}dx=\frac{1}{2\pi}e^{-\frac{z^2}{4}}\int_{-\infty}^{+\infty}e^{-(x-\frac{z}{2})^2}dx=\frac{1}{2\sqrt{\pi}}e^{-\frac{z^2}{4}}$

联合分布

若 $u=g_1(x,y),v=g_2(x,y)$

$J=\frac{\partial(x,y)}{\partial(u,v)}$

$f(u,v)=f(x,y)|J|$

积的分布

$U=XY$ 为连续型随机变量，概率密度

$f_u(u)=\int_{-\infty}^{+\infty}\frac{1}{|v|}f(\frac{u}{v},v)dv$

商的分布

$U=\frac{X}{Y}$ 为连续型随机变量，概率密度

$f_u(u)=\int_{-\infty}^{+\infty}|v|f(uv,v)dv$

两个独立标准正态分布变量的商满足 Cauchy 分布：

$f(x)=\frac{1}{\pi(1+x^2)}$

最大值、最小值分布

最大值 $F_Z(z)=P(\forall i(1\le i\le n), X_i\le z)$

若 $X_i$ 相互独立，$F_Z(z)=\prod_{i=1}^nF_i(z)$

若 $X_i$ i.i.d.，$F_Z(z)=(F_X(z))^n$ ，若 $X_i$ 为连续型随机变量，$f_Z(z)=n(F_X(z))^{n-1}f_X(z)$

最小值同理，考虑 $1-F_Z(z)$

e.g.

$F_X(x)=(1-e^{-\lambda x})I_{(0,+\infty)}(x)$

F_\max(x)=(1-e^{-\lambda x})^nI_{(0,+\infty)}(x)

1-F_\min(x)=e^{-n\lambda x}, x>0\implies F_\min(x)=(1-e^{-n\lambda x})I_{(0,+\infty)}(x)

多项分布

若每次试验有 $r$ 种结果 $A_1,A_2,...,A_r$ ，$X_i$ 为 $n$ 次重复试验中 $A_i$ 出现次数

$P(X_1=n_1,X_2=n_2,...,X_r=n_r)=\binom{n}{n_1,n_2,...,n_r}p_1^{n_1}p_2^{n_2}...p_r^{n_r}$

记作 $(X_1,X_2,...,X_r)\sim M(n,p_1,p_2,...,p_r)$

随机变量的数字特征

数学期望

若 $X$ 分布律 \pmatrix{x_1&x_2&...\\p_1&p_2&...}

$E(X)=\sum x_kp_k$

若 $\color{red}\sum|x_k|p_k$ 存在，则称 $E(X)$ 存在（绝对收敛），否则不存在

条件收敛没用，因为要可交换

连续型：若 $\int_{-\infty}^{+\infty}|x|f(x)dx$ 存在，$E(X)=\int_{-\infty}^{+\infty}xf(x)dx$ ，否则 $E(X)$ 不存在

若 $f(x)=\frac{1}{\pi}\frac{1}{1+x^2}$ ，则 $\int_{-\infty}^{+\infty}\frac{|x|}{\pi(1+x^2)}$ 不绝对收敛，$E(X)$ 不存在（厚尾）

$E(g(X))=\sum g(x_k)p_k$

性质：

线性性：$E(aX+bY+c)=aE(X)+bE(Y)+c$

单调性：若 $E(X), E(Y)$ 存在，则 $X\le Y\implies E(X)\le E(Y)$

• 有界性：$a\le X\implies a\le E(X)$

• 收缩性：$|E(X)|\le E(|X|)$

乘积：若 $X,Y$ 相互独立，则 $E(XY)=E(X)E(Y)$

证明：$E(X,Y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xyf(x,y)dxdy=(\int_{-\infty}^{+\infty}xf_X(x)dx)(\int_{-\infty}^{+\infty}yf_Y(y)dy)=E(X)E(Y)$

Markov 不等式：$\forall \epsilon>0, P(|X|\ge c)\le \frac{E(|X|)}{c}$

证明：$P(|X|\ge c)= E(I_{|X|\ge c})\le E(\frac{|X|}{c})$

若 $E(|X|)=0$ ，则 $P(X=0)=1$

证明：$P(|X|>0)\le \sum_{k=1}^{+\infty}P(|X|\ge \frac{1}{k})\le \sum_{k=1}^{+\infty}kE(|X|)=0$

方差

$D(X)=E((X-E(X))^2)=E(X^2)-E(X)^2$

标准差 $\sigma=\sqrt{D(X)}$

性质：

$D(kX)=k^2D(X)$

若 $X_1,X_2$ 相互独立，则 $D(X_1+X_2)=D(X_1)+D(X_2)$

$D(X)\le E((X-c)^2)$

Chebyshev 不等式：$\forall \epsilon>0, P(|X-E(X)|\ge \epsilon)\le \frac{D(X)}{\epsilon^2}$ 

证明：由 Markov 不等式，$P((X-E(X))^2\ge c)\le \frac{D(X)}{c}$

矩：

• $E(X^k)$ ：$k$ 阶原点矩 （$k=1$ ：期望）
• $E((X-E(X))^k)$ ：$k$ 阶中心矩 （$k=2$ ：方差）
• $E((X-E(X))^k(Y-E(Y))^l)$ ：$k+l$ 阶混合中心矩

若高阶矩存在，低阶矩一定存在

协方差、相关系数

协方差：混合中心矩

$Cov(X, Y)=E((X-E(X))(Y-E(Y)))=E(XY)-E(X)E(Y)$

若 $X,Y$ 相互独立，则 $Cov(X, Y)=0$

性质：

$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$

对称性：$Cov(X,Y)=Cov(Y,X)$

线性性： $Cov(aX_1+bX_2+c,Y)=aCov(X_1,Y)+bCov(X_2,Y)$

标准化：$X^*=\frac{X-E(X)}{\sqrt{D(X)}}$ ，则 $E(X^*)=0,D(X^*)=1$

相关系数：

$\rho_{XY}=Cov(X^*,Y^*)=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$

$\rho_{aX+b,cY+d}=sgn(ac) \rho_{XY}$

Cauchy-Schwarz 不等式：

若 $E(X^2), E(Y^2)<+\infty$ ，则 $E(XY)^2\le E(X^2)E(Y^2)$

等号$\iff \exists t_0,P(Y=t_0X)=1$

$\therefore \rho_{XY}\in [-1,1]$

$\rho_{XY}^2=1\iff \exists a,b,P(Y=aX+b)=1 $

独立一定不相关，反之不一定

e.g. $X=\cos \theta, Y=\sin \theta, \theta\in [0,2\pi)$

若 $\color{red}(X,Y)\sim (\mu_1,\mu_2,\sigma_1,\sigma_2,\rho)$ ，则 $Cov(X,Y)=\sigma_1\sigma_1\rho$ ，独立与不相关等价

若 $X,Y$ 均为正态分布且不相关，不一定独立

e.g. $Y=WX$ ，其中 W\sim \pmatrix{0&1\\\frac{1}{2}&\frac{1}{2}}

概率极限定理

大数定律

1. 频率可以近似概率
2. $\bar{X}$ 的稳定性

• 依概率收敛：$\{X_n\}$ 为随机变量序列， $\forall \epsilon>0, \lim_{n\to \infty}P(|X_n-X|>\epsilon)=0$ ，记作 $X_n \xrightarrow{P}X$

• 按分布收敛（弱收敛）：CDF任一连续点均收敛，记作 $X_n\xrightarrow{L} X$

• 几乎必然收敛（强收敛）：$P(w:\lim_{n\to \infty}X_n(w)=X(w))=1$ ，称 $X_n$ 几乎必然收敛于 $X$ ，记作 $X_n\xrightarrow{a.s.} X$

Chebyshev 大数定律

若 $\{X_n\}$ 独立，$\exists C, D(X_n)\le C$ ，则 $\frac{1}{n}\sum_{k=1}^n(X_k-E(X_k))\xrightarrow{P}0$

证明：根据 Chebyshev 不等式

$P(|\frac{1}{n}\sum_{k=1}^n(X_k-E(X_k))|> \epsilon)\le \frac{D(\frac{1}{n}\sum_{k=1}^nX_k)}{\epsilon^2}=\frac{1}{n^2}\sum_{k=1}^n\frac{D(X_k)}{\epsilon^2}\le \frac{C}{n\epsilon^2}\to 0$

Bernoulli 大数定律

设 $n_A$ 为 $n$ 重 Bernoulli 试验中 $A$ 发生的次数，每次事件 $A$ 发生概率 $p$ ，则 $\frac{n_A}{n}\xrightarrow{P}p$

博雷尔强大数定律：

设 $n_A$ 为 $n$ 重 Bernoulli 试验中 $A$ 发生的次数，每次事件 $A$ 发生概率 $p$ ，则 $\frac{n_A}{n}\xrightarrow{a.s.}p$

Khinchin 大数定律

若 $\{X_n\}$ 独立同分布，$E(X)=\mu$ ，则 $\frac{1}{n}\sum_{k=1}^nX_k\xrightarrow{P}\mu$

科尔莫戈罗夫强大数定律：

若 $\{X_n\}$ 独立同分布，$E(X)=\mu$ ，则 $\frac{1}{n}\sum_{k=1}^nX_k\xrightarrow{a.s.}\mu$

一般地，大数定律需要满足 Markov条件：$D(\frac{1}{n}\sum_{i=1}^nX_k)\to 0$

中心极限定理

莱维-林德伯格中心极限定理

若 $X_n$ 独立同分布，$E(X_n)=\mu,D(X_n)=\sigma^2>0$ ，则

$\frac{1}{\sqrt{n}\sigma}(\sum_{k=1}^nX_k-n\mu)$ 的 CDF 收敛到 $\phi(x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^xe^{-\frac{t^2}{2}}dt$

棣莫弗-拉普拉斯极限定理

$\frac{n_A-np}{\sqrt{np(1-p)}}$ 的 CDF 收敛到 $\phi(x)$

$a,b$ 为整数

一般取 $P(a\le n_A\le b)=P(a-\epsilon_1\le n_A\le b+\epsilon_2)=\color{red}\phi(\frac{n_B+\epsilon_2-np}{\sqrt{np(1-p)}})-\phi(\frac{n_A-\epsilon_1-np}{\sqrt{np(1-p)}})$

$\epsilon_1=\epsilon_2=0.5$

数理统计的基本概念

统计量

若 $X_1,X_2,...,X_n$ 是来自总体 $X$ 的样本，$g(x_1,x_2,...,x_n)$ 是 $n$ 元连续函数，且不含未知参数，则称 $g(x_1,x_2,...,x_n)$ 为统计量。

常用统计量：

名称	定义
样本均值	$\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i$
样本方差	$S^2=\frac{1}{\color{red}n-1}\sum_{i=1}^n(X_i-\bar{X})^2=\frac{1}{n-1}(\sum_{i=1}^nX_i^2-n\bar{X}^2)$
样本标准差	$S=\sqrt{S^2}$
样本 $k$ 阶矩	$A_k=\frac{1}{n}\sum_{i=1}^nX_i^k$
样本 $k$ 阶中心矩	$B_k=\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^k$

$S_n=B_2$ ， $S^2=\frac{n}{n-1}S_n^2$

若 $E(X)=\mu,D(X)=\sigma^2$

则 $E(\bar{X})=\mu,D(\bar{X})=\frac{\sigma^2}{n},E(S^2)=\sigma^2$

证明：

$E(\bar{X})=\frac{1}{n}\sum_{i=1}^nE(X_i)=\mu$

$D(\bar{X})=\frac{1}{n^2}\sum_{i=1}^nD(X_i)=\frac{\sigma^2}{n}$

$E(S^2)=\frac{1}{n-1}E(\sum_{i=1}^nX_i^2-n\bar{X}^2)=\frac{n}{n-1}(E(X^2)-E(\bar{X}^2))\\=\frac{n}{n-1}((D(X)+E(X)^2)-(D(\bar{X})+E(\bar{X})^2))\\=\frac{1}{n-1}(n(\sigma^2+\mu^2)-n(\frac{\sigma^2}{n}+\mu^2))=\sigma^2$

• 顺序统计量 $X_{(k)}(X_1,...,X_n)$ 表示第 $k$ 小值

$f_k(x)=n\binom{n-1}{k-1}F(x)^{k-1}(1-F(x))^{n-k}f(x)$

$\chi^2$ 分布

$X_1, X_2, ..., X_n$ 相互独立且服从分布 $N(0,1)$ ， $\chi^2=X_1^2+X_2^2+...+X_n^2$

称 $\chi^2\sim \chi^2(n)$

$f(x)=\frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}e^{-\frac{x}{2}}I_{(0,+\infty)}(x)$

$t$ 分布

$X\sim N(0,1), Y\sim \chi^2(n)$ ，$X,Y$ 相互独立，称 $\color{red}T=\frac{X}{\sqrt{Y/n}}$ 服从自由度为 $n$ 的 $t$ 分布，记作 $T\sim t(n)$

概率密度函数：$h(t)=\frac{\Gamma(\frac{n+1}{2})}{\sqrt{\pi n}\Gamma(\frac{n}{2})}(1+\frac{t^2}{n})^{-\frac{t+1}{2}}$

$F$ 分布

若 $X\sim \chi^2(n_1),Y\sim \chi^2(n_2), F=\frac{X/n_1}{Y/n_2}$ ，记为 $F\sim F(n_1,n_2)$

概率密度函数：$\psi(x)=\frac{\Gamma(\frac{n_1+n_2}{2})(\frac{n_1}{n_2})^{\frac{n_1}{2}}x^{\frac{n_1}{2}-1}}{\Gamma(\frac{n_1}{2})\Gamma(\frac{n_2}{2})(1+\frac{n_1}{n_2}x)^{\frac{n_1+n_2}{2}}}I_{(0,+\infty)}(x)$

当 $n_2\to +\infty$ 时 $F\xrightarrow{P}\chi^2(n_1)/n_1$

正态总体的抽样分布

正态总体基本定理

若 $X_1,X_2,...,X_n$ 为来自正态总体 $X\sim N(\mu,\sigma^2)$ 的样本，$\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i, S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2$ ，则

1. $\sqrt{n}\frac{\bar{X}-\mu}{\sigma}\sim N(0,1)$
2. $\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$
3. $\bar{X}$ 与 $S^2$ 相互独立
4. $\color{red}\sqrt{n}\frac{\bar{X}-\mu}{S}\sim t(n-1)$

证明：

根据正态分布的性质， $\bar{X}\sim N(\mu, \frac{\sigma^2}{n})$

$\therefore \sqrt{n}\frac{\bar{X}-\mu}{\sigma}\sim N(0,1)$

构造正交阵 $A$

$A=\begin{bmatrix}\frac{1}{\sqrt{n}}&\frac{1}{\sqrt{n}}&\frac{1}{\sqrt{n}}&...&\frac{1}{\sqrt{n}}\\\frac{1}{\sqrt{1\times2}}&-\frac{1}{\sqrt{2}}&0&...&0\\\frac{1}{\sqrt{2\times3}}&\frac{1}{\sqrt{2\times3}}&-\frac{\sqrt{2}}{\sqrt{3}}&...&0\\...&...&...&...&...\\\frac{1}{\sqrt{(n-1)n}}&\frac{1}{\sqrt{(n-1)n}}&\frac{1}{\sqrt{(n-1)n}}&...&-\frac{\sqrt{n-1}}{\sqrt{n}}\end{bmatrix}$

若 $X\sim N(\mu,B)$

则 $Y=AX\sim N(A\mu,ABA^T)$

$\because B=\sigma^2I$

$\therefore ABA^T=\sigma^2 I$

$\therefore Y_i$ 相互独立（因为满足多维正态）

根据正态分布的性质， $Y_1\sim N(\sqrt{n}\mu,\sigma^2); Y_i\sim N(0,\sigma^2), i>1$ ，均服从正态分布

$\because \bar{X}=\frac{Y_1}{\sqrt{n}}$

且 $\sum_{i=1}^n Y_i^2=Y^TY=XX^T=\sum_{i=1}^n X_i^2$

$\therefore S^2=\frac{1}{n-1}\sum_{i=1}^n X_i^2-\frac{n}{(n-1)}\bar{X}^2=\frac{1}{n-1}\sum_{i=2}^nY_i^2$

$\therefore \bar{X}$ 和 $S^2$ 相互独立

$\therefore \frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$

$\therefore \sqrt{n-1}\frac{\sqrt{n}\frac{\bar{X}-\mu}{\sigma}}{\sqrt{\frac{(n-1)S^2}{\sigma^2}}}=\sqrt{n}\frac{\bar{X}-\mu}{S}\sim t(n-1)$

若 $X\sim N(\mu_1,\sigma^2), Y\sim N(\mu_2,\sigma^2)$ 且相互独立，$S_1=\frac{1}{m-1}\sum_{i=1}^m(X_i-\bar{X})^2, S_2=\frac{1}{n-1}\sum_{i=1}^n(Y_i-\bar{Y})^2$

则 $T=\frac{\bar{X}-\bar{Y}-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{m}+\frac{1}{n}}}\sim t(m+n-2)$

其中 $S_w^2=\frac{(m-1)S_1^2+(n-1)S_2^2}{m+n-2}$

参数估计

通过样本的观察值，估计未知分布的参数

点估计

用某一数值作为近似值

矩估计

若总体 $X$ 的分布函数为 $F(x;\boldsymbol{\theta})$

计算出 $E(X^k)=g_k(\boldsymbol\theta)$

$E(X^k)$ 替换为样本矩 $\frac{1}{n}\sum_{i=1}^nX_i^k$

解出 $\boldsymbol\theta=\boldsymbol{h}(X_1,X_2,...,X_n)$

（尽量使用低阶矩）

最大似然估计

似然函数：L(\theta)=L(\theta;x_1,x_2,...,x_n)=\cases{\prod_{i=1}^np(x_i;\theta), 离散型\\\prod_{i=1}^nf(x_i;\theta),连续型}

若 $\exists \hat{\theta}(x_1,x_2,...,x_n)$， $L(\hat{\theta})=\max_{\theta}L(\theta)$ ，称 $\hat{\theta}(x_1,x_2,...,x_n)$ 为 $\theta$ 的最大似然估计值，$\theta(X_1,X_2,...,X_n)$ 为最大似然估计量。

最大似然估计值不一定唯一（e.g. $U(\theta, \theta+1)$）

若 $g(\theta)$ 是单射，则 $\theta$ 的 MLE 也是 $g(\theta)$ 的 MLE

优良性准则

相合性

若 $\hat\theta\xrightarrow{P}\theta, \forall \theta\in \Theta$ ，称 $\hat\theta$ 为 $\theta$ 的相合估计量

（样本均值、样本方差、样本矩都是）

渐进正态性：若 $\frac{\hat\theta_n-\theta}{\sigma_n(\theta)}\xrightarrow{L}N(0,1)$ ，记为 $\hat\theta_n\sim AN(\theta,\sigma_n^2(\theta))$

e.g. Poisson 分布： $\hat\lambda_n\sim AN(\lambda,\lambda/n)$

无偏性

若 $E(\hat{\theta})=\theta, \forall \theta\in \Theta$ ，称 $\hat\theta$ 为 $\theta$ 的无偏估计量

$\lim_{n\to \theta}E(\hat{\theta})=\theta$ 为渐进无偏估计

（样本均值、样本方差、样本矩都是）

若 $g(\theta)$ 是单射， $\theta$ 的无偏估计不一定是 $g(\theta)$ 的无偏估计，$g(\theta)$ 为线性函数时才是

有效性

若 $\hat \theta_1, \hat\theta_2$ 均为 $\theta$ 的无偏估计量，且 $\color{red}D(\hat\theta_1)\le D(\hat\theta_2), \forall \theta\in \Theta$ ，且 $\exists \theta\in \Theta, D(\hat\theta_1)< D(\hat\theta_2)$ ，称 $\hat\theta_1$ 比 $\hat\theta_2$ 有效

一致最小方差无偏估计（UMVUE）：$D(\hat\theta)$ 取到下界

均方误差：$MSE(\hat\theta)=E((\hat\theta-\theta)^2)=E(\hat\theta^2)-2\theta E(\hat\theta)+\theta^2$

无偏估计 $MSE(\hat\theta)=D(\hat\theta)$

一致最小均方误差估计

区间估计

在要求的精度范围内指出参数区间

找两个统计量 $\underline{\theta}(X_1,X_2,...,X_n)$ 和 $\overline{\theta}(X_1,X_2,...,X_n)$

若 $P(\underline{\theta}<\theta<\overline{\theta})=1-\alpha$

称 $(\underline{\theta}, \overline{\theta})$ 是 $\theta$ 置信度为 $1-\alpha$ 的置信区间

若 $\theta$ 离散，置信区间可能不存在

枢轴量法：

1. 构造 $Z=Z(X_1,X_2,...,X_n;\theta)$ ，$Z$ 分布已知，不依赖 $\theta$

2. 选取 $a,b$ 满足 $P(a<Z(X_1,X_2,...,X_n;\theta)<b)=1-\alpha$

3. 求 $\theta$ 置信区间，若 $P(\underline{\theta}<\theta<\overline{\theta})=1-\alpha$ ，称 $(\underline{\theta},\overline{\theta})$ 为 $1-\alpha$ 的置信区间

单侧置信区间：$(\underline{\theta},+\infty), (-\infty, \overline{\theta})$

正态总体均值和方差的区间估计

置信度 $1-\alpha$

单样本：

$X\sim N(\mu, \sigma^2)$

$\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i, S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2$

条件	估计变量	枢轴量	置信区间
$\sigma^2$ 已知	$\mu$	$\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$	$(\bar{X}\pm \frac{\sigma}{\sqrt{n}}z_{\alpha/2})$
$\sigma^2$ 未知	$\mu$	$\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$	$(\bar{X}\pm \frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1))$
$\mu$ 已知	$\sigma^2$	$\sum_{i=1}^n (\frac{X_i-\mu}{\sigma})^2\sim \chi^2(n)$	$\sum_{i=1}^n(X_i-\mu)^2\cdot(\frac{1}{\chi_{\alpha/2}^2(n)},\frac{1}{\chi_{1-\alpha/2}^2(n)})$
$\mu$ 未知	$\sigma^2$	$\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$	$(n-1)S^2\cdot(\frac{1}{\chi_{\alpha/2}^2(n-1)},\frac{1}{\chi_{1-\alpha/2}^2(n-1)})$

单侧置信区间

单侧置信下限

$P(\theta>\underline{\theta})=1-\alpha$

单侧置信上限

$P(\theta<\overline{\theta})=1-\alpha$

假设检验

基本思想和概念

1. 建立假设
2. 选择检验统计量 $T$ ，确定拒绝域形式（单侧，双侧）
3. 给定 $\alpha$ ，通过临界值确定拒绝域
4. 作出判断

$H_0$ ：原假设

$H_1$ ：备择假设

第一类错误（弃真）：$P_{H_0}(拒绝H_0)=\alpha$

第二类错误（取伪）：$P_{H_1}(接受H_0)=\beta$

正态总体均值和方差假设检验

单个

若 $x_1,x_2,...,x_n$ 为正态总体 $x\sim N(\mu,\sigma^2)$ 的样本，$\bar{x}=\frac{1}{n}\sum_{i=1}^nx_i, S^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2$

$\mu$ 的假设检验：$\mu$ 未知， $\mu_0$ 为假设

• 若 $\sigma^2$ 已知：检验统计量 $u=\frac{\bar{x}-\mu_0}{\sigma/\sqrt{}n}\sim N(0,1)$
• 若 $\sigma^2$ 未知：检验统计量 $T=\frac{\bar{x}-\mu_0}{S/\sqrt{n}}\sim t(n-1)$

$\sigma^2$ 的假设检验：$\sigma^2$ 未知，$\sigma_0^2$ 为假设

• 若 $\mu$ 已知，检验统计量 $T=\frac{1}{\sigma_0^2}\sum_{i=1}^n(x_i-\mu)^2\sim \chi^2(n)$
• 若 $\mu$ 未知，检验统计量 $T=\frac{1}{\sigma_0^2}(n-1)S^2\sim \chi^2(n-1)$

两个

略