概率统计补天
几个重要的概率分布
几个期望和方差(转载)
分布 | 表达式 | 期望 | 方差 |
---|---|---|---|
0-1分布 | $P(X=k)=p^k(1-p)^{1-k},k=0,1.$ | $p$ | $p(1-p)$ |
$B(n,p)$: $n$ 个 0-1 | $P(X=k)=C_n^k p^k(1-p)^{n-k}$ | $np$ | $np(1-p)$ |
$P(\lambda)$ | $P(X=k)=e^{-\lambda} \frac{\lambda ^k}{k!}, k=0,1,2,\cdots$ | $\lambda$ | $\lambda$ |
$G(p)$ | $P(X=k)=(1-p)^{k-1}p,k=1,2,\cdots$ | $1/p$ | $(1-p)/p^2$ |
Pascal 分布: $r$ 个几何 | $P(X=k)=C_{k-1}^{r-1}p^r q^{k-r},k=r,r+1,\cdots$ | $r/p$ | $r(1-p)/p^2$ |
$U(a,b)$ | $1/(b-a)$ 对于 $x\in [a,b]$,其余为零 | $(a+b)/2$ | $(b-a)^2/12$ |
$E(\lambda)$ | $\lambda e^{-\lambda x}$ 对于 $x>0$,其余为零 | $1/\lambda$ | $1/\lambda^2$ |
$N(\mu,\sigma^2)$ | $f(x)=\frac{1}{\sqrt{2\pi} \sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}},\quad -\infty < x <+\infty$ | $\mu$ | $\sigma^2$ |
$\chi^2(n)$ | 略 | $n$ | $2n$ |
0-1分布
$$ P(X=k)=p^k(1-p)^{1-k} $$
二项分布
$$P(X=k)=C^k_np^k(1-p)^{n-k}$$
Pascal分布
$$P(X=k)=C^{r-1}_{k-1}p^r(1-p)^{k-r},k=r,r+1,\cdots$$
特别地,$r=1$
$$P(X=k)=(1-p)^{k-1}p$$
Poisson分布
$$P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!},k=0,1,2,\cdots,$$
均匀分布
$$ f(x) = \begin{cases} \frac{1}{b-a} ,& \text{if } a\le x \le b, \\ 0 ,& otherwise, \end{cases} $$
指数分布
$$ f(x) = \begin{cases} \lambda e^{-\lambda x} ,& \text{if } x > 0 \\ 0 ,& \text{if } x \le 0 \end{cases} $$
正态分布
$$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},-\infty<x<\infty$$
二维联合分布
(一般)画图
二维正态分布
$$f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}e^{-\frac{1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]}$$
大数定律和中心极限定理
预备知识
- $Chebyshev不等式$
定义:设随机变量X的数学期望$E(X)=\mu$,方差$D(X)=\sigma^2$,则对于任意正数$\varepsilon$,恒有不等式:
$$P(|X-\mu|\ge\varepsilon)\le \frac{\sigma^2}{\varepsilon^2} $$
- 依概率收敛
定义:设 $Y_1, Y_2, Y_3, \cdots, Y_n, \cdots$是一个随机变量序列,X是一个随机变量,若$\forall \varepsilon>0$有
$$ \lim_{n\to \infty}P(|Y_n-X|\ge\varepsilon)=0$$
则称该随机变量序列依概率收敛于$X$,记作$Y_n\xrightarrow[n\to\infty]P{} a$.
大数定律
- 切比雪夫大数定律
不相关、依概率收敛
- 辛钦大数定律
在切比雪夫大数定律的基础上,$X_n$独立同分布,且依概率收敛
- 伯努利大数定律
在辛钦大数定律的基础上附加频率收敛至概率
中心极限定理
- 列维--林德伯格中心极限定理
n个随机变量独立同分布具有相同的期望和方差(需&收敛),则满足$n\to \infty$时近似于
正态分布$N(n\mu,n\sigma^2)$
数理统计基本概念
总体和样本
(1)总体:研究对象的某项数量指标的全体
(2)个体:总体中的每个元素
(3)总体容量:总体中个体的个数
(4)简单随机样本:具有同一分布函数的相互独立的随机变量,称$X_1,X_2,\cdots,X_n$ 为简单随机样本。它们的观察值$x_1,x_2,\cdots,x_n$为样本值。
(5)样本联合分布:
$$ f(x_1,x_2,x_3,\cdots,x_n)=\Pi^n_{i=1}f(x_i)$$
(6)统计量及抽样分布:简单随机样本的函数叫统计量;统计量的分布叫抽样分布。
常用统计量
设$X_1,X_2,\cdots,X_n$是一个来自$X$的样本,它们的观察值为$x_1,x_2,\cdots,x_n$
(1)它们的均值为$\bar{X}=\frac{1}{n}\Sigma^n_{i=1}X_i$,
(2)样本方差 $S^2=\frac{1}{n-1}\Sigma^n_{i=1}(X_i-\bar{X})^2$(相互独立的样本只有n-1个)
(3)k阶原点矩$A^k=\frac{1}{n}\Sigma^n_{i=1}X_i^k$,
(4) k阶中心距 减$\bar{X}$作标准处理
(5)如果$X$的期望和方差都存在,即$E(X)=\mu,D(X)=\sigma^2$,
则$E(\bar{X})=\mu,D(\bar{X})=\frac{1}{n}\sigma^2,E(S^2)=\sigma^2,D(S^2)=\frac{2\sigma^4}{n-1}$
常见抽样分布
(1)$\chi^2$分布
(i)典型模式
设$X_1,X_2,\cdots X_n$是来自总体$N(0,1)$的样本,则称统计量$\chi^2=\Sigma^n_{i=1}X_i^2$
服从自由度为n的$\chi^2$分布,记为$\chi^2$ ~ $\chi^2(n)$
(ii)$\chi^2$分布的性质
设$\chi^2_1$ ~ $\chi^2(n_1)$,$\chi^2_2$ ~ $\chi^2(n_2)$,并且相互独立,则$\chi^2_1+\chi^2_2$ ~ $\chi^2(n_1+n_2)$ 若$\chi^2$ ~ $\chi^2(n)$,则有$E(\chi^2)=n,D(\chi^2)=2n,$
(iii)$\chi^2$分布的上$\alpha$分点
(2)t分布
(i)典型模式
设$X$~$N(0,1)$,$Y$ ~ $\chi^2$(n),且X,Y相互独立,则随机变量
$$t=\frac{X}{\sqrt{Y/n}}$$
服从自由度为n的t分布,记作t~t(n)。
(ii)t分布的性质
$h(t)$的图形关于t=0对称,且有
$$\lim_{n\to \infty}h(t)=\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}$$
当t足够大时可用中心极限定理(为肥尾)。
(3)F分布
(i)典型模式
设$X$~$\chi^2(m)$,$Y$~$\chi^2(n)$,且X,Y相互独立,则$F=\frac{X/m}{Y/n}$服从自由度为$(m,n)$的
$F$分布,记为$F$~$F(m,n)$
(ii)$F$分布的性质
设$F$~$F(m,n)$,则$\frac{1}{F}$ ~ $F(n,m)$
正态总体的抽样分布
四条简单性质
(1)$\bar{X}$ ~ $N(\mu,\frac{\sigma^2}{n})$,$\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}$ ~ $N(0,1)$
(2)$\frac{(n-1)S^2}{\sigma^2}=\frac{1}{\sigma^2}[\Sigma^n_{i=1}(X_i-\bar{X})^2]$~$\chi^2(n-1)$
(3)$\frac{\bar{X}-\mu}{S/\sqrt{n}}$与$\frac{(n-1)S^2}{\sigma^2}$相互独立,有$\frac{\bar{X}-\mu}{S/\sqrt{n}}$~$t(n-1)$
(4)$\frac{1}{\sigma^2}\Sigma^n_{i=1}(X_i-\mu)^2$~$\chi^2(n)$
两个正态总体的复杂情况
(1)$\bar{X}-\bar{Y}$~$N(\mu_1-\mu_2,\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2})$,亦即$\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}$ ~ $N(0,1)$
(2)当$\sigma_1^2=\sigma_2^2$,$\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}$~$t(n_1+n_2-2)$,其中$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$
(3)$\frac{n_2\sigma_2^2}{n_1\sigma_1^2} \frac{\sum (X_i-\mu_1)^2}{\sum(Y_i-\mu_2)^2}$~$F(n_1,n_2)$
(4)$\frac{\sigma^2_2S_1^2}{\sigma_1^2S_2^2}$~$F(n_1-1,n_2-1)$
参数估计与假设检验
点估计
(1)矩估计
用样本的k阶原点矩$A_k=\frac{1}{n}\Sigma^n_{i=1}X^k_i$作为总体的$k$阶原点矩$\mu_k=E(X^k)$的估计
(2)最大似然估计
(i)离散型随机变量
分布律满足$P{X=x_i}=p(x_i,\theta),\theta\in\Theta$,则$X_1,X_2,\cdots,X_n$的联合分布
为$\Pi^n_{i=1}p(x_i;\theta)$
又设$x_1,x_2,\cdots,x_n$是相应样本$X_1,X_2,\cdots,X_n$的一个样本值,有
$L(\theta)=L(x_1,x_2,\cdots,x_n;\theta)=\Pi^n_{i=1}p(x_i;\theta),\theta\in\Theta$这一概率随$\theta$取值变化
而变化,使$L(\theta)$取得最大值的$\hat\theta$作为参数$\theta$的估计值
(ii)连续型随机变量
类似由概率密度连乘得到(偷懒)
(3)估计量的评选标准
(i)无偏性
若估计量$\hat\theta(X_1,X_2,\cdots,X_n)$有数学期望且$E(\hat\theta)=\theta$,则称$\hat\theta$是无偏的。
(ii)有效性
若估计量$\hat\theta(X_1,X_2,\cdots,X_n)$存在方差$D(\hat\theta)$,则方差越小越有效。
(iii)一致性(相合性)
估计值依概率收敛于真值则两者相合($n\to \infty$)
小补丁
Cramér-Rao不等式
$$ D(\hat{\theta}) \geq \frac{1}{n E \left[ \left( \frac{\partial}{\partial \theta} \ln p(X, \theta) \right)^2 \right]} $$
这个公式称为Cramér-Rao不等式(Cramér-Rao Inequality)或Cramér-Rao下界(Cramér-Rao Lower Bound, CRLB)。它是数理统计中估计理论的一部分,提供了估计参数的方差的一个下界。具体来说,对于任何无偏估计量(\hat{\theta}),它的方差不能小于该下界。
公式中各符号的含义如下:
- $D(\hat{\theta})$是估计量$\hat{\theta}$的方差。
- $n$是样本量。
- $\frac{\partial}{\partial \theta} \ln p(X, \theta)$是对数似然函数(分布律/概率密度)关于参数$\theta$的偏导数。
Cramér-Rao下界对于估计量的效率以及构建最优估计量具有重要意义。
区间估计
(1)置信区间
由样本确定两个统计量$\theta_1(x_1,x_2,\cdots,x_n)和\theta_2(x_1,x_2,\cdots,x_n)$,
$P{\theta_1<\theta<\theta_2}=1-\alpha$'则称区间$(\theta_1,\theta_2)$为参数$\theta$的置信水平为$1-\alpha$的置信区间
(2)正态总体的区间估计
由正态总体的抽样分布的分布情况不难进行估计。
假设检验
(1)假设检验
(i)假设:零假设、备择假设
(ii)两类错误:
$$ \begin{cases} 拒绝实际的假设H_0(\le \alpha), \ 接错误情况的假设(\beta), \end{cases} $$
(iii)显著性检验(两个边界点$\alpha=0.05,0.01$)
一般步骤:根据要求提出$H_0,H_1$;给出显著性水平$\alpha$和样本容量n;
确定检验统计量及拒绝域$W$;计算统计量T的观测值t,$t\in W$时,拒绝原假设$H_0$
(iv)正态总体的假设检验
亦有正态分布的抽样分布情况可以进行估计