概率论-学习笔记

0. 零散点

Min,Max 后的概率分布

若 \(Z=max_{k=1}^{n}(X_k) \Rightarrow F_Z(z)=P\{\forall k,x_k \leq x\}=\prod_{k=1}^{n}F_{X_k}(x)\)
若 \(Z=min_{k=1}^{n}(X_k) \Rightarrow F_Z(z)=P\{\forall k,x_k \geq x\}=\prod_{k=1}^{n}(1-F_{X_k}(x))\)

常用计算

\begin{align}
\int_{-\infty}^{+\infty} e^{-x^2} dx &=\sqrt{\pi} \\
\int_{-\infty}^{+\infty} e^{-\frac{x^2}{2}} dx &=\sqrt{2\pi} \\
\sum_{k=1}^{n}(X_i-\overline{X})^2 &=\sum_{k=1}^{n}X_k^2-n \overline{X}^2 \\
\sum_{k=1}^{n}(x_i-\overline{X})^2 &=\sum_{k=1}^{n}(X_k-\mu)^2-n(\overline{X} – \mu)^2
\end{align}

计算 n个对象中取r个的放回-不考虑顺序的组合数量：\(\dbinom{n+r-1}{r}\)

1. 第一章随机事件和概率

本章比较基础，需弄清楚一些基础要点：

概率是基于事件的函数。对事件的操作即对事件集合的操作，所以可以有交并差等等。而对概率则是加减等等计算。
测度为0的集合不一定是空集，同样，测度等于全体测度的集合不一定是全体

1.1 随机事件

稍难理解的是事件运算中的对偶率

\begin{align}
\overline{\cup_{i=1}^{n} A_i} &=\cap_{i=1}^{n}\overline{A_i} \\
\overline{\cap_{i=1}^{n} A_i} &=\cup_{i=1}^{n}\overline{A_i}
\end{align}

对偶率的证明

1.2 概率

概率公理

概率是基于事件的函数\(P(A)\)，要求满足三个条件：

非负：\(P(A) \geq 0\)
对于必然事件： \(\Omega\) 有 \(P(\Omega) = 1\)
可加性：对于互斥事件 A 与 B,有\(P(A \cup B)=P(A)+P(B)\)

如果事件全集 \(\Omega\) 与其各子集都可测，满足这样性质的函数 P(A)，可以是 A 的测度除以 \(\Omega\) 的测度

事件独立性

如果 A,B 满足 \(P(AB)=P(A)P(B)\) 则 A,B 相互独立

一组事件相互独立强于两两独立

五大公式

加法公式：加了之后需要减去重叠部分
减法公式
乘法公式：两者都发生的概率等效于在第一个发生后第二个发生的概率与第一个发生概率之积
全概率公式：将事件集不重不漏划分
贝叶斯公式：如果独立即为条件概率公式

2. 第二章随机变量及其概率分布

2.1 随机变量及其分布函数

随机变量:指样本空间上的实值函数 \(X=X(\omega),\omega \in \Omega\)
分布函数:\(F(x)=P\{X \leq x\}\)
- 保证右连续

2.3 常用分布

0-1分布
二项分布
几何分布
超几何分布
泊松分布
均匀分布
指数分布
正态分布

常用分布对应的均值方差推导

2.4 随机变量函数的分布

\begin{align}
&Y=g(X) \\
&F_Y(y)=P\{Y \leq y\}=P\{g(X) \leq y \}=\int_{g(x) \leq y}f_X(x)dx
\end{align}

3. 多维随机变量及其分布

3.1 二维随机变量及其分布

需熟练应用的概念

二维随机变量分布
二维随机变量边沿分布
二维随机变量条件分布
二维离散随机变量概率分布
二维离散型随机变量的条件分布
二维连续型随机变量及其概率密度
二维连续型随机变量的边沿密度
二维连续型随机变量的条件密度：\(F_{X|Y}(x|y)=\int_{-\infty}^x \frac{f(t,y)}{f_Y(y)} dt\)

3.2 随机变量的独立性

独立的定义：\(F(x,y)=F_X(x)F_Y(y)\)

3.3 二维均匀分布与二维正态分布

二维均匀分布

二维正态分布

二维正态分布条件下，不相关 \(\Leftrightarrow\) 独立
两个不相关的正态随机变量可以构成二维正态分布，如果相关则实为一维正态分布
- 两个正态分布线性组合也是正态分布

3.4 Z=g(X,Y) 分布

Z = X + Y

概率密度
- \(f_Z(z)=\int_{-\infty}^{+\infty}f(x,z-x)dx\)
- \(f_Z(z)=\int_{-\infty}^{+\infty}f(z-x,y)dy\)
- 如果X,Y独立，等于卷积:
  - \(f_Z(z)=\int_{-\infty}^{+\infty}f_X(x)f_Y(z-x)dx\)
  - \(f_Z(z)=\int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)dy\)

4. 第四章随机变量的数字特征

4.1 数学期望和方差

常用分布对应的均值方差推导

数学期望

一维：\(E(g(X)) = \int_{-\infty}^{+\infty}g(x)f(x)dx\)
二维：\(E(g(X,Y)) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)dxdy\)
任意两个随机变量，不管是否独立是否相关，都有：\(E(X+Y)=E(X)+E(Y)\)
如果两个随机变量不相关，有:\(E(XY)=E(X)E(Y)\) ，同时这也是不相关的充要条件。

方差

\(\sigma^2= D(X)=E((X-E(X))^2)\)
\(D(aX+b)=a^2D(X)\)
当X,Y不相关时：\(D(X \pm Y)=D(X)+D(Y)\)
- 相关时：\(D(X \pm Y)=D(X)+D(Y) \pm 2*Cov(X,Y)\)

4.2 矩和协方差和相关系数

概念

原点矩
中心矩
混合矩
混合中心矩
协方差：\(Cov(X,Y)=E((X-E(X))(Y-E(Y)))\)
- \(Cov(X,Y)=E(XY)-E(X)E(Y)\)
- \(D(X \pm Y)=D(X)+D(Y) \pm 2 Cov(X,Y)\)
相关系数：\(\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}\)

5. 第五章大数定律和中心极限定理

概念

切比雪夫不等式:
- 当期望和方差都存在时，\(\forall \epsilon>0,P(|X-E(X)| \geq \epsilon) \leq \frac{D(X)}{\epsilon^2}\)
依概率收敛：
- \(\forall \epsilon,\lim_{n \to +\infty}P(|X_n – A|<\epsilon) = 1\)
切比雪夫大数定律：
- 各随机变量的方差有界的情况下，多个随机变量的均值必收敛于期望的均值
伯努利大数定律：
- 二项分布变种 \(\frac{X_n}{n} \sim \frac{B(n,p)}{n}\) 随机变量数列期望收敛于 \(np\)
辛钦大数定律：
- 独立同分布的随机变量们，当变量数量足够多时，其均值依概率收敛于期望值
隶莫弗-拉普拉斯中心极限定理：
- 将二项分布和正态分布建立起关系：\(X_n \sim B(n,p) \Rightarrow \lim_{n \to +\infty}P\{\frac{X_n-np}{\sqrt{np(1-p)}} \leq x\} = \Phi(x)\)
列维-林德伯格中心极限定理：
- 当 \(X_i\) 独立同分布，具有期望和方差，则有：\(\lim_{n \to +\infty} P\left\{ \frac{\sum_{k=1}^{n}X_k-nE(X)}{\sqrt{n}D(X)} \leq x \right\} = \Phi(x)\)
- 列维-林德伯格中心极限定理是隶莫弗-拉普拉斯中心极限定理的推广

6. 第六章数理统计的基本概念

概念

总体：一个随机变量 X
样本：相互独立且与总体 X 同分布
观测值：样本的具体值
统计量：样本的不含未知参数的函数 \(T(X_1,X_2,…,X_n)\)
- 统计量本身可看作一个随机变量
样本数字特征
- 样本均值 \(E(\overline{X})\)：是E(X)的无偏估计
- 样本方差 \(S^2\)：是D(X)的无偏估计
- 样本 k 阶原点矩：是 X 的 k 阶原点矩的无偏估计
- 样本 k 阶中心矩：是有偏的

常用抽样分布

\(\chi^2(n)\) 分布
- n个服从标准正态分布 N(0,1)的随机变量平方和
- \(E(\chi^2)=n,D(\chi^2)=2n\)
- 当 \(\chi_1^2 \sim \chi^2(n_1),\chi_2^2 \sim \chi^2(n_2)\) 相互独立时, \(\chi_1^2+\chi_2^2 \sim \chi^2(n_1+n_2)\)
t 分布
- \(X \sim N(0,1),Y \sim \chi^2(n) \) 相互独立，则 \(T=\frac{X}{\sqrt{Y/n}}\)
F 分布
- \(X \sim \chi^2(n_1),Y \sim \chi^2(n_2)\) 相互独立，则\(F=\frac{X/n_1}{Y/n_2} \sim F(n_1,n_2)\)
正态总体 \(X \sim N(\mu,\sigma)\) 的抽样分布，样本均值 \(\overline{X}\) ，样本方差 \(S^2\)
- \(\overline{X} \sim N()\mu,\frac{\sigma^2}{n}\)
- \(U=\frac{\overline{X}-\mu}{\sigma/\sqrt{n}} \sim N(0,1)\)
- \(\overline{X}\) 与 \(S^2\) 独立
- \(\chi^2=\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)\)
- \(T=\frac{\overline{X}-\mu}{S/\sqrt{n}} \sim t(n-1)\)
- \(\chi^2 = \frac{1}{\sigma^2}\sum_{k=1}^{n}(X_k-\mu)^2 \sim \chi^2(n)\)
两个正态总体的抽样分布
- \(\overline{X}-\overline{Y} \sim N(\mu_X- \mu_Y,\frac{\sigma_Y^2}{n_X}+\frac{\sigma_Y^2}{n_Y})\)
- 如果 \(\sigma_X^2 =\sigma_Y^2\) 有 \(T=\frac{\overline{X}-\overline{Y}-(\mu_X-\mu_Y)}{S_{\omega}\sqrt{\frac{1}{n_X}+\frac{1}{n_Y}}} \sim t(n_X+n_Y-2)\)
  - 其中 \(S_\omega^2=\frac{(n_X-1)S_X^2+(n_Y-1)S_Y^2}{n_X+n_Y-2}\)
- \(F=\frac{S_X^2 / \sigma_X^2}{S_Y^2 / \sigma_Y^2} \sim F(n_X-1,n_Y-1)\)

7. 第七章参数估计

概念

点估计：用样本构造统计量对参数进行估计
无偏估计
更有效估计：无偏估计且估计量方差更小
一致估计量：估计量依概率收敛于参数
矩估计法：用多个阶的原点矩建立方程进行估计
最大似然估计法：最大化样本概率密度
区间估计：依靠统计量确定置信区间

8. 第八章假设检验

概念

第一类错误：弃真
第二类错误：纳伪
简单假设/复合假设