概率论与数理统计
绪论
概率论与数理统计是研究随机现象统计规律的数学学科
概率论:研究如何定量描述随机现象及其规律
数理统计:以概率论为基础,研究怎样有效地收集、整理和分析带有随机性的数据,以对所考察的问题作出推断与决策的科学
概率论的基本概念
随机事件与样本空间
两类现象
- 确定性现象:在一定条件下必然发生的现象称为确定性现象
- 随机现象:在一定条件下可能出现也可能不出现的现象称为随机现象(在个别试验中试验结果呈现不确定性,在大量重复试验中结果具有统计规律性)
随机试验
对随机现象的观察、记录、实验统称为随机试验,通常用E表示
随机试验具有以下共同特点:
- 可以在相同的条件下重复进行
- 每次试验的可能的结果不止一个,并且能事先明确试验的所有可能结果
- 试验之前不能确定哪一个结果会出现
样本空间
随机试验E的所有可能结果所组成的集合称为E的样本空间,通常记作Ω
样本空间的元素,即E的每个结果,称为样本点
注:试验目的不同,对应的样本空间也不一定相同
例如:
E :拋两枚硬币
若观察正面H和反面T出现的情况,则样本空间为 Ω={HH,HT,TH,TT}
若观察出现正面的次数,则样本空间为Ω={0,1,2}
随机事件
试验E的样本空间Ω的子集称为E的随机事件,简称事件,用A,B,C,…表示
若某事件A中所包含的某个样本点出现,则称事件A发生
基本事件:由一个样本点组成的单点集
必然事件:在试验中必定发生的事件
不可能事件:在一次试验中不可能发生的事件,记作Φ(空集)
事件的关系与运算
事件的关系
包含关系
若事件A发生,必然导致事件B发生,则称事件B包含事件A,或称事件A包含于事件B,记作B⊃A或A⊂B
相等
若事件A包含事件B,且事件B包含事件A,则称事件A与事件B相等,记作A=B
事件的并(和)
事件A、B至少有一个发生所构成的事件叫做事件A与事件B的和,记作A∪B或A+B
推广:$\bigcup_{i=1}^{n}A_{i}$为事件$A_{1},A_{2}…A_{n}$的和事件或并事件
含义:$A_{1},A_{2}…A_{n}$至少有一个发生
事件的交(积)
事件A、B同时发生所构成的事件叫做事件A与事件B的积,记作A∩B或AB
推广:$\bigcap_{i=1}^{n}A_{i}$为事件$A_{1},A_{2}…A_{n}$的交事件或积事件
含义:$A_{1},A_{2}…A_{n}$同时发生
事件的差
由事件A发生且事件B不发生所组成的事件称为事件A与B的差,记作A-B
重要恒等式:A-B=A-AB=A$\bar B$
事件的互不相容(互斥)
若A∩B=Φ中,即A与B不能同时发生,则称事件A与事件B是互不相容或互斥
事件的互逆(对立)
若A∩B=Φ且A∪B=Ω,即A与B有且只有一个发生,则称事件A与事件B是互逆的或互为对立事件,记作B=$\bar A$,则有A$\bar A$=Φ,A∪$\bar A$=Ω
注:事件的互斥与对立的关系对立一定互斥,但是互斥不一定对立
事件的运算
设A,B,C为事件,则有
交换律 A∪B=B∪A, AB=BA
结合律 (A∪B)∪C=A∪(B∪C)=(A∪C)∪B, (AB)C=A(BC)=(AC)B
分配律
(A∪B)∩C=(A∩C)∪(B∩C)=AC∪BC,
(A∩B)∪C=(A∪C)∩(B∪C)=(A∪C)(B∪C)德$\cdot $摩根律(对偶律): $\overline{A\cup B} =\bar{A} \cap \bar{B} $ , $\overline{A\cap B} =\bar{A} \cup \bar{B} $
$\overline{\bigcup_{i=1}^{n}A_{i}}$=${\bigcap_{i=1}^{n}\bar{A_{i}}}$ , $\overline{\bigcap_{i=1}^{n}A_{i}}$=${\bigcup_{i=1}^{n}\bar{A_{i}}}$
$\overline{\bigcup_{i=1}^{\infty}A_{i}}$=${\bigcap_{i=1}^{\infty }\bar{A_{i}}}$ , $\overline{\bigcap_{i=1}^{\infty}A_{i}}$=${\bigcup_{i=1}^{\infty }\bar{A_{i}}}$
例:设A,B,C为三事件,用A,B,C的运算关系表示下列各事件
(1)A发生,B与C不发生
(2)A,B,C中至少有一个发生
(3)A,B,C中不多于一个发生
(4)A,B,C中不多于两个发生解:
(1) A$\bar B\bar C$ 或 A-B-C
(2)A$\cup $B$\cup $C 或 $\overline{\bar{A}\bar{B}\bar{C}} $
(3) $A\bar{B} \bar{C} \cup\bar{A} B\bar{C} \cup \bar{A}\bar{B}C\cup \bar{A} \bar{B}\bar{C} $ 或 $\overline{AB\cup BC\cup AC} $ 或 $\overline{AB} \cap \overline{BC} \cap \overline{AC} $
(4)$\overline{ABC}$ 或 $\bar{A} \cup\bar{B} \cup \bar{C}$
随机事件的概率
频率与概率
频率
在相同的条件下,进行了n次试验,在这n次试验中,事件A发生的次数$n_{A}$,称为事件A发生的频数
比值$\frac{n_{A} }{n} $称为事件A发生的频率,并记成$f_{n} (A)$
性质 设A是随机试验E的任一事件,则
- 0$\le f_{n} (A)\le 1$
- $f_{n} (\Omega )= 1$,$f_{n} (\Phi )=0$
- 若$A_{1} ,A_{2},…,A_{k}$是两两互不相容的事件,则$f(A_{1} \cup A_{2} \cup \cdots \cup A_{k} )=f_{n}(A_{1} )+f_{n}(A_{2} )+\cdots+f_{n}(A_{k} )$
概率
概率的统计学定义
在随机试验中,若事件A出现的频率m/n随着试验次数n的增加,趋于某一常数p,则定义事件A的概率为p($0\le p\le 1$),记作P(A)=p
缺陷:无法用此定义直接计算概率
概率的公理化定义
设试验E的样本空间为$\Omega $,对于每一事件A,定义事件P(A),满足如下条件:
(1)非负性:P(A)≥0
规范性:P($\Omega$)=1
可列可加性:若$A_{1} ,A_{2},…$是两两互不相容的事件,则$P(A_{1} \cup A_{2} \cup \cdots )=P_{n}(A_{1} )+P_{n}(A_{2} )+\cdots$
概率的性质
- P($\phi $)= 0
- 若$A_{1} ,A_{2},…$是两两互不相容的事件,则$P(A_{1} \cup A_{2} \cup \cdots \cup A_{n} )=P_{n}(A_{1} )+P_{n}(A_{2} )+\cdots+P_{n}(A_{n})$(概率的有限可加性)
- 对于任意事件A有P(A)≤1
- 设$\bar{A} $是A的对立事件,则P($\bar{A} $)=1- P(A)
- A, B是两事件,若A$\subset $B,则
- P(B-A)=P(B)-P(A)
- P(A)≤P(B)
- 一般地,对于任意时间A,B有P(A-B)=P(A)-P(AB)(减法公式)
- 加法公式 P($A \cup B$)=P(A)+P(B)-P(AB)
- 推广:P($A \cup B \cup C$)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)
古典概型
若随机试验 E满足:
- E的样本空间$\Omega$中含有有限个样本点
- 每个样本点出现的可能性相同,则试验E称为古典概型(有限等可能概型)
设$\Omega$={$\omega _{1} ,\omega _{2} ,\cdots ,\omega _{n} $},则$P(\omega _{i})=\frac{1}{n} $(i=1,2,$\cdots$,n)
设A为E的任意一个事件,A中包含k个基本事件,则P(A)=$\frac{k}{n}$,即P(A)=$\frac{A所含样本点个数}{\Omega 所含样本点个数} $
经典问题
无放回摸球
例:设袋中有M个红球和N个黑球,现从袋中无放回地依次摸出m+n个球,求所取球恰好含m个红球,n个黑球的概率?
解: 设A:”所取球恰好含m个红球,n个黑球”
样本点总数为$C_{M+N}^{m+n} $
A所含的样本点个数为$C_{M}^{m} C_{N}^{n}$
故P(A)=$\frac{C_{M}^{m} C_{N}^{n}}{C_{M+N}^{m+n} } $
有放回摸球
一般地: 一批产品共M+N件,其中M件正品,N件次品,从中依次取出n件,A:”其中恰有k件次品”,分别在”有放回”和”不放回”抽取方式下求P(A).
无放回
$P(A)=C_{n}^{k}\left ( \frac{N}{M+N}\right ) ^{k} \left ( \frac{M}{M+N}\right ) ^{n-k} $,$k=0,1,\cdots ,n$
不放回(一块取)
样本点总数为$C_{M+N}^{n} $
A所含的样本点个数为$C_{M}^{n-k} C_{N}^{k}$
故P(A)=$\frac{C_{M}^{n-k} C_{N}^{k}}{C_{M+N}^{n} } $
例:某班共有n名同学,全年按365天计算,求下列事件的概率.
A:”某指定n天,每位同学生日各占一天”
B:”全年某天,恰有两人在这一天生日相同”
C:”全班同学生日各不相同”
解:先求样本空间中所含样本点的个数
n个人在365天中过生日共有$365^{n} $种可能
(1)某指定n天,每位同学生日各占一天共有n!种可能,从而P(A)=$\frac{n!}{365^{n} } $
(2)全年某天,恰有两人在这一天生日相同
几何概型
条件概率
条件概率公式
设A,B是两个事件,且P(A)> 0,称P(B|A)=$\frac{P(AB)}{P(A)} $为在事件A发生的条件下事件B发生的条件概率;同理可得,P(A|B)=$\frac{P(AB)}{P(B)} $(P(B)>0)为在事件B发生的条件下事件A发生的条件概率
条件概率的性质
- 非负性: P(B|A)≥0
- 规范性: P($\Omega $|B)=1, P($\phi $|B)= 0
- 可列可加性:设$B_{1} ,B_{2},\cdots $是两两不相容的事件,则有$P\left ( \bigcup_{i=1}^{\infty }\mid A \right ) =\sum_{i=1}^{\infty } P(B_{i}|A )$
- P(A|B)=1-P($\bar{A} $|B)
- $P(A_{1} \cup A_{2}|B)=P(A_{1}|B)+P(A_{2}|B)-P(A_{1}A_{2}|B)$$P(A_{1}\cup A_{2})=P(A_{1})+P(A_{2})-P(A_{1}A_{2})$
乘法公式
$P(AB)=P(A|B)P(B)=P(B|A)P(A)$
推广:$P(A_{1}A_{2}\cdots A_{n})=P(A_{1})P(A_{2}|A_{1})P(A_{3}|A_{1}A_{2})\cdots P(A_{n}|A_{1}A_{2}\cdots A_{n-1})$
全概率公式
样本空间的划分
设$\Omega $为试验E的样本空间$B_{1},B_{2},\cdots ,B_{n}$为E的一组事件,若
- $B_{i}B_{j}=\emptyset;i\ne j; i,j=1,2,\cdots ,n$
- $B_{1}\cup B_{2}\cup \cdots \cup B_{n}=\Omega $
则称$B_{1},B_{2},\cdots ,B_{n}$为样本空间$\Omega $的一个划分
全概率公式
设试验E的样本空间为$\Omega $, A为任意事件, $B_{1},B_{2},\cdots ,B_{n}$为$\Omega $的一个划分,且$P(B_{i})>0$,(i=1,2,$\cdots$n),则$P(A)=P(A|B_{1})P(B_{1})+P(A|B_{2})P(B_{2})+\cdots P(A|B_{n})P(B_{n})$
贝叶斯公式
设试验E的样本空间为$\Omega $, A为任意事件, $B_{1},B_{2},\cdots ,B_{n}$为$\Omega $的一个划分,且P(A)>0,$P(B_{i})>0$,(i=1,2,$\cdots$n), 则
$P(B_{i}|A)=\frac{P(A|B_{i})P(B_{i})}{\sum_{j=1}^{n}P(A|B_{j})P(B_{j}) } $,(i=1,2,$\cdots$n)
事件的独立性
对两个事件A、B,如果P(AB)= P(A)P(B),则称A、B相互独立
定理一:设A、B是相互独立的两事件,若P(A)>0,则P(B|A)=P(B),若P(B)>0,则P(A|B)=P(A)
定理二:设A、B是相互独立的两事件,则下列各对事件也相互独立:
- A与$\bar{B} $;
- $\bar{A} $与B;
- $\bar{A} $与$\bar{B} $
对于三个事件A、B、C,
- P(AB)= P(A)P(B)
- P(AC)= P(A)P(C)
- P(BC)= P(B)P(C)
- P(ABC)= P(A)P(B)P(C)
若(1)、(2)、(3)同时成立,则称事件A、B、C两两独立;若(1)、(2)、(3)、(4)同时成立,则称事件A、B、C相互独立;相互独立必定两两独立,两两独立不一定相互独立.
推广:设$A_{1},A_{2},\cdots A_{n}$为n个事件,如果对其中任意s(2≤s≤n)个事件$A_{k1},A_{k2},\cdots A_{ks}$,均有:$P(A_{k1},A_{k2},\cdots A_{ks})=P(A_{k1})P(A_{k2})\cdots P(A_{ks})$则称$A_{1},A_{2},\cdots A_{n}$这n个事件相互独立
随机变量及其分布
随机变量的概念
设E是随机试验,它的样本空间为$\Omega ={\omega }$,如果对于每$\omega \in \Omega $,都有一个实数$X(\omega )$与之对应,这样就得到一个定义在$\Omega$上的单值实值函数$X(\omega )$,称$X(\omega )$为随机变量函数,简称随机变量.常用X、Y、Z$\cdots $或$\xi、\eta $表示
注意:
- 随机变量与普通的函数不同
随机变量是一个函数,普通函数是定义在实数轴上的,而随机变量是定义在样本空间上的(样本空间的元素不一定是实数) - 随机变量的取值具有一定的概率规律
随机变量随着试验的结果不同而取不同的值,由于试验的各个结果的出现具有一定的概率,因此随机变量的取值也有一定的概率规律
随机变量的分类
离散型随机变量
随机变量的取值是有限多个或无限可列多个,这样的随机变量称为离散型随机变量
定义
设离散型随机变量X所有可能取的值为$x_{k}(k=1,2,\cdots )$,X取各个可能值的概率,即事件$\{X=x_{k}\}$的概率,为$P\{X=x_{k}\}=p_{k},k=1,2,\cdots $,称此为离散型随机变量X的分布律
性质
- $p_{k}\ge 0,k=1,2,\cdots $
- $\sum_{k=1}^{\infty }p_{k}=1$
例题
某高校选修课”电影鉴赏”选中率为0.1,某同学有4次选课机会,选中为止,用随机变量X表示选择”电影鉴赏”课程的次数,求X的分布律
解:X所有可能取的值为1,2,3,4
P{X=1}=0.1
P{X=2}=(1-0.1)×0.1=0.09
P{X=3}=(1-0.1)$^{2}$×0.1=0.081
P{X=4}=(1-0.1)$^{3}$=0.729
两点分布与二项分布
两点分布(0-1分布)
设随机变量X只可能取0与1两个值,它的分布律为P(X=k)=p$^{k}$(1-p)$^{1-k}$,k=0,1(0<p<1),则称X服从(0-1)分布或两点分布
对于一次随机试验,事件A与$\bar{A} $有且只有一个发生,若P(A)=p,则P($\bar{A} $)=1-p,这样的试验称为伯努利试验
二项分布
将伯努利试验独立地重复进行了n次,称为n重伯努利试验
n重伯努利试验需满足:
- 独立,即各次试验的结果互不影响
- 同一结果在每次试验中出现的概率相同,即P(A)=p
- 事件A与A有且只有一个发生
用X表示n重伯努利试验中事件A发生的次数,则P{X=k}=$C^{k}_{n}p^{k}(1-p)^{n-k}$,(k=1,2,$\cdots $n),此时称X服从参数为(n,p)的二项分布,记作X~B(n,p),且$\sum_{n}^{k=0}C^{k}_{n}P^{k}(1-p)^{n-k} =[p+(1-p)]=1$
泊松分布
设随机变量所有可能取的值为0,1,2,$\cdots $,而取各个值的概率为$P\{X=k\}=\frac{\lambda ^{k}e^{-\lambda }}{k!} ,k=0,1,2,\cdots $,其中$\lambda$> 0是常数,则称X服从参数为$\lambda$的泊松分布,记为X~P($\lambda$)或X~$\pi(\lambda)$
$\sum_{k=0}^{\infty }\frac{\lambda ^{k}e^{-\lambda }}{k!}=e^{-\lambda}\sum_{k=0}^{\infty }\frac{\lambda ^{k}}{k!}=e^{-\lambda } e^{\lambda}$,其中$\sum_{k=0}^{\infty }\frac{\lambda ^{k}}{k!}=e^{\lambda }$(根据麦克劳林公式)
泊松分布适用于描述单位时间内随机事件发生的次数
一般地,当n>10,p<0.1时,$C^{k}_{n}p^{k}(1-p)^{n-k}\approx \frac{\lambda ^{k}e^{-\lambda }}{k!}$其中,$\lambda =np$
几何分布
在伯努利试验中,若每次试验中事件A发生的概率为p, X表示试验中A首次发生的试验次数,X的取值为1,2,$\cdots $,则称X服从参数为p的几何分布,其分布律为P{X=k}=(1-p)$^{k-1}$p ,k=1,2,$\cdots $,记为X~G(p)
几何分布用来描述事件首次成功的概率模型
例题
若小李每次射击的命中率为0.6,用X表示小李首次命中目标所用的射击次数,求X的分布律解:
P{X=k}=(1- 0.6)$^{k-1}$0.6= (0.4)$^{k-1}$0.6,k=1,2,$\cdots$
P{X>m+n|X>m}=P{X>n}
超几何分布
相当于古典概型中的无放回问题
设N件产品中有M件次品,从中任取n件产品,得到的次品数X为随机变量P{X=k}=$\frac{C^{k}_{m}C^{n-k}_{N-M}}{C^{n}_{N}} $,k=0,1,2,$\cdots$,min(n,M),则称X服从超几何分布
当n$\ll$N时,即抽取的产品数远小于产品总数时,作无放回抽取,随着M产品总数改变,次品率p=$\frac{M}{N} $改变微乎其微,因此,当n$\ll$N时,无放回抽取可看作有放回抽取
随机变量的分布函数
设X是一个随机变量,x是任意实数,函数F(x)= P{X$\le $x}称为X的概率分布函数,简称分布函数, F(x)也写成F$_{X}$(x)
分布函数主要研究随机变量在某一区间内取值的概率情况
$P\{a<X\le b\}=P\{X\le b\}-P\{X\le a\}=F(b)-F(a)$
$P\{a\le X\le b\}=F(b)-F(a)+P\{X=a\}$
$P\{a<X<b\}=F(b)-F(a)-P\{X=b\}$
分布函数F(x)是关于x的一个普通实函数,而不是随机变量函数
分布函数的性质
$0\le F(x)\le 1,x\in (-\infty ,\infty )$
$F(-\infty )=\lim_{x \to \infty} F(x)=0,F(+\infty )=\lim_{x \to \infty} F(x)=1$
$F(x_{}1)\le F(x_{}2),(x_{1}\le x_{2})$ (单调不减)
$\lim_{x \to x^{+}_{0}} F(x)=F(x_{0}),(-\infty <x_{0}<\infty )$ (右连续)
连续型随机变量
若对于随机变量X的分布函数F(x),存在非负可积函数f(x),使对于$\forall $x∈R,有$ F(x)=\int_{-\infty }^{x} f(t)dt$,则称X为连续型随机变量,其中f(x)称为X的概率密度函数,简称概率密度
性质
f(x)$\ge$0
$\int_{-\infty }^{+\infty } f(x)dx=1$
$ P\{x_{1}<X<x_{2}\}=F(x_{2})-F(x_{1})=\int_{x_{1}}^{x_{2}}f(x)dx$
$P\{X\le a\}=F(a)=\int_{-\infty }^{a} f(x)dx$
$P\{X>a\}=1-P\{X\le a\}=1-F(a)=\int_{-\infty }^{a} f(x)dx$
对于任意可能值a,连续型随机变量取a的概率等于零,即P{X=a}=0,$\int_{a}^{a} f(x)dx=0$,故$P\{x_{1}<X\le x_{2}\}=P\{x_{1}\le X\le x_{2}\}=P\{x_{1}<X<x_{2}\}$
连续型随机变量取值落在某一区间的概率与区间的开闭无关
若f(x)在点x处连续,则有F(x)`=f(x)
若X是连续型随机变量,{X=a}是不可能事件,则有P{X=a}=0;若P{ X=a}=0,事件{X=a}未必是不可能事件
若X是离散型随机变量,概率{X=a}是不可能事件$\rightleftharpoons $P{X=a}=0
均匀分布
定义设连续型随机变量X具有概率密度$f(x)=\left\{\begin{matrix}
\frac{1}{b-a}, &a<x<b ,\\0 ,
&其它.
\end{matrix}\right.$,则称X在区间(a,b)服从均匀分布,记为X~U(a,b)
X~U(a,b),则X落在区间(a,b)中任意等长度的子区间内的可能性是相同的
均匀分布的本质—几何概型
分布函数
$F(x)=\int_{-\infty }^{x} f(t)dt=\left\{\begin{matrix}
0, & x<a,\\
\frac{x-a}{b-a}, &a\le x<b, \\
1,&x\ge b.
\end{matrix}\right.$
指数分布
定义设连续型随机变量X的概率密度为$f(x)=\left\{\begin{matrix}
\lambda e^{-\lambda x},&x>0, \\
0,&x\le 0.
\end{matrix}\right.$,其中$\lambda$>0为常数,则称X服从参数为$\lambda$的指数分布,记为X~e($\lambda$)或X~Exp($\lambda$)
分布函数
$ F(x)=\left\{\begin{matrix}
1-e^{-\lambda x},&x>0 ,\\
0,&x\le 0.
\end{matrix}\right.$
指数分布是独立事件发生的时间间隔的分布
无记忆性:P{X>s+t|X>s}=P{X>t}
指数分布的应用:某些元件或设备的寿命服从指数分布
正态分布
设连续型随机变量X的概率密度为$f(x)=\frac{1}{\sqrt{2\pi \sigma } }e^{-\frac{(x-\mu )^{2}}{2\sigma^{2} } } ,-\infty
f(x)关于x=$\mu$对称
当x=$\mu$时,f(x)取得最大值$\frac{1}{\sqrt{2\pi \sigma } } $
当$x\to \pm \infty $,f(x)$\to $0
曲线在x=$\mu \pm \sigma $处有拐点
当固定$\sigma$,改变$\mu$的大小时,f(x)图形的形状不变,只是沿着x轴作平移变换
当固定$\mu$,改变$\sigma$的大小时,f(x)图形的对称轴不变,而形状在改变,$\sigma$越小,图形越高越瘦;$\sigma$越大,图形越矮越胖
应用
标准正态分布
当正态分布N($\mu ,\sigma ^{2}$)中的$\mu$=0,$\sigma $= 1时,这样的正态分布称为标准正态分布,记为N(0,1)
概率密度为$\varphi (x)=\frac{1}{\sqrt{2\pi } } e^{\frac{x^{2}}{2} },-\infty <x<\infty $
分布函数为$\Phi (x)=\int_{-\infty }^{x} \frac{1}{\sqrt{2\pi } } e^{\frac{r^{2}}{2} } dt,-\infty <x<\infty $
性质
- $\Phi (-x)=1-\Phi (x)$
- $若X\sim N(\mu ,\sigma ^{2}),则Z=\frac{X-\mu }{\sigma } \sim N(0,1)$
一维随机变量的函数的分布
离散型随机变量
若X是离散型随机变量,则Y=g(X)也一定是离散型随机变量
连续性随机变量
设随机变量X的具有概率密度$f_{x}(x)$,其中-∞<x<+∞,又设函数g(x)处处可导,且恒有${g}’ (x)>0$[或恒有${g}’ (x)<0$],则称Y=g(X)是连续型随机变量,其概率密度为
$f_{Y}(y)=\left\{\begin{matrix}
f_{X}[h(y)]|{h}’(y)| ,& \alpha <y<\beta \\
0,&其他
\end{matrix}\right.$
其中$\alpha$=min(g(-∞),g(+)),$ \beta $= max(g(-∞),g(+∞)),h(y)是g(x)的反函数
