概率论与数理统计基础（简）

1. 概率论与数理统计基础（简） 詹鹏 北京师范大学

2. 主要内容 • 概率论的基本概念 • 随机变量及其分布 • 多维随机变量及其分布 • 随机变量的数字特征 • 大数定律及中心极限定理 • 样本及抽样分布

3. 参考书 • 盛骤、谢式千、潘承毅 编著：《概率论与数理统计》（第四版），高等教育出版社，2010年11月. • 陈希孺 编著：《概率论与数理统计》，中国科学技术大学出版社，2009年2月.

4. 概率论的基本概念 • 随机试验 • 样本空间，随机事件，事件的关系 • 频率，概率 • 等可能概型：放回抽样，不放回抽样 • 条件概率 • 独立性

5. 随机试验 • 例子：抛一枚银币，观察正面H、反面T出现的情况； • 例子：将一枚硬币抛掷三次，观察正面H、反面T出现的情况； • 例子：在一批灯泡中任意抽取一只，测试它的寿命； • 例子：记录某地一昼夜的最高温度和最低温度。 • 特点： • 1、可以在相同的条件下重复地进行； • 2、每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果； • 3、进行一次试验之前不能确定哪一个结果会出现。

6. 样本空间 • 随机试验E的所有可能结果组成的集合。 例子： • 随机试验“抛一枚银币，观察正面H、反面T出现的情况”的样本空间是： • S1: {H, T} 例子： • 随机试验“在一批灯泡中任意抽取一只，测试它的寿命”的样本空间： • S2: {t | t ≥ 0 }

7. 随机事件（简称“事件”） • 试验E的样本空间S的子集为E的随机事件，简称事件。 • 在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生。 • 有一个样本点组成的单点集，成为基本事件。 例子： • 随机试验“抛一枚银币，观察正面H、反面T出现的情况”，结果出现正面向上的结果。 -- > 这是一个“随机事件”

8. 事件间的关系与事件的运算 • A ⊂ B：事件B包含事件A，也即如果事件A发生，事件B必然发生。 • A ∪ B：事件A和事件B的并集，表示事件A和事件B中至少一个发生，那么A ∪ B 发生。 • A ∩ B：事件A和事件B的交集，表示事件A和事件B必须同时发生， A ∩ B才发生。 • A – B：表示事件A与事件B的差事件，即A发生且B不发生的时候，A-B发生的集合。 • A ∩ B = Ø：表示A与B的交集为空，所以，称事件A与事件B是互不相容的，或互斥的。表示，事件A与事件B不能同时发生。 • A ∩ B = Ø 且 A ∪ B = S：表示事件A与事件B互为逆事件。又称事件A与事件B互为对立事件。

9. 频率与概率 • 频率：在相同条件下，进行了n次试验，在这n次试验中，事件A发生的次数 nA称为事件A发生的频数。比值nA / n 称为事件A发生的频率。 • 概率：设E是随机试验，S是它的样本空间。对于E的每一事件A赋予一个实数，记为P(A)，称为事件A的概率，如果集合函数P(.)满足下列条件： • （1）非负性，对于每一个事件A，有P(A) ≥ 0; • （2）规范性，对于必然事件S，有P(S)=0; • （3）可列可加性，设A1,A2,A3,...是两两互不相容的事件，则有 P(A1 ∪ A2 ∪ ...) = P(A1) + P(A2) + ...

10. 等可能概型 • 具备以下两个特征的试验，被称为等可能概型，也成为古典概型： • 1、试验的样本空间只包含有限个元素； • 2、试验中每个基本事件发生的可能性相同。 • 例子：一口袋装有6只球，其中4只白球、2只红球。从袋中取球两次，每次随机地取一只。考虑两种取球方式： • （a）第一次取一只球，观察其颜色后放回袋中，搅匀后再取一球。（这种取球方式叫做放回抽样） • （b）第一次取一球不放回袋中，第二次从剩余的球中再取一球（这种取球方式叫做不放回抽样）。

11. 条件概率 • 事件A已经发生的情况下，事件B发生的概率。表示方式P(B|A)。 • 例子：将一枚硬币抛掷两次，观察其出现正反面的情况。设事件A为“至少有一次为H”，事件B为“两次都是同一面”。现在求已知事件A已经发生的条件下，事件B发生的概率。 【解答】 • 样本空间S={HH, HT,TH, TT} • 事件A={HH, HT, TH} • 事件B={HH, TT} • 由于A已经发生，所以可能的结果是A中的三种情况之一，也即B的TT不可能发生。所以，在A的三种情况中，如果是HH，那么B也会发生，所以得到P(B|A) =1/3。

12. 独立性 • 若事件A的发生与事件B的发生之间没有关系，那么事件A与事件B为相互独立的事件。 • 用公式表示为 • P(AB)=P(B|A)P(A)=P(A) P(B) • 也即P(B|A)=P(B) 且 P(A|B)=P(A)

13. 随机变量及其分布 • 随机变量 • 离散型随机变量及其分布律 定义；0-1分布；伯努利试验、二项分布；泊松分布 • 随机变量的分布函数 • 连续型随机变量及其概率密度 定义；均匀分布；指数分布；正态分布 • 随机变量的函数的分布

14. 随机变量 • 定义 设随机试验的样本空间为 S = { e }，X=X(e)是定义在样本空间S上的实值单值函数。称X = X(e)为随机变量。 例子： • 随机试验“将一枚硬币投掷三次，观察出现的结果”，将出现的可能结果量化（每个结果赋予一个值），例如只关心出现H的次数，那么 • 这里X就是随机变量。X右侧的值，即是出现特定结果以后的取值。

15. 离散型随机变量及其分布律 • 有些随机变量，它全部可能取到的不相同的值是有限个或可列无限多个。这种随机变量成为离散型随机变量。 • 例子：前面抛硬币的例子。 • 例子：某城市的120急救电话台一昼夜收到的呼唤次数。

17. 分布律的例子 • 一个一般的表示方式 • 例子： • 随机试验“将一枚硬币投掷一次，观察出现的结果”，出现正面次数作为随机变量的取值。那么

18. 0-1分布 • 设随机变量X只可能取值0与1两个值，他的分布律是 • 其分布律也可以写成

19. 伯努利试验、二项分布 • 设试验E只有两个可能的结果：A及，则称E为伯努利试验。 • 设，此时。将E独立重复地进行n次，则称这一串重复的独立试验为n重伯努利试验。 此时，若取n次试验中出现A的次数作为随机变量的取值，那么它的概率为 • 注意到刚好是二项式展开式中出现的项。故称随机变量X服从参数为n和p的二项分布，记为。

20. 泊松分布 • 设随机变量X所有可能的取值为0,1,2,3,...而取各个值的概率为 • 其中是常数。则称X服从参数为的泊松分布，记为

21. 随机变量的分布函数 • 定义 设X是一个随机变量，x是任意实数，函数称为X的分布函数。 几个性质： • （1）F(x)是一个不减函数； • （2），且 • （3）F(x+0)=F(x)，即F(x)是右连续的。 一个例子： • 随机试验“投掷一枚硬币，正面向上的次数”，其分布函数。

22. 连续型随机变量及其概率密度 • 对于随机变量X，如果其取值是可列的数值，那么是离散型随机变量；如果X的取值是连续型数据，即全部取值不仅是无穷多的，并且还不能无遗漏地逐一排列，而是充满一个区间，那么它是连续性随机变量。 • 例如：如果X服从参数为a和b的均匀分布，那么X的可能取值是a与b之间的任意取值。显然这是不可列的、无穷多个，且充满了a与b之间的整个区间。

23. 连续型随机变量及其概率密度 • 设连续性随机变量X有概率分布函数F(x)，则F(x)的倒数f(x)=F'(x)称为X的概率密度函数。 • 几个性质： • （1） • （2） • （3）对任意常数a<b，有

24. 均匀分布 • 设连续型随机变量X具有概率密度函数则称X在区间(a,b)上服从均匀分布。记为。

25. 指数分布 • 设连续型随机变量X具有概率密度函数其中为常数，则称X服从参数为的指数分布。

26. 正态分布 • 设连续型随机变量X具有概率密度函数其中为常数，则称X服从参数为和的正态分布或高斯分布，记为。

27. 随机变量函数的分布 • 如果随机变量，那么X的线性函数也服从正态分布。

28. 多维随机变量及其分布 • 二维随机变量 • 多维随机变量 • 一个简单例子

29. 二维随机变量 & 多维随机变量 • 设E是一个随机试验，它的样本空间是S={e}，设X=X{e}和Y=Y{e}是定义在S上的随机变量，由它们构成的一个向量(X,Y)，叫做二维随机向量或二维随机变量。 离散型多维随机向量 • 定义 以记的全部可能值（i=1,2,...），则事件的概率 称为随机向量X=（）的概率函数或概率分布，概率函数应满足条件：

30. 二维随机变量 & 多维随机变量 • 设E是一个随机试验，它的样本空间是S={e}，设X=X{e}和Y=Y{e}是定义在S上的随机变量，由它们构成的一个向量(X,Y)，叫做二维随机向量或二维随机变量。 连续型多维随机向量 • 定义 若是定义在n维实数集上的非负函数，使对n维实数集的任何集合A，有则称f是X的概率密度函数。

31. 二维随机变量 & 多维随机变量

32. 随机变量的数字特征 • 数学期望 • 方差 • 协方差和相关系数

33. 数学期望 • 定义 设离散型随机变量X的分布律为若级数绝对收敛，则称级数为随机变量X的数学期望，记为E(X)。 • 设连续性随机变量X的概率密度为f(x)，若积分绝对收敛，则称积分的值为随机变量X的数学期望，记为E(X)。 • 数学期望简称为期望，又称为（总体）均值，不过要与样本均值区分开。

34. 方差 • 定义 设X是一个随机变量，若存在，则称它为X的方差，记为D(X)或Var(X)。 协方差及相关系数 • 定义 量称为随机变量X与Y的协方差。记为Cov(X,Y)。而称为随机变量X与Y的相关系数。

35. 大数定律及中心极限定理 • 大数定律 依概率收敛、伯努利大数定律、辛钦大数定律 • 中心极限定理 独立同分布的中心极限定理

36. 依概率收敛 • 定义 设是一个随机变量序列，a是一个常数。若对于任意整数，有则称序列依概率收敛于a，记为 伯努利大数定理 • 设是n次独立重复试验中事件A发生的次数。p是事件A在每次试验中发生的概率，则对于任意整数有或

37. 辛钦大数定理 • 设随机变量相互独立，服从同一分布，且具有数学期望，则对于任意整数有或

38. 独立同分布的中心极限定理 • 设随机变量相互独立，服从同一分布，且具有数学期望，方差，则随机变量的和的标准化变量服从标准正态分布

39. 样本及抽样分布 • 一些概念 总体、个体、容量、有限总体、无限总体、样本、样本值 等 • 几个主要的抽样分布 分布（卡方分布）、T分布、F分布

40. 一些概念 • 总体：试验的全部可能的观察值 • 个体：每个可能的观察值 • 容量：总体中所包含的个体个数 • 有限总体：容量为有限的总体 • 无限总体：总量为无限的总体

41. 一些概念 • 样本：根据总体的分布函数随机得到的子集（通俗说法）。【标准定义】设X是具有分布函数F的随机变量，若相互独立，都服从这个分布函数，则称为从分布函数F（或总体F，或总体X）得到的容量为n的简单随机样本，简称样本。 • 它们的观察值称为样本值，也称为X的n个独立的观察值。

42. 抽样分布 • 统计量：设是来自总体X的一个样本，是的函数，若中不含未知参数，则称是一个统计量。 • （简单地说，统计量是根据样本值直接计算得到的一个数值。例如平均值、方差等都是统计量。）

43. 抽样分布—几个常用统计量 • 样本平均值： • 样本方差： • 样本标准差： • 样本k阶（原点）矩： • 样本k阶中心距：

44. 卡方分布 • 定义 设是来自总体N(0,1)的样本，则称统计量服从自由度为n的分布，记为。

45. T分布 • 定义 设，，且X和Y相互独立，则称随机变量服从自由度为n的t分布，记为。

46. F分布 • 定义 设，，且U和V相互独立，则称随机变量服从自由度为的F分布，记为。