1 / 64

高等学校经济学类核心课程

高等学校经济学类核心课程. 计 量 经 济 学. Econometrics. 云南财经大学数量经济系. 第三章 多元线性回归模型. § 3.1 多元线性回归模型 § 3.2 多元线性回归模型的参数估计 § 3.3 多元线性回归模型的统计检验 § 3.4 多元线性回归模型的预测 § 3.5 可线性化的多元非线性回归模型 § 3.6 受约束回归. §3.1 多元线性回归模型. 一、模型形式 二、基本假定. 一、模型形式. 注意 ：（ 1 ）解释变量 X 的个数： k 回归系数  j 的个数 ： k ＋ 1

ebony-bowen
Download Presentation

高等学校经济学类核心课程

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 高等学校经济学类核心课程 计 量 经 济 学 Econometrics 云南财经大学数量经济系

  2. 第三章 多元线性回归模型 § 3.1 多元线性回归模型 § 3.2 多元线性回归模型的参数估计 § 3.3 多元线性回归模型的统计检验 § 3.4 多元线性回归模型的预测 § 3.5 可线性化的多元非线性回归模型 § 3.6 受约束回归

  3. §3.1 多元线性回归模型 一、模型形式 二、基本假定

  4. 一、模型形式 注意：（1）解释变量X的个数：k 回归系数 j的个数：k＋1 （2）j：偏回归系数，表示了Xj对Y的净影响 （3）X的第一个下标 j区分变量（j＝1，2，……，k） 第二个下标 i区分观测（i＝1，2，……n）

  5. 总体回归函数（PRF） • 样本回归函数（SRF） • 样本回归模型（SRM） 其中：ei 称为残差 (residuals)，可看成是随机误差项 i的近似替代。

  6. 总体回归模型的矩阵表示 1、总体回归模型表示了n个随机方程，引入如下矩阵记号： 2、于是，总体回归模型可以表示为：

  7. 样本回归模型和函数的矩阵表示 1、同理，采用如下矩阵记号： 2、于是，样本回归模型和函数可以表示为：

  8. 二、多元线性回归模型的基本假设 ►假设1：解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。 ►假设2：随机误差项具有零均值、同方差和无序列相关性： E(i)=0 Var (i)=2 i=1,2, …,N Cov(i, j)=0 i≠j i,j= 1,2, …,N ►假设3：随机误差项与解释变量X之间不相关： Cov(Xji, i)=0 i=1,2, …,N ►假设4：服从零均值、同方差、零协方差的正态分布 i~N(0, 2 ) i=1,2, …,N

  9. 基本假设的矩阵表示 假设1: n(k+1)矩阵X是非随机的，且X的秩=k+1，即X列满秩。 假设2: 假设4: 向量有一多维正态分布，即

  10. 暗含假设 假设5：样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n∞时， 或 其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差为元素组成的nk阶矩阵 假设6：回归模型是正确设定的

  11. §3.2 多元线性回归模型的参数估计 一、普通最小二乘估计 二、参数估计量的性质 三、样本容量问题

  12. 参数估计的任务和方法 1、估计目标：回归系数βj、随机误差项方差б2 2、估计方法：OLS、ML或者MM * OLS：普通最小二乘估计 *ML：最大似然估计 *MM：矩估计

  13. 一、普通最小二乘估计 • 基本思想：残差平方和最小 • 基于取得最小值的条件获得系数估计）

  14. 残差平方和： 取得最小值的条件：

  15. 正规方程组： 解此（k＋1）个方程组成的正规方程组，即可求得（k+1)个未知参数βj的估计 。

  16. 最小二乘估计的矩阵表示 1、正规方程组的矩阵形式 2、由于X’X满秩(其逆矩阵存在），故有

  17. ＃OLSE的矩阵估计过程 残差平方和的矩阵表示为： 矩阵有关定理

  18. #参数估计的实例 例3.2.1：在例2.1.1的家庭收入-消费支出例中，

  19. 误差方差2的估计 1、基于OLS下，随机误差项  的方差的无偏估计量为 注意：分母的形式：n-k-1 = n-(k+1)。 k：解释变量X的个数；k+1：回归系数的个数 2、 称为估计标准误或者回归标准误（S.E of regression）

  20. *最大似然估计*（Maximum Likelihood Estimate） 1、基本原理：样本观测值出现的概率最大。 2、似然函数： 3、最大似然估计MLE： 参数的MLE与参数的OLSE相同

  21. *矩估计*（Moment Method，MM） 1、OLS估计是通过得到一个关于参数估计值的正规方程组 并对它进行求解而完成的。 2、该正规方程组可以从另外一种思路来导出: 两侧求期望 : 矩条件

  22. 称为原总体回归方程的一组矩条件，表明了 1、 原总体回归方程所具有的内在特征。 2、如果随机抽出原总体的一个样本，估计出的样本回归方程： 能够近似代表总体回归方程的话，则应成立： *矩条件和矩估计量* 3、由此得到正规方程组： 解此正规方程组即得参数的MM估计量。 MM估计量与OLS、ML估计量等价。

  23. *关于矩估计* 矩方法是工具变量方法(Instrumental Variables,IV)和广义矩估计方法(Generalized Moment Method, GMM)的基础 • 在矩方法中关键是利用了：E(X’)=0 • 如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然可以构成一组矩条件。这就是IV。 • 如果存在＞k+1个变量与随机项不相关，可以构成一组包含＞k+1方程的矩条件。这就是GMM。 • OLS只是GMM的一个特例

  24. 二、最小二乘估计量的性质 高斯—马尔可夫定理(Gauss-Markov theorem): 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量，即最佳线性无偏估计量（BLUE）。

  25. 1、线性： 其中,C=(X’X)-1 X’为一仅与固定的X有关的行向量 2、无偏性: 这里利用了假设: E(X’)=0

  26. 3、有效性: 其中利用了:

  27. 参数估计量的概率分布 1、由参数估计量的上述性质和基本假设，易知： • 线性性＋基本假设 → 正态分布 • 无偏性 → 期望为β • 有效性的证明 → 方差表达式 2、记 C=(X’X)-1的第j 个主对角元素为 Cjj（j=0,1,…,k)，则：

  28. 三、样本容量问题 • 最小样本容量 • 满足基本要求的样本容量

  29. 1、最小样本容量 • 所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 • 样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即：n k+1 • 因为，无多重共线性要求：秩(X)=k+1

  30. 2、基本样本容量 • 从统计检验的角度： • n30时，Z检验才能应用； • n-k  8时, t分布较为稳定 • 一般经验认为: • 当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。 • 模型的良好性质只有在大样本下才能得到理论上的证明

  31. §3.3 多元线性回归模型的统计检验 一、拟合优度检验 二、方程显著性检验 三、变量显著性检验

  32. 一、拟合优度检验 • 目的：测定样本回归函数对样本观测值的拟合紧密程度 • 指标：R2、Adj(R2)

  33. 可决系数R2(coefficient of determination) 1、定义： 0<R2<1，该统计量越接近于1，模型的拟合优度越高。 • 2、问题： • 在模型中增加一个解释变量， R2往往增大 • 但是：增加解释变量个数往往得不偿失，不重要的变量不应引入。 • 增加解释变量使得估计参数增加，从而自由度减小。如果引入的变量对减少残差平方和的作用很小，这将导致误差方差σ2的增大，引起模型精度的降低。 • 因此：R2需调整。

  34. 调整的可决系数Adj(R2)（adjusted coefficient of determination） 1、调整思路:将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响。 2、自由度：统计量可自由变化的样本观测值的个数，记为df TSS：df＝n－1 ESS：df＝ k RSS：df＝ n－k－1 注意： df（TSS)=df(ESS)+df(RSS) 3、定义：

  35. # Adj(R2)的作用 1、消除拟合优度评价中解释变量的多少对拟合优度的影响 2、对于因变量Y相同，而自变量X个数不同的模型，不能用R2直接比较拟合优度，而应使用Adj（R2）。 3、可以通过Adj（R2）的增加变化，决定是否引入一个新的解释变量。 # Adj(R2)与R2的关系 Adj（R2）<= R2，即：调整可决系数不大于未经调整的可决系数。随着解释变量的增加，二者的差异越来越大。

  36. *赤池信息准则和施瓦茨准则*(AIC&SC) • 用于比较因变量相同，解释变量个数不同的多元回归模型的拟合优度 ※ 赤池信息准则（Akaike information criterion, AIC） ※ 施瓦茨准则（Schwarz criterion，SC） • 这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。

  37. 二、方程的显著性检验（F检验） • 目的：检验Y与所有X的线性关系在总体上是否成立 • 方法：F检验

  38. 1、原假设和备择假设 • 检验模型中的参数j是否至少有一个显著不为0。 • Yi=0+1X1i+2X2i+  +kXki+i i=1,2,,n • 原假设与备择假设： H0： 0=1=2=  =k=0 H1： j不全为0

  39. 2、检验统计量 可以证明，在原假设H0成立的条件下： F～ F (k , n-k-1) 其中：k为模型中解释变量个数

  40. 3、检验步骤 H0： 0=1=2=  =k=0 H1： j不全为0 （1）提出原假设和备择假设： （2）在H0成立的条件下，计算检验统计量的值： （3）给定显著性水平，可得到临界值：F(k,n-k-1) 右侧检验 • （4）如果 F F(k,n-k-1)，拒绝原假设，总体线性关系成立 • 如果 F F(k,n-k-1)，接受原假设，总体线性关系不成立

  41. ＃ 拟合优度和方程显著性检验

  42. 示例： • 在中国居民人均收入-消费一元模型中， • 在中国居民人均收入-消费二元模型中， • 可见：一个显著的模型并不意味着拟合优度一定很高 • 注意到F检验是一个严格的统计检验，因此实际中要多参考这一检验的结果。

  43. 三、变量的显著性检验（t检验） • 目的：检验Y与某个Xj的线性关系在总体上是否成立或者 • 说Xj对Y是否存在显著影响 • 方法： t检验

  44. 1、原假设和备择假设 • 检验模型中Xj对应的系数j是否显著不为0。 • Yi=0+1X1i+2X2i+  +jXji＋ +kXki+i • 原假设与备择假设： H0： j=0 H1： j≠0

  45. 2、检验统计量 • 参数估计量的概率分布： • 2为随机误差项的方差，在实际计算时，用它的估计量代替: • 可构造t统计量:

  46. 3、检验步骤： （1）建立原假设和备择假设： H0：βj＝0 H1：βj≠0 （2）在原假设成立的条件下计算t统计量的值 （3）给定显著性水平，可得到临界值t/2(n-k-1) 双侧检验 （4）如果|t| t/2(n-k-1)，拒绝原假设，Xj对Y存在显著影响 如果|t| t/2(n-k-1)，接受原假设，Xj对Y不存在显著影响

  47. 对t检验的说明 • 1、在一元线性回归模型中，变量的显著性t检验与方程的F检验是一致的 • 一方面，二者检验的假设一致：β1＝0 • 另一方面，从检验统计量来看：F＝t2 • 2、在多元线性回归模型中，二者的作用不同，并不等价 • 3、在多元回归模型中，对各个变量的进行t检验时，显著性水平应该一致 • 4、t检验未通过，说明在给定的显著性水平下，变量对Y没有显著性影响，但不要简单的剔除变量，关键仍然是考察变量在经济关系上是否对因变量有影响以及变量在模型及应用中的作用，显著性检验起到验证的作用

  48. 三、参数的置信区间

  49. j (j=0,1,2,……,k）的置信区间 • 在变量的显著性检验中已经知道： • 给定置信度（1-），对于临界值t/2 (n-2)，t值处在(-t/2, t/2)的概率是1-。表示为： • 于是得到:(1-)的置信度下, j的置信区间是

  50. §3.4 多元线性回归分析的预测 一、均值E(Y0)的置信区间 二、个值Y0的置信区间

More Related