360 likes | 688 Views
多元回归分析:异方差性. y = b 0 + b 1 x 1 + b 2 x 2 + . . . b k x k + u. 异方差之定义. 同方差性假定意味着 Var(u|X)= 常数。 然而,若 u 的方差因 X 而异,则出现异方差。 例子:估计教育的回报,能力因素不可观测进入 u 之中,然而能力因教育水平而已。. 异方差性图示. f( y|x ). y. E( y | x ) = b 0 + b 1 x. x 1. x 2. x 3. x. 异方差的后果. 即使不满足同方差性, OLS 估计仍然是无偏和一致的。
E N D
多元回归分析:异方差性 y = b0 + b1x1 + b2x2 + . . . bkxk + u 计量经济学导论 刘愿
异方差之定义 • 同方差性假定意味着Var(u|X)=常数。 • 然而,若u的方差因X而异,则出现异方差。 • 例子:估计教育的回报,能力因素不可观测进入u之中,然而能力因教育水平而已。 计量经济学导论 刘愿
异方差性图示 f(y|x) y . . E(y|x) = b0 + b1x . x1 x2 x3 x 计量经济学导论 刘愿
异方差的后果 • 即使不满足同方差性,OLS估计仍然是无偏和一致的。 • 如出现异方差,参数估计值的标准误是有偏的。 • 标准误有偏,通常的t统计量和F统计量或者LM统计量在统计推断时失效。 计量经济学导论 刘愿
出现异方差时的方差 计量经济学导论 刘愿
出现异方差时的方差 计量经济学导论 刘愿
稳健标准误 • 如果我们获得方差的一致估计值,则可用之作为标准误进行统计推断。 • 通常,我们称之为稳健标准误。 • 有时候,估计的方差乘以n/(n – k – 1)进行自由度修正。当n → ∞,自由度修正无关紧要。 计量经济学导论 刘愿
稳健标准误(续) • 稳健标准误只有渐进的正确性:在小样本情况下,以稳健性标准误计算的t统计量并不服从t分布,据此作统计推断并不正确。 • 换言之,稳健标准误和稳健t统计量只有在样本量很大时才是确当的。 计量经济学导论 刘愿
例子8.1 异方差-稳健标准误的工资对数方程 计量经济学导论 刘愿
一般的LM统计量 计量经济学导论 刘愿
稳健LM统计量 • 对受约束模型进行OLS回归并保存残差项ŭ. • 依次将排除的自变量对所有其他未排除的自变量进行回归(q个回归方程),保存每次回归的残差项ř1, ř2, …, řq. • 将1对ř1 ŭ, ř2 ŭ, …, řq ŭ进行零截距回归。 • LM统计量是n – SSR1,其中SSR1是最后一个回归所得到的残差平方和。 计量经济学导论 刘愿
异方差检验 • 实质上是检验test H0: Var(u|x1, x2,…, xk) = s2, 或H0: E(u2|x1, x2,…, xk) = E(u2) = s2 • 假设u2与xj的关系是线性的,则可检验一个线性约束。 • 如对模型u2 = d0 + d1x1 +…+ dk xk + v,则检验H0: d1 = d2 = … = dk = 0 计量经济学导论 刘愿
Breusch-Pagan检验 • 误差项不可观测,但可以从OLS回归中估计之。 • 将残差平方对所有自变量进行回归后,获得R2形成F或LM检验。 • F统计量恰好是报告的模型总体显著性的F统计量,服从Fk, n – k – 1分布。 F = [R2/k]/[(1 –R2)/(n – k – 1)] LM统计量为LM = nR2, 服从c2k分布 计量经济学导论 刘愿
异方差性的BP检验 计量经济学导论 刘愿
例8.4 住房价格方程中的异方差性 计量经济学导论 刘愿
怀特检验 • BP检验能够发现任何线性的异方差性。 • 怀特检验允许对x的平方项和交互项进行非线性检验。 • 仍然使用F 或 LM 检验是否所有的xj, xj2及xjxh联合显著。 • 这样会耗费很多自由度,怀特检验可以使用另外的技巧。 计量经济学导论 刘愿
怀特检验的备选形式 • OLS的拟合值ŷ是所有x的函数。 • 因此,ŷ2是x的平方项和交互项的函数,ŷ和ŷ2可作为xj, xj2及xjxh代理变量。 • 将残差平方和对ŷ和ŷ2进行回归,并使用R2计算F 或LM 统计量。 • 注意只是检验2两个约束。 计量经济学导论 刘愿
加权最小二乘法(WLS) • 总是有办法估计OLS估计量的稳健标准误。如果我们知道异方差的特定形式,我们可以获得比OLS更有效的估计量。 • 基本的想法是,将其转换成拥有同方差标准误的模型,即加权最小二乘法。 计量经济学导论 刘愿
已知异方差形式的例子 • 假设异方差表现为Var(u|x) = s2h(x),关键是找出函数h(x). • 因为hi是x 的一个函数, Var(ui/√hi|x) = s2 ,所以E(ui/√hi|x) = 0。 • 因此,如果将方程两边除以√hi,我们将获得同方差之模型。 计量经济学导论 刘愿
例子:储蓄方程的异方差 计量经济学导论 刘愿
更一般的例子 计量经济学导论 刘愿
广义最小二乘法(GLS) • 用OLS估计转换后的方程是广义最小二乘法(GLS)的一个例子。 • GLS是最优线性无偏估计。 • GLS 是加权最小二乘估计,其中残差平方以Var(ui|xi)的倒数为权数。 计量经济学导论 刘愿
加权最小二乘法 • 直觉地考察为何将OLS应用于转换过的方程是合适的,尽管这一转换较为琐碎。 • 加权最小二乘估计可以得到同样的结果,即使没有经过方程转换。 • 基本的想法是使误差平方和最小。 (以1/hi权重) • 要将估计值放到原方程中解释。 计量经济学导论 刘愿
加权最小二乘估计:评论 • 如果我们了解Var(ui|xi) 的形式,WLS是一个不错的选择。 • 在很多情况下,我们并不知道异方差的形式。 • 一个例子是,回归时数据时加总的,但模型则是针对个人的。 • 希望以个体数为权数对每个加总的观测进行加权。 计量经济学导论 刘愿
可行GLS(FGLS) • 更常见的情况是我们不知道异方差的形式。 • 在这种情况下,需要估计h(xi)。 • 通常来说,我们假设异方差的形式较具有弹性,如 Var(u|x) = s2exp(d0 + d1x1 + …+ dkxk) • 既然我们不知道d, 则必须估计之。 计量经济学导论 刘愿
FGLS (续) • 我们的假设意味着u2 = s2exp(d0 + d1x1 + …+ dkxk)v • 其中,E(v|x) = 1, 如E(v) = 1 • ln(u2) = a0+ d1x1 + …+ dkxk + e 其中E(e) = 1 且e独立于x。 • û是u的估计值, 我们可以用OLS估计上式。 计量经济学导论 刘愿
FGLS (续) • h的估计值是ĥ = exp(ĝ), 其倒数即为权重.。接下来的程序是: (1)用OLS估计原来的模型,保存残差û,取其平方之对数。 (2)将ln(û2)对所有自变量进行回归获得拟合值ĝ. (3)以1/exp(ĝ)作为权重进行WLS回归。 计量经济学导论 刘愿
再议线性概率模型 计量经济学导论 刘愿
用WLS估计线性概率模型 计量经济学导论 刘愿
WLS Wrapup • When doing F tests with WLS, form the weights from the unrestricted model and use those weights to do WLS on the restricted model as well as the unrestricted model • Remember we are using WLS just for efficiency – OLS is still unbiased & consistent • Estimates will still be different due to sampling error, but if they are very different then it’s likely that some other Gauss-Markov assumption is false 计量经济学导论 刘愿