多元回归异方差模型方差的局部多项式估计

1. 多元回归异方差模型方差的局部多项式估计 重庆理工大学 数学与统计学院 苏理云 合作者：赵彦勇 2011.3.3

2. 目标： • 通过对异方差的多元局部多项式估计，改进多元线性异方差回归模型对参数估计的不精准性。本文利用局部多项式回归的非参数方法用于多元线性异方差模型中的方差进行两阶段估计，改进了传统的两阶段法，得到了估计的渐近正态性，并且使得估计的精度进一步提高。

3. 主要内容： • 局部多项式拟合理论 • 模型与方法 • 仿真模拟 • 结论

4. 局部多项式拟合理论 局部多项式拟合是一个用途广泛的非参数技术，它拥有多种好的统计特性．令 是定义在 中的回归函数的 阶导数 ，局部多项式技术可非常方便地用来估计，包括回归函数 本身，由于回归函数的形式没有被指定，因而距离 远的数据点对 提供了很少的信息.因此，我们只能使用 附近的局部数据点．假定 在 处有 阶导数，由泰勒展开，对局部领域的，我们有

5. 在统计建模方面，对 周围的局部点，我们建模 为 参数 依赖于 ，故称为局部参数。显然局部参数 ，用局部数据拟合可极小化

6. 其中 控制局部邻域大小的带宽． 使用矩阵记号来表示局部多项式回归更为方便．用 表示相应于上式的设计矩阵： 且令

7. 则加权最小二乘估计问题能够写为： 其中 ， 是对角阵，它的第i个元 素是 ，解向量为 为了实现局部多项式估计，我们需要选择阶数 ，带宽 和核函数 .当然这些参数相互关联．当 时，局部多项式拟合就变成全局多项式拟合，阶数 决定模型的复杂性。

8. 与参数模型不同，局部多项式估计拟合的复杂性是由带宽来控制的． 通常是较小的，故而选择 的问题就变得不重要了．如果目的是估计 ，则当 是奇数，局部多项式拟合自动修正边界偏倚．进一步，则当 是奇数，与 阶拟合相比较， 阶拟合包含了一个多余常数，但没有增加估计的 方差。不过这个参数创造了一个降低偏倚的机会，特别是在边界区域．另一方方面，带宽 的选择在多项式拟合中起着重要作用．太大的带宽引起过渡平滑，产生过大的建模偏倚，而太小的带宽会导致不足平滑，获得受干扰的估计。

9. 模型与方法 (1) 设因变量 与解释变量 之间满足如下回归模型： 式中， 为观察值，记

10. (2) 假定： （1） （2） 其中： 则(1)式可简写为 • 非随机.这里 不全相等，即模型 (2) 存在异方差，此时参数 的广义最小二乘估计（GLE）为

11. (3) 式中： 估计式为： 或者 (4) 为了估计 ，考虑到 可以构造回归模型为 式中，是 与其期望的差.记模型(2)的普通最小二乘估计 由于OBL估计量 尽管无效，但仍是一致的，因此，相应的残差 (5)

12. (6) 从而近似地有 可以将它看作把方差函数作为回归函数，而把 OBL的残差平方作为因变量的回归模型.为了估计这一模 型，通常文献中所采用的是参数估计的方法，即 假定 ，其中的 形式已知， 为 待估参数.讨论较多也较详细的是假定 和 等情况.这些模型的讨论，一方 面要求模型分析着必须对问题的实际背景有较深 入的了解，如公司利润的方差常常与家庭收入呈正比；另一方面，方差函数形式的假

13. 定在一定程度上是为了保证其非负性， 从而受较多人为因素影响。用非参数的局 部多项式方法估计方差函数，设 为核函 数，满足 以及 令自变量 ， 则 的领域处的阶泰勒展开式为： 式中， 和 分别为梯度算子和海赛算子； 把对称矩阵下三角部分按字典序排成列向量， 为用回归函数得出的 处的估计值 ；

14. (7) 为回归函数的 阶梯度系数。方差函数 局 部 阶多项式估计即为使 达到最小解，其中 为待估参数， 为带宽， ，在这里 定义为 记 为设计矩阵

15. 并记 为权矩阵。在 可逆的条件下，易使式(7)达到最小的解为 (8) 式中： ,因此方差函数的估计 。再将上式得到 的估计 代 入（4）式，即可得到 的两阶段估计 。

16. 模 拟 下面进行数值模拟仿真，本节中给出以下2个模型。考虑到线性模型应用于经济时的大量实际背景，设定了方差函数的如下2种形式。 模型1 设线性模型为 （9） 式中， 、 为观察值， ，且

17. 不全相等。假设误差项的方差函数 。 阶段1：利用普通最小二乘法得到式(9)的2个参数的估计，并计算各残差的平方 ，对模型 用局部多项式回归， ，经400次模拟计算的结果，其中 图1为 ，核函数取为

18. ， ，选取 的准则是使近似ISE的平均达到最小，其中 图2为误差项的方差函数 的取值范围 的图像.图3为误差项的方差函数和拟合函数画在同一个坐标系下的情况.

19. 图1 图2 图3

20. 代入式(4)得到 经400次模拟计算 ，表1和图4、图5、图6是 ( 的 ) 广义最小二乘估计 ， 值以及 ， 阶段2：将由阶段1得到的估计 的渐近分布。 表1模型1参数 的两阶段估计 、 、

21. 图4 图5 图6

22. 取 ，参数估计的过程与计算同模型1。其中： 模型2：模型1中，误差项函数设为 ， 的取值范围为 ，核函数仍取为 ， ，共进行200 次模拟计算，图7显示了方差函数 的估计 ，图8、图9和图10显示了 和 、 的渐近分布情况。然后，在上述模型的基础上，我们假 ( ) 来估计， 定方差相同，用普通最小二乘估计

23. ( 的估计值进行比较， ) 图11、图12和图13显示了 和 的普通最小二乘 、 估计的渐近分布情况。表2列出了广义最小二乘估计 并与广义最小二乘估计 ( ) 和普通最小二乘估计 ( ) 的 、 和 的估计。

24. 图7 图8 图9 图10

25. ) 和普通最小二乘估计 ( 的 、 ( ) 和 的估计 表2模型2中广义最小二乘估计 估计值 估计值

26. 图11 图12 图13

27. 本文将局部多项式回归的非参数方法用于多元线性模型本文将局部多项式回归的非参数方法用于多元线性模型 中异方差的估计， 采用非参数的方法估计随机项方差的模型， 将得到的异方差估计代入广义最小二 5、结论 乘估计，从而使得到的估计具有良好的统计性质和更高的精度。 参考文献： [1] Chen P, Suter D. A bilinear approach to the parameter estimation of a general heteroscedastic linear system, with application to conic fitting. Journal of mathematical imaging and vision.2007, 28(3). of the [2] Fan J. Design-adaptive nonparametric regression[J].Journal American Statistical Association.1992.87:998­-1004. [3]Amemiya T. A note on a heteroscedastic model[J]. Journal of Econom etrics.1997.6:365-370. 湖北大学学报(自然科学版). [4]尹光霞.多元线性回归模型中的异方差性问题. Jun.2003. Vol.25. No.2

28. Series.Beijing: kexuechubanshe,2006. Robust kernel regr [6] Hiroyuki Takeda, Sina Farsiu, Peyman Milanfar. ession for restoration and reconstruction of images form sparse noisy data. [5]Jianqing Fan, Qiwei Yao.Nonlinear Time with [7]Su Liyun and Li Fenglan, Deconvolution of Defocused Image Multivariate Local Polynomial Regression and Iterative Wiener Filtering in DWT domain, Mathematical Problems in Engineering, vol. 2010, Article ID 605214, 14 pages, 2010. ISSN: 1024-123X. [8]Su Liyun , Prediction of multivariate chaotic time series with local polynomial fitting, Computers & Mathematics with Applications, 2010, 59(2): 737-744. [9]Rutemiller H. Bowers D. Estimation in a heteroscedastic regression model[J]. Journal of the American Statistical Association.1968.63:552-557. [10]William H Greene. Econometric Analysis[M].New York:Macmillan. 1993.362-366.

29. 本文是我们最近做出来的结果，可能还有很多不完善和需要修改的地方，请大家多提建议和意见！本文是我们最近做出来的结果，可能还有很多不完善和需要修改的地方，请大家多提建议和意见！ • 谢谢！！！！