1 / 47

Multi Regression Analysis 多元回归分析

Multi Regression Analysis 多元回归分析. 童新元 中国人民解放军总医院 2005 年 11 月 1 日. 一、 直线 相关与回归回顾. 在医学中，往往要研究两个定量变量间的相互关系。如人体的血压和脉搏，身高和体重等。统计学中的相关与回归是研究两个变量线性关系的最基本的方法。. y 　　　　　　 　 。　 。　 　　　　　 　。 　　　 　 　　 　。　 　　　 。 。　。

sarah
Download Presentation

Multi Regression Analysis 多元回归分析

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Multi Regression Analysis多元回归分析 童新元 中国人民解放军总医院 2005年11月1日

  2. 一、直线相关与回归回顾 在医学中，往往要研究两个定量变量间的相互关系。如人体的血压和脉搏，身高和体重等。统计学中的相关与回归是研究两个变量线性关系的最基本的方法。

  3. y • 　　　　　　 　 。　 。　 • 　　　　　 　。 • 　　　 　 　　 　。　 • 　　　 。 。　。 • 　　 　。 • 　 。 。 • ━━┻━━━━┻━━━━┻━━━> • X • 散 点 图

  4. 线性相关 线性相关是用相关系数r来表示两个变量X，Y间的直线关系。 相关系数r的计算公式

  5. 其绝对值愈接近1，两个变量间的直线相关愈密切，愈接近0，线性相关愈不密切。其绝对值愈接近1，两个变量间的直线相关愈密切，愈接近0，线性相关愈不密切。 • 相关系数r没有单位， • 在-1～+1范围内波动。

  6. 相关分析的步骤 （1）作散点图 （2） 计算相关系数r (3) 相关系数检验

  7. CHISS的实现 • 点击 统计→统计推断→相关矩阵

  8. 例9-1测得某地10名3岁儿童的体重（kg）与体表面y(103cm2)积，试对该资料进行直线相关分析。例9-1测得某地10名3岁儿童的体重（kg）与体表面y(103cm2)积，试对该资料进行直线相关分析。

  9. 直线回归 当两变量间存在着性线关系时，不仅可以用相关系数r表示变量Y与X线性相关的密切程度，还可以用一个二元一次方程来表示。

  10. 其中：

  11. CHISS的实现 • 点击 多元分析→线性回归

  12. 例9-3 Wainwright等(1988)在进行营养学实验前，先对小鼠体重与每窝小鼠只数间的关系进行了研究。从每窝分别为3只至12只的小鼠中，每个窝别大小随机抽取两窝。在出生后第32天测量不同窝别小鼠的平均体重，结果见下表。试作回归分析。

  13. 回归方程的应用 ----预测与估计 • 求出回归方程后，如果方程拟合度好话，可 • 根据X的值来求Y预测值

  14. [典型统计案例1] • 肾脏体积的测量 • 肾脏为不规则体,怎样测量? • 立方体体积规律: • 公式: V=长*宽*高=abc • 肾脏体积计算公式: • 经验公式: V=π/4*长*宽*高 • 公式怎样产生的? c b a

  15. 肾脏体积测量实验 • 实验的回顾 用20个肾脏标本,测量计录每 个体积及其长,宽,高的数据: • 采用什么方法找规律呢? • 回归方程的构造: • y = a+b*x • V=π/4*长*宽*高 影响公式的因素: 测量误差 模型的选择

  16. 二、多元线性回归分析 • 直线相关与回归分析一个自变量和一个因变量间的关系, 在医学实践中，常会遇到一个应变量与多个自变量数量关系的问题。如医院住院人数不仅与门诊人数有关, 而且可能与病床周转次数, 床位数等有关, 多元回归分析正是为解决这些问题而产生的 。

  17. 多元线性回归模型 通过实验测得含有p个自变量x1,x2,x3,…,xp及一个因变量y的n个观察对象, 利用最小二乘法原理, 建立多元线性回归模型: Y^＝b0+b1X1+b2X2+…+bpXp。 其中b0为截距, b1 ,b2 …bp称为偏回归系数. bi表示当将其它m-1个变量的作用加以固定后, Xi改变1个单位时Y的平均值Y^将改变bi个单位.

  18. 1）多元回归分析的前提条件 (1) 线性 给定X1,X2…,Xp的数值后, 相应的y随机变动, 其总体均数 y=b0+b1x1+b2x2+…….bpxp (2) 独立 n个个体之间互相独立； (3) 正态 给定X1, X2, …, Xp的数 值后, 相应的y值服从正态分布； (4) 等方差 当X1,X2,…,Xp的数值变 动时,相应的y有相同的方差。

  19. 2）多元回归方程的建立 1) 求回归系数 常用最小二乘估计的方法求解待定系数b0和偏回归系数b1、b2……bp。 • 2）回归方程的检验 • 由样本计算得到的回归方程是总体回归的估计。多元回归方程有没有意义需要作假设检验，采用的是方差分析。

  20. 3）样本计算得到的这些偏回归系数bi（i=1,2,……p）是总体偏回归系数(i=1,2……p)的估计值。在建立起方程后有必要对这些偏回归系数作检验。3）样本计算得到的这些偏回归系数bi（i=1,2,……p）是总体偏回归系数(i=1,2……p)的估计值。在建立起方程后有必要对这些偏回归系数作检验。

  21. 3）多元回归的作用 (1) 建立回归模型： Y^=β0+β1X1+β2X2+…+βpXp ； • (2) 预测预报 • 若已知x1, x2 … xm数值大小时, 通过模型可以预测y的值以及估计y的变化范围； • (3) 因素分析 • 找出对因变量y有显著影响的因素。

  22. 4）数据结构 设研究问题中含有p个指标变量x1, x2,…,xp及Y. n个观察对象. 其数据结构为: 编号 X1 X2 …. XP y 1 x11 x12 … x1p y1 2 x21 x22 … x2p y2 3 x31 x32 … x3p y3 … … … … … … n xn1 xn2 … xnp yp

  23. 5）CHISS的实现 • 点击 多元分析→线性回归

  24. 6）实例讲解 • 例10-1 为研究初生儿体重与胎儿的孕龄、头径、胸径、腹径、股骨长的关系，以预测初生儿体重，某医院用超声波测得18名胎儿的有关指标值、测量时的孕龄和出生时体重如表。试进行多元回归分析。

  25. 三、逐步回归 • 在多元线性回归分析中，研究者往往是根据自己的经验或借鉴他人的研究结果选定若干个自变量，这些自变量对因变量的影响作用是否都有统计学意义还有待于考察。通过多元性线回归分析，常常会发现其中有很多自变量对因变量的影响无意义。

  26. 同时，也常会遇到自变量间存在共线性的问题，影响到偏回归系数估计和回归方程的“质量”。同时，也常会遇到自变量间存在共线性的问题，影响到偏回归系数估计和回归方程的“质量”。 • 因此，在建立回归方程的过程中有必要考虑对自变量进行筛选，挑选出若干个与因变量作用较大的变量建立回归方程。剔除那些对因变量没有多大影响的变量，从而建立一个较理想、较稳定的回归方程。

  27. 1）逐步回归的思想 • 事先给定挑选自变量进入方程的P界值（缺省值P=0.1），开始方程中没有自变量，然后，按自变量对y的贡献大小由大到小依次挑选进入方程，每选入一个变量，都要对已在模型中的变量进行检验，对大于剔除标准的变量要逐一剔除。

  28. 逐步回归中F值的计算* 逐步选择变量每一步都在权衡得失的情形下决定变量的取或舍。每一步都作一次如下的检验：H0 : p个自变量为好H1 : p+1个自变量为好

  29. 采用F作为统计量。SS残 (H0 )-SS残 (H1 ) F＝ SS残 (H1 )/ (n-p-2)其中SS残 (H0 )表示用p个变量回归的残差平方和SS残 (H1 ) 表示用p+1个变量回归的残差平方和。 若F≥F（界值）,则拒绝H0 ,可决定增多相应的自变量; 否则,不拒绝H0 , 可决定不增加相应的自变量。

  30. 2） CHISS的实现 • 点击 多元分析→逐步回归

  31. 例10-2 试对例10-1某医院用超声波测得18名胎儿的有关指标值进行逐步回归分析。

  32. 3）Pe和Ps的确定 1 Pe, Ps 需要多次选取。 2 常取0.5, 0.4,0.3, 0.2, 0.1, 0.05. 3 剔除变量的界值Ps要大于选进变量的界值Pe

  33. 四、衡量回归方程的标准 采用不同的剔除变量方法，选入不同剔除变量的标准；会得到不同的回归方程，我们要根据实际问题，对每个变量的单独作用、变量间的交互作用作出恰当的评价。一般来说，当回归方程中自变量个数增加，或多或少总能减少剩余误差，提高模型的拟合精度，但势必导致模型的复杂性。

  34. 因此，在建立回归方程时，要遵循一个原则，即“少而精”，具体地说：既要尽可能地提高拟合的精度，又要尽可能地使模型简单。这就需要有一个量化的标准来衡量所得模型的“优”与“劣”。因此，在建立回归方程时，要遵循一个原则，即“少而精”，具体地说：既要尽可能地提高拟合的精度，又要尽可能地使模型简单。这就需要有一个量化的标准来衡量所得模型的“优”与“劣”。 目前，常用的衡量方程好坏的标准有如下几个：

  35. 1) 决定系数R2 （复相关系数的平方） • R2 =1-SS残/SS总= SS模/SS总，， • 它表示在因变量y的总变异中可由回归方程所解释部分的比例。 • 0<R2≤1, 越接近于1, 说明回归方程效果越好。

  36. 2)校正的决定系数Adj R2 • 复相关系数是随方程中的变量个数增加而增加的，即使自变量对Y无显著性意义，为了克服这一缺点，对它进行校正： • Adj R2 =1-MS残/MS总， • 0<AdjR2≤1, 越接近于1, 说明回归方程效果越好。

  37. 3）剩余标准差 3)它反映了应变量在扣除自变量的线性影响后的离散程度； 剩余标准差越接近于0, 说明回归方程效果越好。

  38. 五、回归分析注意几点 • 自变量间的共线性问题 • 残差分析 • 异常点诊断

  39. 自变量间的共线性问题 。当自变量均为随机变量时, 若他们之间高度相关,则称自变量间存在共线性(colinearity)。 共线性会给多重回归带来很大麻烦, 其参数估计自然极不稳定, 甚至参数值可大可小,可正可负,其意义无法解释; 有时, 参数估计值的标准差很大, 以致该参数估计值的统计学意义受到怀疑。

  40. 克服共线性的方法 • 逐步回归分析 • 主成分回归分析

  41. 逐步选择变量是对付共线性的办法之一，经逐步选择后, 两个高度相关的自变量X1 和X2 常常不能同时进入方程, 但两者高度相关, 谁先进入方程带有偶然性. • 经逐步选择后, 固然克服了共线性的麻烦, 同时也丢失一部份可利用的信息,故将高度相关的几个变量的信息综合起来参与回归是个好办法, 即进行主成分回归分析.

  42. 残差分析 为了考察模型的前提条件是否满足, 可进行残差分析。各个实测值与理论值的差Yi -Y^称为残差， Yi -Y^ /S称为student 残差。

  43. student残差对Y^的散点图。以理论值Y^为横轴，student残差r为纵轴制作散点图。student残差对Y^的散点图。以理论值Y^为横轴，student残差r为纵轴制作散点图。 根据正态分布的性质：应有大约95%的点落在|r|<2之内， 且不呈任何趋势。

  44. 异常点诊断 • Student残差(Yi -Y^)/Si大于2的点可认为异常点

  45. 异常点的处理 • 1) 系统误差造成的进行纠正; • 2) 采用稳健回归分析, 百分位数回归.

  46. 上机实习题 <CHISS统计软件操作指南> • P70-78 例9-1至10-1 • P125 41—49 • 讲义在http://WWW.CHISS.CN下载中心

  47. 谢谢

More Related