1 / 54

Regresión lineal simple

Regresión lineal simple. Tema 2. Descripción breve del tema. Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud

hashim-reed
Download Presentation

Regresión lineal simple

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Regresión lineal simple Tema 2 Depto. Estadística, Universidad Carlos III

  2. Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III

  3. Objetivos • Construcción de modelos de regresión • Métodos de estimación para dichos modelos • Inferencia acerca de los parámetros • Aprendizaje de utilización de gráficos para detectar el tipo de relación entre dos variables • Cuantificación del grado de relación lineal Depto. Estadística, Universidad Carlos III

  4. Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III

  5. Introducción • Estudio conjunto de dos variables • Relación entre las variables • Regresión lineal • Historia del concepto de regresión lineal Depto. Estadística, Universidad Carlos III

  6. Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III

  7. Ejemplo: Pureza del oxígeno en un proceso de destilación Depto. Estadística, Universidad Carlos III

  8. Ejemplo: Pureza del oxígeno en un proceso de destilación Depto. Estadística, Universidad Carlos III

  9. El modelo de regresión simple • n pares de la forma (xi,yi) • Objetivo: valores aproximados de Y a partir de X • X: variable independiente o explicativa • Y: variable dependiente o respuesta (a explicar) Depto. Estadística, Universidad Carlos III

  10. El modelo de regresión simple Depto. Estadística, Universidad Carlos III

  11. Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III

  12. Linealidad: datos con aspecto recto Depto. Estadística, Universidad Carlos III

  13. Homogeneidad • El valor promedio del error es cero, Depto. Estadística, Universidad Carlos III

  14. Homocedasticidad:Var[ui]=s2 Varianza de errores constante Depto. Estadística, Universidad Carlos III

  15. Independencia: Observaciones independientes, en particular E[uiuj]= 0 Depto. Estadística, Universidad Carlos III

  16. Normalidad: ui~N(0, s2) Depto. Estadística, Universidad Carlos III

  17. Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Tansformaciones Depto. Estadística, Universidad Carlos III

  18. Método de Mínimos Cuadrados Valor observado Dato (y) Valor observado Dato (y) Recta de regresión estimada Recta de regresión estimada Depto. Estadística, Universidad Carlos III

  19. Mínimos Cuadrados (Gauss, 1809) • Objetivo: Buscar los valores de b0 y b1 que mejor se ajustan a nuestros datos. • Ecuación: • Residuo: • Minimizar: Depto. Estadística, Universidad Carlos III

  20. Mínimos Cuadrados (Gauss, 1809) • Resultado: Depto. Estadística, Universidad Carlos III

  21. Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III

  22. Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III

  23. Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III

  24. Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III

  25. Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III

  26. Método de Máxima Verosimilitud • Mismo resultado. • Estimación de la varianza: Depto. Estadística, Universidad Carlos III

  27. Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III

  28. Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III

  29. Props. de los coeficientes de regresión Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador Depto. Estadística, Universidad Carlos III

  30. Props. de los coeficientes de regresión Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador Depto. Estadística, Universidad Carlos III

  31. Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III

  32. Inferencia respecto a los parámetros IC Depto. Estadística, Universidad Carlos III

  33. Inferencia respecto a los parámetrosContraste de Hipótesis Depto. Estadística, Universidad Carlos III

  34. Ajusteregresiónsimple:purezaoxígeno Depto. Estadística, Universidad Carlos III

  35. Descomposición de la variabilidad • La variabilidad del modelo satisface: VT =VE+VNE • Contraste de regresión Depto. Estadística, Universidad Carlos III

  36. Ajusteregresiónsimple:purezaoxígeno VE Depto. Estadística, Universidad Carlos III

  37. Ajusteregresiónsimple:purezaoxígeno VNE Depto. Estadística, Universidad Carlos III

  38. Coeficiente de determinación Depto. Estadística, Universidad Carlos III

  39. Predicción Dos tipos de predicción: • Predecir un valor promedio de y para cierto valor de x. • Predecir futuros valores de la variable respuesta. La predicción es la misma (a partir de la recta de regresión) pero la precisión de los estimadores es diferente. Depto. Estadística, Universidad Carlos III

  40. Predicción (promedio) Estimación de la media de la distribución condicionada de y para x=x0: Intervalo de confianza para la media estimada Depto. Estadística, Universidad Carlos III

  41. Ajusteregresiónsimple:purezaoxígeno La anchura del intervalo aumenta cuando aumenta Depto. Estadística, Universidad Carlos III

  42. Predicción para futuros valores Intervalo de predicción Depto. Estadística, Universidad Carlos III

  43. Ajusteregresiónsimple:purezaoxígeno Depto. Estadística, Universidad Carlos III

  44. Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III

  45. Diagnosis Una vez ajustado el modelo, hay que comprobar si se cumplen las hipótesis iniciales. • Gráficos de residuos frente a valores previstos. • Si las hipótesis iniciales se satisfacen, este gráfico no debe tener estructura alguna. Depto. Estadística, Universidad Carlos III

  46. Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III

  47. Relaciones no lineales Gráficos de residuos Depto. Estadística, Universidad Carlos III

  48. Linealidad Soluciones a la falta de linealidad: • Transformar las variables para intentar conseguir linealidad. • Introducir variable adicionales. • Detectar la presencia de datos atípicos o ausencia de otras variables importantes para explicar la variable respuesta. Depto. Estadística, Universidad Carlos III

  49. Homocedasticidad Cuando la varianza de las perturbaciones es muy diferente para unos valores de la variable explicativa que para otros tenemos heterocedasticidad e . ^ y Depto. Estadística, Universidad Carlos III

  50. Homocedasticidad Soluciones a la heterocedasticidad: • Si la variabilidad de la respuesta aumenta con xsegún la ecuación Var(y|x) = g(x), dividimos la ecuación de regresión (y) entre g(x). • Transformar la variable respuesta y puede que también x. • Si lo anterior no funciona, cambiar el método de estimación. Depto. Estadística, Universidad Carlos III

More Related