Datenglättung mit gemischten Modellen („Mixed Models“)

1. Datenglättung mit gemischten Modellen („Mixed Models“) oder: P regression splines (Florian Hiemeyer, 29. April 2003) Florian Hiemeyer, Mixed Models

2. Feste Effekte (klassisch) Zufällige Effekte in den Variablen + Gemischte Modelle Florian Hiemeyer, Mixed Models

3. General Mixed Models: Notation Die allgemeine Notation für gemischte Modelle lautet: Wobei eine geeignete Linkfunktion ist, sowie X und ZDesignmatrizen, und u die Parameter des Modells sind. Florian Hiemeyer, Mixed Models

4. Das Gauß-Mixed Model Der wichtigste (gut berechenbare) Spezialfall: y ist wieder normalverteilt, mit und Florian Hiemeyer, Mixed Models

5. Übersicht • Schätzung der Parametera) bei bekannter Matrixb) bei unbekanntem mittels (RE)ML • Modelle zum Glätten von Daten für additive Modelle. • Ausblick: radiale Basen, multivariate Anwendung Florian Hiemeyer, Mixed Models

6. Parameterbestimmung mit BLUP • BLUP: Best linear unbiased predictor • Voraussetzung: Varianzmatrizen sind bekannt • Dann: „Normalengleichungen“ für Mixed Model: zum Vergleich: fixes Regressionsmodell: Florian Hiemeyer, Mixed Models

7. Beispiel: Milchkühe (geg. ) • Menge der ersten Milchabsonderung von Kühen („Yield“) mit verschiedenen Vatertieren („sires“), in verschiedenen Herden („herd“). • Annahme einer natürlichen Streuung hinsichtlich des Effekts des Vatertiers • Annahme: (aus G. K. Robinson,1991) Florian Hiemeyer, Mixed Models

8. weitere Anwendung:Analyse gruppierter Daten (unb. ) Beispiel: 48 Schweine wurden über 9 Wochen gewogen. Modell: bzw. muss aus Daten geschätzt werden (aus: M.P. Wand, 2002) Florian Hiemeyer, Mixed Models

9. ML-Methode beim Gauß Modell I • Erinnerung: • Likelihood (Vorteil: Normalverteilung!): • Log-Likelihood: Florian Hiemeyer, Mixed Models

10. ML-Methode beim Gauß Modell II • Es kann über die einzelnen Parameter optimiert werden, also zunächst Schätzung von : (Generalized least squares, aber ist unbekannt) Florian Hiemeyer, Mixed Models

11. ML-Methode beim Gauß Modell III • Profile-loglikelihood (Einsetzen von ): Maximierung mittels iterativer, numerischer Methoden (z. B. Fisher-Scoring-Algorithmus) Florian Hiemeyer, Mixed Models

12. Restricted ML (REML) Schätzer • Problem bei klassischer ML-Schätzung: Verlust von Freiheitsgraden durch Schätzung von Verzerrung • Abhilfe: Betrachtung der (modifizierten) Verteilung der der fixen Effekte • Restricted-log-likelihood ist jetzt: Florian Hiemeyer, Mixed Models

13. Schätzung von u als Regression • Die Schätzung für lässt sich auch schreiben als Regression von u auf y. Dann gilt: Florian Hiemeyer, Mixed Models

14. Zusammenfassung: Mixed Model • Schätzung der Varianzmatrizen :REML: Minimieren vonmit Florian Hiemeyer, Mixed Models

15. Regressionsmodelle als Smoother • , mit • Regression mit linearen Splines:a) nur fixe Effekteb) mit Zufallseffekten in den Splines: unabhängig Florian Hiemeyer, Mixed Models

16. Vergleich fixe/gemischte Effekte Feste Effekte (a) liefern kantige Approximation, während sich das gemischte Modell (b) wesentlich besser anpasst. Florian Hiemeyer, Mixed Models

17. Warum funktioniert‘s? • Wegen sind „große“ Parameter unwahrscheinlich. Betragsmäßig hohe Steigungsänderungen werden also „penalisiert“, die Kurve wird glatter. • Varianz der Zufallsparameter wird aus den Daten geschätzt (bei großer Streuung sind höhere Parameter wahrscheinlicher). • Die Äquivalenz zum P-spline ist beweisbar (Speed, 1991). Florian Hiemeyer, Mixed Models

18. Glätten additiver Modelle I • Allgemein lassen sich stetige Funktionen f und g mit durch ein gemischtes Modell der Form glätten: unabhängig Florian Hiemeyer, Mixed Models

19. Glätten additiver Modelle II • Das Modellbesitzt die Designmatrizen: Florian Hiemeyer, Mixed Models

20. Glätten additiver Modelle III • Das Modell läßt sich dann schreiben als: mitDie Knoten können relativ leicht bestimmt werden. Florian Hiemeyer, Mixed Models

21. Ausblick: radiale Basen Radiale Basen (univariat): mit und Florian Hiemeyer, Mixed Models

22. Radiale Basen II Durch die Transformationläßt sich die klassische MM-Theorie auf anwenden. Verwendung der eukl. Norm statt Betrag Übertragbarkeit auf mehrdimensionale Daten Florian Hiemeyer, Mixed Models

23. Einige Ergänzungen • Anstelle von truncated power series sind beliebige Basisfunktionen einsetzbar!! • Verbessertes Glättungsergebnis für korrelierte zufällige Effekte allerdings nur sinnvoll bei etwa gleichentfernten Knoten! Korrelationskoeffizient Florian Hiemeyer, Mixed Models