multivariate statistische verfahren l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Multivariate Statistische Verfahren PowerPoint Presentation
Download Presentation
Multivariate Statistische Verfahren

Loading in 2 Seconds...

play fullscreen
1 / 54

Multivariate Statistische Verfahren - PowerPoint PPT Presentation


  • 152 Views
  • Uploaded on

Multivariate Statistische Verfahren. Diskriminanzanalyse Universität Mainz Institut für Psychologie WS 2010/2011 Uwe Mortensen. Einführung I. Es soll entschieden werden, ob. ein Schulkind unter ADHS leidet oder nur eine situativ bedingte Verhaltensabweichung vorliegt.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Multivariate Statistische Verfahren' - britain


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
multivariate statistische verfahren

Multivariate Statistische Verfahren

Diskriminanzanalyse

Universität Mainz

Institut für Psychologie

WS 2010/2011

Uwe Mortensen

slide2

Einführung I

Es soll entschieden werden, ob

ein Schulkind unter ADHS leidet oder nur eine situativ bedingte Verhaltensabweichung vorliegt.

Ein Bewerber für eine leitende Position für diese Position geeignet ist oder nicht.

der Schatten auf dem Röntgen-Foto ein Tumor oder nur eine harmlose Variation im Gewebe ist,

Ein Gemälde aus der Zeit Rembrandts von der Hand des Meisters oder von der eines Epigonen ist,

slide3

Einführung II

In jedem Fall müssen Symptome oder Merkmale von Personen oder Objekten so interpretiert werden, dass sie möglichst fehlerfrei klassifiziert werden.

Viele Symptome (Kopfweh, Bauchweh, etc) zeigen sich bei völlig ver-

schiedenen Erkrankungen.

Viele Fähigkeiten sind wichtig für eine leitende Position, ohne dabei auf eine spezifische Fähigkeit für eine bestimmte leitende Funktion zu weisen.

Merkmale auf Röntgen-Fotos, die bei Tumoren zu beobachten sind, treten auch bei harmlosen Gewebeveränderungen auf

Merkmale von Rembrandt-Bildern können auch bei Bildern gefunden werden, die nicht von Rembrandt gemalt wurden.

slide4

Einführung III

Im Allgemeinen muss nur zwischen einer endlichen Menge von alternativen Klassen entschieden werden.

Der Ansatz von Fisher (1936): Die Symptome (Indikatoren, Prädiktoren) müssen so gewichtet werden, dass die Zuordnung einer Person oder eines Objekts zu einer Klasse möglichst fehlerfrei ist.

Dazu müssen die Personen/Objekte so auf einer noch zu konstruierenden Skala abgebildet werden, dass sie möglichst eng beieinander auf der Skala liegen, wenn sie zur gleichen Klasse gehören, und möglichst weit separiert werden, wenn sie zu verschiedenen Klassen gehören.

Aufgabe: finde die optimalen Gewichte und die Skala oder die Skalen, die eine Klassifikation mit minimalem Fehler erlauben.

slide5

Spezifizierung der Idee

(Y = Kanonische Variable, Diskriminanzfunktion)

Zu bestimmende „Gewichte“ der Prädiktoren (hier: Bildpunkte)

Maximale Diskriminierbarkeit bezüglich Y

slide8

Umsetzung der Idee I

Intuitive Einführung: Erinnerung an die Varianzanalyse:

Die Gesamtvarianz der Daten wird in eine Varianzkomponente „innerhalb“

der Gruppen und in eine Varianzkomponente „zwischen“ den Gruppen aufgeteilt. Beide Komponenten werden für eine Schätzung der Fehlervarianz herangezogen. Ist die Schätzung auf der Basis der „Zwischen“-Komponente zu groß, wird die Nullhypothese („Es gibt keine Effekte der experimentellen Variablen“) verworfen.

Fishers Idee: Die Prädiktoren (entsprechend den unabhängigen Variablen der Varianzanalyse) werden so gewichtet, dass die Varianz „zwischen“ den Klassen relativ zu der „innerhalb“ der Klassen maximal wird.

slide9

Umsetzung der Idee II

Diskriminanzkriterium

Kanon.

Variable

Daten - Prädiktoren

Kategorien, Gruppen

slide12

Die Quadratsummen III

Zur Quadratsumme „innerhalb“:

slide14

Die Lösung

Matrix der Varianzen und Kovarianzen „zwischen“:

slide15

Die Lösung

Wie entscheidet man, in welche Klasse eine Person oder ein Objekt fällt?

slide18

Beispiel 1:

Nach Amthauer (1970) erhalten Ärzte, Juristen und Pädagogen in den Untertests Analogien (AN), Figurenauswahl (FA) und Würfelaufgaben (WÜ) des IST (Intelligenz-Struktur-Test) die folgenden mittleren Scores:

mit der Varianz-Kovarianz-Matrix (und ihrer Inversen)

slide19

Beispiel 1 (Fortsetzung):

Ein Abiturient hat in diesen Untertests die Scores 108 (AN), 112 (FA) und 101 (WÜ) erzielt. Welche Berufswahl ist für ihn optimal?

Für die Gruppe der Ärzte findet man die Distanz

d.h. d1 = .9441. Für die Juristen findet man d2 = 1.1236 und für die Pädagogen d3 = 1.1676.

Die kleinste Distanz bzw. die größte Nähe findet man zu den Medizinern, also sollte er Medizin studieren.

slide20

Annahme: die multivariate Gauss-Verteilung

Bei der Fisherschen Diskriminanzanalyse wird (zunächst) keine Annahme über die Verteilung der Prädiktoren gemacht, - insofern ist das Verfahren verteilungsfrei.

Kann man annehmen, dass die Prädiktoren multivariat normalverteilt sind, so können weitere Entscheidungskriterien eingeführt werden sowie bestimmte statistische Tests durchgeführt werden.

slide21

Multivariate Gauss-Verteilung und Klassifikation I

a posteriori

Dichte

Likelihood

A priori

Wahrscheinlichkeit

slide22

Multivariate Gauss-Verteilung und Klassifikation II

Zur Entscheidung zwischen zwei Klassen:

Für gleiche a priori-Wahrscheinlichkeiten der Klassen hat man

Und der Vergleich der a posteriori-Wahrscheinlichkeit entpricht einer Entscheidung nach dem Likelihodd-Quotienten.

slide24

Multivariate Gauss-Verteilung und Klassifikation IV

Die Form der Trennflächen hängt davon ab, ob die Varianz-Kovarianz-

Matrizen für die verschiedenen Klassen gleich oder ungleich sind.

slide27

Multivariate Gauss-Verteilung und Klassifikation VII

Klassenbereiche im Falle homogener Varianz-Kovarianz-Matrizen und gleicher a priori-Wahrscheinlichkeiten:

slide29

Beispiel 2: Klassifikation von Geweben (Cervix-Krebs) I

Optical Coherence Tomography (OCT)-Bild

Luminanzprofil

slide30

Beispiel 2: Klassifikation von Geweben (Cervix-Krebs) II

Aufgabe: Klassifiziere ein OCT-Bild in eine von 6 CIN-Klassen:

(CIN = Cervical Intraepithelial Neoplasia = abnormale Erscheinungsform von Zellen im Cervixepithel)

00 = gesund

10 = Entzündung

21

22 = verschiedene Schweregrade

23

30 = Krebs

  • Wahrer Befund: Histologie/Pathologie
  • Visuelle Klassifikation durch ExpertIn – wie weit stimmen Pathologen und ExpertIn überein, existieren systematische Unterschiede?
  • Enthalten die Luminanzprofile die gesamte relevante Information?
  • Implizieren Wartezeiten bis zur pathologischen Untersuchung (oh bis 4h) Veränderungen im Gewebe, die für die Diagnose relevant sind?
  • Gibt es prä- und postoperative Unterschiede?
slide31

Beispiel 2: Zur Problematik von Diskriminanzanalysen – Anzahl der Prädiktoren und Anzahl der „Fälle“ (Beobachtungen, hier: Profile)

Es werden zur Klassifikation nur Profile verwendet, die unmittelbar während der Operation (0h) gewonnen wurden: N = 152, - aber nur 150 Prädiktoren (= Anzahl der Bildpunkte).

Können die Klassifikationen anhand der OCT-Bilder einerseits und anhand der histologischen Befunde andererseits aufgrund der Profile vorausgesagt werden?

Wenn ja: sollte die Konfiguration der CIN-Klassen in beiden Fällen identisch sein, und was bedeutet es, wenn die Konfiguration nicht identisch ist?

slide32

Beispiel 2: Zur Problematik von Diskriminanzanalysen – Anzahl der Prädiktoren und Anzahl der „Fälle“ (Beobachtungen, hier: Profile)

  • Die Klassifikationen scheinen in beiden Fällen perfekt zu sein: es gibt keine Streuung der individuellen Profile um die Kategorienmittelpunkte
  • OCT-Klassifikationen und Klassifikationen auf der Basis pathologischer Befunde sind ähnlich, aber auch deutlich verschieden, -- wie ist dieser Befund zu deuten?
  • Oder sind die perfekten Klassifikationen Artefakte?
slide33

Beispiel 2: Zur Problematik von Diskriminanzanalysen – Anzahl der Prädiktoren und Anzahl der „Fälle“ (Beobachtungen, hier: Profile)

Generell gilt:

Ist die Anzahl der „Beobachtungen“ (hier: Profile) relativ zur Anzahl der Prädiktoren (hier: Bildpunkte) zu „klein“ und/oder sind die Korrelationen zwischen den Prädiktoren zu groß – die Matrix der Prädiktorwerte ist „ill conditioned“ – kommt es zu Artefakten. Im hier vorliegenden Fall kommt es zu perfekt erscheinenden Klassifikationen, über die ein weiteres Nachdenken aber gar nicht lohnt!

(Faust-)Regel: man sollte mindestens 2.5- bis 3-mal so viele Beobachtungen wie Prädiktoren haben!

slide34

Beispiel 2: Klassifikation von Geweben (Cervix-Krebs) IV: Existieren Unterschiede im Gewebe in Abhängigkeit von der Wartezeit bis zur histologischen Untersuchung?

Beispiele für Profile: 0h bis 4h (I)

slide35

Beispiel 2: Klassifikation von Geweben (Cervix-Krebs) V

Es existieren Unterschiede im Mikrobereich, allerdings scheinen sie nicht systematischer Natur zu sein!

slide36

Beispiel 2: Klassifikation von Geweben (Cervix-Krebs) VI

Diskriminanzanalyse in Bezug auf die zeitlichen Abstände bis zur histologischen Untersuchung (0h, 1h, 2h, 3h und 4h): lassen sich die Profile nach dem zeitlichen Abstand klassifizieren?

(Statt der Punkte kann man die Nummer des Profils anzeigen lassen und so überprüfen, ob es wenigstens einen Ansatz zur Klassenbildung gibt: Befund = negativ!)

Es sind keine den Zeitpunkten entsprechenden Cluster erkennbar, d.h. die Daten korrespondieren zur Nullhypothese, nach der die Zeitpunkte keinen systematischen Einfluss auf die Profile haben.

slide37

Beispiel 2: Klassifikation von Geweben (Cervix-Krebs) VI

Folgerung: da es keine systematischen Unterschiede zwischen den Untersuchungszeitpunkten zu geben scheint, können alle Profile zu einer Stichprobe zusammengefasst werden. Statt nur 152 Profile können nun 464 Profile untersucht werden!

Dazu werden zunächst die mittleren Profile für jede CIN-Klasse und die zugehörigen Standardabweichungen der Luminanzwerte pro Bildpunkt betrachtet. Die Form der mittleren Profile könnte sich von CIN-Klasse zu CIN-Klasse unterscheiden.

slide38

Beispiel 2: Klassifikation von Geweben (Cervix-Krebs) VII

Mittlere Profile pro Klasse, wie anhand der OCT-Bilder klassifiziert:

Kommentar: Die mittleren Verläufe erscheinen spezifisch für die Kategorien, sind aber insbesondere für CIN = 10, 21, 22, 23 gering.

slide39

Beispiel 2: Klassifikation von Geweben (Cervix-Krebs) VIII

Standardabweichungen der Profile pro Klasse (Klassifikation anhand der OCT-Bilder)

Kommentar: Auch die Standardabweichungen haben charakteristische Verläufe. Keine Homogenität bezüglich der Bildpunkte!

slide40

Beispiel 2: Klassifikation von Geweben (Cervix-Krebs) IX

OCT-Klassifikation

Pathologie

Mittl.

Prof.

Stand

‘abw.

slide41

Plots der mittleren Profile 1h, 2h, 3h, und 4h versus 0h

Der Befund korrespondiert zu dem, dass keine h-spezifische Kategorisierung der Profile möglich zu sein scheint. Aber man kann von derartigen Beziehungen nicht auf die Unmöglichkeit von Klassifikationen schließen!

slide43

Beispiel 2: Klassifikation von Geweben (Cervix-Krebs) X

  • Die mittleren Profile in den Klassen sind einander ähnlich, aber
  • Die Standardabweichungen sind relativ groß – kann dies zu unterschiedlichen Klassifikationen anhand der OCT-Bilder einerseits und der pathologischen Befunde andererseits kommen?
slide44

Diskriminanzanalysen zur Zuordnung von Profilen zu CIN-Kategorien (i) auf der Basis von OCT-Bildern und (ii) auf der Basis pathologischer Befunde (464 Profile, 151 Bildpunkte als Prädiktoren) I

Kan. Var. 1: p = .000

Kan. Var. 2: p = .065

Kan. Var. 1: p = .000

Kan. Var. 2: p = .152

slide45

Diskriminanzanalysen für RMG und Histolog.

(464 Profile, 151 Bildpunkte als Prädiktoren) II

Mittlere Positionen der Profile für die einzelnen CIN-Klassen, (i) für die OCT-Beurteilungen, (ii) für die histologischen Beurteilungen. Bis auf die Klassen 22 und 23 stimmen die mittleren Positionen gut überein.

slide48

Prä- und Post-Op-Daten:

Existieren spezifische Prä- und Post-Cluster?

Die Profile werden alle auf einen von zwei möglichen, jeweils sehr kleinen Bereich einer Diskriminanzfunktion (Kanonische Variable)

Abgebildet: ca – 25 für post-op-Profile, + 25 für prä-op-Profile!

Allerdings gibt es nur 78 Profile, bei 151 Prädiktoren. In diesem Fall erzeugt die DA eine perfekte Klassifikation auch bei rein zufälligen Helligkeitswerten, d.h. die gezeigte Klassifikation muß als Artefakt betrachtet werden! S ist sehr wahrscheinlich,dass keinerlei Prä-Post-Unterschiede existieren!

slide49

Mittlere Prä- und Post-Profiles sowie Standardabweichungen

Die mittleren Profile sind sich extrem ähnlich (allerdings: die Steigung sollte gleich 1 und die add. Konstante sollte gleich Null sein! Analog: Standardabweichungen:

slide52

Probleme der praktischen Anwendung der linearen Diskriminanzanalyse, I

Die partiellen DAs zeigen, dass eine Prä-Post-Klassifizierung schon bei wenigen Prädiktoren erfolgt. Dieser Sachverhalt spiegelt aber nicht eine besondere Leistungsfähigkeit der DA (oder LDA = Lineare DA) wieder, sondern eher eine Begrenzung ihrer Möglichkeiten:

Der Stichprobenumfang (hier: die Anzahl der Profile) sollte stets mindestens um den Faktor 3 größer als die Anzahl der Prädiktoren sein (hier: 151), und

Die Korrelationen zwischen den Prädiktoren sollten möglichst nahe bei Null sein.

Wie Simulationen mit zufälligen Helligkeitswerten (allgemein: mit zufälligen Prädiktorwerten) zeigen, können schon perfekte Kategorisierungen vorgenommen werden, wenn die Anzahl der Profile kleiner als die Anzahl der Prädiktoren ist. Diese Klassifikationen sind, wegen der Zufälligkeit der Prädiktorwerte, reine Artefakte.

slide53

Probleme der praktischen Anwendung der linearen Diskriminanzanalyse, II

Hohe Korrelationen zwischen den Prädiktoren erzeugen in jedem Fall kaum interpretierbare Gewichte u1, …, up, deren Absolutwerte im Allgemeinen zu groß ausfallen. Die Schätzungen dieser Gewichte führen zu Fehleinschätzungen der Rolle der einzelnen Prädiktoren.

Es werden eine Reihe von Verfahren zur Reduktion des Fehlers bei den Parameterschätzungen (der Bestimmung der Gewichte) vorgeschlagen. Im Wesentlichen bestehen diese Korrekturen in der Addition von Konstanten, die von den u1, …, up abhängen, zu den Diagonalwerten der Varianz-Kovarianz-Matrizen; man spricht dann von einer ‚Regularisierung‘. Auf die Details kann hier nicht eingegangen werden, es soll nur auf diese Möglichkeit hingewiesen werden. In Statistikprogrammen wie R werden Module für die Regularisierte Diskriminanzanalyse angeboten.