Einführung in die
This presentation is the property of its rightful owner.
Sponsored Links
1 / 30

Christian Eurich PowerPoint PPT Presentation


  • 33 Views
  • Uploaded on
  • Presentation posted in: General

Einführung in die Wahrscheinlichkeitsrechnung. Christian Eurich. Institut für Theoretische Neurophysik. Ziele. Wahrscheinlichkeitsrechnung. ... In 8 Schritten ... Grundbegriffe ins Gedächtnis rufen ... nicht für Experten! ... Mischung aus Mathematik und Praxis

Download Presentation

Christian Eurich

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Christian eurich

Einführung in die

Wahrscheinlichkeitsrechnung

Christian Eurich

Institut für Theoretische Neurophysik


Ziele

Ziele

Wahrscheinlichkeitsrechnung...

  • ... In 8 Schritten

  • ... Grundbegriffe ins Gedächtnis rufen

  • ... nicht für Experten!

  • ... Mischung aus Mathematik und Praxis

  • ... Anwendungen aus dem Neuro-Bereich


1 stochastizit t arbeitsdefinition

1. Stochastizität: Arbeitsdefinition

Ein System verhält sich stochastisch, wenn wir sein Verhalten nicht vorhersagen können. Die Ursache der Stochastizität wird (hier) nicht betrachtet.

  • Radioaktiver Zerfall

  • Münzwurf, Würfeln

  • Schwankungen des Körpergleichgewichts

Beispiele:

Stabilogramm


Stochastizit t arbeitsdefinition

Stochastizität: Arbeitsdefinition

  • Neuronale Aktivität

  • Metronom: Beschreibung hängt von der gewünschten Genauigkeit ab


2 zufallsexperimente und ereignisse

2. Zufallsexperimente und Ereignisse

Ein Experiment heißt Zufallsexperiment, wenn die Ergebnisse, die auftreten können, bekannt sind. Es ist

jedoch nicht bekannt, welches Ergebnis tatsächlichals nächstes auftritt.

Die Menge aller möglichen Ergebnisse ist derStichprobenraumW.Teilmengen heißen Ereignisse, einelementigeTeilmengen heißen Elementarereignisse.

W kann diskret (abzählbar) oder kontinuierlich(überabzählbar) sein.


Zufallsexperimente und ereignisse

Zufallsexperimente und Ereignisse

Beispiel:

Stichprobenraum W={1,2,3,4,5,6}

Elementarereignis A={1}, B={2} (eig.: „1 Auge“ etc.)

Ereignis: C = „ungerade“ = {1,3,5}

Wird z. B. eine 1 gewürfelt, so sagt man, die Ereignisse A und C seien eingetreten.

{} ist das unmögliche Ereignis.

W ist das sichere Ereignis.

  • Würfeln


Zufallsexperimente und ereignisse1

Zufallsexperimente und Ereignisse

Beispiel:

Spiketrain

  • Neuronale Feuerstatistik

Stichprobenraum W={„0 Spikes“, „1 Spike“, ..., „10 Spikes“}

Elementarereignis A={„3 Spikes“}

Ereignis: B = {„< 5 Spikes“}

Entspr. maximaler Feuerrate


3 axiomatische definition der wahrscheinlichkeit

3. Axiomatische Definition der Wahrscheinlichkeit

(Kolmogorov 1933)

Eine Funktion P, die jedem Ereignis eines Zufallsexperimenteine Zahl zuordnet, heißt Wahrscheinlichkeit, falls sie folgende Axiome erfüllt:

  • Für jedes Ereignis gilt0 P(A) 1.

  • Es ist P(W) = 1 (sicheres Ereignis).

  • Für zwei Ereignisse A, B mit A B = {} (unverträgliche Ereignisse) gilt:P(A B) = P(A) + P(B).


Axiomatische definition der wahrscheinlichkeit

Axiomatische Definition der Wahrscheinlichkeit

3. Für zwei Ereignisse A, B mit A B = {} (unverträgliche Ereignisse) gilt:P(A B) = P(A) + P(B).

  • Würfeln

Beispiel:

A = {1}, B = {2}

P(A) = 1/6, P(B) = 1/6

Somit: P(A B) = P({1,2}) = 1/3

Aber:

Daher: P(A B) 3/6,sondern: P(A B) = P({1,2}) = 1/3

A = {1,2}, B = {2}

P(A) = 1/3, P(B) = 1/6


4 bestimmung von wahrscheinlichkeiten

4. Bestimmung von Wahrscheinlichkeiten

Axiome von Kolmogorov legen die Wahrscheinlichkeiten noch nicht fest! Sie müssen definiert oder gemessen werden.

Dieses Kapitel ist umfasst Mathematik und Empirie.


Bestimmung von wahrscheinlichkeiten

Bestimmung von Wahrscheinlichkeiten

a) Mathematik; für endliche StichprobenräumeOrdne jedem Elementarereignis die gleiche Wahrscheinlichkeit zu (Laplace-Experiment) und wende Abzähltechniken an (Kombinatorik).

  • Würfeln mit einem fairen Würfel

Beispiel:

  • P({1}) = P({2}) = ... = P({6}) = 1/6.

  • Wie kommt man zu der Zahl „1/6“?

  • P(W) = 1 (Axiom 2) und Axiom 3!


Bestimmung von wahrscheinlichkeiten1

Bestimmung von Wahrscheinlichkeiten

a) Mathematik; für endliche StichprobenräumeOrdne jedem Elementarereignis die gleiche Wahrscheinlichkeit zu (Laplace-Experiment) und wende Abzähltechniken an (Kombinatorik).

  • Lotto (6 aus 49)

Komplizierteres Beispiel:

mit

P(„4 Richtige“) =


Bestimmung von wahrscheinlichkeiten2

Bestimmung von Wahrscheinlichkeiten

b) Empirie; für diskrete StichprobenräumeFühre das Zufallsexperiment N-mal aus. Das Ereignis A trete dabei NA-mal auf. Eine Schätzung für die Wahrscheinlichkeit P(A) ist die relative Häufigkeit

P(A) NA / N.

Die Division durch N liefert dabei die Normierung: Es muss für Elementarereignisse Bi gelten:

S P(Bi) = 1.

i

Die Schätzung wird für große N genau (Gesetz der großen

Zahlen).


Bestimmung von wahrscheinlichkeiten3

Bestimmung von Wahrscheinlichkeiten

b) Empirie; für diskrete Stichprobenräume

Beispiel:

  • Neuronale Feuerstatistik


5 wahrscheinlichkeitsverteilungen

5. Wahrscheinlichkeitsverteilungen

Für alle Elementarereignisse x W nennt man die Funktion P(x) eine Wahrscheinlichkeitsverteilung (oder kurz Verteilung).

  • Neuronale Feuerstatistik

Beispiel:

Verteilung der Anzahlvon Spikes als Antwortauf einen bestimmten ReizZumeist: Umrechnung auf die Feuerrate r (# Spikes / s)


Wahrscheinlichkeitsverteilungen

Wahrscheinlichkeitsverteilungen

Beispiel:

Betrachte ein Intervall (Zeitintervall, Raumbereich usw.). Wieviele Ereignisse treten in diesem Intervall auf? Es seien im Mittel l Ereignisse.

  • Poisson-Verteilung

Poisson-Verteilung:


Poisson verteilung

Poisson-Verteilung

Eine Poisson-Verteilung ist dann zu erwarten, wenn die einzelnen Ereignisse unabhängig voneinander auftreten.

Gehorchen neuronale Feuerereignisse einer Poisson-Verteilung?

  • Poisson-Verteilung

Feuerrate

(?)


Poisson verteilung1

Poisson-Verteilung

{

  • Poissonscher Spiketrain

Dt

Test: Verteilung der Wartezeiten ist exponentiell; hier: Interspike-Intervalle

Oft gute Näherung, aber nicht exakt erfüllt: z. B. Refraktärzeit


6 bedingte wahrscheinlichkeit

6. Bedingte Wahrscheinlichkeit

Wahrscheinlichkeiten ändern sich, wenn sich der Stich-probenraum W ändert. Dies ist i. a. der Fall, wenn wir mehr Wissen über ein System bekommen.

Wir wollen eine bedingte Wahrscheinlichkeit

P(A|B) A,B W Ereignisse

„Wahrscheinlichkeit von A unter der Bedingung, dass B eingetreten ist“

einführen.


Bedingte wahrscheinlichkeit

Bedingte Wahrscheinlichkeit

Beispiel:

Schritt 1

A = {1}, P(A) = 1/6

B = {1,2,3}, P(B) = ½

P(A|B) = 1/3

Hier: P(A|B) = P(A)/P(B)

Das ist aber noch nicht die endgültige Version, das Beispiel war zu simpel...

  • Würfeln


Bedingte wahrscheinlichkeit1

Bedingte Wahrscheinlichkeit

Beispiel:

Schritt 2

  • Würfeln

A = {1,6}, P(A) = 1/3

B = {1,2,3}, P(B) = ½

P(A|B) = 1/3 (!)

Wichtig ist nur die „1“,

also A B mit P(A B)=1/6

Anstatt P(A|B) = P(A)/P(B):

P(A|B) = P(A B)/P(B)


Bedingte wahrscheinlichkeit2

Bedingte Wahrscheinlichkeit

Präsentiere verschiedene Reize A1, A2, A3, ...

 Die neuronale Feuerstatistik ändert sich (i. A. verschiedene mittlere Feuerraten, andere Verteilung)

  • Neuronale Feuerstatistik

Wie groß ist die Wahrscheinlichkeit, als Antwort auf die Präsentation eines Reizes eine bestimmte Feuerrate r (oder eine bestimmte Anzahl n von Spikes) zu bekommen?

Interpretiert als bedingte WahrscheinlichkeitP(r|A1), P(r|A2), P(r|A3), ... bzw.

P(n|A1), P(n|A2), P(n|A3), ...


7 satz von bayes

7. Satz von Bayes

Was ist der Zusammenhang zwischen P(A|B) und P(B|A)?

P(A|B) = P(A B) /P(B)

P(B|A) = P(B A) /P(A)

Somit P(A|B) P(B) = P(B|A) P(A) oder

Der Satz von Bayes hat sehr viele Anwendungen. Hier: statistische Signalverarbeitung


Satz von der totalen wahrscheinlichkeit

Satz von der totalen Wahrscheinlichkeit

Benötigt für den Nenner

Zerlege W in disjunkte Teilmengen:W = A1, A2, A3, ... mit Ai Aj = {} für alle i j.

Dann gilt für ein beliebiges Ereignis B:

P(B) = P(B|A1) P(A1) + P(B|A2) P(A2) + ...

Im Satz von Bayes:

,

wobei A eines der Ereignisse Ai ist.


Anwendung auf neuronale antworten

Anwendung auf neuronale Antworten

Verschiedene mögliche Reize A1, A2, A3, ...

Wie groß ist die Wahrscheinlichkeit, als Antwort auf die Präsentation eines Reizes Ai eine bestimmte Feuerrate r (oder eine bestimmte Anzahl n von Spikes) zu bekommen?

  • Neuronale Feuerstatistik

Interpretiert als bedingte WahrscheinlichkeitP(r|A1), P(r|A2), P(r|A3), ... bzw. P(n|A1), P(n|A2), P(n|A3), ...

Jetzt: Wie groß ist – bei gegebener Antwort r bzw. n – die Wahrscheinlichkeit, dass der präsentierte Reiz der Reiz Ai war?

Interpretiert als bedingte WahrscheinlichkeitP(A1|r), P(A2|r), P(A3|r), ...


Rekonstruktion von reizen

Rekonstruktion von Reizen

Gegeben:

  • Verschiedene mögliche Reize A1, A2, A3, ...

  • Feuerstatistiken P(n|A1), P(n|A2), P(n|A3), ...

  • Ermittle eine neuronale Antwort n

Rekonstruktion:

  • Bestimme die Wahrscheinlichkeiten P(A1|n), P(A2|n), P(A3|n), ... mit dem Satz von Bayes

  • Rekonstruierter Reiz: Wähle den Reiz Ai, für den die Wahrscheinlichkeit P(Ai|n) maximal ist (Maximum-A- Posteriori-Schätzer).


Unabh ngige ereignisse

Unabhängige Ereignisse

Mit Hilfe der bedingten Wahrscheinlichkeit lässt sich die Unabhängigkeit von Ereignissen definieren.

Zwei Ereignisse A, B heißen unabhängig, wenn gilt:

P(A|B) = P(A).

  • Würfeln mit zwei Würfeln

Beispiel:

P(„2 mit Würfel 1“ | „ungerade mit Würfel 2“) = P(„2 mit Würfel 1“) = 1/6

P(A|B) = P(A B)/P(B)

folgt: P(A B) = P(A) P(B)

Aus


8 multivariate verteilungen

8. Multivariate Verteilungen

Bislang war die Wahrscheinlichkeit P eine Funktion einer (Zufalls-)Variablen X: P(x). Jetzt: P(x1, x2, ...): Multivariate Verteilungen.

In einem Zufallsexperiment werden die Größen X1, X2, ... gemessen; Messergebnis sei x1, x2, .... Dann nennt man die Funktion P(x1, x2, ...) die Verbundwahrscheinlichkeit von X1, X2, ...

(Achtung: „Verteilung“ ist doppelt besetzt...)


Multivariate verteilungen

Multivariate Verteilungen

Beispiel:

  • Feuerstatistik zweier Neuronen

Ergibt ein bivariate VerteilungP(n1,n2) bzw. P(r1,r2).

Praktisches Problem: Es werdenviel mehr Daten benötigt!


Multivariate verteilungen1

Multivariate Verteilungen

  • Feuerstatistik zweier Neuronen

Praktisches Problem: Es werden viel mehr Daten benötigt als bei einem Neuron!

Lösung: Annahme der statistischen Unabhängigkeit:

P(n1,n2) = P(n1) P(n2).

Stimmt die Annahme? Natürlich nicht...


  • Login