Dea perception et traitement de l information
This presentation is the property of its rightful owner.
Sponsored Links
1 / 27

DEA Perception et Traitement de l’Information PowerPoint PPT Presentation


  • 67 Views
  • Uploaded on
  • Presentation posted in: General

DEA Perception et Traitement de l’Information. Reconnaissance des formes Règle de Bayes S. Canu http://psichaud.insa-rouen.fr/~scanu/RdF. Buts de la RdF. D : Algorithme de Reconnaissance des Formes. C’est la forme «  y=D(x)  ». Une forme x (vecteur forme des caractéristiques).

Download Presentation

DEA Perception et Traitement de l’Information

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Dea perception et traitement de l information

DEA Perception et Traitement de l’Information

Reconnaissance des formes

Règle de Bayes

S. Canu

http://psichaud.insa-rouen.fr/~scanu/RdF


Buts de la rdf

Buts de la RdF

D : Algorithme

de

Reconnaissance

des Formes

C’est

la forme

« y=D(x) »

Une forme x

(vecteur forme

des caractéristiques)

Nous voulons un algorithme de RdF performant


Th or me de bayes et non la r gle

Théorème de Bayes (et non la règle)

Ex : en français P(e) = 0,12

Ex : après avoir observé x

quelle est P(e|x) ?

On choisi une observation, et on décide

On choisi la source, et on émet

Attention à la confusion

source - action


Illustration

illustration

sans autre information

on décide toujours

qu’un pixel

vient de la zone

(source 1)

car P(S1) > P(S2)

A PRIORI

que se passe t’il

si l’on connaît

un caratéristique : x

l’intensité

source 1

source 2


Illustration1

Caractéristique : x

l’intensité

on décide

l’action qui « coûte »

le moins cher

en cout 0-1

c’est la classe max

A POSTERIORI

illustration

source 1

f(x|s1)

source 2

f(x|s2)

Les vraisemblances

x


Illustration2

illustration

f(x|s2)

f(x|s1)

Règle de décision


Notations

notations

espace des sources

J coût d ’une règle de décision

(erreur de prédiction)


Cas particulier des 2 classes et co ts 0 1

Cas particulier des 2 classes et coûts 0-1


Cas particulier des 2 classes et co ts 0 11

Cas particulier des 2 classes et coûts 0-1

Minimiser J(D) c’est minimiser la probabilité d’erreur


Th or me fondamental

Théorème : - D*estla règle de Bayes

(celle qui minimise la probabilité d’erreur)

- J*=J(D*)=P(D*(x)=S)est la plus petite erreur possible

(et donc de coût minimal dans le cadre deux classes 0-1)

Théorème fondamental

Définition : règle de décision du maximum « a posteriori »

r(x)

x

x*

tel que

r(x*)=1/2


D finition fondamentale

Définition fondamentale

Coût minimum = maximum à posteriori

= minimum d’erreur

Pour

Définitions : - D* est appelée règle de Bayes

c’est la règle qui donne la plus petite probabilité d’erreur

- le problème qui consiste à rechercher D*

est le problème de Bayes

- J*=J(D*) est appelée l’erreur de Bayes


R sum probl me de rdf

Résumé : problème de RdF

espace des sources

(erreur de prédiction)


Illustration3

illustration

Illustration 1d

pour deux classes

f X(x,0) ~ N(m0,1)

f X(x,1) ~ N(m1,1)

r(x) = P(S=1|x)

P(S=0|x) = 1-r(x)


D monstration du th or me fondamental maximum a posteriori

Démonstration du théorème fondamental(maximum a posteriori)

Il est difficile de minimiser J(D) (démonstration constructive)

car la fonction coût n’est pas dérivable


Interpr tation en terme de moindres carr s

Interprétation en terme de moindres carrés

La minimisation de l’erreur quadratique mène à la règle de Bayès

La minimisation

de l’erreur absolue aussi !


Rejet r gle de chow

Rejet : règle de Chow

Définition :

règle de décision

du maximum

« a posteriori »

1

rA

1/2

Rejet

d’ambiguité

x

classe 0 rejet classe 1


Rejet de distance dubuisson

Rejet de distance (Dubuisson)

1

rA

rD = 0 et

rA = .5 :

règle du MAP

(bayes pour

le coût 0-1)

1/2

rD

x

rejet de distance classe 0 rejet classe 1 rejet de distance


Illustration4

C1

C0

??????

illustration

Illustration 2d

pour deux classes

f X(x,0) ~ N(m0,1)

f X(x,1) ~ N(m1,1)

r(x) = P(S=1|x)

P(S=0|x) = 1-r(x)

P(x) = f X(x,0) + f X(x,1)

rejet d’ambiguïté


Illustration5

illustration


Un exemple simple

Un exemple simple

S=0 vous ratez votre DEA, S=1 vous l’avez

X : le nombre d’heures de travail par semaine


Un exemple simple1

Un exemple simple

S=0 vous ratez votre DEA, S=1 vous l’avez

X : le nombre d’heures de travail par semaine


R sum probl me de rdf1

Résumé : problème de RdF

espace des sources

(erreur de prédiction)


Rdf strat gie de base

RdF : stratégie de Base

1. Estimer

2. Retrouver la règle de Bayes

Alternative

minimiser directement la probabilité d’erreur

(estimer une densité est un problème très difficile)


Comment comparer deux algorithmes

Comment comparer deux algorithmes

Soit D1 et D2 deux algorithmes (kppv et arbres de décision)

Soit J1 = J(D1) l ’erreur de classification de D1 et J2 = J(D2)

Imaginons que nous connaissions J1 et J2

Sur un échantillon D1 est meilleur, sur un autre c’est D2

comment les comparer ?

En moyenne : E(J) (l’espérance sur tous les échantillons possibles)

un algorithme est dit consistant si

la probabilité d’erreur tend vers son minimum

si c’est vrai quelle que soit la distribution des exemples,

l’algorithme est dit universellement consistant

Définition


Th or me stone 1977

Théorème (Stone 1977)

L’algorithme des kppv est un algorithme universellement consistant

Attention : un bon algorithme peut donner un mauvais classifieur

(on peu aussi gagner au loto)


A savoir

A savoir

  • Variable aléatoire

    • cas discret (un exemple)

    • cas continu (un exemple)

  • Probabilité, probabilité conditionnelle

  • fonction de répartition et densité

  • loi usuelles : bernouilli, binomiale, poisson, normale

  • Espérance,

    • cas discret (un exemple)

    • cas continu (un exemple)

  • Variance

Quiz de 5 minutes maintenant


Conclusion

Conclusion

Un problème de reconnaissance des formes se caractérise

par une loi à priori, une vraisemblance (souvent inconnues),

une fonction coût et un échantillon (souvent connus).

La meilleure solution possible (souvent inconnue) la règle de Bayes

c’est le MAP qui minimise la probabilité d’erreur

Il faut en plus faire du rejet

Reste à savoir comment approcher

la règle de Bayes à partir de l’échantillon

deux stratégies sont possibles :

1. Approcher les lois inconnues puis appliquer le principe du MAP

(la « règle de bayes » sur une approximation des lois)

2. Minimiser directement une estimation de la probabilité d’erreur


  • Login