Reconnaissance des formes cours de D.E.A. Introduction

1. Reconnaissance des formescours de D.E.A.Introduction S. Canu psichaud.insa-rouen.fr/~scanu/RdF

2. Objectifs du cours • Principes de base de la RdF • règle de décision • cout, règle de Bayes • matrice de confusion courbe C.O.R. • Méthode de développement d’une application de RdF • méthodes et Algorithmes • méthodes « historiques » (analyse discriminante) • kppv, CART (arbres de décision) • réseaux de neurones : optimisation • EM • Ouvertures et perspectives (fusion de données, flou, DS,…)

3. Aspects pratiques du cours • Exam final 50 % de la note • TP 1 : étude biblio : 15 % • TP 2 : page web : 15 % • TP 3 : programme matlab, octave,… 15 % • quiz : 5 % (0 ou +1) • Biblio : • les livres du cours • K. Fukunaga, Introduction to Statistical Pattern Recognition (Second Edition), Academic Press, New York, 1990. • P.A. Devijver and J. Kittler, Pattern Recognition, a Statistical Approach, Prentice Hall, Englewood Cliffs, 1982. • R.O. Duda and P.E. Hart, Pattern classification and scene analysis, John Wiley & Sons, New York, 1973. • L. Breiman, J.H. Friedman, R.A. Olshen, and C.J. Stone, Classification and regression trees, Wadsworth, 1984. • L. Devroye, L. Györfi and G. Lugosi, A Probabilistic Theory of Pattern Recognition, (Springer-Verlag 1996) • S. Haykin, Neural Networks, a Comprehensive Foundation. (Macmillan, New York, NY., 1994) • V. N. Vapnik, The nature of statistical learning theory (Springer-Verlag, 1995) • B. Dubuisson, Diagnostic et reconnaissance des formes (Hermès, 1990) • M. Milgram, Reconnaissance des formes, méthodes numériques et connexionnistes, (Armand Colin, collection 2ai, 1993 • les journaux • pattern recognition • les conférences

4. Quelques exemples de RdF

5. Quelques exemples de RdF

6. Quelques exemples de RdF • C’est un rond, c’est un carré, (une forme quoi !) • le feu est vert, • (je passe, ou je m’arrête ! Classe = action possible) • votre électrocardiogramme est normal : • diagnostic = détection : signal ou bruit (inspection : qualité, monitoring) • c’est une facture téléphone (reconnaissance syntaxique : les « règles ») • odeur : c’est une madeleine • caractère - écriture • (c’est une lettre, un mot, une phrase, un sens) • parole (forme temporelle) • voix, identification : c’est Chirac aux guignol, localisation d’une source et séparation • visage (vision) • identification : visage + voix + odeur + empreintes : c’est « Chirac » • une voiture (concept imprécis) • il va pleuvoir (fusion de données - décision incertaine) Aspects humains

7. Quelques problèmes de RdF • C’est un rond, c’est un carré, Distance avec des formes de références • le feu est vert, • (je passe, ou je m’arrête) Représentation des caractéristiques • votre électrocardiogramme est normal : • diagnostic = détection : signal ou bruit Cadre aléatoire • c’est une facture téléphone Modèle = les « règles » (même source) • odeur : c’est une madeleine capteur complexe • caractère - écriture complexité de la tâche • (c’est une lettre, un mot,...) modélisation par apprentissage • parole (forme temporelle) Temps (système évolutif :environnement) • voix (c’est Chirac aux guignol), complexité de l’espace des caractéristiques • visage (vision) invariances • identification fusion - (informations hétérogènes) • une voiture (concept imprécis) définition des classes (monitoring) • il va pleuvoir décision aléatoire

8. Les différentes phases des algorithmes de reconnaissance des formes Prétraitement extraction de caractéristiques Algorithme de R des F capteur source représentation caractéristiques décision (action) espace des caractéristiques espace des décisions espace des sources

9. Quelques problèmes de RdF • problème sources caractéristiques actions • C’est un rond, c’est un carré, • le feu est vert, • (je passe, ou je m’arrête) • votre électrocardiogramme est normal : • diagnostic = détection : signal ou bruit • c’est une facture téléphone • odeur : c’est une madeleine • caractère - écriture • (c’est une lettre, un mot,...) • parole (forme temporelle) • voix (c’est Chirac aux guignol), • visage (vision) • identification • une voiture (concept imprécis) • il va pleuvoir

10. Buts de la RdF Algorithme de Reconnaissance des Formes C’est la forme « y » Une forme x (vecteur forme des caractéristiques) 1. Un algorithme de reconnaissance des formes est une règle de Décision (déterministe dans le cours) 2. Une règle de décision déterministe établie un partitionnement de l’espace des caractéristiques C’est le problème de discrimination « je ne sais pas », « inconnue »

11. + + + + + + + + + + + + + + + + + + Sources - Actions - ClassesRègles de décision Frontière de décision fonction b(x)=0 telle que D(x-e) = D(x+e) Xn x x x x x x + x x x + x x x + + x prototypes + x + X1 Rejet de distance Rejet d’ambiguïté Xn Xn x x x x x x x x x x x x + + x x x x x x + x x + x x x x + + + + x x + + x x + + X1 X1

12. Buts de la RdF D : Algorithme de Reconnaissance des Formes C’est la forme « y=D(x) » Une forme x (vecteur forme des caractéristiques) Nous voulons un algorithme de RdF performant

13. Coûts : matrice de confusion Vraie classe 1 2 3 … k … K Décision 1 2 3 . . . L ? ?? Rejet (ambiguïté et distance) Si je décide l’action al alors que la « vraie » classe est sk Combien coûte cette décision ?

14. Coûts : matrice de confusion Vraie classe 1 2 3 … k … K Décision 1 2 3 . . . L ? ?? La réalité notre décision Malade pas malade 0 On soigne 1 Rejet (ambiguïté et distance) on ne soigne pas 0 100 Si je décide l’action al alors que la « vraie » classe est sk Combien coûte cette décision ?

15. Coûts : matrice de confusion Vraie classe 1 2 3 … k … K Décision 1 2 3 . . . L ? ?? La réalité notre décision Malade pas malade 14 On soigne 5 Rejet (ambiguïté et distance) on ne soigne pas 1480 1 Sur les 1500 « cas » testés, voici les résultats de l’algorithmes de RdF

16. Algorithme de coût minimum

17. Coût minimum : cadre probabiliste La source S est une variable aléatoire P(observer un « E ») exemple des malades P(malade) = 15/1000 cas équiprobable P(S=sk) = 1/K (1/2 si K=2)

18. Coût minimum : cadre probabiliste La source S est une variable aléatoire P(observer un « E ») exemple des malades P(malade) = 15/1000 cas équiprobable P(S=sk) = 1/K (1/2 si K=2)

19. Coût minimum : cadre probabiliste Illustration 1d pour deux classes f X(x,0) ~ N(m0,1) f X(x,1) ~ N(m1,1)

20. Coût minimum : cadre probabiliste Toutes les classes En moyenne On recherche la règle de décision de coût minimum

21. A savoir • Variable aléatoire • cas discret (un exemple) • cas continu (un exemple) • Probabilité, probabilité conditionnelle • fonction de répartition et densité • loi usuelles : bernouilli, binomiale, poisson, normale • Espérance, • cas discret (un exemple) • cas continu (un exemple) • Variance Quiz de 5 minutes la semaine prochaine

22. Buts de la RdF2 points de vue : utilisateur - concepteur Algorithme de Reconnaissance des Formes Une forme (vecteur forme des caractéristiques) C’est la forme « y » Méthode de construction de l’Algorithme de Reconnaissance des Formes

23. Les enjeux de la RdF L’apprentissage : ce qu’un bébé réalise en deux ans, aucune machine n’est aujourd’hui capable de la réaliser : et il a besoin d’exemples (cf les expériences folles du duc de Bavière) modéliser l’information, dépasser la complexité fusion de données représentation des incertitudes

24. Problèmes de la RdF Décision apprentissage sélection d’entrée évaluation des performances prise en compte du temps fusion de données hétérogènes

25. Les différentes étapes d’une application de RdF • Recueil des données brutes • génération de caractéristiques • sélection des caractéristiques pertinentes • étiquetage des classes • conception du classifieur • évaluation du système

26. notations espace des sources J coût d ’une règle de décision (erreur de prédiction)

27. Méthodes de RdF

28. La RdF par apprentissage