1 / 60

RECONNAISSANCE DE FORMES

RECONNAISSANCE DE FORMES. IAR-6002. Appproches statistiques de la classification. Introduction Théorème de Bayes Frontières de décisions Caractéristiques multiples Frontière de décision multidimensionnelles Frontières de décision d-dimensionnelle en notation matricielle

carney
Download Presentation

RECONNAISSANCE DE FORMES

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. RECONNAISSANCE DE FORMES IAR-6002

  2. Appproches statistiques de la classification • Introduction • Théorème de Bayes • Frontières de décisions • Caractéristiques multiples • Frontière de décision multidimensionnelles • Frontières de décision d-dimensionnelle en notation matricielle • Estimation des taux d’erreurs

  3. Introduction • Beaucoup d’applications en reconnaissance de formes (RF) utilisent des techniques de classifi-cation basées sur des modèles statistiques • Ces modèles requièrent l’utilisation de paramè-tres descriptifs devant être estimés à partir des données disponibles • En RF automatique, l’apprentissage supervisé (supervised learning) permet le design d’un classificateur

  4. Introduction • De plus, l’entraînement du classificateur est basé sur un ensemble (training set) de caractéristi-ques descriptives de chaque classe connue per-mettant la création des critères de discrimination • Les critères de discrimination servent par la suite pour classer des observations (sample) dont nous voulons connaître la classe d’apparte-nance

  5. Introduction • Lorsque nous ne connaissons pas la forme des densités de probabilité (pdf) nous devons utiliser des techniques non-paramétriques (nonparametric classification) (ex: estimation de densité) • D’autres méthodes permettent de regrouper des ensembles d’objets (clusters) en fonction de mesures de similarité et ce sans connaissance à priori des classes d’appartenance (unsupervised learning)

  6. Introduction • Avec la classification paramétrique (parametric classification) nous connaissons la forme géné-rale des pdf de chaque classe • Les paramètres des pdf (moyenne et variance) ne sont pas connus • Avant d’utiliser les pdf, il faut d’abord estimer les valeurs de ces paramètres

  7. Introduction • Généralement, le but des procédures de classifi-cation est d’estimer les probabilités qu’une observation (sample) à classer appartienne aux diverses classes • Le classificateur choisi alors la classe la plus vraisemblable

  8. Théorème de Bayes • Un classificateur basé sur le théorème de Bayes choisi la classe d’appartenance la plus vraisem-blable d’une observation à classer • La probabilité d’appartenance à une classe est calculée à partir du théorème de Bayes • La probabilité jointe qu’une observation provienne d’une classe C avec comme valeur caractéristique x est donnée par

  9. Théorème de Bayes • Le théorème de Bayes s’écrit alors

  10. Théorème de Bayes • Lorsque les classes d’appartenance C1, C2, …..,Ck sont indépendantes au sens statistique (évènements mutuellement exclusifs) • Le théorème de Bayes pour la classe C=Ci devient

  11. Frontières de décision • Nous pouvons aussi faire le design du classifica-teur en créant des régions ceinturées par des frontières • Chaque région représente l’intervalle des valeurs de x associé à chaque classe • Pour une observation x donnée, le classificateur détermine à quelle région Ri appartient l’obser-vation et associe x à la classe correspondant à la région Ri

  12. Frontières de décision • Le positionnement optimal des frontières permet de subdiviser l’espace des caractéristiques en régions R1, …,Rk de telle façon que le choix de la classe Ci est plus vraisemblable pour les valeurs x dans la région Ri que dans toute autre région

  13. Frontières de décision • Calculer la frontière de décision entre 2 classes A et B

  14. Frontières de décision • Pour calculer la frontière de décision entre 2 classes A et B nous supposons au préalable que les pdf sont continues et se chevauchent donnant

  15. Frontières de décision • Si les valeurs des caractéristiques x pour chaque classe A et B suivent une loi normale

  16. Frontières de décision • En simplifiant nous obtenons • Nous pouvons alors déduire une fonction discri- minante de la forme

  17. Frontières de décision • Les règles de décision (classification) devien-nent • SI D = 0 classer x dans A ou B • SI D > 0 classer x dans B • SI D < 0 classer x dans A

  18. Frontières de décision • La dernière égalité est quadratique selon x et peut avoir 1 racine réelle, 2 racines réelles ou aucune racine • Lorsque les variances sont égales (A=B), l’expression quadratique devient linéaire avec alors une seule racine réelle

  19. Caractéristiques multiples • Lorsque nous supposons l’indépendance des carac-téristiques pour une même classe Cj, la probabilité d’occurrence du vecteur x est déduite par

  20. Caractéristiques multiples • Le théorème de Bayes multidimentionnel donne

  21. Caractéristiques multiples • Avec des distributions normales multivariées la probabilité d’occurrence conditionnelle du vecteur x devient

  22. Frontières de décision multidimentionnelles • Si nous avons 2 caractéristiques x1 et x2, la frontière de décision optimale entre 2 classes Ci et Cj est donnée par

  23. Frontières de décision multidimentionnelles • La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques est déduite par

  24. Frontières de décision multidimentionnelles • La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques

  25. Frontières de décision multidimentionnelles • Après simplification nous obtenons la frontière donnée par

  26. Frontières de décision multidimentionnelles • Sur la frontière • La fonction discriminante est donnée par

  27. Frontières de décision multidimentionnelles • Les règles de décision (classification) devien-nent • SI D = 0 classer l’observation dans C1 ou C2 • SI D > 0 classer l’observation dans C1 • SI D < 0 classer l’observation dans C2

  28. Frontières de décision multidimentionnelles • La frontière optimale entre 2 classes normales bivariées avec des valeurs des caractéristiques corrélées est déduite par

  29. Frontières de décision multidimentionnelles • La pdf jointe bivariée associée à chaque classe prend la forme

  30. Frontières de décision multidimentionnelles • Nous pouvons alors déduire les probabilités conditionnelles • Sachant que sur la frontière • En prenant le logarithme naturel de chaque côté

  31. Frontières de décision multidimentionnelles • Après simplifications nous obtenons la frontière donnée par Classes avec la même variance et corrélation

  32. Frontières de décision multidimentionnelles • La fonction discriminante devient dans ce cas • Les règles de décision (classification) deviennent

  33. Frontières de décision d-dimensionnelle en notation matricielle • Si nous avons k classes et d caractéristiques, nous pouvons représenter les moyennes des caractéristiques de chaque classe Ci par un vecteur de moyennes

  34. Frontières de décision d-dimensionnelle en notation matricielle • Les variances et covariances des caractéristi-ques de chaque classe Ci sont représentées par une matrice • Cette matrice est symétrique • La variance de chaque caracté- • ristique est sur la diagonale

  35. Frontières de décision d-dimensionnelle en notation matricielle • Le théorème de Bayes stipule qu’une observa-tion x ou x est un vecteur de caractériatiques est classée dans Ci qui maximise

  36. Frontières de décision d-dimensionnelle en notation matricielle • Le numérateur de l’expression précédente peut s’écrire • En prenant le logarithme et multipliant par -2 nous pou- vont choisir la classe qui minimise

  37. Frontières de décision d-dimensionnelle en notation matricielle • Nous pouvons alors déduire une distance géné-ralisée • Pour trouver la frontière entre 2 classes Ci et Cj nous devons trouver l’intersection par

  38. Frontières de décision d-dimensionnelle en notation matricielle • Sachant que • La frontière entre les classes Ci et Cj devient

  39. Frontières de décision d-dimensionnelle en notation matricielle • De plus, si les matrices de covariances sont égales pour chaque classe

  40. Frontières de décision d-dimensionnelle en notation matricielle • L’hyperplan bTx = c est une frontière de décision linéaire qui peut aussi prendre la forme d: nombre de caractéristiques

  41. Frontières de décision d-dimensionnelle en notation matricielle • Une somme pondérée des matrices de covariance (pooled) donne une estimation non biaisée de la vraie covariance lorsqu’elles sont supposées égales pour toutes les classes ni: nombre d’observations de Ci N: nombre total d’observations k: nombre de classes i: Estimation non biaisée de la covariance de Ci

  42. Frontières de décision d-dimensionnelle en notation matricielle • i est estimée à partir des données d’entraînement par S est un estimateur non biaisé de 

  43. Frontières de décision d-dimensionnelle en notation matricielle • Si nous considérons un cas bidimensionnel avec 3 classes (k=3) avec une probabilité a priori uni-forme de 1/3

  44. Frontières de décision d-dimensionnelle en notation matricielle • Les pdf de P(Ci)p(x|Ci) de chaque classe

  45. Frontières de décision d-dimensionnelle en notation matricielle • Les fonctions discriminantes (Bayes rules) sont

  46. Frontières de décision d-dimensionnelle en notation matricielle • Les frontières de décisions sont

  47. Frontières de décision d-dimensionnelle en notation matricielle • Diagramme de dispersion de 1000 observa-tions

  48. Frontières de décision d-dimensionnelle en notation matricielle • Autre exemple de classification d-dimensionnelle IR R G B

  49. Frontières de décision d-dimensionnelle en notation matricielle • Autre exemple de classification d-dimensionnelle 1: Végétation 2: Rivière 3: Haie 4: Tributaire 5: Étang

  50. Frontières de décision d-dimensionnelle en notation matricielle • Autre exemple de classification d-dimensionnelle (résultat) Zones importantes: Sols nus Végétation Eau

More Related