1 / 48

Resolució de problemes de reconeixement de patrons

Resolució de problemes de reconeixement de patrons. 2. Resolució de problemes de reconeixement de patrons. Introducció. Reconeixement estadístic. Reconeixement estructural. Bibliografia addicional: “Introduction to Pattern Recognition” M. Friedman and A. Kandel World Scientific, 1999.

meryle
Download Presentation

Resolució de problemes de reconeixement de patrons

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Resolució de problemes de reconeixement de patrons

  2. 2. Resolució de problemes de reconeixement de patrons. • Introducció. • Reconeixement estadístic. • Reconeixement estructural. Bibliografia addicional: “Introduction to Pattern Recognition” M. Friedman and A. Kandel World Scientific, 1999 “Pattern Classification”, 2nd Edition R.O. Duda, P.E. Hart, D.G. Stork Wiley, 2001

  3. Exercici 1: Com es poden classificar els següents objectes en una de les 8 classes que es donen ? Classes: Objectes per classificar: 1 5 a b c d e 2 6 3 Classifiqueu cada un dels objectes en una de les 8 classes d’acord amb la seva similitud, indiqueu el resultat de la classificació a la següent taula: 7 4 8

  4. Exercici 1: Què passa si augmentem les classes ? Classes: Objectes per classificar: 1 9 a b c d e 2 10 3 11 4 12 5 13 6 14 7 15 8 16

  5. Espai de característiques:es una representació de coneixement que definim com: • Lèxic: característiques, eixos, punts, sistema de coordenades, classes, partició de l’espai, funció de decisió. • Estructural: • Els punts són vectors de tantes dimensions com l’espai. • Les característiques van associades a cada un dels eixos de l’espai. • Una classe vindrà donada per una part de la partició de l’espai. • Semàntic: • Els punts representen objectes. • Les coordenades del punts representen la descripció dels objectes en base a les seves característiques. • Una part de l’espai representarà tots els objectes semblants o una classe. • Procedimental: • Proc. que extreuen les característiques que descriuen un objecte. • Proc. que permeten dividir l’espai en una partició. • Proc. que decideixen a quina classe pertany un punt.

  6. Passos a seguir en un problema • Definició de l’espai de característiques • Captació de característiques interessants • (depèn del problema) • Exploració de l’espai • Reducció de la dimensió – Transformació de Karhunen-Loeve • Categorització o partició de l’espai(aprenentatge) • Supervisada. • Amb o sense assumpcions sobre les propietats de l’espai • No-supervisada • Classificació o funcions de decisió (presa de decisió) • Lineal, no-lineal • Probabilística • Veí més proper

  7. a b d p q • Selecció de característiques interessants • (depèn del problema) • Exemple: Construcció d’un OCR (Object Character Recognigtion), característiques per a reconeixer les lletres • Canvis de negre a blanc horitzontals/verticals. • Centre de gravetat (x,y) • Distància màxima i mínima des del contorn al centre de la imatge. • Píxels a la part dreta / a la part esquerra • Píxels a la part superior / a la part inferior • Número de trams horitzontals • …

  8. Exploració de l’espai de característiques 2 dimensions (espai observable) d Pèrdua d’informació Objectiu: Reduir la dimensió de l’espai a una dimensió menor minimitzant la pèrdua d’informació. Eina: Transformada de Karhunen-Loeve (Anàlisi de components principals) Per a n punts, en un espai de dimensió d, representats a la matriu: busquem un canvi de base que permeti acumular la màxima informació en un nombre menor de dimensions (essencialment 1, 2 o 3 per a que pugui ser més observable, i ens informi sobre l’eficàcia de cada característica)

  9. Algorisme: • Construir, R, la matriu de covarianca de X: • Calculem els valors propis de R: • i els vectors propis de R • es poden calcular trobant la solució de l’equació: • 3. Apliquem el canvi de base sobre la mostra, de manera que ara les primeres dimensions poden concentrar la major part de la informació, i permeten construir representacions més observables: Cas 2D Representació amb pèrdua

  10. Exemples:

  11. Exemple real: (extret del llibre “Handbook of Pattern Recognition and Computer Vision”, ed. Chen et al. World Scientific, 1993 pàg. 7) Cada patró representa una frase dita per una de les 8 persones de les categories que es donen, cada frase ha estat repetida 5 vegades. Per a cada frase s’han extret 5 característiques del senyal grabat. Persona 1 Persona 2 Persona 8

  12. Passos a seguir en un problema • Definició de l’espai de característiques • Captació de característiques interessants • (depèn del problema) • Exploració de l’espai • Reducció de la dimensió – Transformació de Karhunen-Loeve • Categorització o partició de l’espai(aprenentatge) • Supervisada. • Amb o sense assumpcions sobre les propietats de l’espai • No-supervisada • Classificació o funcions de decisió (presa de decisió) • Lineal, no-lineal,

  13. APRENENTATGE SUPERVISAT: Existeix un conjunt de mostres d’aprenentatge de les que es coneix a quina classe pertany cada una. Problema: Definir funcions de decissió adequades

  14. Exemple:

  15. Exemple: Funció de decissió (per classificar ) En general : Si llavors Sinó fSi Funcions de decissió lineal: són adequades quan les classes es poden separar amb un hiperplà (recta, pla, …)

  16. Exemple:

  17. Exemple: Funció de decissió (per classificar ) Si llavors Sinó fSi Funcions de decissió no lineal: són adequades quan les classes no es poden separar amb una funció no lineal i es pot definir una funció no-lineal que les separi.

  18. Exemple:

  19. Exemple: És habitual assumir que una mostra de punts d’una classe segueix una distribució Normal, aleshores Funció de decissió (per classificar ) (*) Aquesta assumpció és un cas particular del classificador de Bayes que s’estudiarà en cursos posteriors. Si llavors fSi Funcions de decissió probabilística: són adequades quan es basen en el fet de suposar que les dades presenten una estructura probabilística amb una funció de densitat coneguda

  20. Estimació de la densitat de probabilitat, si la densitat assumida és normal, aleshores s’han d’estimar dos paràmetres: Cas (d=1): Cas (d>1): Aproximacions habituals:

  21. APRENENTATGE NO SUPERVISAT: No existeix un conjunt de mostres d’aprenentatge de les que es coneix a quina classe pertany cada una. • Problema: Buscar automàticament l’estructura de les dades per agrupaments • (Definir algorismes de Clustering)

  22. Algorisme k-means • Definicions prèvies: • E : Conjunt d’elements que formen el conjunt d’aprenentatge • k : Nombre de classes en que es vol dividir l’espai • : Conjunt de punts de la classe i. • : Centre d’inèrcia de la classe i. • : Centre d’inèrcia de la classe i a l’instant t. • : distància entre dos punts.

  23. Algorisme • Funció k-means (E , k ) • Escollir aleatòriament k punts de E per inicialitzar • Repetir • Per a ( cada classe ) fer • Calcular el nou • FPer • t++; • Fins que ( ) • Retornar( ) • FFunció

  24. Anàlisi de l’algorisme: Complexitat del k-means: L’estructura inherent de les dades determina el número d’iteracions, observació d’un cas concret: Principal desavantatge: cal coneixer el número de classes en que s’ha de dividir l’espai de classes.

  25. Estimació automàtica del número de classes: Anàlisi de la variància: consisteix en l’aplicació del k-means per a diferents número de classes. Per a cada número es pot calcular la funció discriminant de Fisher, que interessa minimitzar: Existeix un algorisme que introdueix alguns procediments heurístics per ajustar automàticament el número de classes d’una mostra donada: ISOSDATA (Iterative Self-Organizing Analysis Tecniques)

  26. Fórmules interessants: • Distància entre dos punts • Distància entre un punt i una classe • Distància d’una classe • Distància entre dues classes

  27. 2. Resolució de problemes de reconeixement de patrons. • Introducció. • Reconeixement estadístic. • Reconeixement estructural.

  28. Exemple: Com es poden classificar els següents objectes en 4 classes ?

  29. e e e e e e e e e e e e a b b b a a a a b b b a a b b a s s s s s s s s s s s s s s s s e e e e e e e e e e e e b a a a b b a a a b a b b b b a Exemple: Com es poden classificar els següents objectes en 4 classes ?

  30. Xarxa semàntica o graf:es una representació de coneixement que definim com: • Lèxic: node, arc, etiqueta d’arc, correpondència, matriu d’adjacència. • Estructural: • Qualsevol arc sempre va unit a dos nodes, node origen i node destí. • Les etiquetes sempre van associades als arcs. • La matriu d’adjacència d’una xarxa és NxN, on N: núm. de nodes. • Semàntic: • Depèn de l’aplicació, però en general: • Node=Objecte Node=Estat d’un problema • Arc= Relacions entre objectes Arc=Canvi d’estat • Procedimental: • Proc. que construeixen un graf. • Proc. que comparen o fan correspondència entre grafs. • Proc. que retornen tots els nodes destí d’un node donat.

  31. a b d e e a b d c c • Representació amb matriu d’adjacència • Llista de nodes amb la seva llista de nodes destí. • Matriu d’adjacència e1 e5 e7 e2 e6 e3 e4 ((a (b d)) (b (e)) (c (a b)) (d (c) ) (e (d)) ) ((a ((e1 b) (e7 d))) (b ((e2 e))) (c ((e5 a) (e6 b)) (d ((e4 c))) (e ((e3 d))))

  32. 1 2 5 4 3 a b e d c Correspondència entre dos grafs G1 i G2: Trobar una substitució dels nodes de G1 amb els de G2 que faci que els dos grafs siguin iguals. G2 G1 ? =

  33. 1 b 2 5 3 a 1 4 d 4 5 2 3 e c Correspondència entre dos grafs G1 i G2: Trobar una substitució dels nodes de G1 amb els de G2 que faci que els dos grafs siguin iguals. G2 G1 ? = 1=c 2=b 3=e 4=d 5=a Substitució solució:

  34. 1 2 5 4 3 a b e d c Correspondència entre dos grafs G1 i G2: Trobar una substitució dels nodes de G1 amb els de G2 que faci que els dos grafs siguin iguals. 1=c 2=b 3=e 4=d 5=a Permutació per files 1=c 2=b 3=e 4=d 5=a Permutació per columnes

  35. 1 2 5 4 3 a b e d c Correspondència entre dos grafs G1 i G2: Trobar una substitució dels nodes de G1 amb els de G2 que faci que els dos grafs siguin iguals. Permutació per files a=5 b=2 c=1 d=4 e=3 a=5 b=2 c=1 d=4 e=3 Permutació per columnes

  36. Algorisme de correspondència de grafs • FuncióGraph-matching(G1,G2) • L=llista de totes les permutacions dels nodes de G1. • Per a cada (element, k, de L) fer • A=Aplicar_Permutacio(k,MA(G1)); • Si (A=MA(G2)) llavors • Retornar(k és la solució) • Fsi • Fper • Retornar(No existeix solució exacta) • Ffuncio • MA(G): és la matriu d’adjacència del graf G. • Aplicar_Permutacio(k,M): retorna la matriu M després d’aplicar-li la permutacio indicada a k.

  37. Implementació RECURSIVA IDEA: Les permutacions es poden construir a partir d’insertar cada un dels elements a totes les llistes que representen les permutacions de la resta d’elements. Funció permute (Lin) Si (Lin==“buit”)llavors Retornar(llista_buida) sinó Per a cada (element E de Lin) fer L=permute(Lin–{E}) Per a cada (element Li de L) fer insertar(E,L); FPer Lout=Lout+L; FPer Fsi FFunció Exemple: Elements Permutacions de la resta a permutacions((b c)) = ( (b c) (c b) ) ( (a b c) (a c b) ) b permutacions((a c)) = ( (a c) (c a) ) ( (b a c) (b c a) ) c permutacions((a b)) = ( (a b) (b a) ) ( (c a b) (c b a) ) Complexitat de l’algorisme: • Construcció de la llista de permutacions • Exploració de la llista

  38. Implementació basada en una CERCA en un arbre ?

  39. Exemple: Implementació d’un OCR basat en les propietats estructurals de les lletres A A A A A A A

  40. Exemple: Implementació d’un OCR basat en les propietats estructurals de les lletres A A A A A A A

  41. Exemple: Implementació d’un OCR basat en les propietats estructurals de les lletres A A A A A A A Problemes:

  42. Inexistència de solució: Quan no existeixi una solució que tingui correspondència perfecta, aleshores es pot buscar una correspondència parcial amb una mesura de similitud, per exemple:

  43. Possible millora: Algorisme AC4 (basat en Relaxació Discreta) Consisteix en fer un pas previ de relaxació d’una sèrie de restriccions sobre les etiquetes dels enllaços o dels nodes, això permet dividir els n nodes d’un graf en varis subconjunts: on Per tant, la complexitat de la correspondència dels subgrafs serà:

  44. Resolució del problema de l’analogia geomètrica A B X1 X2 X3 C X ?

  45. nocanvia nocanvia t t nocanvia nocanvia z z z z z z sobre dins sobre dreta sobre sota sobre dins expandit nocanvia q q expandit expandit c c c c c c Resolució del problema de l’analogia geomètrica A B X1 X2 X3 C X ? Amb quin graf hi ha correspondència? Graf AB Graf CX1 Graf CX3 Graf CX2

  46. nocanvia nocanvia t t nocanvia nocanvia z z z z z z sobre dins sobre dreta sobre sota sobre dins expandit nocanvia q q expandit expandit c c c c c c Representació amb Matrius d’adjacència: Graf AB Graf CX1 Graf CX3 Graf CX2 Aplicació de l’algorisme: Graph-Matching Graph-Matching(AB,CX1) Graph-Matching(AB,CX2) Graph-Matching(AB,CX3) Retorna Retorna Retorna NO NO SÍ

  47. Algunes consideracions: • Existència d’ambigüitats: • Per tractar les ambigüitats hi ha diverses possibilitats: • Considerar totes les possibles interpretacions de tots els grafs, fet que augmenta la complexitat. • Considerar només la interpretació més habitual (això implica obtenir una taula de valoracions habituals) i només considerar les altres si no hi ha solució. A B nocanvia desapareix Dues possibles interpretacions p p p p dins dins desapareix reduït g g g g

More Related