Modèles de Markov Cachés (H iden M arkov M odel )

1. Modèles de Markov Cachés(HidenMarkovModel) Présenté par MESTAR Kheira Responsable du module Mr BENYETTOU Mohamed Université des Sciences et de la Technologie d’Oran Département d’informatique. 2 ème année Master. Option RFIA

2. plan • Introduction • La chaine de markov  • Historique • Le modèle de markov caché • Problèmes de base des hmm • Algorithme de forward • Algorithme de viterbi • Domained’application • Exemple détaillé • Conclusion

3. INTRODUCTION La notion de l’optimisation est un mécanisme par lequel on trouve la valeur Maximale ou minimale d’une fonction objectif. Cette optimisation permet de résoudre différents problèmes . Dans ce rapport on va donner une approche théorique sur la méthode classique,HMM (le modèle de markov caché).

4. LA CHAINE DE MARKOV Une chaîne de Markov est de manière générale un processus de Markov à temps discret et à espace d'états discret. En mathématiques, un processus de Markov est un processus stochastique possédant la propriété de Markov

5. HISTORIQUE Les chaînes de Markov sont inventées par Andreï Markov: est un mathématicien russe, Ses travaux sur la théorie des probabilités l'ont amené à mettre au point les chaînes de Markov qui l'ont rendu célèbre. Il a publié les premiers résultats sur les chaînes de Markov à espace d'états fini en 1906. La théorie des modèles de Markov cachés a été développée dans les années 1960 et début 1970 «modèle de Markov caché» a été inventé par Neuwirth.

6. un processus de Markov

7. Le modèle de markovcaché • Distribution de P d’observation d’un symboleàl’étatj: • Distribution des étatsinitiaux: • Un HMMestdécrit par:

8. problèmes de base des HMM • Évaluation: • Problème: calculer la probabilité d’observation de la séquence d’observations étant donnée un HMM: • Solution: Forward Algorithm • Décodage: • Problème: trouver la séquence d’états qui maximise la séquence d’observations • Solution: Viterbi Algorithm • Entraînement: • Problème: ajuster les paramètres du modèle HMM afin de maximiser la probabilité de générer une séquence d’observations à partir de données d’entraînement • Solution: Forward-Backward Algorithm

9. Algorithme de Forward 1. Initialisation: 2. Induction: 3. Terminaison:

10. algorithme de viterbi 1. Initialisation: 2. Induction: 3. Terminaison: 4.La suite d’états retenue:

11. algorithme Forward-ackward(l’algorithme Baum-Welch) Consiste à entraîner les paramètres du modèle HMM Afin de maximiser la probabilité

12. Domaine d’application On général les HMM sont utilisés dans les domaines suivants : • Intelligence Artificielle : ex Reconnaissance de Formes (Reconnaissance de caractères, de la Parole). • Classification (apprentissage).

13. Exemple détaillé Dans cet exercice on suppose qu’on a modélisé via HMM les 2 phrases suivantes : Reconnaissance des formes Reconnaissance digitale Pour cela chaque mot (reconnaissance, des, formes, digitale) a été modélisé par un HMM, la quantification vectorielle a données les deux symboles suivants :

14. Reconnaissance :( HMM à 3 états les symboles observables «x  » et  « y» • Des :( HMM à 2 états les symboles « x» et «y »

15. Formes :( HMM à 2 états les symboles observables « x» et «y » • Digitale:( HMM à 2 états les symboles observables « » et « »

16. Après phase de prétraitement et segmentation d’un signal sonore, la phrase de codage a donnée les 2 mots suivants. Question1 : Utilisez les modèles HMM afin de déduire la phrase reconnue. On commence par quantifier les mots en symboles en utilisant les centroides obtenus lors de la phase de codage et la distance de hamming :

17. Mot1

18. Et donc la suite des symboles quantifiés pour le mot1 est « x y x » Mot2 En appliquant le même calcule on obtient la suite des symboles quantifiés pour le MOT2 est « y y » On passe maintenant à la phase de reconnaissance, on utilise l’algorithme « forward » afin de déterminer quel est le modèle qui donne le plus de probabilité au mot à reconnaitre et donc déduire le mot reconnu MOT1 : « «x y x » MOT2 : «  y y  »

20. Donc le mot reconnu pour «Mot1 » est le max des Pλn (0.25 , 0 , 0, 0.142) et qui est 0.25 donc le mot reconnu est « Reconnaissance » avec une probabilité de 0.25. • On fait la méme chose avec le Mot2 « y y » • Et donc Pλ1 (yy)=0+0=0 • Et donc Pλ2 (yy)=0+0=0 • Et donc Pλ3 (yy)=0+1=1 • Et donc Pλ4 (yy)=0.104+0.126=0.23 • Donc le mot reconnu pour «Mot2 » est le max des Pλn (0 , 0 , 1, 0.23) et qui est 1 donc le mot reconnu est « Formes » avec une probabilité de 1

21. On déduit que la phrase reconnue est « reconnaissance formes » en utilisant les modèle HMM présentés qui correspond à une phrase syntaxiquement fausse Cependant il est plus courant d’utiliser l’algorithme de viterbi qui donne la probabilité du meilleur chemin au lieu de l’algorithme forward (qui donne la somme des probabilités de tous les chemins possibles).

23. CONCLUSION Les applications de HMM prouvent que cet outil reste est Efficace, Performant et Un outil Puissant pour la modélisation.

24. bibliographie [Chr 2009]--Apprentissage et reconnaissance, Professeur : Christian Gagné, Univ-LAVAL, 2009. [Mar 2008]-Hidden Markov Models, Martin Sewell, Department of Computer Science University College London, August 2008. [Phi 2001]-Modèles Graphiques HMM & RB Temporels, Philippe.Leray, 2001. [Gos2000]- Classification et Reconnaissance Statistique de Formes, Notes de Cours, Faculté Polytechnique de Mons - B. Gosselin, 2000. [Rab1986]- (Rabiner, 1986) L. R. Rabiner, “An introduction to Hidden Markov Models“, IEEE ASSP Magazine, pp :4-16, Jan. 1986. [Rab1989]- (Rabiner, 1989) L. R. Rabiner, “A Tutorial on Hidden Markov Models and selected applications in speech recognition“, Proceedings of IEEE, Vol. 77, N°2, pp:257-286, Feb. 1989.