Processus stochastiques

1. Processus stochastiques Adapté de Yannis Korilis, Christian St-Jean, Dave DeBarr, Bob Carpenter, Jennifer Chu-Carroll et plusieurs autres

2. réalisation V.A. Processus stochastique • Phénomène temporel où intervient le hasard • Caractérisé par ses réalisation successives • Les valeurs instantanées sont des variables aléatoires Ex: Suite de lancers de dé 1,3,2,5,3,6,2,4 Signal radar Écho de voix • Temps continu : X(t) • Temps discret : X(tn) ; X(n) ;Xn

3. Processus de Poisson • Les signaux observés sont « rares » et ne dépendent que du temps d’attente et d’un paramètre  : • Le nombre de signaux entre le temps t et le temps t+T suit P(T) • Le temps d’attente entre deux signaux suit une loi exponentielle de paramètre  • Le temps d’attente entre « k » signaux suit une loi Gamma.

4. Exemple Le nombre de pannes d’un composant est de 3 par jour. Probabilité qu’il y ait aucune panne en 1 jour : Probabilité qu’il y ait moins de trois pannes en 3 jours: Probabilité pour que le temps d’attente de la première panne soit supérieure à 24 heures : Probabilité pour que le temps d’attente de la première panne soit supérieure à 72 heures : Temps moyen d’attente d’une panne : 1/3 de journée Nombre moyen de pannes par jour : 3 pannes

5. Exemple Le nombre de clients entrant dans un magasin un jour donné suit une loi de Poisson, X, de paramètre  = 12. Quelle est la probabilité de ne pas tomber en-dessous de 250 entrées de clients durant un mois de 22 jours ouvrables ? On a lT = 12·22 = 264. La probabilité recherchée est donc P(X³ 250) = 1 - P(X < 250) = 1 - exp(-264)·Si=0..249 264i/i! = 0.8133788672.. On peut acccéler les calculs en approchant la distribution de la variable de Poisson X par celle d'une variable normale Y de moyenne m = lT= 264 et de variance s2 = lT = 264. Cela donne P(X³ 250) = P(X - m³ -14) @P((Y - m)/s³ 250/s) = P(Z³ -14/264½) et Z est une variable normale standard. Donc P(X³ 250) @ ½·[1 + erf(7·33½/66)] = 0.8055572942..

6. Processus de Markov Processus stochastique dont l’évolution ne dépend que d’un nombre limité d’états antérieurs 1er ordre : Si à l ’instant ti, on a observé la réalisation oi de X(t) alors L’état courant du système suffit pour prédire son état futur. 2nd ordre : L’état courant du système et celui le précédant suffisent pour prédire son état futur. Andrei Markov (1856-1922) : statisticien russe spécialisé dans les modèles probabilistes temporels.

7. Chaîne de Markov • Processus stochastique à temps discret • Les états Xn forment une suite d’indice {0,1,2,…} • Propriété de Markov : • Hypothèse de stationnarité : • Probabilités de transition entre états : • Matrice des probabilités de transition P=[Pij] • Probabilités initiales : Exemple: Alphabet : ={‘A’,’C’,’G’,’T’} Séquence : ACGCCTAGGCTAGCTTATCG

8. Représentation Graphique 0.4 0.6 Exemple: X(t) : Temps qu’il fait ={‘ neige ’,‘ pluie ’, ’soleil ’} A=  = {0.02 , 0.4, 0.58} 0.2 Neige Pluie 0.3 0.2 0.1 0.3 0.1 0.02 Soleil 0.58 0.4 0.8 Représentation d’une chaîne de Markov • Il faut définir: • L’espace d’états: alphabet ={o1,...,om} des réalisations possiblesde X(t) • La matrice de transition A={ai,j= P(oj|oi)} • Les probabilités de départ ={i=P(oi)}

9. Représentation Graphique 0.4 0.6 0.2 Neige Pluie 0.3 0.2 0.1 0.3 0.1 0.02 Soleil 0.58 0.4 0.8 Probabilité d’une séquence d’états Th. Bayes Application: Quelle est la probabilité qu’il fasse ‘ Soleil ’,5 jours de suite ? P(Soleil, Soleil, Soleil, Soleil, Soleil)= 0.58*0.8*0.8*0.8*0.8 =0.2375 P(Neige, Neige, Pluie, Pluie, Soleil)= 0.02*0.4*0.3*0.6*0.2=0,000288

10. N 0.4 0.3 0.3 0.2 P S N 0.3 0.8 S Et s’il y a plusieurs chemins ? • Probabilité de transition en n sauts • Note : est l’élément (i, j) de la matrice Pn • Équations de Chapman-Kolmogorov Quelle est la probabilité qu’il fasse ‘ Soleil’ dans 2 jours sachant qu’il neige aujourd’hui ?

11. Prévision suivant un système d’évènements complet Système d événements complet : Quelle est la probabilité qu ’il fasse ‘ Soleil ’ dans 3 jours ?

12. 0.50 1 2 0.50 0.50 0.25 0.25 4 3 6 1.00 0.25 0.25 5 Exemple Un programme informatique est composé de 5 sous programmes indépendants, sp1, .., sp5, et un sous-programme de sortie sp6. De sp1 on peut aller à sp2 avec une proba de ½ on peut boucler avec une proba de ½ De sp2 on peut aller à sp1 avec une proba de ½ on peut aller à sp4 avec une proba de ½ De sp3 on peut aller à sp1 avec une proba de ¼ on peut aller à sp2 avec une proba de ¼ on peut aller à sp5 avec une proba de ¼ on peut aller à sp6 avec une proba de ¼ De sp4 on va à sp3 Quand on arrive à sp5, on boucle Quand on arrive à sp6, on boucle

13. 0.50 1 2 0.50 0.50 0.25 0.25 4 3 6 1.00 0.25 0.25 5 Partant de sp2, quelle probabilité d’y être à nouveau au temps « 4 » ? Première solution : graphique Il existe 3 chemins pour aller de 2 à 2 en quatre temps : 24312 avec une proba : 0.50x1x0.25x0.50=1/16 21212 avec une proba : 0.50x0.50x0.50x0.50=1/16 21112 avc une proba : 0.50x0.50x0.50x0.50=1/16 Soit une proba de 3/16=0.187

14. 0.50 1 2 0.50 0.50 0.25 0.25 4 3 6 1.00 0.25 0.25 5 Deuxième résolution : par matrice Si on pose les probabilités pij sous forme de matrice P, on a Matrice initiale P P4

15. Distribution limite des états • Probabilités des états (dépendant du temps) • Sous forme matricielle: • Si  n tend vers une distribution stationnaire  , on a : • et • (En partant de ) • L’existence de  dépend de la structure de la chaîne

16. 0 0 1 1 2 2 4 4 3 3 • La distribution stationnaire existe et est indépendante de l’état initial si la chaîne est irréductible et apériodique • Irréductible : • Les états i et j communiquent si : • La chaîne est irréductible si tous les états communiquent • Apériodique : • Une chaîne est apériodique si aucun état n’est périodique • Un état i est périodique si :

17. Détermination de la distribution stationnaire • B. Nombre d’états infini • Méthodes précédentes non applicables • On doit deviner la solution, ou la trouver par itération: • Nombre d’états fini Deux possibilités : • Résoudre le système d’équations : • Dériver  de , sachant que • et donc que Pn converge vers une matrice dont les lignes valent  • Valable pour un petit nombre d’états

18. Modèle markovien i est le nombre de parapluies disponibles à l’endroit présent Matrice des probabilités de transitions entre états 0 2 1 Exemple • Un professeur distrait possède deux parapluies. S’il pleut et l’un d’eux est disponible, elle le prend; sinon, elle sort sans parapluie. • Si p est la probabilité qu’il pleuve à chaque fois qu’elle se déplace, quelle est la probabilité qu’elle prenne une douche involontaire à chaque fois ? Se mouiller

19. Ex.: chaîne Markov avec un nombre fini d’états 0 2 1 Se mouiller

20. Ex.: chaîne Markov avec un nombre fini d’états • Si on prend p = 0.1: • On peut aussi calculer  en évaluant numériquement • L’efficacité du calcul dépend de la structure de P Se mouiller

21. 0.6 0.6 0.6 0.4 0.4 1 2 3 0.4 0.4 Exemple montrant l’indépendance de  des états initiaux À l’équilibre, on a : =[1/4 1/2 1/4] Ainsi, si on part de trois états différents : On obtient par simulation :

22. Autres processus markoviens • Chaînes de Markov généralisées (ou Semi-Markov) : • Le prochain état dépend de l’état présent, plus la durée de temps passée dans ce dernier. • Chaînes de Markov à temps continu : • Cas spécial des processus semi-markoviens. • Champs de Markov • Modèle de Markov s’appliquant à une distribution spatiale de variables aléatoires • Chaînes de Markov cachées : • Elles sont accessibles uniquement à travers des observations indirectes