Introduction aux processus aléatoires : caractérisation et estimation

Introduction aux processus aléatoires :caractérisation et estimation IntroductionDéfinitionsCaractérisationFiltrageEstimation B. DavidATIAM, TSA,Septembre 2006

Introduction Exemples : signal de parole ATIAM, TSA-aléatoire

Introduction Exemples : « bruits » ATIAM, TSA-aléatoire

Introduction Vocabulaire • Déterministe vs aléatoire • déterministe : on dispose d’une règle de calcul • aléatoire : présente une variabilité qu’un modèle déterministe est inefficace à représenter car • non parcimonieux • pas ou peu prédictif • Problèmes posés • Comment caractériser (modéliser) ? • Comment estimer les paramètres du modèle ? ATIAM, TSA-aléatoire

Introduction exemple : estimer la dépendance au passé ATIAM, TSA-aléatoire

Définitions Notions et notations • Processus aléatoires à temps discret • chaque échantillon est une variable aléatoire (V.A.), indexée par le temps discret • définies sur un espace probabilisé • un des possibles = une épreuve (notée 2) = une réalisation ou trajectoire du processus ATIAM, TSA-aléatoire

Définitions Exemple d’un processus autorégressif • génération • ergodicité • moyenne temporelle • moyenne statistique • important si 1 seuleréalisation ATIAM, TSA-aléatoire

Caractérisation loi de probabilité • loi temporelle d’un processus • processus à support temporel fini : vecteur aléatoire de dimension k finie, constitué de valeurs du processus prises à kinstants successifs. Décrit par sa loi de répartition conjointe : • souci en dimension infinie : par exemple, quelle est la probabilité de dépassement d’un débit limite dans une conduite ? (Important pour son dimensionnement) → il faut décrire le processus • Heureusement il y a Kolmogorov : les lois conjointes pour tout kfini suffisent. ATIAM, TSA-aléatoire

Caractérisation moments d’ordre 1 et 2 • ordre 1 • moyenne d’un processus • dépend a priori du temps • définition du processus centré associé • exemples: tracer qques trajectoires, calculer mX et Xc pour • rampe bruitée • processus harmoniques ATIAM, TSA-aléatoire

Caractérisation moments d’ordre 1 et 2 • ordre 2 • covariance de deux v.a : • Rque : E(XY*) définit un produit scalaire dans l’espace de Hilbert des v.a. de carré intégrable. • (auto)covariance d’un processus • exemple : calculer RXX pour ATIAM, TSA-aléatoire

Caractérisation > moments d’ordre 1 et 2 ordre 2 • propriétés de la covariance • avec égalité lorsque X(n) est p.s. déterministe • Soit T une va positive, montrer (inégalité de Markov) • en déduire (Tchebyshev), pour Y v.a. de moyenne m et variance2 • conclure • symétrie hermitienne • Inégalité de Schwarz  • positivité  ATIAM, TSA-aléatoire

Caractérisation Stationnarité • définitions • caractérise la permanence des propriétés statistiques du processus au cours du temps • stationnarité stricte : la loi temporelle est invariante par décalage • stationnarité au sens large (SSL) : • v.a de carré intégrable • stationnarité au premier ordre • stationnarité au deuxième ordre ATIAM, TSA-aléatoire

Caractérisation Stationnarité • ordre 1 • la moyenne statistique est indépendante du temps • ordre 2 • la covariance ne dépend que de l’écart temporel k = n1 – n2 ATIAM, TSA-aléatoire

Caractérisation > stationnarité Cas SSL • propriétés de la covariance dans le cas SSL • avec égalité si X(n) est p.s. une constante • symétrie hermitienne • atteint son maximum en k = 0  • positivité • Rque : puissance d’un processus SSL = moment d’ordre 2 à l’origine. ATIAM, TSA-aléatoire

Caractérisation > stationnarité Cas SSL • matrice de covariance • définition • symétrie hermitienne • RX définie positive • montrer que RX peut se mettre sous la forme E( xxH ) où x est un vecteur d’échantillons à préciser, • en déduire la propriété ci-dessus. ATIAM, TSA-aléatoire

Caractérisation > stationnarité densité spectrale de puissance d’un processus SSL • définition et propriétés • la dsp est la TFtd de la séquence d’autocovariance • c’est un réel positif 8 • formule d’inversion : donner l’expression de RXX en fonction de SXX • en déduire la puissance du processus, PX en fonction de SXX ATIAM, TSA-aléatoire

Caractérisation > stationnarité exemples • étudier la stationnarité des processus suivants, et calculer le cas échéant leur covariance et leur dsp. • le bruit blanc • la rampe bruitée • une combinaison linéaire finie du processus B(n). • les processus harmoniques suivants ATIAM, TSA-aléatoire

Caractérisation > stationnarité exemples • On étudie le processus AR1, solution de carré intégrable deavec |a| < 1. Mettre sous la formeoù l’on précisera Rp(n). • On posemontrer que Xp(n) converge p.s. vers X(n) qd p!1. • On note cette limite. En déduire que X(n) est stationnaire à l’ordre 1 et préciser sa moyenne. • Calculer la covariance RXX(n+k,n) et en déduire que X(n) est stationnaire au 2e ordre. • Calculer sa dsp. ATIAM, TSA-aléatoire

Filtrage Filtrage des processus • Principaux résultats • Soit le processus X(n) supposé SSL, et h(n) une séquence absolument sommable (RI d’un filtre stable) alors le processus • existe et est SSL • sa moyenne • sa covariance ATIAM, TSA-aléatoire

Filtrage principaux résultats • relations entrée/sortie • covariance entrée/sortie • application à l’identification • cas d’un bruit blanc en entrée • dsp  • interspectre ATIAM, TSA-aléatoire

Estimation Estimation des propriétés statistiques • Généralités sur l’estimation • on cherche à estimer une grandeur scalaire q à partir des données  on définit un estimateur • cet estimateur est une variable aléatoire en général obtenue à l’aide d’une règle de calcul en fonction des observations • Estimateur sans biais • Risque (quadratique) d’un estimateur : • Existence d’une borne inf. pour R dite de Cramer-Rao pour les estimateurs sans biais. ATIAM, TSA-aléatoire

Estimation Estimation de la moyenne • on étudie un processus SSL X(n), observé pour n=0,...,N-1 • on suppose RXX(k) absolument sommable • estimateur de la moyenne • montrer que cet estimateur est non-biaisé. • montrer que son risque quadratique vaut asymptotiquement N-1SXX(0) ATIAM, TSA-aléatoire

Estimation Estimation de la covariance • on définit, pour un processus centré, les estimateurs • étudier le biais de chacun des estimateurs. • Montrer, pour X iid, gaussien, de variance 2 que • conclure sur la convergence de l’estimateur en moyenne quadratique • aide : formule des moments d’ordre 4 pour 4 variables gaussiennes E(ABCD) = E(AB)E(CD) + E(AC)E(BD) + E(AD)E(BC) ATIAM, TSA-aléatoire

Estimation Estimation de la dsp • on suppose X(n) centré, SSL • à partir de l’estimateur biaisé des covariances on est amené à définir le périodogramme : • montrer que le périodogramme peut s’écrire en fonction de la TF de la séquence X(n) sous la forme : • montrer que l’estimateur est asymptotiquement sans biais. • en revanche on montre que cet estimateur n’est pas convergent en moyenne quadratique. • idée de tronquer le périodogramme (en fait la séquence R) • idée de moyenner le périodogramme (Welch) ATIAM, TSA-aléatoire

Estimation > estimation de la dsp dsp du bruit blanc N = 256 N = 4096 ATIAM, TSA-aléatoire

Introduction aux processus aléatoires : caractérisation et estimation