Chapitre 1 - Introduction. - PowerPoint PPT Presentation

slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Chapitre 1 - Introduction. PowerPoint Presentation
Download Presentation
Chapitre 1 - Introduction.

play fullscreen
1 / 104
Chapitre 1 - Introduction.
134 Views
Download Presentation
ziya
Download Presentation

Chapitre 1 - Introduction.

- - - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

  1. Chapitre 1 - Introduction. filtrage adaptatif A. Thieltgen 2004/2005

  2. 1.1 Filtres adaptatifs. 1. Structures de filtrage adaptatif. la plus commune : structure transversale filtrage adaptatif A. Thieltgen 2004/2005

  3. sommateur linéaire (combiner) filtrage adaptatif A. Thieltgen 2004/2005

  4. filtres RII : application limitée (instabilité) eqm d'un RII: coefficients du filtre  plusieurs minimum locaux   étude RIF RIF (et combiner): eqm  minimum unique treillis meilleurs que transversaux dans certaines applications MCM pour treillis  algorithme efficace filtrage adaptatif A. Thieltgen 2004/2005

  5. 2. Approche stochastique (théorie de Wiener). adaptativité  algorithmes de type LMS Wiener : optimalité des coefficients par minimisation de l'eqm (formulation statistique) LMS (least mean square)  gradient stochastique convergence dépendant fortement de DPS de xk entrée: signal blanc  convergence rapide fréquences pas assez excitées  modes convergents très lentement possible: N>plusieurs 100 ou même 1000 retards  filtres coûteux  algorithme de TFR (convolutions temporelles  domaine fréquentiel) filtrage adaptatif A. Thieltgen 2004/2005

  6. 3. Approche déterministe (méthode des MCM). MCM déterministes : algorithmes à convergence plus rapide que LMS, moins sensibles à DPS de xk plus complexes et mauvaise stabilité numérique formulation : estimation par bloc des MCM (codage prédictif linéaire des signaux de la parole) préférence adaptatif  actualisation itérative des coefficients filtrage adaptatif A. Thieltgen 2004/2005

  7. * algorithme RLS standard lemme d'inversion matricielle implémentation : manipulations de matrices ( N²) * algorithme RLS –QRD (décomposition QR) manipulation de matrices mais structures régulières (réseaux systoliques) plus robuste aux erreurs numériques   * algorithmes RLS rapides résolvent le problème des MCM avec des calculs  N algorithmes RLS: - treillis (actualisations d’ordres et temporelles) transversaux rapides : moins de calculs par itération mais instabilité numérique filtrage adaptatif A. Thieltgen 2004/2005

  8. 4. Formes réelles et complexes. xk et dk complexes (transmission de données) bande de base : 2 composantes séparées  parties réelle et imaginaire d'un signal à valeurs complexes implémentation fréquentielle : signaux complexes, même avec signaux réels  formulation en termes de variables complexes filtrage adaptatif A. Thieltgen 2004/2005

  9. 5. Applications. automatique, communications, traitement de signaux radar ou sonar, annulation d'interférences et d’échos, régulation active de bruit, ingénierie médicale, etc.. actualisation de coefficients à partir de mesures: minimisation de l’écart entre sortie courante et réponse désirée filtrage adaptatif A. Thieltgen 2004/2005

  10. classes d'applications adaptatives : • - modélisation (identification) • - modélisation inverse (déconvolution) • prédiction linéaire • annulation d'interférences • filtrage adaptatif : nécessaire si incertitudes ou variations des caractéristiques du signal filtrage adaptatif A. Thieltgen 2004/2005

  11. 1.2 Retour sur les méthodes de MCM. 1. Formulation de base. RIF ordre N, poids w(k) (réel), entrée xk (durée infinie), sortie actuelle yk , sortie désirée dk yk=wtxk=wxkt, xk et dk stochastiques  ek=dk-yk stochastique critère (IP) : eqm (MSE) x=E{ek2} 0 w but : "meilleur" wopt minimisant eqm meilleur estimé : wtxk=yk=dk k filtrage adaptatif A. Thieltgen 2004/2005

  12. 2. Equations normales. x=E{ek2}  x=E{dk2}-2wtRe(E{dk*xk})+wtE{xkxkh}w* D=E{dk2} :puissance moyenne de dk, P=E{dk*xk} : vecteur d'inter corrélation entre dk et xk, R=E{xkxkh} : matrice d'auto corrélation des entrées D, P et R invariants: dk et xk stationnaires  statistiques d’ordres 1 et 2 invariantes filtrage adaptatif A. Thieltgen 2004/2005

  13. processus à valeurs réelles x=D-2wtP+wtRw optimum wopt minimisant eqm si et seulement : wxw=wopt=0=x/wjw=wopt Hw définie positive * point critique pour chaque composante de w * point critique: courbures dans la direction >0 wopt minimum local pour x filtrage adaptatif A. Thieltgen 2004/2005

  14. test de la dérivée seconde  ZtHZZZ>0 w x=wD-2w(wtP)+w(wtRw*) wD=0 même approche w(wtRw)=2Rw wx=-2P+2Rw 1ère condition d'optimalité Rwopt=P (équations normales ou de Wiener-Hopf ou de Yule-Walker) filtrage adaptatif A. Thieltgen 2004/2005

  15. 2nde condition : Hw défini positif hij=x=D-2(wtP)+(wtRw*) hij=2rij i, j Hw=2R courbure de l'eqm en wopt w optimum : Rwopt=P R définie positive R inversible : équations normales wopt=R-1P R définie positive: R-1 existe et wopt unique filtrage adaptatif A. Thieltgen 2004/2005

  16. 3. Significations de R et de P. i0 et j(N-1) : (a) R matrice de Toeplitz (rij=rpqsi i-j=p-q), (b) xk réel  rj-i=ri-j : R symétrique xk complexe R hermitienne (c) puissance moyenne : apparaît N fois sur diagonale principale (d) dans r(D): plus grand décalage D utilisé pour construire R ± (N-1)  fenêtre de (2N-1) points de fonction d'auto corrélation totale stationnarité de d et de x  pi=E{dkxk-i}=E{dk+ixk}=ci ci = intercorrélation moyennée entre dk et xk P : fenêtre de N points de ci filtrage adaptatif A. Thieltgen 2004/2005

  17. 1.2 Propriétés de la solution. 1. Evaluation de l'eqm. x=D-2wtP+wtRw solution Rwopt=P xmin=D-2 wopttP+wopttRwopt=D-wopttP V=w-wopt : écart entre situations actuelle et optimale x=D-2(wopt+V)tP+(wopt+V)tR(wopt+V)= xmin+VtRV filtrage adaptatif A. Thieltgen 2004/2005

  18. eqm additionnel : Dx=x-xmin=VtRVforme quadratique de V=w – wopt R définie semi positive VtRV0 V0 Dx ne dépend que de xk pénalisation quadratique  solution itérative pour aller de x à xmin et wopt filtrage adaptatif A. Thieltgen 2004/2005

  19. 2. Positivité de R. V0 sans pénalisation? R définie positive  : (a) V0 : Dx>0 (b) R de rang plein, (c) R inversible, (d) équations normales : solution unique wopt=R-1P filtrage adaptatif A. Thieltgen 2004/2005

  20. R définie positive ? R=E{xkxkt} VtRV=Vt[E{xkxkt}]V=E{VtxkxktV} Vtxk=sk : sortie RIF d'ordre N de RI V et entrée xk sk : sortie d'un filtre "différence" si V=0 x(k) Vtxk=sk=xktVVtRV=E{sk²} sk² 0 VtRV0 forme quadratique nulle ? sk² =0  kVtRV =0: V avec Vtxk=sk=0 xk si xk, Vo tel que sk=0 R définie non positive sinon R définie strictement positive filtrage adaptatif A. Thieltgen 2004/2005

  21. 3. Système propre de R. décomposition de R matrice modale système propre de coordonnées  RI et propriétés caractéristiques des algorithmes simples propriétés spécifiques de R : (a) entrées réelles : R symétrique (hermitienne si complexes)  rij=rji* pour i, j [1, N] (b) R semi définie positive VhRV0 si VhV0 filtrage adaptatif A. Thieltgen 2004/2005

  22. valeurs propres et vecteurs propres de R : • (a) N vecteurs propres linéairement indépendants arbitraires UihUi=Ui=1 • (b) UihUj=0 pour ij • (c) Ui : base du N-espace de produit scalaire UihUj=dij • (d) xk réel  N vecteurs propres réels construits filtrage adaptatif A. Thieltgen 2004/2005

  23. clé : matrice modale Q=[U1 .. UN] vecteurs orthonormaux QhQ=IN et Q-1=Qh QhRQ=L et QhLQ=R (L : matrice diagonale des li) avec Q : équations normales  "modes" scalaires découplés w=Qw' ou Qhw=w' : transformation des coordonnées du vecteur w (w' : poids découplé) Q: changement de direction mais pas longueur de w filtrage adaptatif A. Thieltgen 2004/2005

  24. RQhLQ siP'=QhP:Rwo=PLw’opt=P' N équations : lij w’opt,i=p'i (w’opt,i et p'i : éléments scalaires d'ordre i de w’opt et de P’) w’opt,i : fonction de li et de p'i li0 : w’opt,i=p’i/li li=0 : w‘opt,i indéterminé  pas d'unicité dans w’opt filtrage adaptatif A. Thieltgen 2004/2005

  25. autre forme découplée : xmin=D-p’i²/li V=w-wopt=QV’ Dx=x-xmin=VhRV=  li v’i² : pénalisation quadratique par rapport à chaque terme de différence découplé v'i, li degré de pénalisation li=0: aucune modification de Dx filtrage adaptatif A. Thieltgen 2004/2005

  26. Chapitre 2 - Algorithme LMS et algorithmes associés. filtrage adaptatif A. Thieltgen 2004/2005

  27. 2.1 Introduction. but de l'algorithme  LMS ("Least Mean Square") "gradient stochastique"  nature intrinsèque si xk et dk accessibles à chaque pas: meilleur choix solution wopt de Rwopt=PR et P puis wopt=R-1P wopt calculé autrement car : (a) R pas toujours inversible pendant l’adaptation (b) R-1 calculable mais précision numérique requise dépassant les possibilités du calculateur (c) autres méthodes plus efficaces filtrage adaptatif A. Thieltgen 2004/2005

  28. 2.2 Approche de recherche par gradient. R de rang plein : (a) wopt : choix unique (b) écart entre w et woptD x= x-xmin=VtRV (c) Dx>0 pour V0 estimation itérative de wopt : choix initial w(0)= w0 sauf si w0=wopt : x en w0 supérieure à xmin w1 tel que Dx (et donc x) diminue Dx0 : x amélioré mais w1wopt itérations w2, w3, etc., réduction de Dx à chaque pas Dx  0 et wnwopt déplacement de wk à wk+1? gradient  bonne méthode filtrage adaptatif A. Thieltgen 2004/2005

  29. filtrage adaptatif A. Thieltgen 2004/2005

  30. wk : Dx>0  wkwopt • idée d’amélioration de w(k): aller vers wopt • direction de wopt donnée par dérivée de x en wk • dx/dw>0 : x diminue si pas dans direction négative  wk+1=wk-c dx/dww(k) (c : petite constante positive) • application répétée  wk wopt et xxmin • cas général: gradient de x par rapport wj • wk+1=wk-cwxw=w(k) (k0 et c>0 petit) filtrage adaptatif A. Thieltgen 2004/2005

  31. 2.3 Approximation du gradient. wx estimé à partir de {x, d} G(k)=w[ek²]=2ekw{wtxk}=-2ekxk G(k) ne dépend que de e et de xk Gk moyenné  gradient de x gradient wxw=w(k) remplacé par celui de l'eqm Gk  algorithme LMS (Widrow) : wk+1=wk-cGk=wk+mekxk (m>0 petit) filtrage adaptatif A. Thieltgen 2004/2005

  32. wk actualisés pour chaque xk LMS complet : yk=wtxk (sortie du filtre) ek=dk-yk (signal d'erreur) wk+1=wk+mekxk (actualisation du poids) algorithme LMS : (a) critère analytique basé sur un eqm (b) gradient  poids minimisant l'eqm (c) gradient approché à partir de données filtrage adaptatif A. Thieltgen 2004/2005

  33. 2.4 Convergence du LMS. m petit  approximation acceptable wxw=w(k)=-2P+2Rwk + LMS wk+1=(I-mR)wk+mP wk=Qw'k, R=QLQh, L=QhRQ et P'=QhP wk+1=(I-m L)w'k+mP'  N équations découplées : w'i,k+1=(1-mli) w'i,k+ mp'i filtrage adaptatif A. Thieltgen 2004/2005

  34. 1. Points de convergence.  w'i,k={m 0k-1(1-mli)np’i}+(1-mli)kw'i,0 m petit avec 1-mli<1  w'i,k p’i/ li=w’i,0 2. Limites de la constante d'adaptation m.. solution compacte de w'i,k : 1-mli<1 0<m<lmax en pratique : mp m /10-2 à 10-3 filtrage adaptatif A. Thieltgen 2004/2005

  35. 3. Constantes de temps adaptatives. durée pour w'i,k=w'i,0/e si w'i,k={m}+(1-mli)kw'i,0 et p'i=0 : tiLn(1-mli)=-1 mli<<1 avec 0<mli<<1  -1# ti(-mli) : ti#1/mli filtrage adaptatif A. Thieltgen 2004/2005

  36. 4. Temps de convergence. convergence: vitesse du mode le plus lent constante de temps de wk : t=Max{1/mli}= 1/mlmin facteur de convergence normalisé m=2a/lmax 0<m< 2/lmax 0<a<1 t=lmax/(2 almin) filtrage adaptatif A. Thieltgen 2004/2005

  37. 2.5 Effets d'une matrice R singulière. R non singulière  wopt unique R singulière? au moins une li=0  p'i=0  w'i,k+1=(1-mli)w'i,k+ mp'i=w'i,k  coefficient découplé associé non commandé et non amorti filtrage adaptatif A. Thieltgen 2004/2005

  38. li=0  t infini wk non convergent • li=0 dans R associée à U (espace nul de R) • R{gU}=gRU=0 Rwopt=P ?woptwopt+ gU : équations normales encore vérifiées wopt non unique •  recherche des modes de l'espace nul inapplicable pour une (et non la) solution des équations normales filtrage adaptatif A. Thieltgen 2004/2005

  39. 2.6 Algorithmes de recherche par gradient approché. 1. Algorithme LMS complexe. xk, yk, dkwk complexes  LMS complexe  gradient de ek2 par rapport à wk complexe  LMS complexe : yk=xktwk ek=dk-yk wk+1=wk+mekxk* filtrage adaptatif A. Thieltgen 2004/2005

  40. 2. LMS normalisé. 0<m<2/lmax : intérêt limité  autre approche : limites pour lmax? <xktxk>=Nlmax et R étant définie positive (li0)  <xktxk> lmaxmm(k)=a/xktxk (0< a <2) LMS normalisé : yk=xktwk ek=dk-yk wk+1=wk+aekxk/(g+ xktxk) filtrage adaptatif A. Thieltgen 2004/2005

  41. 3. LMS normalisé avec estimation depuissance récursive. stabilité accrue: normalisation d'actualisation du poids par estimation de la puissance pk du signal  yk=xktwk ek=dk-yk pk+1=(1-b) pk+N bxk² wk+1=wk+ aekxk/(g+ pk) filtrage adaptatif A. Thieltgen 2004/2005

  42. 4. Algorithmes accélérés. adaptation plus directe vers xmin? yk=xktwk ek=dk-yk wk+1=wk+mekCxk C approximation de R-1 : temps de convergence réduit si lmax>>lmin algorithmes de type Newton mais peu intéressants car : (a) "bon" choix de C dépend de R (b) C: matrice (N, N)  N2 produits et N(N-1) additions filtrage adaptatif A. Thieltgen 2004/2005

  43. 5. Algorithme de Griffith. dk non connu?  ek non défini  pas de LMS Griffith : corrélation entre dk et xk accessible wk+1=wk+mekxk=wk-mykxk+mdkxk E[wk+1]=E[wk]-mE[ykxk]+mP algorithme de Griffith ou du vecteur P: yk=xktwk wk+1=wk- mykxk+mP idée : substituer P au comportement moyen de dkxk filtrage adaptatif A. Thieltgen 2004/2005

  44. 2.7 Versions modifiées du LMS. Bruit dans le gradient. 1. LMS à erreur signée. LMS réel : 2N produits - additions réels pour le calcul de yk et l’actualisation de wk à chaque itération * erreur signée : yk=xktwk ek=sign{dk-yk} wk+1=wk+mekxk (réduction des calculs aux dépens des performances) filtrage adaptatif A. Thieltgen 2004/2005

  45. estimation bruitée du gradient instantané pour rechercher xmin qui se reporte dans des estimations bruitées du poids optimum même qualité que LMS : m inférieur éléments signés : yk=xktwk ek=dk-yk wi,k+1=wi,k+me(k)sgn{xk-i} signe-signe wi,k+1=wi,k+msign{ek}sgn{xk-i} filtrage adaptatif A. Thieltgen 2004/2005

  46. 2. Effets d'absence de coefficients. • li nuls  modes ni commandés ni amortis : • (a) pas de convergence vers solution unique • (b) pas de convergence des mode découplés • (c) modes découplés commandés par des termes du second ordre • coefficients découplés croissant sans limites filtrage adaptatif A. Thieltgen 2004/2005

  47. LMS avec "fuite" : wk+1=(1-mg)wk-m^k=(1-mg)wk+ mekxk m et g0 (LMS: g=0) et << 1  (1-mg) légèrement inférieur à 1 (1-mg) au 1er ordre: estimé de ekxk=0  wk+1=(1-mg)wk et wk+m=(1-mg)mwk, avec lim(wk+m)=0 absence de ekxk : wk tend à décroître (à "fuir") vers 0 filtrage adaptatif A. Thieltgen 2004/2005

  48. w'k+1= {I-m(gI+L)}w'k+mP' • (a) g modifie R avec Rnouv=gI+Ranc, Lnouv=gI+Lanc • et li, nouv=g+ li, anc • (b) g>0 : li >0 (même avec entrées nulles) • (c) ti limitées  • convergence avec tmax=1/mlnouv,min1/mg • une complexité en plus dans l'actualisation et biais: • wk=(R+gI)-1P ne vérifie pas Rwopt=P à la convergence filtrage adaptatif A. Thieltgen 2004/2005

  49. 3. Désadaptation. eqm minimum: gradient nul et wk=wopt gradient approché  bruit du gradient Nk=-WJ LMS: Nk=ekxk-(Rwk-P) estimé de wk : bruit supérieur proche de wopt  "cliquetis" proche de la convergence réduction de bruit dans wk si m diminue sk: bruit dans wk wk=wopt+Vk sortie : yk=xktwopt+xktVk=yopt,k+sk quantification: déréglage M inversement proportionnel à m et N M: comparaisons de taux de convergence filtrage adaptatif A. Thieltgen 2004/2005

  50. Chapitre 3 – Algorithmes récursifs. filtrage adaptatif A. Thieltgen 2004/2005