Influenţa dispersiei asupra preciziei estimatorului

1. Influenţa dispersiei asupra preciziei estimatorului Ne referim la cazul componentei continue afectată de zgomot alb în două situații, cu două abateri standard de 1 și 1/3 și fie că facem estimarea componentei continue A, pe baza unui singur eșantion, x[0]=3 Dacă punem x[0]=3 în expresia densității de repartiție dependente de A obținem o funcție ce depinde numai de parametrul necunoscut A, numită funcție de plauzibilitate (verosimilitate) Considerăm că s=1. Valorile „credibile” pentru A sunt cuprinse între 3-3*1=0 și 3+3*1=6 adică sunt din intervalul (0, 6). Dacă valoarea adevărată a lui A nu este din acest interval, probabilitatea de a se măsura x[0]=3 ar fi mică. Dacă, spre exemplu, A=6.1, x[0] ar trebui, cu o probabilitate de 99.73% să intre în intervalul

2. Dacă s=1/3, intervalul în care poate fi valoarea parametrului A este definit de 3-3*1/3=2 și 3+3*1/3=4 adică (2, 4). Se observă că lungimea intervalului în care pot exista valorile credibile pentru A a scăzut de la lungimea de 6 la lungimea de 2! Odată cu scăderea dispersiei datelor crește deci precizia de determinare a valorii parametrului necunoscut. Funcția se numește funcție de plauzibilitate. Pe măsură ce funcția de plauzibilitate este mai “ascuțită” precizia de realizare a estimării este mai mare. “Ascuțimea”unei funcții se măsoară prin curbura ei (raza de curbură) din maxim CurburaK și raza de curbură R ale funcției y(x), într-un punct se determină cu Ideea de rază de curbură vine de la raza unui cerc care aproximează bine y(x) intr-un interval redus, centrat pe punctul de interes, așa cum se arată în figură

3. Raza de curbură a funcției y(x) în punctul x=0 este R=1/2 iar curbura ei este K=2 În punctul de maxim curbura se calculează cu

4. Pentru a determina curburile din exemplul considerat vom lucra cu plauzibilitatea logaritmică care are expresia În punctul de maxim, A=3, avem Într-un caz general putem obtine în punctul de maxim o curbură de forma dependentă de vectorul de date x. Pentru aceasta este bine să mediem statistic curbura C(x) peste toate valorile posibile ale datelor, ponderate cu densitatea de probabilitate

5. În figură se arată plauzibilitățile și plauzibilitățile logaritmice, pentru cele două abateri standard, 1 și 1/3. Se vede că pozițiile maximelor sunt păstrate

6. Teorema Cramer-Rao satisface ”condiţia de regularitate”: Dacă densitatea de probabilitate Se poate găsi un estimator nedeplasat ce are dispersia minimă, adică un estimator MVU eficient dacă și numai dacă avem atunci dispersia oricărui estimator nedeplasat pentru parametrul scalar notat cu , satisface inegalitatea:

7. Estimatorul în cauză este chiar: Dispersia minimă a unui astfel de estimator este numită limita inferioară Cramer-Rao (CRLB) I(q) se numeşte ”informaţia Fisher”. Se arată că pentru cazul estimatorului eficient:

8. Esimatorii pot avea dispersii dependente de valoarea parametrului adevărat q. Un estimator nedeplasat a cărui dispersie este egală, peste tot cu CRLB este eficient. Pot exista estimatori nedeplasați care deși au cea mai mică dispersie, aceasta este totuși mai mare decât CRLB. Ei sunt estimatori suboptimali Vom analiza aplicarea conceptului CRLB pentru modelul de semnal cu componentă continuă necunoscută, A, afectată de un zgomot alb, gaussian

9. Densitatea de repartiție a datelor, dependentă de parametrul determinist, necunoscut, A este Cele N valori accesibile experimentului sunt măsurate (cunoscute) şi cu valorile lor înlocuite în relația de mai sus obţinem plauzibilitatea logaritmică: Derivata plauzibilității logaritmice se poate pune sub forma

10. Așa cum am arătat mai înainte, media eșantion are o repartiție normală Vom verifica îndeplinirea condiției de regularitate, cerută de teorema Cramer-Rao Aceasta nu depinde de date și deci medierea statistică nu are, în acest caz, nici un efect și constatăm că suntem în condiția de aplicabilitate a teoremei. Vom calcula acum curbura nemediată

11. Conform teoremei Cramer-Rao, pentru orice estimator nedeplasat al componentei continue, avem îndeplinită inegalitatea Vom aplica acum a doua parte a teoremeiCramer-Rao. Avem pe care o comparăm cu forma din enunțul teoremei Prin compararea celor două forme rezultă că media eșantion este un estimator MVU eficient

12. a cărui dispersie este minimă și egală cu ceeace am stabilit mai înainte Vom face câteva precizări privind “informaţia Fisher”. Avem Dacă datele x[n] sunt identic distribuiteși statisticindependente (IID)atunci repartiția mutuală se poate pune sub forma Cu datele x[n] măsurate (cunoscute) se obține plauzibilitatea logaritmică și apoi a doua derivată

13. Se poate determina informația Fisher sub forma Dacă eşantioanele sunt corelate, relaţia nu mai este valabilă. Spre exemplu, pentru cazul eşantioanelor complet dependente, adică: Putem defini informația Fisher corespunzătoare unui singur esantion x[n] Cu aceasta informația Fisher corespunzătoare celor N componente statistic independente devine rezultă

14. ceeace înseamnă că Concluzia este aceea că prelucrând mai multe eşantioane identice nu putem obţine un estimator mai bun decât prelucrând un singur eşantion. Exemplu privind o sinusoidă cu faza iniţială necunoscută, afectată de un zgomot alb, gaussian Datele constă dintr-o sinusoidă cu faza inițială, F, necunoscută, afectată de un zgomot alb, gaussian Zgomotul e gaussian iar datele sunt și ele, deoarece relația dintre ele este liniară. E suficient deci să determinăm media și dispersia datelor

15. Se poate determina densitatea mutuală de repartiție a componentelor vectorului de semnal, densitate dependentă de faza necunoscută si apoi plauzibilitatea logaritmică

16. care se derivează de două ori în raport cu faza iar derivata a doua se mediază statistic

17. Se ține seama de identitatea și obținem Se spune că egalitatea din relaţia (2.48) este valabilă “asimptotic”, adică pentru N suficient de mare. Factorul are o valoare redusă dacă frecvența nu e foarte aproape de 0 sau p. Pentru N=20 și o frecvență de 0.045p valoarea sa este de numai 0.053 și tinde spre zero atunci când N crește indefinit. Putem afirma că sau că

18. Ne punem problema dacă putem stabili forma unui estimator MVU eficient. Teorema Cramer-Rao cere să avem o formă în care f(x)să depindă numai de date, nu și de parametrul necunoscut, F. Am găsit că, în cazul de față avem și deci nu putem identifica o funcție dependentă numai de date. Concluzia e că putem avea un estimator nedeplasat, eventual cu disperia minimă, dar nu și eficient. Dispersia sa este strict mai mare decât CRLB Estimarea prin transformarea parametrului scalar Uneori nu suntem interesați de parametrul necunoscut q, ci de unul derivat din el, a=g(q). Teorema Cramer-Rao afirmă că dispersia estimatorului pentru a satisface inegalitatea

19. Pentru exemplificare ne vom referi la estimarea puterii unei comonente continue, A. Puterea este pătratul lui A. Pare normal ca, deoarece media eșantion estimeză bine componenta continuă să estimăm puterea cu pătratul ei 2 2 Pentru o varibilă aleatoare x cu repartiție normală se stie că Dar media eșantion este repartizată normal și aplicând relația anterioară obținem deci estimatorul “ad hoc” nu este nedeplasat, și nu este deci eficient. Eficiența se conservă doar dacă transformarea parametrului este afină Se verifică conservarea nedeplasării prin transformarea afină

20. Aplicând teorema Cramer-Rao pentru transformarea afină definită avem Cum estimatorul pentru q este eficient avem Calculul direct al dispersiei pentru a ne dă ceeace înseamnă că și estimatorul transformat este eficient, atingând CRLB Revenim la exemplul considerat privind estimarea puterii componentei continue. Vedem că Urmărim să calculăm dispersia estimatorului “ad hoc” pentru putere“. Stim că

21. și că Punem în relația de mai sus și obținem din care deducem și apoi Pentru cazul estimatorului analizat, înlocuind în relația de mai sus mărimile corespunzătoare obținem

22. Al doilea termen descrește rapid odată cu creșterea lui N. Se poate considera că, asimptotic, acest estimator este de tip MVU, eficient. Dacă ne referim la figură, observăm că odată cu creșterea valorii N se restrânge intervalul în care se află valorile mediei eșantion, astfel că funcția g(x) se confundă tot mai bine cu tangenta la curbă. Tangenta definește o relație afină, ce conservă eficiența

23. Marginea inferioară Cramer-Rao pentru semnale deterministe, afectate de zgomot alb, gaussian Considerăm modelul de semnal determinist, dependent de un parametru necunoscut, afectat de un zgomot alb, gaussian Datele x[n] sunt gaussiene, deoarece se obțin din zgomotul gaussian w[n]printr-o transformare afină. Este deci suficient să determinăm media și dispersia acestor date. Avem Cu datele x[n] cunoscute și ținând seama de faptul că eșantioanele sunt IID putem determina funcția de plauzibilitate

24. Se determină apoi plauzibilitatea logaritmică și cea de-a doua derivată Pentru a stabili informația Fisher este necesară medierea statistică, deoarece derivata a doua depinde de datele x[n]. Avem

25. În final avem limita inferioară Cramer-Rao pentru orice estimator al parametrului necunoscut, q Derivata semnalului util în raport cu parametrul necunoscut este o măsură a sensibilității semnalului la modificarea parametrului Pentru exemplificare considerăm un semnal util a cărui frecvență este necunoscută Determinăm sensibilitatea în raport cu frecvența Obținem, în final, CRLB pentru orice estimator al frecvenței digitale

26. Pentru faza inițială nulă și pentru N=20 eșantioane obținem valoare plotată pentru frecvențe nu foarte apropiate de 0 sau p. Reținem că parametrii față de care semnalul util are o sensibilitate mai mare, se determină cu dispersie mai mică, adică cu precizie mai mare