Stima di Massima Verosimiglianza: RICHIAMI

1. Stima di Massima Verosimiglianza: RICHIAMI Dato un campione di osservazioni (x1….xn) si definisce funzione di verosimiglianza che rappresenta la funzione di probabilita/densita del campione stesso: in quest'ambito si ipotizza che essa sia funzione del vettore dei parametri , mentre le realizzazioni campionarie x sono fisse e INDIPENDENTI. Per il teorema della probabilità composte si ha:

2. In altri termini ipotizziamo (invertendo le assunzioni solite) che il parametro sia variabile, naturalmente NON perché lo sia in sé, ma perché la sua manifestazione osservabile è stocastica (in un certo senso torna fuori il concetto di superpopolazione) E’ il concetto bayesiano di parametro e di “spazio” dei parametri.

9. Va sempre così bene? È sempre facile? NO! Per diversi modelli la soluzione del sistema che uguaglia a 0 gli scores e soprattutto le derivate seconde sono troppo complesse per essere risolte per via analitica e occorre ricorrere a metodi numerici (li vedremo) Ad es. modelli probitbivariati: Quindi richiede una soluzione iterativa (numerica)

10. Un esempio di massimizzazione numerica di una MLE L’esempio ha solo valore didattico, trattandosi della distribuzione esponenziale sarebbe possibile una soluzione analitica

11. Distribuzione esponenziale: Ipotizziamo un modello semplice:

12. Log-verosimiglianza: Max =15.6

13. Test per stime MLE Confronto tra un modello “generale” (con logveros. L) e uno “vincolato” o “ridotto” (con logveros. Lv) I modelli devono essere, quindi, “annidati” (nested) Se i vincoli sono appropriati si avrà Lv  L

14. Likelihood Ratio test Misura la riduzione di L connessa alla introduzione del vincolo, se il vincolo è valido, si dovrebbe perdere poca informazione:

15. Test di Wald Misura il valore del vincolo in corrispondenza del parametro di max MLE, se il vincolo è appropriato, il valore dovrebbe essere 0, cioè verifica se la stima max MLE rispetta i vincoli: (Si stima del modello generale)

16. Test dei moltiplicatori di Lagrange Misura il valore dei moltiplicatori di Lagrange, se il vincolo è appropriato, il valore dovrebbe essere 0, cioè verifica se la stima max MLE rispetta i vincoli: (Si stima del modello ristretto) Se i  sono “vicini” a 0 il vincolo non ha effetti sulla stima, allora si calcolano le derivate di L nel punto di massimo vincolato, se sono prossime a 0 la perdita di informazioni non è significativa

17. Derivata L verosimiglianza Vincolo su 

18. Riprendiamo il modello iniziale: È una forma ristretta di un Gamma generalizzata con Parametro =1 Il vincolo è =1, se non vi è perdita di informazione allora tra tutte le distribuzioni generate da una Gamma, quella esponenziale è la più adatta

19. Utilizziamo i tre test per verificare: • LIKELIHOOD RATIO: • Dalla stima MLE dei DUE modelli otteniamo: • Ln(L) non vincolato (Gamma) = -82.916 • Ln(L) vincolato (esponenziale) = -88.436 • LR=-2[-88.436-(-82.916)]=11.04  ²(1) Il valore test è 3.842, quindi si rigetta H0

20. TEST DI WALD Dalla stima MLE del solo modello non vincolato: Il valore test è ancora 3.842, quindi si rigetta H0

21. TEST DEI MOLTIPLIPICATORI DI LAGRANGE: Dalla stima MLE del solo modello non vincolato: Il valore test è ancora 3.842, quindi si rigetta H0