1 / 29

Ekonometryczne modele nieliniowe

Ekonometryczne modele nieliniowe. Wykład 4 NMNK, MNW, metody gradientowe. Literatura. W. Greene (2012) Econometric Analysis, rozdz. 7.2 (str. 222-242) J. Hamilton (1994) Time Series Analysis, str. 133 – 151

leonard-townsend
Download Presentation

Ekonometryczne modele nieliniowe

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Ekonometryczne modele nieliniowe Wykład 4 NMNK, MNW, metody gradientowe

  2. Literatura • W. Greene (2012) Econometric Analysis, rozdz. 7.2 (str. 222-242) • J. Hamilton (1994) Time Series Analysis, str. 133 – 151 • Chung-Ming Kuan (2007) Introduction to EconometricTheory, Institute of Economics, Academia Sinica, rozdział 8 • do znalezienia w internecie

  3. Nieliniowa metoda najmniejszych kwadratów • Model regresji nieliniowej (l zmiennych, k parametrów): • Przykład (1): • Przykład (2):

  4. Interpretacje ekonomiczne • Wpływ krańcowej zmiany x na y nie zawsze równy wartości parametru

  5. Estymator NMNK • Estymator minimalizuje sumę kwadratów reszt: • Warunek pierwszego rzędu: gdzie:

  6. Założenia NMNK • Warunkowa średnia dla wynosi: , a różniczkowalna • Identyfikowalność parametrów: nie istnieje takie, że • Składnik losowy:

  7. Założenia NMNK • 1. i 2. moment z próby dążą do stałych z populacji, a ściśle egzogeniczny wobec • Istnieje dobrze zdefiniowany rozkład prawdopodobieństwa dla ,

  8. Założenia NMNK • Jeśli można policzyć 2. pochodne względem parametrów dla danych obserwacji (x i y) i macierz jest dodatnio określona, to minimum funkcji (sumy kwadratów reszt) można znaleźć. • Możliwe wiele minimów lokalnych tej funkcji  parametry niekoniecznie „jednoznacznie” identyfikowalne (por. założenie 2)

  9. Założenia NMNK • Powyższe założenie analogiczne do założenia nr 1 w MNK (por. wykład 1): ponieważ dla modelu liniowego: 

  10. Własności estymatorów NMNK • Zgodność • Asymptotyczna normalność

  11. Własności estymatorów NMNK • Estymator wariancji odporny na heteroskedastyczność: • możliwe też estymatory typu Neweya-Westa • Test Walda – analogiczny jak dla MNK:

  12. Analogia do (quasi-) MNW • Estymator m. kowariancji dla MNW: gdzie:

  13. Algorytmy dla NMNK i MNW • Grid search • dobre wyniki, gdy poszukiwana wartość jednego parametru • przydatna jako część innych metod

  14. Algorytmy dla NMNK i MNW • Metoda „steepest ascent” (albo steepest descent) – najszybszego wzrostu (spadku) • wartości startowe wektora parametrów θ: θ0 • ustalamy długość kroku przy szukaniu optimum funkcji: • szukamy maksimum przy warunkach:

  15. Algorytmy dla NMNK i MNW • Langrange’an ma postać: • Przyrównujemy pochodną po wektorze parametrów do zera: • Niech g(θ) oznaczagradient (logarytmu) funkcji wiarygodności po parametrach, to wtedy:

  16. Algorytmy dla NMNK i MNW • Jeżeli , to , czyli: • Kolejne kroki: • smoże być wybrane przy pomocy metody „grid search", tak by maksymalizować wartość L(θ)

  17. Algorytmy dla NMNK i MNW • Można wyprowadzić długość kroku i wzór na iteracje przyjmie postać: • Problemy: • wiele maksimów lokalnych – wypróbuj wiele wartości startowych • jeśli hessian H nie jest dodatnio określoną macierzą to algorytm może wskazywać przybliżenia w złym kierunku

  18. Algorytmy dla NMNK i MNW • Metoda Newtona-Raphsona • Szybsza zwykle niż metoda „najszybszego spadku” jeśli spełnione są warunki: • istnieją drugie pochodne funkcji L(θ), • funkcja L(θ) jest wypukła, tzn. H(θ) jest macierzą dodatnio określoną na całej przestrzeni parametrów

  19. Algorytmy dla NMNK i MNW • przybliżenie logarytmu funkcji wiarygodności przy pomocy szeregu Taylora: • przyrównujemy pochodną po wektorze parametrów do zera: • wyprowadzenie algorytmu: • często stosuje się kroki o różnej długości:

  20. Algorytmy dla NMNK i MNW • Metoda Gaussa-Newtona (tylko dla NMNK) • gdzie oznacza gradient funkcji fpo parametrach • To przybliżenie macierzy H jest dodatnio określone. • Można zastosować MNK do wyznaczenia kroku!

  21. Algorytmy dla NMNK i MNW • Korekty na dodatnią określoność macierzy H używana w algorytmie „Marquardt-Levenberg” (c>0) metoda quasi-Newtona

  22. Algorytmy dla NMNK i MNW • Davidon-Fletcher-Powell • ułatwienie - nie trzeba liczyć hessianu w każdym kroku (jego wartość jest jedynie przybliżana)

  23. Algorytmy dla NMNK i MNW • Zakończenie algorytmu lub po przekroczeniu pewnej liczby kroków

  24. Symulowane wyżarzanie-simulated annealing • Wycięte z: Goffe, Ferrier, Rogers (1994)

  25. Symulowane wyżarzanie (2)

  26. Symulowane wyżarzanie (3) • Kryterium wyboru nowego punktu:

  27. Algorytm Neldera-Meada • Wycięte z wikipedii (jest też polska wersja językowa) - minimalizacja:

  28. Algorytm Neldera-Meada (2)

  29. Algorytm Neldera-Meada (3) • Standardowe wartości parametrów:

More Related