URČENIE MODELOV V BOX – JENKINSOVEJ METODOLÓGII

URČENIE MODELOV V BOX – JENKINSOVEJ METODOLÓGII 1. Identifikácia modelu 2. Odhad parametrov modelu 3. Testovanie vhodnosti modelu

1. Identifikácia modelu Prípravné operácie: 1. Vykreslenie časového radu 2. V prípade, že stredná hodnota stacionárneho procesu nie je nulová, je nutné ho centrovať (odčítať nenulovú strednú hodnotu od každej hodnoty časového radu)

a. Pomocou odhadnutej autokorelačnej a parciálnej autokorelačnej funkcie Ak výberová autokorelačná funkcia neklesá dostatočne rýchlo k 0, signalizuje to, že časový rad nie je stacionárny - musíme ho transformovať napr. diferencovaním: xt = xt – xt - 1 2xt = xt - xt - 1 = xt – 2 xt - 1 + xt - 2 Platí, že pri postupnom diferencovaní hodnoty odhadnutých rozptylov klesajú, pokiaľ nie je dosiahnutá stacionarita a potom opäť začínajú rásť. Na základe priebehu odhadnutej autokorelačnej funkcie rk a parciálnej autokorelačnej funkcie rkk určíme typ a rád vhodného modelu. Obvykle stačí použiť prvých 20 hodnôt. Závery z odhadnutých hodnôt môžu byť výrazne skreslené, preto sa doporučuje prijať a preskúmať niekoľko alternatív.

Predpokladajme, že vhodný model je ARMA(k, l), k  K, l  L. Označme odhad rozptylu chybovej zložky. b) Informačné kritériá Určia sa horné hranice K a L pre správny rád modelu ARMA(p, q), t. j. p  K, q  L. Čísla K a L by mali byť malé v porovnaní s dĺžkou n časového radu. (Často sa volí K = L = 2, maximálne K = L = 10).

Definujme funkciu: Ak,l = (1 + wn(k, l) ) ; k = 0, 1, ..., K, l = 0, 1, ..., L kde wn(k, l) je tzv. penalizačná funkcia, ktorá penalizuje voľbu príliš veľkého rádu modelu. Musí mať dve vlastnosti: a) Pri pevnej dĺžke časového radu n musí byť rastúca funkcia argumentov k a l b) Pri pevných hodnotách k a l musí pre rastúce n konvergovať k 0

Kritérium AIC (Akaike’sInformation Criterion)| Kritérium BIC (Bayesian Information Criterion)| Najčastejšie používané informačné kritériá: V systéme Mathematica:AIC[rad, n] V systéme Mathematica: BIC[rad, n] Odhad BIC je (na rozdiel od AIC) silne konzistentný, t. j., asymptoticky pre veľké n vždy určí správnu hodnotu rádu modelu. Dokonca pravdepodobnosť výskytu konkrétnej realizácie časového radu, pri ktorom by BIC neurčil správny rád, je takmer nulová.

2. Odhad parametrov modelu Požiadavka – stacionárny časový rad s nulovou strednou hodnotou. V opačnom prípade môžeme získať nekorektné modely, resp. výpočet môže byť numericky nestabilný. Každá metóda má svoje výhody, ale aj nevýhody a ohraničenia. Okrem ohraničení z teoretických vlastností odhadov sa pri výbere vhodnej metódy v praxi berie do úvahy aj rýchlosť výpočtu a dĺžka časového radu.

a) Yule – Walkerova metóda Používa sa na odhad parametrov modelu AR(p) pre dané p. Systém (p + 1) rovníc o (p + 1) neznámych: (k) - 1 (k-1) - 2 (k-2) - … - p (k-p) = 0, k = 1, 2, …, p (0) - 1 (1) - 2 (2) - … - p (p) = 2 k = 0 V systéme Mathematica: YuleWalkerEstimate[data, p] ARModel[{0.136139, -0.00615583}, 34.4149]

b) Lewinson – Durbinov algoritmus V systéme Mathematica:LevinsonDurbinEstimate[data, kmax] Je založený na iteračnom riešení Yule – Walkerových rovníc. Počíta vhodné modely AR(1), AR(2), ..., AR(kmax), kde kmax volíme, pričom skutočný rád p  kmax. Výhodou Lewinson – Durbinovho algoritmu je, že okrem priameho riešenia Yule – Walkerových rovníc (bez použitia inverznej matice) pre p = 1, 2, ..., kmax získame aj odhady parciálnej autokorelačnej funkcie r1,1, r2, 2, ... . To nám umožní vybrať vhodný rád pre AR model priamo v procese odhadu parametrov. {ARModel[{0.1353}, 34.416], ARModel[{0.1361, -0.0062}, 34.415], ARModel[{0.1358, 0.0017, -0.0579}, 34.299], ARModel[{0.1319, 0.0018, -0.0488, -0.0672}, 34.145], ARModel[{0.1326, 0.0024, -0.0488, -0.0685, 0.0104}, 34.141]} {0.1353, -0.0062, -0.0579, -0.0672, 0.0104}

Rád AR modelu sa dá odhadnúť aj pomocou disperzií pre chybovú zložku jednotlivých modelov. • V systéme Mathematica použijeme postupnosť príkazov: • armodels = LevinsonDurbinEstimate[data, počet] • dis = Map[#[[ - 1]]&, armodels] • ListPlot[dis, Joined → True, PlotRange→All] {34.416, 34.415, 34.299, 34.145, 34.141, 34.081, 34.065, 34.039} Zavhodný rád sa berie tá hodnota p, kde sa disperzia približne stabilizovala – v našom prípade to je p = 4.

(1) Odhady koeficientov získame klasickou metódou najmenších štvor-cov. Tieto odhady dosadíme do (1), čím získame odhady reziduí (2) c) Long AR - Method Používa sa na odhad koeficientov modelu ARMA(p, q), ale aj AR(p) (pre q = 0), resp. MA(q) (pre p = 0). Využíva fakt, že invertibilný model ARMA(p, q) môžeme aproximovať modelom AR(k) pre dostatočne veľké k. Uvažujme časový rad {x1, ..., xn}. Najprv odhadneme model AR(k) pre dostatočne veľké k:

Tieto reziduá dosadíme do modelu ARMA(p, q): Znova použijeme klasickú metódu najmenších štvorcov, pomocou ktorej odhadneme koeficienty modelu ARMA(p, q). Disperzia chybovej zložky: V systéme Mathematica:LongAREstimate[data, k, p, q]

5. Odhad disperzie reziduí: d) Hannan – Rissanenova procedúra V systéme Mathematica: HannanRissanenEstimate[data, kmax, pmax, qmax, h] Pozostáva z nasledujúcich krokov: 1. Použije sa Lewinson – Durbinov algoritmus na odhad parametrov modelov AR(1), AR(2), ..., AR(kmax) 2. Vypočíta sa AIC pre všetky modely AR(1), ..., AR(kmax) a vyberie sa model AR(k) s minimálnym AIC. 3. Pre vybraný model AR(k) sa vypočíta časový rad reziduí zt 4. Odhadnú sa koeficienty modelov ARMA(p,q) pre p min(pmax, k) a q  qmax (použitím metódy najmenších štvorcov) 6. Vyberie sa h modelov s najmenšími BIC.

Funkcia vierohodnosti:hustota rozdelenia pravdepodobnosti určitého typu, kde sa zapremennépovažujú jednotlivéparametrea zadané (známe)hodnotynáhodného vektora.. Na odhad parametrov stacionárneho ARMA procesu sa používa logaritmus funkcie vierohodnosti, ktorý nadobúda maximum v tých istých hodnotách parametrov. e) Metóda maximálnej vierohodnosti Predpoklad: biely šum Zt stacionárneho ARMA procesu s nulovou strednou hodnotou má normálne rozdelenie s nulovou strednou hodnotou a disperziou 2 (t. j. Zt  N(0, 2 ) ). Potom môžeme na odhad jeho parametrov použiť maximalizáciu Gaussovej funkcie vierohodnosti. Parametre, ktoré takto získame, nazývame maximálne vierohodné odhady.

kde za dosadzujeme rozdiel nameraných a teoretických hodnôt časového radu v čase t. Hustota pravdepodobnosti rozdelenia N(0, 2 ): Metóda maximálnej vierohodnosti dáva najlepšie odhady parametrov (nevychýlené s najmenším rozptylom). V systéme Mathematica používame príkaz: MLEstimate[dáta, model, počiatočné odhady] Parameter, ktorý chceme odhadnúť, zadávame jednak v symbolickom tvare ako argument modelu, ale aj dve číselné počiatočné hodnoty: Počiatočné odhady: {parameter, {prvý odhad, druhý odhad}} MLEstimate[dáta,ARMAModel[{1},{1},1], {1,0.1,0.12},{1,-0.21,-0.2}]

V systéme Mathematica:ConditionalMLEstimate[dáta, model] Model – počiatočný odhad, vypočítaný inou, menej presnou metódou f) Podmienená metóda maximálnej vierohodnosti Pre časové rady s veľkou dĺžkou n sa často používa aproximácia metódy maximálnej vierohodnosti – podmienená metóda maximálnej vierohodnosti. Aproximácia spočíva v tom, že sa pre odhad parametrov modelu ARMA(p, q) fixuje q počiatočných hodnôt chybovej zložky Zp, Zp - 1, ..., Zp – q + 1 a prvých p hodnôt náhodnej premennej Xt. Metódu maximálnej vierohodnosti teda robíme za podmienok: Zp = Zp – 1 = ... = Zp – q + 1 = 0 X1 = x1, X2 = x2, ..., Xp = xp.

Nech  = (1, ..., p, 1, ..., q)T sú skutočné parametre stacionárneho a invertovateľného procesu ARMA(p, q) a je odhad vektora , získaný metódou maximálnej vierohodnosti alebo podmienenou metódou maximálnej vierohodnosti. Pre n   kde V() je asymptotická kovariančná matica odhadov parametrov typu (p + q) x (p + q). Asymptotické vlastnosti maximálne vierohodných odhadov V praxi nie sú skutočné hodnoty parametrov  známe. Preto sa často používa aproximácia asymptotickej kovariančnej matice pomocou informačnej matice. Informačná matica je stredná hodnota matice 2. parciálnych derivácií logaritmu vierohodnostnej funkcie podľa jej parametrov. Inverzná matica k informačnej matici je kovariančná matica odhadov parametrov. Aproximácia spočíva v tom, že namiesto stredných hodnôt sa používajú výberové kvantily.

Štandardné chyby odhadov parametrov sú druhé odmocniny diagonálnych prvkov kovariančnej matice vydelené V systéme Mathematica: Informačná matica:M = InformationMatrix[dáta, model] Kovariančná matica: Inverse [M] mod = LevinsonDurbinEstimate[rez,10]; ar2 = ConditionalMLEstimate[rez, mod[[2]]]; (M=InformationMatrix[data,ar2]) //MatrixForm (km=Inverse[ M ])//MatrixForm Ss=Sqrt[Table[km[[i,i]],{i,2}]/n]; ColumnForm[Transpose[{ar2[[1]], Ss}]] {0.136, 0.035} {-0.006, 0.034}

3. Diagnostická kontrola modelu Kvalitne postavený ARMA(p, q) model vedie ku vzťahu: t.j. „odfiltrovanie“ systematičnosti analyzovaného procesu vedie k procesu bieleho šumu. Preto základná empirická diagnostická kontrola spočíva v posudzovaní reziduí: Testuje sa: A. autokorelácia reziduí B. normalita reziduí C. podmienená heteroskedasticita reziduí Najprv vypočítame v systéme Mathematica reziduá príkazom Residual[data, model] a vykreslíme ich.

A. Testovanie autokorelácie reziduí a) Testovanie nulovosti autokorelačnej funkcie H0: (k) = 0 k > 0 H1: (k) 0 k > 0 Vypočítané hodnoty výberovej autokorelačnej funkcie |rk|, k = 1, ... porovnávame s hodnotou Ak je |rk| < 2(rk) k > 0, potom nemôžeme zamietnuť hypotézu H0 časový rad reziduí je realizácia navzájom nekorelovaných rovnako rozdelených náhodných premenných.

b) Portmanteauov test H0: (k) = 0 k =1, ..., h H1: (k) 0  k: 0 < k  h V tomto teste neskúmame hodnotu výberovej autokorelačnej funkcie reziduí stacionárneho procesu ARMA(p, q) zvlášť pre každé posunutie k, k = 1, ..., h, ale budeme skúmať prvých h hodnôt spolu. Testujeme teda hypotézu H0, že prvých h hodnôt výberovej autokorelačnej funkcie je rovných0 (pre h  n/4). Testovacia štatistika Qh má 2(h – p – q). Ak Qh> 21- (h – p – q), model ARMA(p, q) nepovažujemeza vhodný (na hladine významnosti ). V systéme Mathematica: PortmanteauaStatistic[reziduá, h]

Definujme funkciu pre výpočet j-teho normovaného momentu štandardizovaných reziduí : B. Jarqueho – Berov test normality reziduí Normalita reziduí je dôležitý predpoklad pre interpretáciu odhadu parametrov modelu, ale najmä pre testovanie autokorelácie reziduí a výpočet štandardných chýb odhadov parametrov. Jarque-Berov test je založený na súčasnom testovaní šikmosti a špicatosti. Vychádza sa zo skutočnosti, že tretí normovaný moment (šikmosť) normálneho rozdelenia je 0 a štvrtý normovaný moment (špicatosť) normálneho rozdelenia je 3.

Testovacie kritérium pre testovanie šikmosti rozdelenia: Testovacie kritérium pre testovanie špicatosti rozdelenia: Testovacia štatistiky Jargque – Beryho testu ma tvar: Za predpokladu platnosti nulovej hypotézy, ktorá znamená normalitu reziduí, majú štatistiky SK a SP asymptoticky normované normálne rozdelenie N(0, 1) a štatistika TS má rozdelenie 2 (2). Zamietnutie nulovej hypotézy často býva aj v prípade, ak reziduá nemajú konštantný rozptyl (nie sú homoskedastické).

2. Vypočítame odhady reziduí a ich štvorce . Urobíme autoregresný modelpre štvorce reziduí: • . C. Testovanie podmienenej heteroskedasticity (lineárnehotypu) • H0: časový rad reziduí Zt je rad s podmienenou homoskedasticitou. Test je založený na Lagrangeových multiplikátoroch. Metodológia zahrňuje nasledujúce dva kroky: • 1. Nájdeme vhodný model AR(m): • Yt = a0 + a1 Yt-1 + … + am Yt-m + Zt. Za predpokladu platnosti nulovej hypotézy má testovacia štatistika n.R2 (kde R2 je index determinácie) asymptoticky2 – rozdelenie s q-stupňami voľnosti. Ak je teda vypočítaná hodnota n.R2 väčšia ako kritická hodnota 2(q), nulovú hypotézu H0: 1 = … = q = 0 zamietame  chybová zložka je autoregresný proces s podmienenou heteroskedasticitou.

Osnova programu na piate a šieste cvičenie • Výber vhodného lineárneho modelu z triedy ARMA pre reziduá: • načítanie dát; určenie skúšobnej vzorky; • identifikácia modelu pomocou ACF a PACF; • identifikácia modelu pomocou rozptylov AR(p), p  pmax; • odhad parametrov 5 modelov s najmenším BIC pomocou Hannan- Rissanenovej procedúry; • pre najlepší model: ►spresnenie odhadov metódou maximálnej vierohodnosti; ►výpočet štandardných chýb odhadov; ►určenie reziduí, odhad ich strednej hodnoty, rozptylu, smerodajnej odchýlky ►vykreslenie reziduí ► diagnostickými testami otestovaťautokoreláciu, normalitu a podmienenú heteroskedasticitu reziduí • celý postup opakovať pre druhý až piaty najlepší model.

URČENIE MODELOV V BOX – JENKINSOVEJ METODOLÓGII