Gradientní metody

1. Gradientní metody Metoda největšího spádu (volný extrém) Zoutendijkova metoda (vázaný extrém)

2. Metoda největšího spádu • Řešíme úlohu na volný extrém • Předpoklad: funkce f je diferencovatelná • Největší spád je ve směru gradientu • Volíme výchozí bod • Určíme směr • Určíme délku k-tého kroku • Konstruujeme posloupnost bodů

3. Pro lineární funkci je gradient směrnicí kolmice. Přímka účelové funkce se posouvá ve směru kolmice, tj. ve směru gradientu. Nejkratší cesta?

4. Gradientní metoda s krátkým krokem • Volíme konstantní délku kroku • Optimum: • Sledujeme konvergenci: • Zvolíme dostatečně malé - optimum:

5. Příklad 1 • Minimalizujte funkci: • Výchozí bod: • Délka kroku:

6. Gradientní metoda s dlouhým krokem • Pro každý krok počítáme délku kroku • Pro největší zlepšení hodnoty účelové funkce • Délka kroku – pomocná úloha

7. Příklad 1 b Stejná funkce i výchozí bod, hledáme takovou délku kroku,aby v bodě x1 dosáhla funkce minima (lokálního). Vyjádříme x1 a dosadíme do původní funkce f. Vzniklá funkce je konvexní funkce 1 proměnné , její bod minima najdeme pomocí první derivace=0.

8. Optimalizace s podmínkamiÚloha s přípustným směrem • Řešíme úlohu na vázaný extrém (omezující podmínky mohou být nelineární) • Konstruujeme posloupnost bodů • Řešení je přípustné: • Snížení účelové funkce dosáhneme, pokud navíc platí:

9. Příklad 2 • Je daná úloha: • Výchozí bod: • Vektor s je přípustným směrem, pokud platí: • Ke snížení hodnoty účelové funkce dojde, jestliže: (Řešením může být více než jeden přípustný směr, v němž dojde ke snížení ÚF)

10. Grafické znázornění X0 výchozí bod X=(3,1) globální minimum

11. Obecný algoritmus • 1. krok - Výchozí řešení • Za výchozí bod iteračního postupu zvolíme libovolný bod x z množiny M , tj. libovolné přípustné řešení, které označíme x0 , k = 0. • 2. krok - Směr a délka kroku • Řešení (k+1) iteračního kroku vypočítáme pomocí směrového vektoru a délky kroku • Přitom musí platit: xk+1M a f(xk+1) = f(xk + sk) < f(xk ) • 3. krok - Test optimality • Pokud nelze nalézt směrový vektor nebo délku kroku tak, aby byly splněny podmínky 2), je poslední nalezené řešení xk optimálním řešením a výpočet končí. • Jinak je určeno nové řešení xk+1, položíme k = k+1 a přejdeme ke kroku 2 - budeme hledat nový směr a délku kroku.

12. Zoutendijkova metoda 1. krok Zvolíme přípustné výchozí řešení x0;k=0 Pokud bod leží na některé hraniční přímce (není vnitřním bodem množiny přípustných řešení), přidává se k úloze o optimálním směru podmínka:

13. Zoutendijkova metoda 2. krok Určení optimálního směru: Směr, který svírá minimální úhel s gradientem a je přípustný. Příslušná úloha je nelineární a nahrazuje se jednodušším lineárním vztahem – lineární normalizace vztahu

14. Úloha o optimálním směru Vypočítáme gradienty funkcí f a g v bodě xk a vyřešíme pomocnou úlohu lineárního programování o optimálním směru. Jestliže opt. řešení úlohy (OS) má nulovou hodnotu kritéria, pak je algoritmus u konce a řešení xk je optimálním řešením

15. Úloha o optimálním směru Úloha vede na řešení simplexem. Abychom zajistili nezápornost proměnných, přičteme 1:

16. Zoutendijkova metoda 3. krok: Určení optima Jestliže opt. řešení úlohy (OS) má nulovou hodnotu kritéria, pak je algoritmus u konce a řešení xk je optimálním řešením, jinak pokračujeme krokem 4.

17. Zoutendijkova metoda 4. Krok: Určení délky kroku z hlediska přípustnosti nového řešení a z hlediska největší možné celkové změny hodnoty účelové funkce. 5. krok – test optimality II. • Jestliže délka kroku nulová, je řešení xk je optimální • Jinak jsme nalezli nové řešení a přejdeme ke kroku 2.

18. Příklad 2b 1. krok • Výchozí bod splňuje první 2 omezující podmínky jako rovnice, tj. leží na příslušných hraničních přímkách

19. Příklad 2b 2. Krok – úloha o OS

21. Hodnota optimální ÚF úlohy o optimálním směru není nula – řešení není optimální.

22. Příklad 2b- Určení délky kroku

24. X0 =(2,1) výchozí bod X=(3,1) globální minimum X1=(2,5;0,5) Směr s0 Grafické znázornění

25. ŘEŠENÍ JE OPTIMÁLNÍ