Patologija v hevristi nih preiskovalnih algoritmih l.jpg
This presentation is the property of its rightful owner.
Sponsored Links
1 / 73

Patologija v hevrističnih preiskovalnih algoritmih PowerPoint PPT Presentation


  • 98 Views
  • Uploaded on
  • Presentation posted in: General

Patologija v hevrističnih preiskovalnih algoritmih. Mitja Luštrek. Doktorska disertacija Mentor: akad. prof. dr. Ivan Bratko Somentor: prof. dr. Matjaž Gams. Hevristični preiskovalni algoritmi. Stanja. Prehodi med stanji. Prostor stanj. Hevristični preiskovalni algoritmi. Trenutno stanje.

Download Presentation

Patologija v hevrističnih preiskovalnih algoritmih

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Patologija v hevristi nih preiskovalnih algoritmih l.jpg

Patologija v hevrističnihpreiskovalnih algoritmih

Mitja Luštrek

Doktorska disertacija

Mentor: akad. prof. dr. Ivan Bratko

Somentor: prof. dr. Matjaž Gams


Hevristi ni preiskovalni algoritmi l.jpg

Hevristični preiskovalni algoritmi

Stanja

Prehodi med stanji

Prostor stanj


Hevristi ni preiskovalni algoritmi3 l.jpg

Hevristični preiskovalni algoritmi

Trenutno stanje


Hevristi ni preiskovalni algoritmi4 l.jpg

Hevristični preiskovalni algoritmi

Preiskovanje


Hevristi ni preiskovalni algoritmi5 l.jpg

Hevristični preiskovalni algoritmi

Hevristične ocene


Hevristi ni preiskovalni algoritmi6 l.jpg

Hevristični preiskovalni algoritmi

Ocene prenesemo proti trenutnemu stanju


Hevristi ni preiskovalni algoritmi7 l.jpg

Hevristični preiskovalni algoritmi

Naredimo potezo


Patologija l.jpg

Patologija

Globlje preiskovanje da slabše odločitve ...


Patologija9 l.jpg

Patologija

... kot plitvejše


Dve vrsti preiskovalnih algoritmov l.jpg

Dve vrsti preiskovalnih algoritmov

  • Minimaks

    • Igre z dvema igralcema

  • Enoagentno preiskovanje

    • Iskanje poti po zemljevidu

    • ...


Patologija minimaksa l.jpg

Patologija minimaksa


Primer patologije l.jpg

Primer patologije

Trenutni položaj

Prava poteza

5

6

Drevo igre

Prave vrednosti

7

5

6

9

7

4

5

3

1

6

9

8


Primer patologije13 l.jpg

Primer patologije

5

6

Hevristične ocene

7

5

6

9

8/7

2/4

6/5

3/3

2/1

4/6

9/9

6/8


Primer patologije14 l.jpg

Primer patologije

5

6

Maks

8/7

6/5

4/6

9/9

8/7

2/4

6/5

3/3

2/1

4/6

9/9

6/8


Primer patologije15 l.jpg

Primer patologije

Min

6/5

4/6

8/7

6/5

4/6

9/9

8/7

2/4

6/5

3/3

2/1

4/6

9/9

6/8


Primer patologije16 l.jpg

Primer patologije

Izbrana poteza

6/5

4/6

8/7

6/5

4/6

9/9

8/7

2/4

6/5

3/3

2/1

4/6

9/9

6/8


Primer patologije17 l.jpg

Primer patologije

Hevristične ocene

6/5

4/6

4/5

6/6

7

5

6

9

7

4

5

3

1

6

9

8


Primer patologije18 l.jpg

Primer patologije

Izbrana poteza

6/5

4/6

4/5

6/6

7

5

6

9

7

4

5

3

1

6

9

8


Primer patologije19 l.jpg

Primer patologije

6/5

4/6

4/5

6/6

Večja globina

preiskovanja (3)

Manjša globina

preiskovanja (1)


Primer patologije20 l.jpg

Primer patologije

6/5

4/6

4/5

6/6

Večja hevristična napaka

(1, 2)

Manjša hevristična napaka

(1, 0)

Večja globina

preiskovanja (3)

Manjša globina

preiskovanja (1)


Primer patologije21 l.jpg

Primer patologije

Napačna poteza

Prava poteza

6/5

4/6

4/5

6/6

Večja hevristična napaka

(1, 2)

Manjša hevristična napaka

(1, 0)

Večja globina

preiskovanja (3)

Manjša globina

preiskovanja (1)


Pretekla opa anja patologije l.jpg

Pretekla opažanja patologije

Nau [1979], Beal [1980], Bratko & Gams [1982], Pearl [1983] ...

Bealov model:

  • konstantna vejitev drevesa igre

  • dve vrednosti – poraz, zmaga

  • verjetnost poraza se z nivoja na nivo ohranja

  • vrednosti vozlišč znotraj nivoja neodvisne

  • statična hevristična napaka – predstavljena kot verjetnost, da se poraz in zmaga zamenjata – neodvisna od globine

Zdi se realističen, a je patološki – realnost pa ni patološka


Realnovrednostni minimaks l.jpg

Realnovrednostni minimaks

Naš model:

  • konstantna vejitev drevesa igre

  • dve vrednosti – poraz, zmaga

  • verjetnost poraza se z nivoja na nivo ohranja

  • vrednosti vozlišč znotraj nivoja neodvisne

  • statična hevristična napaka – predstavljena kot verjetnost, da se poraz in zmaga zamenjata – neodvisna od globine


Realnovrednostni minimaks24 l.jpg

Realnovrednostni minimaks

Naš model:

  • konstantna vejitev drevesa igre

  • dve vrednosti – poraz, zmaga

  • verjetnost poraza se z nivoja na nivo ohranja

  • vrednosti vozlišč znotraj nivoja neodvisne

  • statična hevristična napaka – predstavljena kot verjetnost, da se poraz in zmaga zamenjata – neodvisna od globine


Realnovrednostni minimaks25 l.jpg

Realnovrednostni minimaks

Naš model:

  • konstantna vejitev drevesa igre

  • realne vrednosti

  • verjetnost poraza se z nivoja na nivo ohranja

  • vrednosti vozlišč znotraj nivoja neodvisne

  • statična hevristična napaka – predstavljena kot verjetnost, da se poraz in zmaga zamenjata – neodvisna od globine

V dobljenih položajih pot proti zmagi

V izgubljenih položajih verjetnost poraza

Programi delajo tako


Realnovrednostni minimaks26 l.jpg

Realnovrednostni minimaks

Naš model:

  • konstantna vejitev drevesa igre

  • realne vrednosti

  • po pretvorbi v dve vrednosti se verjetnost poraza z nivoja na nivo ohranja

  • vrednosti vozlišč znotraj nivoja neodvisne

  • statična hevristična napaka – predstavljena kot verjetnost, da se poraz in zmaga zamenjata – neodvisna od globine


Realnovrednostni minimaks27 l.jpg

Realnovrednostni minimaks

Naš model:

  • konstantna vejitev drevesa igre

  • realne vrednosti

  • po pretvorbi v dve vrednosti se verjetnost poraza z nivoja na nivo ohranja

  • vrednosti vozlišč znotraj nivoja neodvisne

  • statična hevristična napaka – predstavljena kot verjetnost, da se poraz in zmaga zamenjata – neodvisna od globine


Realnovrednostni minimaks28 l.jpg

Realnovrednostni minimaks

Naš model:

  • konstantna vejitev drevesa igre

  • realne vrednosti

  • po pretvorbi v dve vrednosti se verjetnost poraza z nivoja na nivo ohranja

  • vrednosti vozlišč znotraj nivoja neodvisne

  • statična hevristična napaka – predstavljena kot Gaussov šum – neodvisna od globine


Merjenje patolo kosti l.jpg

Merjenje patološkosti

Merimo napako v korenu

Drevo igre

Preiskujemo do različnih globin

Konstantna statična hevristična napaka


Merjenje patolo kosti30 l.jpg

Merjenje patološkosti

Napaka v korenu z globino narašča:

patologija

Drevo igre

Napaka v korenu z globino pada:

normalno


Napaka v korenu l.jpg

Napaka v korenu

Naš model normalen

Bealov model patološki


Na model pove l.jpg

Naš model pove

Konstantna realnovrednostna statična hevristična napaka odpravi patologijo

Pretekle razlage manj enostavne, postavljale dodatne pogoje

[Scheucher & Kaindl 1998]


Posplo itev l.jpg

Posplošitev

Konstantna realnovrednostna statična hevristična napaka odpravi patologijo

Matematično dokazali, da to velja v drevesih igre z neodvisnimi vrednostmi sosednjih vozlišč nasploh


Posplo itev34 l.jpg

Posplošitev

Konstantna realnovrednostna statična hevristična napaka odpravi patologijo

Matematično dokazali, da to velja v drevesih igre z neodvisnimi vrednostmi sosednjih vozlišč nasploh


Zakaj je minimaks koristen l.jpg

Zakaj je minimaks koristen

Hevristične vrednosti

Prave vrednosti


Zakaj je minimaks koristen36 l.jpg

Zakaj je minimaks koristen

Širši krivulji:

večja varianca

Ožja krivulja:

manjša varianca


Zakaj je minimaks koristen37 l.jpg

Zakaj je minimaks koristen

Vsak nivo preiskovanja:

  • zmanjša varianco

  • hevristične vrednosti približa pravim

  • zmanjša napako


Zakaj je minimaks koristen38 l.jpg

Zakaj je minimaks koristen

Prava vrednost starša


Zakaj je minimaks koristen39 l.jpg

Zakaj je minimaks koristen

Večji brat prevelik

Manjši brat prevelik


Zakaj je minimaks koristen40 l.jpg

Zakaj je minimaks koristen

Manjši brat prevelik – škoduje


Zakaj je minimaks koristen41 l.jpg

Zakaj je minimaks koristen

Večji brat premajhen

Manjši brat večji od večjega


Zakaj je minimaks koristen42 l.jpg

Zakaj je minimaks koristen

Manjši brat večji od večjega - koristi


Zakaj je minimaks koristen43 l.jpg

Zakaj je minimaks koristen

Koristni učinek manjšega brata večji od škodljivega


Zakaj je minimaks koristen44 l.jpg

Zakaj je minimaks koristen

Razlaga koristnosti minimaksa


Dejavniki ki vplivajo na patologijo l.jpg

Dejavniki, ki vplivajo na patologijo

  • Število vrednosti položajev – zrnatost

  • Vejitev drevesa igre

  • Odvisnost sosednjih vozlišč


Zrnatost l.jpg

Zrnatost

Na nivoju 5 je več vozlišč z vrednostjo 1

Na nivoju 5 je manj vozlišč z vrednostjo 2


Zrnatost47 l.jpg

Zrnatost

Od tod podobno zrnatosti 2


Zrnatost48 l.jpg

Zrnatost

Maksimumi oklestijo majhne vrednosti

Minimumi oklestijo velike vrednosti


Zrnatost49 l.jpg

Zrnatost

Na vrhu podobno zrnatosti 2


Zrnatost50 l.jpg

Zrnatost

Do konca zastopanih več vrednosti


Vejitev drevesa igre l.jpg

Vejitev drevesa igre

Vejitev spodbuja patologijo


Vejitev drevesa igre52 l.jpg

Vejitev drevesa igre

Minimum in maksimum izločita 1/2 vrednosti

Minimum in maksimum izločita 9/10 vrednosti


Odvisnost sosednjih vozli l.jpg

Odvisnost sosednjih vozlišč

Ujemanje s šahom


Odvisnost sosednjih vozli54 l.jpg

Odvisnost sosednjih vozlišč

Neodvisna

Odvisna


Vsi trije dejavniki l.jpg

Vsi trije dejavniki

Celovit pregled vpliva različnih dejavnikov na patologijo


Patologija enoagentnega preiskovanja l.jpg

Patologijaenoagentnega preiskovanja


Minimin namesto minimaksa l.jpg

Minimin namesto minimaksa

2

7

Minimum

Maksimum

2

7

2

7

Minimum

Minimum

Minimum

Minimum

2

5

7

8

2

5

7

8

Enoagentno preiskovanje - minimin

Minimaks


Patologija v umetnih drevesih l.jpg

Patologija v umetnih drevesih

  • Realnovrednostna preiskovalna drevesa

  • Možna razloga za patologijo:

    • prave vrednosti v drevesu

    • hevristična ocenjevalna funkcija


Hevristi ne ocenjevalne funkcije l.jpg

Hevristične ocenjevalne funkcije

Optimistična

Navadna

0

0

Hevristična

vrednost

starša

Prava

vrednost

Hevristična

vrednost

starša

Prava

vrednost

Pesimistična

Nepadajoča

Od-0 optimistična

0

0

Hevristična

vrednost

starša

Prava

vrednost

Hevristična

vrednost

starša

Prava

vrednost


Hevristi ne ocenjevalne funkcije60 l.jpg

Hevristične ocenjevalne funkcije


Hevristi ne ocenjevalne funkcije61 l.jpg

Hevristične ocenjevalne funkcije

Naša ugotovitev:

nepadajočost ključna

optimističnost zaželena

Običajno:

optimističnost ključna

nepadajočost zaželena


Hevristi ne ocenjevalne funkcije62 l.jpg

Hevristične ocenjevalne funkcije

Ugotovitev, kako hevristična ocenjevalna funkcija vpliva na patologijo


Patologija pri iskanju poti l.jpg

Patologija pri iskanju poti

  • Algoritem LRTS (learning real-time search)

  • 5 zemljevidov iz računalniških iger

  • 1.000 iskanj najkrajših poti

  • Patologija nastopi v 58% iskanj


Patologija zaradi u enja l.jpg

Patologija zaradi učenja

LRTS se med iskanjem uči popravkov hevrističnih vrednosti


Patologija zaradi u enja65 l.jpg

Patologija zaradi učenja

Učenje koristi bolj

Učenje koristi manj


Patologija zaradi u enja66 l.jpg

Patologija zaradi učenja

Učenje koristi bolj

Učenje koristi manj

Manjše globine boljše

Manjše globine bliže večjim

Manjša globina večkrat da boljšo odločitev od večje


Patologija zaradi u enja67 l.jpg

Patologija zaradi učenja

Brez učenja patologije manj: 58% → 20%


Patologija zaradi na ina preiskovanja l.jpg

Patologija zaradi načina preiskovanja

LRTS ne preiskuje vsak premik, ampak le, ko doseže rob prej preiskanega prostora


Patologija zaradi na ina preiskovanja69 l.jpg

Patologija zaradi načina preiskovanja

Večje razlike med globinami

Manjše razlike med globinami


Patologija zaradi na ina preiskovanja70 l.jpg

Patologija zaradi načina preiskovanja

Večje razlike med globinami

Manjše razlike med globinami

Manjša globina večkrat da boljšo odločitev od večje


Patologija zaradi na ina preiskovanja71 l.jpg

Patologija zaradi načina preiskovanja

Pri preiskovanju vsak premik patologije manj: 58% →13%


Patologija pri iskanju poti72 l.jpg

Patologija pri iskanju poti

Razlaga patologije pri iskanju poti


Prispevki k znanosti l.jpg

Prispevki k znanosti

  • Minimaks:

    • ugotovitev, da konstantna realnovrednostna statična napaka odpravi patologijo (+ matematični dokaz)

    • razlaga koristnosti minimaksa

    • celovit pregled vpliva treh dejavnikov na patologijo

  • Enoagentno preiskovanje:

    • ugotovitev (in razlaga), kako hevristična ocenjevalna funkcija vpliva na patologijo

    • razlaga patologije pri iskanju poti

    • razlaga vpliva pravih vrednosti v drevesu na patologijo

    • razlaga koristnosti enoagentnega preiskovanja


  • Login