1 / 57

Inleiding adaptieve systemen

Inleiding adaptieve systemen. Competitie en co öperatie. Inhoud. Twee-persoons competitieve symmetrische niet-nulsom spelen op basis van volledige informatie met simultane zetten en kwantitatieve beloningen Prisoner’s Dilemma ( PD ) Stag Hunt ( SH ) Chicken ( CK )

mauve
Download Presentation

Inleiding adaptieve systemen

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Inleiding adaptieve systemen Competitie en coöperatie Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  2. Inhoud • Twee-persoons competitieve symmetrische niet-nulsom spelen op basis van volledige informatie met simultane zetten en kwantitatieve beloningen • Prisoner’s Dilemma ( PD ) • Stag Hunt ( SH ) • Chicken ( CK ) • Begrippen: Pareto-optimale oplossing, Nash-evenwicht • Uitbreidingen van het Prisoner’s Dilemma • Geïtereerd ( IPD ) • Geïtereerd evolutionair ( IEPD ) • Geïtereerd ruimtelijk evolutionair ( SIEPD ) • Geïtereerd continu ruimtelijk evolutionair ( CSIEPD ) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  3. Coöperatieve spelen Doel: coördinatie Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  4. Doel: eigen winst-maximalisatie Competitieve spelen Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  5. Competitieve spelen • Wie doet de vaat? • Gedeelde koffiepot • Meeliften in groepswerk • Wielrenners in een kopgroep • NIMBY problematiek (windmolenpark) • Vangstquotum in de visserij • Handelsoorlog • Wapenwedloop Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  6. Prisoner’s dilemma Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  7. Prisoner’s dilemma Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  8. Prisoner’s dilemma Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  9. Koffiezet dilemma Drink je het laatste kopje uit de kan? Zet even nieuwe! 3(3) 1(5) 5(1) 0(0) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  10. Hetzelfde dilemma? • T = Tempation • R = Reward • S = Sucker • P = Penalty • T = Tempation • R = Reward • P = Penalty • S = Sucker Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  11. Hoeveel soorten dilemma’s? • In principezijn er4! = 24dilemma’s • Alleen lastig als… …but he has motivationto defect I prefer the othertocooperate en en of Reward > Sucker Temptation > Reward Penalty > Sucker Temptation > Penalty Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  12. Jij bent speler Speler 1. Je speelt één keer, zonder vooraf te (kunnen of willen) communiceren met Speler 2. Wat zou je doen als je wist dat Speler 2 samenwerkt (C)? Wat zou je doen als je wist dat Speler 2 verzaakt (D)? Dus wat zou je i.h.a. doen? Wat zou Speler 2 i.h.a. doen? Zou het uitmaken als Speler 1 en Speler 2 van te voren mochten communiceren? Welke strategie kies je? Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  13. Pareto-optimale oplossing • Een oplossing heetPareto-optimaalals er geen betere oplossing is die de ander niet schaadt Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  14. Nash-evenwicht • Een gecombineerdestrategie is eenNash-evenwichtals geen van de spelers reden heeft om eenzijdigeen andere keus te maken Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  15. Prisoner’s dilemma • Het Prisinor’s dilemmaheeft één Nash-evenwicht… • …maar dat is nietPareto-optimaal Toch is het niet echt een dilemma: Beide spelers kiezen D Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  16. Normaalvorm(= generieke 2x2 matrix) CC: we werken samen (Reward payoff, R) DC: ik verzaak, de ander is een sukkel (Temptation payoff, T) CD: ik ben coöperatief, de ander verzaakt (Sucker payoff, S) DD: we verzaken beiden (Penalty payoff, P) Je krijgt verschillende spelen als je gaat variëren met P, R, S, T Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  17. Chicken game

  18. Chicken Ook wel: “sway or dare” DC: ik rij rechtdoor, de ander niet CC: we wijken beiden uit CD: ik wijk uit, de ander rijdt rechtdoor DD: we rijden beiden rechtdoor Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  19. Lijkt Chicken op Prisoner of Koffie? • T = Tempation • R = Reward • S = Sucker • P = Penalty • T = Tempation • R = Reward • P = Penalty • S = Sucker Chicken is als Koffie, want doodgaan is nog net wat erger dan “Chicken” genoemd worden Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  20. DC: ik blijf zitten, de ander ruimt sneeuw CC: we ruimen beiden sneeuw CD: ik ruim sneeuw, de ander niet DD: we ruimen beiden geen sneeuw (en vriezen dood) Snowdrift Ook hier geldt weer: T > R > S > P. Dus identiek aan Chicken en Koffie Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  21. DC: de ander haalt groen terug en terwijl hij dat doet, ga ik in z’n wiel zitten CC: we halen hem samen terug CD: ik haal hem terug, met die ander in m’n wiel (en verminder zo m’n winstkansen) DD: niemand haalt iemand terug (en we verliezen allebei de wedstrijd) Ontsnapte wielrenner terughalen Je con-current Jij Ook hier geldt weer: T > R > S > P. Dus identiek aan Chicken Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  22. CC: we jagen samen op een hert DC: ik jaag op een haas (jij vruchteloos op een hert) DD: we jagen beiden op een haas CD: jij jaagt op een haas (ik vruchteloos op een hert) Stag Hunt (Hert of haas) Claude Monet. De Jacht (1876) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  23. Stag Hunt (Hert of haas) • R = Reward • T = Tempation • P = Penalty • S = Sucker 5(5) 0(3) Prisoner • T = Tempation • R = Reward • P = Penalty • S = Sucker Koffie • T = Tempation • R = Reward • S = Sucker • P = Penalty 3(0) 1(1)

  24. CC: we komen allemaal DC: ik zeg af, de anderen komen DD: we zeggen allemaal af CD: ik kom, de anderen zeggen af Samen uit, samen thuis Hier geldt weer: R > T > P > S. Dus: Stag Hunt Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  25. Man: DC: we gaan samen naar voetbal CD: we gaan samen naar ballet DD: ik ga naar voetbal, jij gaat naar ballet CC: ik ga naar ballet, jij gaat naar voetbal Battle of the sexes Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  26. Battle of the sexes • T = Tempation • S = Sucker • P = Penalty • R = Reward 0(0) 2(3) 3(2) 1(1)

  27. Battle of the sexes • T = Tempation • S = Sucker • P = Penalty • R = Reward 0(0) 1(3) • T = Tempation • P = Penalty • S = Sucker • R = Reward 3(1) 2(2)

  28. Overzicht van 2x2 competitief Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  29. Nash evenwichten Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  30. Nash evenwichtenPareto-optimaal Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  31. Nash evenwichtenPareto-optimaal tragedy Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  32. Tragedy of the commons Meerdere deelnemers + indirecte interactie, bv. middels gedeelde reserves. Voorbeeld: overbevissing • Als iedereen zich aan het visquotum houdt is er niks aan de hand ( R ) • Verleiding ( T ): jij houd je er, als één van de weinigen, niet aan • Sukkel ( S ): jij houd je er, als één van de weinigen, wel aan • Penalty ( P ): iedereen heeft lak aan het quotum → zee leeg Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  33. Gemixte strategie • Stel, spelerA besluit C met kans p te spelen. We zeggen dan dat A volgens een gemixte strategie met parameterp speelt. Kortweg: de strategie van A is p. • Evenzo noteren we een gemixte strategie van B als q. • Vraagstuk: voor welke paren van kansen vormt (p, q) een Nash-evenwicht? p 1 – p q 1 – q Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  34. Stel, A weet dat B met kans q actie C speelt, i.e., PrB(C) = q Wanneer wordt het voor A interessant om samen te werken? Antwoord: als en slechts als: PayoffA( C | PrB(C) = q ) > PayoffA( D | PrB(C) = q ) Als en slechts als: qR + (1 – q)S > qT + (1 – q)P Als en slechts als: q > (P – S)/(R – T + P – S), als R – T + P – S > 0 q < (P – S)/(R – T + P – S), als R – T + P – S < 0 S > P, anders PrB(C) is bekend { Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  35. Nash-evenwicht bij gemixte strategie • Neem aan dat 0 < R – T + P – S < 1 • In dat geval zagen we dat A • Beter kan samenwerken alsq > (P – S)/(R – T + P – S) • Beter kan verzaken alsq < (P – S)/(R – T + P – S) • Keuze er niet toe doet alsq = (P – S)/(R – T + P – S) • Hetzelfde geldt voor B, maar dan symmetrisch q p Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  36. Stag hunt 4 ( 4 ) Drie Nash-evenwichten,waarvan één gemixt 3 ( 1 ) 1 ( 3 ) 2 ( 2 ) De Ander Ik Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  37. Prisoner’s dilemma Eén Nash-evenwicht,niet gemixt 3 (3) 0 ( 5 ) De Ander 1 (1) Ik Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  38. Chicken (Snowdrift game) 0 ( 0 ) Drie Nash-evenwichten,waarvan één gemixt -1 ( 1 ) 1 ( -1 ) -5 ( -5 ) De Ander Ik Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  39. Battle of the sexes Drie Nash-evenwichten,waarvan één gemixt 3 ( 2 ) 1 ( 1 ) 2 ( 3 ) De Ander 0 ( 0 ) Ik Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  40. Variaties ophet Prisoner’s Dilemma Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  41. Variaties • Het herhaalde Prisoner’s Dilemma (Eng.: Iterated PD, IPD) • Een evolutionaire variant van het IPD (EIPD) • Een ruimtelijk-evolutionaire variant van het IPD (SEIPD) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  42. Iterated Prisoner’s Dilemma (IPD) Enkele strategieën: • Altijd samenwerken (ALL-C) • Altijd verzaken (ALL-D) • Maar wat doen (RAND) • Oog om oog“tit for tat”(TFT) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  43. Voorbeeld van2 Episoden van elk 10 Ronden 14 9 26 26 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  44. D D C C D C C D D C C C C C C D –5 –5 C D D C C C C D D D C D 0 0 0 0 0 0 0 0 5 0 5 0 Met TFT nooit echt veelslechter af dan tegenstander • Speler 2 kan één keer verzaken, maar moet bij wisseling van strategie altijd zijn winst weer inleveren. 2 1 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  45. Andere strategieën • UNFORGIVING: als tegenstander verzaakt, dan nooit meer meewerken • TF2T: tit-for-two-tats: als TFT, maar pas vergelden na twee opeenvolgende defects van tegenstander. • PAVLOV: start met C. Wissel strategie als tegenstander verzaakt Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  46. Toernooi • Axelrod (1984)organiseerde toernooi tussen ingezonden strategieën • And the winner was… Tit For Tat Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  47. Succes: Kan onmogelijk uitgebuit worden Presteert nooit slechter dan tegenstander Zwakte: Kort geheugen: blijft bij D hangen in D, tenzij tegenstander C doet Presteert nooit beter dan tegenstander Succes en zwakte van TFT Tit Tat Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  48. Flake: ecological world Initialisatie: • Stel K strategieën vast, bv. { ALL-C, ALL-D, RAND, TFT, UNFORGIVING, PAVLOV }. (Hier K = 6.) • Stel aantal ronden N vast. (Zeg, N = 200.) • Reward i tegen j = Ri,j = gemiddelde opbrengst voor i tegen j over N ronden. • Geef iedere strategie i een initieel aandeel Pi z.d.d. som der gewichten = 1.0. Herhaal voor E episoden: • Score i = gemiddelde opbrengst voor strategie i. • Pas Piaan op basis van de gewogen score. Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  49. Update-formulevoor strategie-aandeel De score van Strategieiop tijdstipt is gelijk aan de gemiddelde interactie-opbrengst van i, gewogen naar de populatieomvang van soorten: Het aandeel van Strategieiop een volgend tijdstipt+1 is gelijk aan Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

  50. Flake: ecological world (ideal) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

More Related