A koordináció problémái és kérdései

1. A koordináció problémái és kérdései Gulyás László AITIA International Rt. lgulyas@aitia.ai Ágensek és multi-ágens rendszerekKurzus az ELTE programtervező-matematikus hallgatóinak

2. Napirend • A koordináció fogalma (ismétlés) • A koordináció szükségessége (példák) • A közlegelő tragédiája (globális vs lokális) • Fogolydilemma, Iterált Fogolydilemma (a kommunikáció hiánya, globális vs lokális) • Térbeli Iterált Fogolydilemma és függősége az interakciós topológiától • 3-személyes térbeli iterált fogolydilemma. • A tőzsde és az El Farol Bar problémája (kommunikáció, reflexivitás), a „Minority Game” fogalma. • A Zero Intelligence (Plus) vita (szerkezet vagy intelligencia) Ágensek és multi-ágens rendszerek

3. A MAS-ok céljának elérése • CCCCN • Cooperation (Kooperáció) • Conflict (Konfliktus) • Coordination (Koordináció) • Communication (Kommunikáció) • Negotiation (Egyezkedés, Alku) Ágensek és multi-ágens rendszerek

4. Cooperation (Kooperáció)Collaboration (Kollaboráció) • A kooperáció (együttműködés):az ágens olyan tevékenysége, amely egy másik ágenst a célja elérésében segít. • Az ideális eset. • Az együttműködésnek nem kell szándékosnak lennie. • Segítheti a végrehajtó ágenst is céljai elérésében. • A kooperáció tehét véletlen mellékhatásként is létrejöhet (ld. külső és belső problémája). Ágensek és multi-ágens rendszerek

5. Amikor nincs kooperáció… • Nyílt rendszerek esetén tipikusan nem a kollaboráció/kooperáció a fő „csapásirány”. • Példa: TAC (Trading Agent Competition) • http://www.sics.se/tac/page.php?id=1 • Egyedi ágenst tervezünk egy MAS-hoz • KAZAA, GNUtella, etc. • Erőforrás-megosztás „kényszerítése” Ágensek és multi-ágens rendszerek

6. Conflict (Konfliktus) • Ha nincs kollaboráció… • Az ágensek céljai egymással (részben) ellentétesek, illetve ha az ágensek cselekedeteikkel akadályozzák egymást. • A nyílt rendszerek és általában a MAS-ok fő problémaköre. Ágensek és multi-ágens rendszerek

7. A közlegelő tragédiája I. • Optimális eset • A legelő 12 tehenet tud eltartani. • A faluban 12 gazda van, mindegyik 1 tehenet tart. • Minden tehén maximálisan gyarapodik. • Egyéni optimum • Az egyik gazda azonban vesz még egy tehenet. • Mindkét tehén kisebb lesz az optimálisnál, de a gazdának összeségében több húsa lesz, mint egy „optimális” tehénnel lenne. • Viszont a többiek tehene is kisebb lesz, ami mindenkit 2 tehén tartására ösztönöz. • A tragédia • A végén mindenkinek (sokaknak) 2 tehene van, de összességében ezek már nem adnak annyi húst, mint egy „optimális” tehén. • Ráadásul a legelő is tönkremegy. Ágensek és multi-ágens rendszerek

8. A közlegelő tragédiája II. • A globális vs lokális tipikus esete. • Tipikus pl. környezetvédelmi problémák esetén – innen származik a „modell” is. • A koordináció hiányáról van szó: • Oka: az egyes ágensek számára a többiek "idegenek„. • A koordinációt sokszor rendszerszintű korlátok (mint itt, a legelő eltartóképessége) kényszerítik ki. Ágensek és multi-ágens rendszerek

9. A közlegelő tragédiája III. • Egyéb „közlegelők”: • Jatt az étteremben. • Dopping. • „Későn ébredő autósok” a lezárt sávban. Ágensek és multi-ágens rendszerek

10. Coordination (Koordináció) • A koordináció a tevékenységek összehangolása a rendszer feladatainak megoldása, illetve a rendszerrel szemben támasztott korlátozások betartása érdekében. • Mechanizmus a lokális viselkedés szabályozására, valamely globális cél/állapot elérése érdekében. • Célja az anarchia és a káosz elkerülése. • Olyan részfeladatokat foglal magába, mint • a rendszerrel szemben támasztott globális korlátozások betartása, • az elosztott erőforrások megfelelő allokálása, • az ágensek akciói közötti függőségi viszonyok felderítése • a minél hatékonyabb megvalósítás. Ágensek és multi-ágens rendszerek

11. Fogolydilemma I. Oszlop: C D C 3,3 0,5 Sor: D 5,0 1,1 Ágensek és multi-ágens rendszerek

12. Fogolydilemma II. • A globális vs lokális megint. • Ugyancsak ismert környezetvédelmi analógia. • A kommunikáció hiánya. Ágensek és multi-ágens rendszerek

13. Fogolydilemma III. • Két benzinkút van egymás mellett. Mindkettőnek megvan a lehetősége, hogy leszállítsa a benzin árát, hogy aláígérjen a másiknak. Ám, ha mindketten ezt teszik, akkor csak a vásárlók járnak jól. (A már leszállított árat újra felemelni kínos, illetve feltételezhetjük, hogy a reggel beállított árakkal kell egész nap üzemelni.) • Üzletkötés levelezés útján, amiben mindkét fél érdekelt. Megegyeznek, hogy a vevő a pénzt egy bizonyos (K1) helyen hagyja, míg az eladó az árut K2-be viszi. Aztán kölcsönösen elmennek a másik helyre. Kérdés: jó-e, ha a résztvevők csalnak. • Tűz a moziban (mindenki egyszerre akar kimenni, s így senki nem jut ki — no jó, kevesebben jutnak ki). • Koncerten (az előttem levő lábujjhegyre áll, hogy jobban lásson, ezért én is azt teszem – végül mindenki lábujjhegyen áll, de csak az lát jobban, aki egyébként is látott volna…) • Doppinghasználat (a végén az esélyek egyformák, de mindenki halálos veszélyben van) • V.ö. A közlegelő tragédiája. Ágensek és multi-ágens rendszerek

14. Emlékeztetőül: iterált fogolydilemma • Ld. Mérő László: „Mindenki másképp egyforma” • Axelrod és az ő versenye. • A Tit-for-tat meglepő sikere. • A TFT ismételt sikere. Ágensek és multi-ágens rendszerek

15. Térbeli iterált fogolydilemma • Ld. szimuláció. • Tanulság: • A koordináció eredménye függhet az interakcióstopológiától. • Figyelem! Még nincsszó kommunikációról. Ágensek és multi-ágens rendszerek

16. Térbeli iterált fogolydilemma – 3 szereplővel • 3 szereplő játszmája: • C-CC, C-CD/C-DC, C-DD, D-CC, D-CD/D-DC, D-DD • (R, S’, S’’, T’, T’’, P) • (3, 1.5, 0, 5, 3, 1) • Stratégiák: ALLC, TFT-1, TFT-2, ALLD • Bonyolultabb interakciós topológia. • „Hullámzás” Ágensek és multi-ágens rendszerek

17. Az El Farol / Santa Fe Bar problémája • Még egy példa a kommunikáció hiányára, (Brian Arthur és társai). • Az El Farol egy népszerű bár Santa Fé-ben. • Az SFI mind a 100 tudósa oda szeretne menni péntek esténként, de a bár csak 70 személyes. Ha többen vannak, mindenki „boldogtalan”. • Mindenki egyszerre jelenik meg a bárnál. Ha 70-nél tóbben vannak, akkor mindenki hazamegy – s akkor sem érzi jól magát. • Az optimális rendszerviselkedés nyilván az lenne, ha biztosítanánk, hogy mindig 70 ember jelenjen meg, mivel így csak 30 marad majd boldogtalan. • A tudósok nem beszélnek egymással. • Viselkedés • Először: mindenki megjelenik a bárban, és mindenki haza is megy. • Memória: így oszcillációkhoz jutunk. • Stb. Ágensek és multi-ágens rendszerek

18. Az El Farol Bar tanulságai I. • A kommunikáció fontos. (Már megszoktuk.) • Az egyik kulcstulajdonság, hogy kisebbségben kell lenni. • Eredetileg tőzsdemodellnek találták ki. • A tőzsde zárt rendszer, aki nyer, az valaki veszteségét viszi haza. Nyilván, akkor lehet sokat nyerni, ha pont az ellentétét csinálom annak, amit a tömeg. • Általánosítás: minority game. • Egy másik kulcstulajdonság (a tőzsdén is) a reflexivitás. • Azaz, ha valakinek van egy nyerő stratégiája, akkor a többiek eltanulják (reagálnak rá), megváltoztatva a rendszert, s azon tulajdonságait, amin a stratégia alapult. • Egy megoldás: a véletlen (kevert stratégia). A pontos valószínűség megtalálásához globális ismeret kell. (Közelíthető csoportos tanulással.) Ágensek és multi-ágens rendszerek

19. Az El Farol Bar tanulságai II. Egy másik probléma a homogenitás. • A célok és a viselkedések is egyformák. • A randomizálás ezt is megoldja… • A homogenitás / heterogenitás általánosabb probléma. • Ld. mini-erőforrás allokációs modell. • Avagy a racionális „maximumkeresés” néha „visszaüt”. Ágensek és multi-ágens rendszerek

20. Communication (Kommunikáció) • Vagy van rá lehetőség vagy nincs. • Általában jelentős költséggel jár. • Például, ha egy ágens viselkedése a környezetében fellelhető többi ágens számától függ. Ekkor elvben mindegyik másik ágenst „meg kell kérdezni”. • Megoldási utak: • A környezet hatékony implementálása, • Az interakciós topológia megváltoztatása, • Pl. Blackboard kommunikációs architektúra. Ágensek és multi-ágens rendszerek

21. Kommunikációa köznapi életben: közlekedés • Van KRESZ, elvileg kommunikálni is tudunk egymással (beszéljük egymás nyelvét, illetve a vizuális érzékelésnek minden autóvezető birtokában van), mégis milyen sok baleset van. • Például, mert mindenki a saját feje után megy — "Á, majd fékez egy kicsit…" —, de talán méginkább azért, mert az események gyorsabban, nagyobb hatáskörrel történnek, mint a kommunikáció. Nem látunk be olyan nagy távolságot, mint amekkorára az autó egységnyi idő alatt elvisz. (Elkiabálni meg pláne nem tudunk: "Vigyázz, jövök!"…) • Valószínűleg a közlekedés relatív működőképességét azért a szabályozás (lásd. másik órán az írott és íratlan szabályokat) mellett az indirekt kommunikáció (látás) biztosítja. Ágensek és multi-ágens rendszerek

22. Az indirekt kommunikáció szerepe • Ld. pl. a vastapsot. • A sok résztvevő spontán szinkronizálódik. • Hozzátartozik, hogy lényegében mindenkinek van tudása a vastaps milyenségéről. • Másrészt vannak szép modellek arról, h. milyen kevés adaptáció kell az ilyen szinkronizációhoz. • Rovartársadalmak, ahol (a jelenlegi tudásunk szerint) • nincs központi kontroll, • nincs direkt kommunikáció, • az egyedek egyszerűek (nem túl okosak). • Mégis, pl. „legrövidebb” út a fészektől a kajaforrásig. • S az akadályt is a rövidebb úton kerülik meg. • Bővebben: jövő órán, stigmergia cím alatt. Ágensek és multi-ágens rendszerek

23. Megjegyzés: „gyalogosfolyamok” • Vicsek professzor és társai. • Elég egyszerűen kijön • Ütközések elkerülése („taszítás”) • Egymás követése („vonzás”) Ágensek és multi-ágens rendszerek

24. Wilson kommunikáció definíciója • „Action on the part of an organism that alters the probability pattern of behavior in another organism (…)” (E.O. Wilson) • Olyan cselekvés az organizmus részéről, amely megváltoztatja egy másik organizmus viselkedésének valószínűségi mintázatát. • V.ö. Indirekt kommunikáció. Ágensek és multi-ágens rendszerek

25. Szerkezet vagy Intelligencia? • Provokatív kérdés… • A kommunikáció Wilson-i értelmezése azonban felveti, hogy a „intelligens” globális viselkedés mennyiben függ a szereplők „intelligenciájától”. • Ld. a Zero Intelligence (Plus) vitát. Ágensek és multi-ágens rendszerek

26. Zero Intelligence • “Piaci kontroll” (Market-based controll) • Elosztott, robusztus, stb. • Közgazd. Elmélet szerint optimális – végtelen résztvevő esetén. • Gode and Sunder: zero intelligencia elég az „emberszerű”, „intelligens” globális piaci viselkedéshez (CDA, azaz folytonos dupla-aukció esetén). • A ZI ágensek véletlen árakat generálnak ajánlataikhoz, kivéve, hogy nem generálhatnak direkt veszteséget. Ágensek és multi-ágens rendszerek

27. Zero Intelligence Plus • Cliff and Bruten: a ZI-eredmény csak speciális paraméter-tartományban áll. • Egyébként valamennyi (ám minimális) adaptivitás kell. (Vagy elég.) • Pl. egy egyszerű induktív tanulási szabály. Ágensek és multi-ágens rendszerek