Možnost použití Multiagentových systémů pro dolování dat

1. Možnost použití Multiagentových systémů pro dolování dat Erik Zitterbart

2. Osnova: • Úvod • MultiAgentový Systém (MAS) • Využití agentového přístupu v KD • Hybridní systém KD • Distribuovaný data mining (DDM) • Agentově založené systémy DDM • PADMA • JAM • PODHI • Papyrus

3. Úvod • Centralizovaný přístup • Omezení • Přenosová omezení sítě • Nemožnost zpracovávat data na jednom místě • Distribuovaný přístup – DAI (Distirbuted Artificial Intelligence)

4. MultiAgentový Systém (MAS) • Sdružování jednotlivců do větších skupin je jednou z charakteristických vlastností živé hmoty • Schopnosti vzniklé skupiny výrazně převyšují prostý součet všeho, co je schopen dosáhnout každý z jejích členů - Emergence

5. MultiAgentový Systém (MAS) • Emergenceoznačuje vznik nové vlastnosti systému na základě interakce jeho komponent. • Tedy vznik nových forem, které vznikly s forem jednodušších • je dána vzájemnou koordinací, kooperací a komunikací jednotlivých prvků systému • racionalita společenství je vyšší, než jedince

6. MultiAgentový Systém (MAS) • Co je to agent(1)? • „Agent je entita zkonstruovaná za účelem kontinuálně a do jisté míry autonomně plnit své cíle v adekvátním prostředí na základě vnímání prostřednictvím senzorů a prováděním akcí prostřednictvím aktuátorů. Agent přitom ovlivňuje podmínky v prostředí tak, aby se přibližoval k plnění cílů.“ [Aleš Kubík, 2000]

7. MultiAgentový Systém (MAS) • Co je to agent(2)? • „Agent je výpočetní proces s jedním centrem řízení a s určitým (lokálním) cílem. Agenti koordinují hlavně své znalosti, cíle, schopnosti a plány tak, aby je mohli využívat společně při akcích a řešení úloh. Agenti mohou ve své činnosti směřovat k jednomu globálnímu cíli nebo k jednotlivým odděleným cílům, které spolu nemusejí souviset.“ [Gasser Bond, 1988]

8. MultiAgentový Systém (MAS) • V oblasti SW inženýrství je agent chápán jako jakýkoliv výpočetní proces spouštěný na dálku na vzdáleném počítači

9. MultiAgentový Systém (MAS) • Základní rozdělení agentů podle schopnosti zvažovat varianty řešení svého cíle(1) • Reaktivní agent vždy pouze reaguje na podněty z vnějšího světa. Má k dispozici předem známou množinu akcí – silná závislost schopnosti řešit úlohy na souboru vjemů a jim přiřazeným akcím • Deliberativní (Intencionální) agent zvažuje možnosti dosažení nějakého cíle. Volba cíle vychází z motivace agenta. Agent vytváří plán akcí k dosažení cíle

10. MultiAgentový Systém (MAS) • Základní rozdělení agentů(2) • Sociální agent je určen pro vytváření koalicí agentů. Rozšiřují své poznatky prostředí o modely ostatních agentů pro případnou kooperaci vzájemných aktivit. Pod modelem si lze představit adresy, jména a specifikace schopností agentů. Agent si také uchovává historii minulých interakcí • Mobilní agent není vázán na počítač kde vzniknul. Má schopnost přenést se z jednoho systému na jiný za objektem se kterým chce komunikovat, za využití výhody umístnění na stejném stroji nebo síti.

11. MultiAgentový Systém (MAS) • V reálném systému se může agent chovat v různých situacích rozlišně – hybridní agent

12. MultiAgentový Systém (MAS) • Veškeré úvahy týkající se chování a součinnosti agentů v MAS vycházejí ze schémat a představ o kooperaci a koordinaci činností cílevědomých biologických jedinců v uzavřené komunitě. Zejména lidí • V centru pozornosti jsou otázky kompetence agentů, způsob a formalismus komunikace mezi agenty, koordinace aktivit a kooperace agentů

13. MultiAgentový Systém (MAS) • Při distribuovaném řešení problémů jde o to vytvořit dobrý a efektivní systém z hlediska jedné, pevně zvolení úlohy . Důraz se klade spíše na decentralizaci řešení než na autonomnost agentů • Oblast MAS klade důraz především na autonomnost agentů a jejich spolupráci v rámci řešení širších, obecnějších tříd úloh

14. MultiAgentový Systém (MAS) • Úkolem organizace multiagentového společenství je zajistit následující(1): • Koordinace: Zajišťuje především přidělování nedostatkových zdrojů a předávání mezivýsledků. • Kooperace si klade za cíl zkvalitnění práce MAS • Zrychlení řešení vyžitím paralelního zpracování • Rozšíření třídy řešitelných úloh • Snížení počtu kolizí mezi soutěžícími agenty

15. MultiAgentový Systém (MAS) • Úkolem organizace multiagentového společenství je zajistit následující(2): • Komunikace je nutnou podmínkou pro kooperaci a koordinace • Přímá: adresné, všesměrové a selektivní zasílání zpráv • Nepřímá: tabule • Pokusy o definování obecného jazyka pro komunikaci mezi agenty (ACL)

16. MultiAgentový Systém (MAS) • Programová prostředí vzniklá v rámci širších výzkumných projektů • ARCHON (1992): vhodné pro malý počet heterogenních agentů. Vznik v rámci stejnojmenného projektu v Esprit II. Poměrně rozsáhlé metodologické návody jak Archon využívat – důležité pro jeho rozšiř.. • MECCA (1993): důraz kladen na kooperativní spolupráci mezi člověkem a počítačem. Projekt IMAGINE v Esprit II.

17. MultiAgentový Systém (MAS) • DISCIM (DIstributed System for CIM) • Vyvíjen na ČVUT počátkem 90. let • Přednostně zaměřen na tvorbu aplikací pro geograficky distribuované úlohy CIM (počítačem podporovaná výroba) • Podstatná část naprogramována v jazyce Eiffel • Byl experimentálně použit při řešení úlohy vzájemné viditelnosti letadla a ponorky

18. Využití agentového přístupu v KD • V celé řadě kroků pří procesu dobývání znalostí lze využít agentový přístup • Ošetření chybějících dat • Ošetření změny dat ve sledované databázi • Automatizace ve fázi přípravy dat: výběr, čištění, předzpracování • Samotné metody dolování dat mohou být reprezentované MAS • Agent-based Knowledge Discovery (ABKD)

19. Hybridní systém KD • Většina metod pro dolování dat je určena pro úzký okruh domény a množiny dat. Nedají se tedy využít v obecném rozsahu. • Integrace více metod do hybridního systému • Kooperativní využití

20. Hybridní systém KD

21. Distribuovaný data mining (DDM) • Problém je rozdělen na části mezi různé strany ke zpracování • Výsledek práce uzlu je zaslán ostatním uzlům, které agregací vytvoří celkový výsledek • Metody: • Distribuované asociační pravidla • Distribuovaný clustering • Baeysiánské učení • Klasifikace

22. Distribuovaný data mining (DDM) • Nutnost DDM • problém NASA Earth observing system • Proč agenty? • Interaktivní DDM: Aktivní pomoc agentů může významně snížit počet lidí potřebných k dohledu na procesem dolování dat • Dynamický výběr zdrojů a shromaždišť dat • Možnost snížení zatížení sítě pomocí mobilních agentů • Spolupráce agentů (mohou sdílet znalosti jiných agentů, které mohou například vyjednat)

23. Agentově založené systémy DDM • Přední a reprezentativní systémy DDM založené na MAS • PADMA • JAM • PODHI • Papyrus

24. PADMA (PArallel Data Mining Agents) • Agenti jsou zodpovědní za lokální přístup k datům, společnou analýzu dat a vizualizaci přes webové rozhraní • Systém je navrhnut pomocí objektově orientovaného přístupu (C++) • Systém pro široké spektrum úloh – testováno na klasifikaci textu

25. Architektura PADMA

26. PADMA (PArallel Data Mining Agents) • Architektura se skládá ze 3 komponent: • Agenti pro dolování dat je zodpovědný za přístup k datům a získávání informací (znalostí) • Centrální agent pro koordinaci agentů je prostředník pro výměnu zpráv mezi agenty, předává výsledek zpracování • Uživatelské rozhraní je reprezentováno pomocí webu, konkrétně Java apletu.

27. PADMA (PArallel Data Mining Agents) • Příklad použití: • Klasifikace textu na korpusu TIPSTER • Velikost 36 MB • 25273 textových dokumentů • Klíčové slovo „electron“ • (1997)H. Kargupta, I. Hamzaoglu, B. StaffordScalable, Distributed Data Mining Using An Agent Based Architecture

29. JAM (Java agents for META-learning) • Na Javě založený MAS • Určen pro META učení • Využívá učící metody třídění jako Ripper, CART • Agent je implementován jako Java aplet s možností migrace • Každý agent využívá rozdílnou metodu pro klasifikaci

30. PODHI • Navržen pro kolektivní DM na heterogenních datech • Každý uzel zajišťuje mob. agentovy provozní prostředí (agent stations) • Úlohy rozděluje globální agent na základě znalostí o znalostech agentů (mob. agenti se přesouvají) • Implementace v jazyce JAVA

31. Papyrus • Určeno pro rozsáhlé sítě z velkou geografickou vzdáleností • Silně závislí na mobilních agentech • Centrální vyhodnocení poznatku agentů • Implementace v jazyce JAVA 