Motoriek, Robotica en Neurale Netwerken

1. KI RuG Motoriek, Robotica en Neurale Netwerken prof. dr. L. Schomaker

2. Overzicht • perceptie, cognitie en motoriek • motoriek • robotica • robotica en neurale netwerken

3. Traditioneel model voor (menselijke) informatieverwerking Cognitie Perceptie Motoriek

4. Specialisatie van wetenschapsgebieden psychologische funktieleer psychofysica patroonherkenning psychologische funktieleer bewegingswetenschappen AI, robotica Cognitie: beslissen leren taal Visuele Perceptie Voortbeweging Auditieve Perceptie Objectmanipulatie Tactiele Perceptie Spraak Geur-Perceptie Schrijven psychologische funktieleer cognitiewetenschap kunstmatige intelligentie

5. Traditioneel model voor (menselijke) informatieverwerking Cognitie Perceptie Motoriek Tevredenstellend?

6. Cognitie Perceptie Motoriek Klopt dit model wel? • Waar komt de informatie vandaan? • Waar gaat de informatie naartoe?

7. Cognitie Perceptie Motoriek Klopt dit model wel? • Waar komt de informatie vandaan? • Waar gaat de informatie naartoe? de WERELD!

8. Aangepast model voor informatieverwerking AGENT Cognitie Perceptie Motoriek zintuigen effectoren WERELD

9. Klopt dit aangepaste model wel? AGENT Cognitie Perceptie Motoriek effectoren zintuigen WERELD 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden 2. Hypothese: de rol van Motoriek in cognitie wordt onderschat

10. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • De sensoren hebben verandering in intensiteit nodig: (dS/dt) om te kunnen reageren • Deze veranderingen in S worden grotendeels door motoriek bepaald! • De sensoren moeten worden gericht en geregeld: dit wordt gedaan door spieren

11. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • Het zien • Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg

12. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • Het zien • Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg

13. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • Het zien • Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg • Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen…

14. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • Het zien • Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg • Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen… • Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren.

15. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • Het zien • Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg • Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen… • Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren. • De indruk van het totaalbeeld wordt geconstrueerd in het brein.

16. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • Het zien • Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg • Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen… • Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren. • De indruk van het totaalbeeld wordt geconstrueerd in het brein. • Scherpstellen (accomodatie en vergentie) worden gerealiseerd door de oogspieren

17. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • Het horen • Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul (gratis veranderingen in de tijd). Motoriek is dus niet nodig?

18. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • Het horen • Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul (gratis veranderingen in de tijd). Motoriek is dus niet nodig? • Om richting te bepalen moet je hoofd of oren richten

19. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • Het horen • Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul (gratis veranderingen in de tijd). Motoriek is dus niet nodig? • Om richting te bepalen moet je hoofd of oren richten • Verder wordt de gevoeligheid wordt door spiertjes bepaald, ook om het oor te beschermen (tensor stapedius)

20. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • De tast • Als je de textuur van een voorwerp wil voelen moet je een tactiele ‘flow’ veroorzaken door je hand te bewegen. • Bij stilstand vervaagt de tactiele indruk

21. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • De reuk • werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben)

22. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • De reuk • werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben) • de neusgaten kunnen door spieren worden opengezet en bij sommige diersoorten ook worden gesloten

23. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • De reuk • werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben) • de neusgaten kunnen door spieren worden opengezet en bij sommige diersoorten ook worden gesloten • snuffelen: complexe motorische activiteit bestaande uit ego-motion en richten van de sensor

24. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • De propriocepsis • Het waarnemen van je lichaamshouding gebeurt door sensoren in de spieren (spierspoeltjes) die reageren op spierlengteveranderingen

25. 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden • De propriocepsis • Het waarnemen van je lichaamshouding gebeurt door sensoren in de spieren (spierspoeltjes) die reageren op spierlengteveranderingen • Het evenwichtsorgaan • …werkt voor en door de motoriek

26. Motor cortex (precentraal) en somatosensorische cortex (postcentraal)

27. Penfield Relatieve bijdrage van corticale gebieden aan motoriek (Penfield & Rasmussen, 1950). De hand en de mond kunnen met de beste signaal-ruisverhouding worden aangestuurd.

28. Aangepast model voor informatieverwerking AGENT Cognitie Perceptie Motoriek zintuigen effectoren WERELD

29. Ontwikkelingen in AI en robotica Cognitie zintuigen effectoren • Bewegen om waar te nemen • Waarnemen om te bewegen

30. 2. Hypothese: de rol van Motoriek in cognitie wordt onderschat • Motoriek is het ‘final common path’: het beslissen (cognitie) wordt afgedwongen doordat de wereld om een handeling of uitspraak vraagt (motoriek) • Motorische handelingen leiden tot persistente effecten in de wereld: de omgeving als extensie van het geheugen

31. “embodied intelligence”: intelligentie is niet te begrijpen zonder  lichaam & omgeving ( interactie tussen individuen) Ontwikkelingen in AI en robotica

32. Ontwikkelingen in AI en robotica • Daarom: een grotere rol voor perceptie en beweging (robotica, RoboCup), in plaats van computerschaak als uitdaging om intelligentie te modelleren

33. Demonstratie robotvoetbal voor ‘BNN’ tv

34. Motoriek Perceptie Geschatte bandbreedtes, nodig voor motoriek, cognitie en perceptie

35. Problemen in de robotica • Is motoriek moeilijk? • Ruimtes • ‘Constraints’

36. Inverse Kinematica • Gegeven een kinematische keten (gewrichten en ledemaatsegmenten), en een gewenste doelpositie in de taakruimte, wat is de vector van gewrichtshoeken als functie van de tijd?

37. Inverse Kinematica: hoe moeilijk is het? Doel (x,y,z) Opdracht: bedien de schuifregelaars en zorg dat de grijper vloeiend naar het doel beweegt

38. Inverse Kinematica φ3 φ4 Doel (x,y,z) φ5 φ2 φ6 φ1 φ7 Gegeven doel (x,y,z), gevraagd: vector φ met gewrichtshoeken?

39. Inverse Kinematica… • Van laag-dimensionaal (3 df) naar hoog-dimensionaal (7 degrees of freedom) • Is dit mathematisch op te lossen? • Nee: het is een “ill-posed problem” of slecht gesteld probleem. Definitie: een probleem waarvoor • 1) géén of • 2) meerdere oplossingen mogelijk zijn

40. Inverse Kinematica, vervolg • Er zijn meestal zeer veel oplossingen (gewrichtshoeken als functie van de tijd) voor een traject van een eindeffector van positie A naar B in de Cartesiaanse taakruimte • Sommige configuraties hebben geen oplossing (singulariteit)  problemen bij het berekenen van een matrix inverse

41. 2-d, twee segmenten

42. 2-d, twee segmenten Twee oplossingen voor deze arm!

43. Inverse Kinetica (Inverse Dynamica): niet alleen een traject, maar ook krachten! θ3 θ4 Doel (m,g) θ5 θ2 θ6 θ1 θ7 Gegeven massa m, inertie g, gevraagd: vector θ met draaimomenten?

44. Het probleem is dus onoplosbaar? • Nee: wij bewegen nogal veel, bijvoorbeeld • Oplossingen: inperkingen (constraints) maken berekening mogelijk • De inperkingen kunnen structureel zijn (aantal vrijheidsgraden) of contextueel (taak- en systeemparameters)

45. Constraints: industriele robots • In de industriele robotica maakt men gewoon de robots eenvoudig: basis (1df), schouder (1df), elleboog (1df) en kogelpolsgewricht (3df). Verder wordt van de eindeffector niet alleen de positie (x,y,z) gevraagd, maar ook de orientatie (ωx, ωy, ωz). Totaal: 6 df in taakruimte, 6 df in gewrichtsruimte. Afgezien van singuliere configuraties is het probleem handelbaar geworden!

46. Constraints: natuurlijke bewegers • Bij mens en dier is er sprake van een groot aantal parameters waardoor het aantal mogelijke oplossingen van trajecten wordt ingeperkt: • Uit de perceptie (visueel, propriocepsis) • Uit het systeem zelf: M(t-Δt) • Uit de taak • Een groot aantal neurale systemen, met veel aangeleerde parameters, houdt zich met motoriek bezig.

47. Constraints: natuurlijke bewegers • Hoe komen de natuurlijke motorieksystemen aan de juiste parameterinstelling???? • …terwijl het systeem ook nog eens aan allerlei veranderingen onderhevig is zoals • Groei • Veroudering (krachtsverlies) ???? • Antwoord: neurale plasticiteit!

48. Neurale plasticiteit • Een analytische (beknopte wiskundige) oplossing voor bewegingsturing van complexe effectorsystemen is beperkt toepasbaar in de echte wereld • Het biologische bewegingsapparaat gebruikt “motor babbling” • Dwz: random genereren van veel gewrichtshoek-combinaties en perceptueel vaststellen waar de eindeffector (hand) zich bevindt

49. Neurale plasticiteit: motor babbling • Leren is een ‘error feedback’ proces • De natuur geeft het foutsignaal vanzelf • Voorbeelden: • willekeurig trappelende baby in de buik leert eigen spiersysteem kennen door propriocepsis • na de geboorte: willekeurige armbewegingen brengen de eigen hand binnen het visuele veld • pasgeboren veulen leert snel staan op basis van evenwichtsorgaan

50. Neurale plasticiteit: motor babbling • In de jaren tachtig kwamen adaptieve technieken tot ontwikkeling: ‘neurale’ netwerkmodellen • Hiermee werd het voor het eerst mogelijk om complexe robotsystemen ‘zichzelf te leren kennen’