Robótica Inteligente

1. Robótica Inteligente L. Enrique Sucar Alberto Reyes ITESM Cuernavaca

2. Temas avanzados • Laboratorios virtuales • Interacción humano-robot • Robots de servicio • Coordinación – MDPs factorizados y paralelos

3. Laboratorios Virtuales • Un laboratorio virtual permite realizar experimentos sin contar con un laboratorio “físico”: • Simulación • Telecontrol • Aplicaciones: • Educación y entrenamiento • Investigación y cooperación • Experimentación a distancia

4. Interfaz de acceso con un Tutor Inteligente Telecontrol + Telemetría Simulador Lab. Real

5. Ventajas de los Laboratorios Virtuales • Permite acceso a equipo a usuarios dispersos geográficamente • Reduce costos y promueve transferencia de tecnología • Permite la comparación de resultados de experimentos • Reduce riesgos • Permite incorporar estrategias didácticas, tutores, ayudas en líneas, etc.

6. Telecontrol Programación y observación remota del equipo • Programación: • lenguaje de alto nivel • comandos gráficos interactivos • Observación: • retroalimentación (imágenes, video y audio) • medidores virtuales gráficos o textuales

7. Laboratorio Virtual de Robótica • Experimentación con robots móviles • programación • planeación de trayectorias • construcción de mapas • localización • Laboratorios: • Telecontrol • Simulación

8. Telecontrol

9. Telecontrol • El laboratorio virtual mediante telecontrol permite hacer experimentos a distancia con un robot móvil a través de Internet • El laboratorio incluye: • Un módulo de programación • Un módulo de observación • Un módulo de seguridad • Servidor e interfaz al cliente

10. Configuración Internet Red local Red local

11. Robot Móvil

12. Arquitectura de Telecontrol

13. Elementos del Laboratorio Remoto • Servidor de páginas Web • Conexión con el robot móvil • Conexión con el sistema de video para observación • Conexión con el cliente • Sistema de visualización del experimento • Vista del robot y su ambiente mediante video • Sistema de programación • Ambiente para edición y envio de comandos

14. Módulo de Programación

15. Módulo de Programación • Basado en un lenguaje de diez instrucciones: • avanza • alto • desplaza_derecha • desplaza_izquierda • gira_derecha • gira_izquierda • gira_torreta_derecha • gira_torreta_izquierda • inicio, fin

16. Módulo de Navegación • Interpreta los valores obtenidos en el Módulo de Programación y los traduce a instrucciones ejecutables en el robot • Envia las instrucciones para su ejecución en el robot • Al terminar la secuencia se inicializa el robot (alinean las ruedas y la torreta) para ejecutar una nueva secuencia

17. Módulo de Seguridad • Vigila la integridad del robot • Se toman continuamente lecturas de los sonares • Se establece una zona de seguridad en torno del robot • El modulo de Seguridad es independiente del modulo de navegación y puede detener las acciones que realiza el módulo de navegación

18. Arquitectura Robot Observación Navegación Seguridad

19. Arquitectura Jerárquica

20. Módulo de Visualización • Captura de video para visualización remota del experimento. Dos cámaras: • Vista externa del robot y su ambiente • Vista interna desde el robot • Compresión de imágenes (JPEG) • Envio al cliente en forma continua a través del servidor

21. Ejemplo de Programación

22. Simulación • Modelo del ambiente (interiores) • Modelo del robot (cinemática, dinámica) • Modelo de sensores (sonar, “bumper”, cámara) • Programación “ánaloga” ambiente real • Simuladores: • 2-D (Nomadic) • 3-D (en desarrollo)

23. Simulador en 2-D

24. Simulador en 3-D • Modelador en 3-D • Simulación del ambiente del robot • Simulación del robot móvil • Scripts para manipulación de objetos y vistas del ambiente • Conversión del lenguaje de alto nivel del robot (telecontrol) a scripts

25. Simulador en 3-D

26. Simulador para minirobótica

27. Simulador para minirobótica

28. Simulation Model Interface analysis Pedagogical Actions Tutor M odel Arquitectura- incorpora un tutor inteligente - Initial Stereotype Interface of user Knowledge Base Graphical Environment Lessons Behavior and help Student analysis Model Results and Student Pedagogical Actions

29. Interacción multimodal humano-robot • Facilitar la comunicación humano robot utilizando diferentes modos de interacción, como: • reconocimiento de voz • interacción con dispositivos móviles • comandos mediante ademanes Alto!

30. Navegación con comandos de voz

31. Comandar a un robot con dispositivos móviles (PDAs)

32. Prototipo - Menú principal • Dos opciones de manipulación: • Mapas • Control remoto • Configuración del sistema

33. Prototipo • Lugares marcados con significado semántico • Botones para avanzar, detener, retroceder y dirección • Retroalimentación de imagen en vivo

34. Comunicación mediante ademanes

35. Ademanes • Útiles para la comunicación humano-robot • Comunicar información geométrica • Ve para allá • Toma ese objeto • Qué es eso? • Complemento a la voz • Para! • Ven!

36. VenAtenciónDerechaIzquierdaAlto

37. Reconocomiento de ademanes • Extracción de características • Modelado • Reconocimiento M Images Features Gestures FE R

38. Extracción de características • Detección de piel • Segmentación de la cara y manos • Seguimiento de la mano • Parámetros de movimiento

39. Detección dePiel

40. Segmentación Búsqueda radial Agrupamiento de pixels de piel

41. Seguimiento Localiza cara y mano Seguimiento de la mano

42. Parámetros • Cambio en X (DX) • Cambio en Y (DY) • Cambio en área (DA) • Cambio en razón de lados (DR) • Valores: (+, 0, -) X2,Y2 X1,Y,1 A2 A1

43. Reconocimiento • Basado en modelos ocultos de Markov (HMM) • Un modelo por ademán: • 3 estados: gestos “simples” • 5 estados: gestos “complejos”

44. Ejemplos de comandos

45. Robots de servicio • Guías – un robot me sirve de guía en un museo, me explica las exibiciones, ... • Ayudantes – un robot corta el pasto, aspira la casa, vigila cuando no estoy, ayuda a personas discapacitadas, ... • Rescate – un grupo de robots localiza a los sobrevivientes en un terremoto, ... • Exploración – un grupo de robots explora un volcán, un arrecife, marte, ... • ....

46. De robots industriales a ... • Tarea repetitiva • Ambiente conocido y controlado • No hay interacción con personas • Poca flexibilidad • Poca movilidad

47. ... a robots de servicio • Ambientes desconocidos • Ambientes dinámicos • Necesidad de movilidad • Interacción con personas • Ambientes exteriores • Necesidad de flexibilidad

48. Retos • Explorar y modelar el ambiente • Navegar en ambientes desonocidos y dinámicos • Localizarse en el ambiente • Reconocer y manipular objetos • Comunicación remota • Interacción natural con personas

49. Coordinación de Tareas • Un robot móvil que realiza una tarea compleja requiere de múltiples capacidades: • Planeación de trayectorias • Evasión de obstáculos • Localización • Mapas • Interacción con personas • Síntesis y reconocimiento de voz • Generación de expresiones • …

50. Coordinación de Tareas • Cada tarea puede implementarse relativamente independientemente mediante módulos de software • El reto entonces es como coordinar estos módulos de forma que se seleccione la mejor acción en cada situación • Una alternativa es utilizar teoría de decisiones: realizar la acción que maximice la utilidad esperada • En particular, en ambientes dinámicos con incertidumbre, esto corresponde a Procesos de Decisión de Markov