Masters : SIA & ICSI

1. Masters : SIA & ICSI Alex (Alejandro) García-Alonso http://www.sc.ehu.es/ccwgamoa A. García-Alonso

2. Presentación Profesor • Biografía • etapas A. García-Alonso

3. Presentación alumnas/os • Presentación • nombre, • titulación y procedencia, • ubicación: empresa, grupo investigación, buscando … • Encuesta A. García-Alonso

4. Asignaturas • SIA : Visualización Interactiva y Cooperativa en Realidad Virtual y de Simulación 3D • Realidad Virtual • ICSI Realidad virtual y aumentada: interacción 3D multimodal • Realidad Virtual • Realidad Aumentada • interacción 3D multimodal : hápticos A. García-Alonso

5. Temas I ( 3 a 21 febrero) • Conceptos, Hª, terminología, equipos • Rendering (generación imágenes en VR) • Conceptos • Generar imágenes • 3D (tecnología estéreo) • Problemas geométricos en VR • Modelos • Problemas • APIs (práctica) : openGL A. García-Alonso

6. Temas II ( 24 febrero a 12 marzo) • (obligatorio para ICSI, libre para SIA) • AR • Markers • Sin markers • Generación imágenes para AR • Hápticos • equipos • geometría • “haptic rendering” A. García-Alonso

7. Repositorio (links) Profesor: http://www.sc.ehu.es/ccwgamoa/ Repositorio asignatura: http://www.sc.ehu.es/ccwgamoa/clases/2013-14-Master Otras presentaciones : http://www.sc.ehu.es/ccwgamoa/docencia/Material/Presentaciones Otro material : http://www.sc.ehu.es/ccwgamoa/docencia/Material A. García-Alonso

8. Generar Imágenes (Gráficos por Computador)&Interacción A. García-Alonso

9. Areas de aplicación • Viedojuegos • “Simuladores” • Medicina • Entrenamiento de operadores (máquinas y vehículos) • Arquitectura y decoración • CAD, fabricación, montaje, mantenimiento, ... • Visualización científica (fluidos, deformaciones) • Preparación de efectos especiales en cine • Mundos virtuales A. García-Alonso

10. GxC apuntes históricos • 1970Plotter • 1975 Vector images (“osciloscopio”) Tektronix • 1980 raster (“terminals”, PCs, micros) • 1983 (z) depth-buffer (3D, Clark “geometry engine”) • 1985 Workstation Silicon Graphics • 1992 VR : CAVE (Carolina Cruz Neira, Tom DeFanti) • 2000 GPU NVidia … • 2005 Consolas Nintendo, Sony, Microsoft TfnoMóvil, TVstereo, autostereo A. García-Alonso

11. Interacción persona-computador • Historia • Tarjetas perforadas (lotes) • Terminal alfanumérico (interacción) • Gráficos por ordenador (interacción gráfica : GUI ) • Sistemas de ventanas (desktop metaphor) • Presente y Futuro • Realidad Virtual y Realidad Aumentada • Sistemas colaborativos • 3D GUI (sobremesa, proyectado, aumentado) • Wearable computing A. García-Alonso

12. Terminología • Telepresencia  Visualización • retransmitir (Mars Rover) vs. generar (videojuego) • Simulación  Visualización • Prudencia al usar el término “simulación”(siguiente transparencia : “real time”) • Animación • variedad hasta el equívoco • 3D • Academia : modelos, animación, simulación • Público gral : imágenes estereoscópicas A. García-Alonso

13. Terminología • Visualización • Interactiva (“tiempo real”) (videojuegos,…) • GPU, sombras, … • Imagen a imagen (cine, animación, …) • Raytracing, Radiosity • Real time (tiempo respuesta / cps Hz) • Control (electrónica, mecánica,…) • GxC, VR (videojuegos, ingeniería, modelado, animación) • Capturar interación del usuario (input devices, visual, táctil,…) • Actualizar procesos • Generar Feedback (imágenes, haptico, audio, …) A. García-Alonso

14. Terminología • Interfaces • “Desktop” • Visualización imágenes “modelos/entornos 3D” (visualización interactiva) • 3D estéreo • Inmersiva (VR, AR, MR) A. García-Alonso

15. Terminología : 3D (estereo) • Pasivo, Activo, Autoestereo • Cines, home, publicidad • Otros : • anaglyph images (anaglifos), • goggles (+ lentillas, proyección directa sobre ojo), • holográficos A. García-Alonso

16. Terminología : immersión • Pantalla (NO inmersivo) • Proyección envolvente (panel suficientemente grande, pantalla curva, o varias paredes) (inmersión parcial) • Inmersion (gemelos -goggles-, periscopio -boom-, casco -head mounted display-, CAVE) (SI inmersivo) • Consideraciones sobre 3D A. García-Alonso

17. Inmersión • Recibir acciones de la(s) persona(s) + • Modelo físico (geometría + propiedades) + • Simulación ( leyes físicas + relaciones + IA ) + • Generar sensaciones => I N M E R S I Ó N ligadurasmecánicas gravedad, electrostática, ... térmicas comportamientos (rebaños/ia) A. García-Alonso

18. Inmersión • Recibir de la(s) persona(s) input devices ( capture ) + • Modelo físico estruct. Datos ( modelado ) + • Simulación algorit. ( animación ) + • Generar sensaciones output devices ( rendering ) => I N M E R S I Ó N A. García-Alonso

19. Comunicación : RE / VE • Real environment (medio ambiente real: mundo y personas) • Vista gestos, acciones • Oído habla • Tacto bidireccional (coupled) !!! (temperatura, fuerza, presión, rugosidad, etc.) • Gusto • Olfato • Virtual environment • Nos limitaremos a comunicación : VE ↔ usuario • Prescindimos de : avatar(es) ↔ usuario A. García-Alonso

20. Comunicación : del VE al usuario • Nos muestra imágenes • Nos habla o genera sonidos • Realimentación háptica • Nos ofrece sabores u olores A. García-Alonso

21. Comunicación : del usuario al VE • Nos ve: capta posiciones (visión/sensores) e interpreta • Cuerpo y extremidades, mano, cara (o sólo boca) • Reconoce gestos (posiciones o secuencia movimientos) • Nos oye (comando, lenguaje natural) • Realimentación háptica • ¿nos saborea o nos huele? • Acción directa input devices : mouse, wand, haptic, glove, … A. García-Alonso

22. Gráficos por Computador • Base para el principal subsistema de salida en VR • (recordar esquema) • IGS : Image Generation System • distintos niveles de abstraccion o encapsulamiento • librerías gráficas • sistemas gráficos • visualizadores de ficheros • problemas de I/O A. García-Alonso

23. IGS : Image Generation System • librerías gráficas • OpenGL, Direct3D, ... • sistemas gráficos • Inventor, Performer, Ogre, OSG, … • Sistemas para visualizar bases de datos geométricas muy grandes (HP, SGI, SGI & Microsoft, Second life) • Simuladores • visualizadores de ficheros • DXF, Catia, SolidEdge, ... VRML, X3D A. García-Alonso

24. Conceptos básicos • frame buffer • pixel, resolución • memoria en la tarjeta gráfica • 256 colores • tabla de colores + índice de color • true color (8 + 8 + 8) • refresco de la memoria gráfica • información referida a un pixel: • RGB (8 x 3 bits) • RGBA • profundidad Z (2 ó 4 bytes) • doble buffering • GPUs A. García-Alonso

25. Conceptos básicos • “frame” o cuadro • tiempo real • “off line” • generación / reconocimiento (síntesis/análisis) • cooperación • texturas • i/f de usuario • generación, síntesis, infografía, GxC • modelos • animación • visualización A. García-Alonso

26. Elementos de GxC • modelos • geometría y topología • materiales • fuentes de luz • animación • posición cuerpos, luces, cámaras, ... • transformación de cámara (perspectiva, paralela, ...) • cambios de propiedades en el tiempo, • deformaciones, • crecimiento, • leyes físicas o comportamientos, ... A. García-Alonso

27. ..... • Visualización • interactiva o en tiempo real / en espera o en lote • visibilidad e iluminación • modelo interacción luz-superficie • luz ambiente • sombras • transparencia • reflejos • profundidad de campo, ..... A. García-Alonso

28. El proceso de generación de imagen limpiar frame buffer y z-buffer definir posición y orientación de la cámara (otros parámetros no suelen variar de frame a frame) ( definir luces ) recorrer cuerpos declarar su posición (matriz) recorrer superficies definir material enviar los polígonos “swap” de frame buffers A. García-Alonso