slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Laboratoire L3i Université de La Rochelle PowerPoint Presentation
Download Presentation
Laboratoire L3i Université de La Rochelle

Loading in 2 Seconds...

play fullscreen
1 / 25

Laboratoire L3i Université de La Rochelle - PowerPoint PPT Presentation


  • 98 Views
  • Uploaded on

Equipe de Recherche Technologique « Interactivité Numérique ». Laboratoire L3i Université de La Rochelle. ImagIN Image et Interactivité Numérique. Pascal Estraillier François Picard. Image & Behavior. Image and Sequence of Analytic images and Interpretation of Content

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Laboratoire L3i Université de La Rochelle' - kyna


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide2

Equipe de Recherche Technologique « Interactivité Numérique »

Laboratoire L3i

Université de La Rochelle

ImagIN

Image et Interactivité Numérique

Pascal Estraillier

François Picard

slide3

Image & Behavior

Image and SequenceofAnalyticimages

andInterpretationof

Content

Modelling, Treatment,Retrieval ofComplexInformation

AgentParadigm andArchitecture for Interactive NarrationApproach

FormalSpecification andValidation

12year old university

60Researchers in C.S.

11Tenured Professors

4Professors

19Assistant Professors

26Ph.D. students

E.R.T“NumericalInteractivity”

InteractiveMaster“Gaming andMedia”

domaines d application
Domaines d’application
  • Jeux vidéo
    • Exécution adaptative des personnages du jeu
  • Logiciels éducatifs
    • Situations d’apprentissage
    • Gestion des actions imprévisibles
  • Simulation
    • simulation de situations complexes / systèmes spatio-temporels
      • Régulation : Circulation urbaine
      • Observation, étude : vie artificielle,
  • Serious Game
    • Niveau stratégique
    • Niveau tactique
    • Niveau Opérationnel
  • Robotique - jouets
activit interactive
Activité Interactive
  • Concepteur (définition, évaluation de la pertinence) -->domaine d’expertise
  • Joueur(s?) (utilisation) --> profil (préférences, compétences)
  • [Spectateur (observation)]
    • Temps réel
    • Images animées, scènes (capture, suivi)
    • Interaction joueurs , entités
    • Présupposé de comportements
    • Prise en compte du contexte à chaque instant
    • Adaptativité à l’exécution
    • Feedback Concepteur/Joueur/Spectateur
  • L’humain est dans la boucle
contr le adaptatif de l interactivit et de l ex cution
Contrôle adaptatif de l’interactivité et de l’exécution

en fonction du comportement du joueur,

en respectant les consignes du concepteur

en tenant compte de l’état des ressources

  • Cahier des charges :
    • Interaction non invasive - gestion de l’implicite
    • Pouvoir analyser en temps réel, de manière individualisée,

le comportement d’un joueur

    • Continuerle jeu avec la suite la plus adaptée en fonction ducontexte
    • Le concepteur doit pouvoir mesurer la pertinence de son jeu
slide7

Contrôle adaptatif

3

2

Trame scénaristique

1

4

5

6

Traces

cycle acquisition traitement visualisation
Cycle acquisition / traitement / visualisation

Capture Image et son

Numérisation

son

Analyse de scène

ex cution adaptative
Exécution adaptative

Cycle acquisition / traitement / visualisation

Joueurs

PNJ

trace

Concepteur

Capture

image

directives

interactions

Scénario prévu

Contrôles

Comportements

propriétés

Scénario

observé

analyse

Moteur de l’application

ex cution adaptative d applications interactives
Exécution adaptative d’applications interactives

[navigation] entre Situations (impliquant personnages et ressources munis de leurs interactions)

  • Concevoir l’activité interactive
    • Définir (utiliser) une Ontologie
    • Construire une trame scénaristique
      • Définir (utiliser) un système auteur
    • Valider la conception
  • Concevoir l’environnement d’exécution
    • Architecture générale (Données, Traitements) – gabarits,réutilisation
    • Acquisition/Capture – explicite, implicite
    • Gestion des interactions
    • Présentation/Réalité virtuelle
  • Exécuter (adaptativité - temps-réel)
    • Observer, interpréter, décider et évaluer pour adapter
  • Méthodes, Modèles, Outils // Données, Traitements
m thodologie cycle de vie
Méthodologie & cycle de vie
  • Définition de l’activité (l’auteur)

Eléments du jeu, règles du jeu, … Trame scénaristique Directives générales Profils types des joueurs Propriétés Principe des observations, production des traces

Personnalisation

    • Acquisition de comportements (le joueur)

Observation et mémorisation des comportements

    • Personnalisation (l’auteur)

Profil individualisé

Directives et traces individualisées

  • Implantation sur une architecture système
  • Exécution contrôlée

Génération des traces + configuration des observations

Evaluation en temps réel des objectifs (choix des directives)

Contexte (état du jeu), comportement du joueur, objectifs de l’auteur , respect des propriétés

  • Reporting (Exploitation des traces)

Pertinence de la personnalisation --> 1.b

Adéquation du jeu --> 1

par rapport aux objectifs (éléments du jeu, directives) , au parcours et au comportement

probl matique d interpr tation
Problématique d’interprétation

Intelligence Artificielle

Webcam

Clavier

Ecran tactile

Exécution

Pas-à-pas

Mouvement

Geste

Comportement

Exécution

Contrôlée

Acquisition

ex cution adaptative1
Exécution adaptative
  • Initialisation
  • Tant que exécution non finie
  • décider_action (état-espéré)
  • Tant que situation non finie
        • configurer_observation (action)
        • exécuter_action (action)
        • décider_état-observé
        • évaluer_distance (état-espéré, état-observé)
        • décider_action (état-espéré)
  • transition_situation

Action

Observation

État espéré

distance

État observé

d1

d3

d2

Une exécution : un chemin dans un graphe (fini ?)

un arc (arête) du graphe : une Action

Chaque nœud : un état du système

Mot d’état : <R1.état, R2.état, ….., Rn.état>

conception et formalisation de l activit interactive
Conception et Formalisation de l’activité interactive
  • Nouvelle forme de structuration de l’activité interactive (trames scénaristiques, situations, directives des concepteurs associés aux différents comportements de l’utilisateur, caractérisation de contexte)
    • Méthodologie – Langage d’interaction concepteur - Editeur/Interface Utilisateur adaptée.
    • Formalisation des « directives » du concepteur et de leurs conditions d’application.
    • Formalisation de la scénarisation (vérification des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles - contraintes temporelles liées au scénario)
  • ->méthodes formelles(réseaux de Petri, logique linéaire, bigraphes et éléments de la théorie des jeux) pour la vérification des scénarios à partir de propriétés expertes  (métier) structurelles ou non fonctionnelles
  • ->prise en compte des contraintes temporelles liées au scénario et aux ontologies structurant les connaissances.
  •  ->une approche par transformation de modèle est expérimentée.
capture du comportement utilisateur s
Capture du Comportement utilisateur(s)
  • Problématique
    • A bas niveau : capture sans marqueur, analyse d’image et de mouvement (séquences temporelles) d’éléments visuels à comportement complexe et évolutif, prise en compte des occlusions, obtention d’une information des profondeurs précises….
    • A haut niveau : Gestion des connaissances : conception par apprentissage adaptatif d’un modèle du joueur, analyse et filtrage des paramètres du modèle d’apprentissage (identification comportements multimodaux : Expressions faciales, états émotionnels, mouvement, comportement collectifs sociaux et économiques…)
    • Modélisation des connaissances d’expertise: Ontologie, mécanismes de fusion d’information–Classification de données (comportement joueur, état du système, …).
  • Modèle de l’attention
  • Introduction de comportements implicites
  • Détection et suivi de détails temps réel.
    • Intégration de données sémantiques dans l’aide à l’analyse d’images -> modélisation de l’utilisateur, du raisonnement et de l’expertise dont le calibrage repose sur des données incertaines et évolutives.
    • Contraintes temps-réel -> problèmes difficiles de classification des comportements, de détection de situations et d’identification de contexte
ex cution adaptative simulation
Exécution adaptative - Simulation
  • Conception des mécanismes, de l’architecture des systèmes interactifs et de l’interfaçage avec les plate-formes d’exécution et de stockage et d’indexation des données.
    • Gabarits de conception, Interopérabilité – Architecture du Système Interactif - Multi-Agents
    • Intergiciels pour les applications interactives mono et multi-utilisateurs.
  • -> construction formalisée et efficace d’un modèle adaptatif des acteurs dynamiques du système
  • ->mise en œuvre d’un mécanisme de contrôle d’exécution.
  • ->mécanismes de spécification et de vérification a priori puis dynamique des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles en utilisant des méthodes formelles.
  • ->passage à l’échelle et données incertaines et évolutives
th ses
Thèses
  • Capture contextualisée de mouvements, en environnement non contrôlé, à partir de flux vidéo synchronisés
    • François Picard (2006)
    • Détermination de l’attention
      • Matthieu Perreira (2006)
  • Conception d’une plate-forme adptative d’enseignement à distance
      • Supparang Ruangvanich (2006)
  • Synthèse dynamique de superviseur pour l’exécution adaptative d’applications interactives.
      • Nicolas Rempulski (2008)
  • Quiproquos et ambiguités
      • Pham Phuong Thao (2009)
  • Gestion de l’adaptation en FOAD
      • Frabrice Trillaud(2009)
  • Exécution adaptative
    • Karim Sehaba -> 2004
  • Un modèle de conception centré interactions: Formalisation et application à la conception de systèmes complexes
    • Frédéric Collé -> 2006
  • Modélisation de comportements dans les systèmes dynamiques
    • Jean-Marie Boussier ->2003
  • Scénarisation d’applications interactives
    • Guylain Delmas ->2009
  • Capture et Analyse de mouvement - expressions faciales
    • Abdallahi Ould ->2009

Reconstruction 3D

      • Olivier Guillot -> 2008
contrats de recherche l3i dans le domaine
Contrats de Recherche L3i dans le domaine

Image et Interactivité

FT_AutiSTIC

RobAutiSTIC

Le Parc de l’Estuaire

Simulateur d’entraînement

FOAD

PLUG

NOE-IRIS

  • CPER (2007-2013) (2,3 M€)

Théorie et applications aux médias numériques

Interactions pour la formation à distance

  • Fondation France Telecom pour l’autisme (2006-2008) (65 K€)

Exécution adaptative et personnalisée d’application interactives.

  • Projet labellisé par l’ANR (programme robotique) – (2007-2010) (100 K€) et CAP Digital

Exécution adaptative et personnalisée d’application interactives.

  • Conseil Général de Charente-Maritime (2006-2009) (80 K€)

Jeu éducatif sur un éco-système environnemental

  • Contrat DCNS (2006-2008) -

Simulation adaptative et aide à l’évaluation

  • Région Poitou-Charentes (2007-2009) - (122 K€),
  • Formation Ouverte et à distance Présentiel virtuel et adaptativité.
  • ANR -PLay Ubiquitous Games and play more (2007-2009) - (54 K€)

Jeux pervasifs.

  • Réseau d’excellence (2008-2011) – (225 K€)
  • Integrating Research in Interactive Storytelling.
conclusion
Conclusion
  • Domaine pluridisciplinaire
    • sciences cognitives
    • modélisation des connaissances
    • méthodologie éducative
  • Difficultés
    • formalisation des observateurs
    • processus d’interprétation
    • adaptation de cas (globale et locale)
  • Avantages
    • personnalisation de l’application à l’utilisateur
    • évaluation de la pertinence de l’application
    • évolutivité et interactivité des logiciels
    • compréhension du comportement de l’utilisateur
  • Constat
    • Dans l’industrie peu de planification, d’adaptation, d’apprentissage, de dialogues naturels …
imagin
ImagIN
  • Image et comportement - avec contraintes temporelles
    • capture non intrusive (visage, geste et mouvement)
    • reconstruction de scène animée (maillages multi-résolutions)
  • Analyse des comportements implicites ou explicites
    • ontologie, modélisation des comportements multimodaux 
    • mécanismes de fusion d’information–Classification de données (comportement joueur, état du système, …).
  • Génie Logicielpour Systèmes Interactifs
    • Système auteur pour la production et la personnalisation d’applications interactives
    • Approches formelles pour la qualité des stratégies d’interaction dans un cadre narratif
    • Contrôle contextualisé de l’exécution adaptative.
slide21

Equipe de Recherche Technologique « Interactivité Numérique »

Laboratoire L3i

Université de La Rochelle

ImagIN

Image et Interactivité Numérique

Pascal Estraillier

François Picard

probl matiques associ es
Problématiques associées …
  • Image
    • Animation procédurale, Rendu non réaliste, Illumination locale
  • Son
    • Son génératifs, Transformation en temps-réel de la voix
  • IA
    • Comportement intelligent (dialogues, attitude, comportement de groupe), Modèle du joueur et jeux adaptatifs, Optimisation du système
  • Génie Logiciel
    • Architectures, méthodes, modèles, Gabarits de conception, Interopérabilité
  • Système / iaD / SMA
    • Architecture distribuée, temps-réel, sécurité, systèmes spatio-temporels
  • Réseau
    • Cross Media plat-form, Technologie de l’informatique ubiquitaire
  • Ecriture/Narration/Game Design
    • Narration générative, Jeux adaptatifs, Modèle du Gameplay, Modèle du joueur, Théorie du Game Design
  • Psychologie et Sociologie
    • Analyse des usages et de la socialisation, Facteurs d’immersion (Presence), Interface et apprentissage, Effet sur les joueurs (addiction, violence), Utilisation des jeux comme traitement psychologique
a pplications interactives un contexte difficile
Applications Interactives : un contexte difficile
  • Complexité croissante des applications
  • Nombre croissant des objets pris en compte
  • Aspects méthodologiques insuffisants
  • Changement de contextes fréquents
  • Importance de la « satisfaction du joueur »
  • La qualité de l’activité interactive est uniquement lié à des critères perceptifs
    • Importance de l’ergonomie
  • Dépendance à la « compétence » des joueurs - apprentissage
  • L’état global du système est complexe (pas limité à quelques évènements)
slide25

Utilisateur

Trame scénaristique

Problématique

« exécution adaptative

des systèmes interactifs »

Traces

Contrôle d’exécution

Directives

Scénario

Contributions

Profil de

l’utilisateur

Interaction

  • profil utilisateur
  • connaissance de l’expert
  • interaction dynamique

Système adaptatif

Trace

Comportements

de l’utilisateur

Contrôle d’exécution

Expert

Analyse de comportement