« Analyse Multicapteurs pour la Reconnaissance d’Activités Humaines »

1. Présenté par : Nadia Zouba « Analyse Multicapteurs pour la Reconnaissance d’Activités Humaines » Application au projet GERHOME «Maintien des personnes âgées à domicile» Mars – Septembre 2006 1

2. 1 Plan de la présentation Introduction État de l’art Approche proposée Représentation des événements Détection et reconnaissance des événements Résultats et évaluation Conclusion

3. 2 Introduction • Habitudes de vie • Profil comportemental • Détecter des situations à risque

4. 3 État de l’art • Télésurveillance médicale à domicile • Technologies multicapteurs pour observer les activités quotidiennes d’une personne [Chan et al. 1995] • Outils statistiques [Fraley et al. 1998] : capteur physiologiques • Réseaux de neurones [Goodman et al. 1999] : capteur infrarouge • Approche probabiliste pour détecter les déviations au comportement normal [Mathews et al. 1995]: capteurs de mouvement

5. 4 État de l’art (2) • Reconnaissance de scénario • Reconnaître les activités normales et anormales d’une personne • Réseaux de neurone pour reconnaître des scénarios [Howell et al. 2002] • Réseau bayésien pour estimer la probabilité de scénarios potentiels [Bremond et al. 2000]

6. 5 Approche proposée Combiner des informations issues de capteurs vidéo et de capteurs de contact. 3 tâches: Détection et suivi de personne et reconnaissance d’événements vidéo Acquisition et filtrage des données capteur et reconnaissance d’événements contact Combinaison des événements vidéo et contact reconnus

7. 6 Connaissance a priori Information géométrique et sémantique relative à l’environnement Événements d’intérêt définis par des experts Vidéo 1 Vidéo 2 Vidéo m ] Composants Vision Détection et suivi d’objets Reconnaissance d’événements vidéo Capteur 1 Capteur 2 Capteur n ] Reconnaissance d’événements multimodaux Composants capteur Alarmes Fichier log filtre filtre Reconnaissance d’événements contact filtre Approche proposée (2)

8. 7 Représentation des événements • Objectif • Formaliser les connaissance a priori de la scène observée • Contexte 3D de la scène vide de l’environnement observé : • informations géométriques (position, surface, etc.) • propriétés sémantiques (porte ouverte ou fermée, etc.) <Zone ident="1" name="Kitchen" plane_name="ground">   <Ref_distance_list /> <Properties_list>   <Property name="In_out_zone:Strict" /> </Properties_list> <Outline_list>   <Point x="0" y="-577" z="0" />   <Point x="0" y="-310" z="0" />   <Point x="185" y="-310" z="0" />   <Point x="185" y="-577" z="0" /> </Outline_list>   </Zone>

9. 8 Représentation des événements (2) • Modèles des événements d’intérêt prédéfinis par des experts médicaux(gérontologues) • Un événement principale se compose de 4 éléments: • Objets physiques (physical objects) : objets mobiles, équipements et zones d’intérêt • Composants (components) : sous événements qui composent l’événement principal • Contraintes (constraints) : conditions entre les objets physiques et / ou les composants • Action : décision à prendre quand l’événement est reconnu

10. 9 Représentation des événements (3) 3 types d’événements : les états primitifs (primitive states): situation stable dans le temps (la personne est localisée dans la cuisine) les événements primitifs (primitive events) : liste des changements d’état (changement de zone) les événements composés (composite events): combinaison des états et / ou événements primitifs

11. 10 Représentation des événements (4) • État primitif «Inside_zone»: • PrimitiveState (Inside_zone, • PhysicalObjects ((p : Person), (z : Zone)) • Constraints ((p in z)) • Action (Priority “Normal” Store_in_logfile)) • Événement primitif «Changes_zone»: • PrimitiveEvent (changes_zone, • PhysicalObjects ((p : Person), (z2 : Zone), (z1 : Zone)) • Components( (inside_z1 : PrimitiveState inside_zone(p, z1)) • (inside_z2 : PrimitiveState inside_zone(p, z2)) ) • Constraints((inside_z2's Duration <= 5) • (inside_z1 before_meet inside_z2) ) • Action (Priority “Normal” Store_in_logfile) )

12. 11 Description des événements vidéo Détection d’objets mobiles Comparaison à une image de référence Trouver l’ensemble de pixels (blobs) en mouvement Regrouper ces pixels en objets mobiles Classifier ces objets mobiles en utilisant des labels tel que PERSON Suivi d’objets mobiles Associer un identifiant à chaque nouvel objet mobile détecté Maintenir globalement son suivi dans la scène Image de référence

13. 12 Description des événements vidéo (2) (c) Résultats de la classification (b) Résultats de la détection (a) Image originale (d) Résultats du suivi

14. 13 Reconnaissance d’événements vidéo L’algorithme exécute 2 opérations [Vu et al. 2003] Sélection de l’ensemble des objets physiques Vérification de toutes les contraintes temporelles Exemple : reconnaissance de l’état primitif “Inside zone”

15. 14 Reconnaissance d’événements vidéo (2) Résultat de la reconnaissance de l’événement «Inside zone». Le texte (person is in the Livingroom) apparaît sur l’écran quand l’événement est reconnu

16. 15 Description des événements contact Des capteurs de contact (capteurs "Tout ou Rien") sont placés dans le laboratoire d’expérimentation pour observer les activités journalières d’une personne âgée. 4 états et événements primitifs : le statut des tiroirs de cuisine. UpperCupboard est le tiroir de vaisselle LowerCupboard est le tiroir de la nourriture

17. 16 Description des événements contact (2) PrimitiveState (UpperCupboard_open, PhysicalObjects ((c: Equipment)) Constraints ((IsUpperCupboardOpen(c))) ) PrimitiveEvent (person_OpenUpperCupboard, PhysicalObjects((p: Person), (c : Equipment)) Components ((p_close: PrimitiveState close_to(p, c)) (uc_open: PrimitiveState UpperCupboard_open(c)) ) Constraints ((p_close before_meet uc_open)))

18. 17 Description des événements multimodaux (vidéo – contact) L’ensemble d’événements vidéo combinés avec des événements contact Reconnaître des événements temporels complexes combinant des événements vidéo et contact Synchronisation des événements vidéo et contact

19. 18 Description des événements multimodaux (vidéo – contact) (2) • 3 événements composés: Using_food, Using_dishes et Prepare_meal. CompositeEvent (Using_dishes, • PhysicalObjects ( (p: Person), (UpperCupboard: Equipment), (Kitchen: Zone)) • Components ((p_inz: PrimitiveState inside_zone (p, Kitchen)) • (p_open_uc: PrimitiveEvent personOpen_UpperCupboard(p, UpperCupboard)) • (p_close_uc: PrimitiveEvent personClose_UpperCupboard(p, UpperCupboard)) ) • Constraints ((p_inz before_meet p_open_uc) • (p_open_uc Duration > 10) • (p_open_uc before_meet p_close_uc) ))

20. 19 Résultats et évaluation • Expérimentation : • GERHOME (Gerontology at Home) : labellisé en janvier 2006 par le pôle de compétitivité SCS (Solutions Communicantes Sécurisées). • Porteur : Centre Scientifique et Technique du Bâtiment (CSTB) à Sophia Antipolis. • Solutions techniques d’aide au maintien à domicile des personnes âgées, • Autonomie, confort de vie, sécurité, surveillance et assistance à domicile.

21. 20 GERHOME • 30 capteurs: • 6 capteurs de pression (chaises, lit, etc.) • 8 capteurs de contact (portes et fenêtres) • 10 capteurs de contact (tiroir, frigidaire, etc.) • 4 capteur de lumière • 2 débitmètre Schéma d’implantation des capteurs dans Gerhome

22. 21 Résultats et évaluation (2) • Localisation continue de la personne par la vidéo • Activités quotidiennes de la personne (utilisation des tiroirs de cuisine, de la vaisselle, etc.) par les capteurs de contact

23. Résultats et évaluation (3) Résultats de la reconnaissance des événements Vidéo & contact 22

24. 23 Conclusion • Combinaison d’informations issues de capteur vidéo et de capteur de contact • Reconnaissance de scénarios prédéfinis en utilisant des capteurs vidéo et des capteurs de contact • Haute priorité du travail à venir : • prévenir la chute des personnes (capteurs de chute (système TRIDENT)), • Paramètres physiologiques d’une personne (capteurs physiologiques (capteur de pouls)) • Validation en situation réelle (hôpital, résidences, etc) en se basant sur la fusion et le traitement de données multicapteurs.