1 / 38

S minaire CNRT Vision par ordinateur pour les t l communications Panorama sur les techniques de vision pour lanalyse d

Le geste. D

spencer
Download Presentation

S minaire CNRT Vision par ordinateur pour les t l communications Panorama sur les techniques de vision pour lanalyse d

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


    1. Joindre le geste à la parole (- Accentuer, cit. 1; ci-dessous, cit. 4). Animer (cit. 13), encourager qqn de la voix et du geste. Autorité dans le geste et dans le regard (- Enflammer, cit. 9). - Le Geste et la Parole, N'avoir qu'un geste à faire pour (obtenir telle ou telle chose) : pouvoir l'obtenir facilement (avec un simple geste de demande). Loc. Les faits et gestes de qqnJoindre le geste à la parole (- Accentuer, cit. 1; ci-dessous, cit. 4). Animer (cit. 13), encourager qqn de la voix et du geste. Autorité dans le geste et dans le regard (- Enflammer, cit. 9). - Le Geste et la Parole, N'avoir qu'un geste à faire pour (obtenir telle ou telle chose) : pouvoir l'obtenir facilement (avec un simple geste de demande). Loc. Les faits et gestes de qqn

    2. Le geste Définition : Mouvement du corps.   http://members.aol.com/wordbrd3/nonverb.htm Facial expressions are a major way humans communicate nonverbally. Ray Birdwhistell estimated that the human face can produce at least 250,000 expressions. Facially expressed emotions, although mostly endemic, when assumed by members of various cultures can have differing meanings and appropriate situations. In the United States, smiling in response to a smile from a stranger is the norm, especially for American women, who smile more often than men. But in Israel, there are no "social sanctions" imposed on failure to respond by smiling. A few facial expressions are unique to their cultures: for example, the North American expression known as "smug." Non-British people do not always recognize the British "wry smile," in which one corner of the mouth is turned down to express doubt.       Like the eyebrow flash, the smile seems to be a universal form of communication, at least on the surface. Even smiles can be culturally prescribed, though. Photographs of smiling individuals were perceived in eight representative cultures as denoting submissiveness and lack of power. The emotion of happiness is not the only thing a smile signals. It could be a way of signaling approachability or friendliness, a lack of threat, or submissiveness to a superior.       When pictures of other expressions denoting the six basic emotions (anger, fear, happiness, sadness, disgust, and surprise) were presented to members of various cultures, they were usually correctly identified. This happened both within and among the different cultures, which included Sweden, Kenya, Japan, and New Guinea. However, other studies have indicated that the intensity of an emotion's expression is culturally variable.   http://members.aol.com/wordbrd3/nonverb.htm Facial expressions are a major way humans communicate nonverbally. Ray Birdwhistell estimated that the human face can produce at least 250,000 expressions. Facially expressed emotions, although mostly endemic, when assumed by members of various cultures can have differing meanings and appropriate situations. In the United States, smiling in response to a smile from a stranger is the norm, especially for American women, who smile more often than men. But in Israel, there are no "social sanctions" imposed on failure to respond by smiling. A few facial expressions are unique to their cultures: for example, the North American expression known as "smug." Non-British people do not always recognize the British "wry smile," in which one corner of the mouth is turned down to express doubt.       Like the eyebrow flash, the smile seems to be a universal form of communication, at least on the surface. Even smiles can be culturally prescribed, though. Photographs of smiling individuals were perceived in eight representative cultures as denoting submissiveness and lack of power. The emotion of happiness is not the only thing a smile signals. It could be a way of signaling approachability or friendliness, a lack of threat, or submissiveness to a superior.       When pictures of other expressions denoting the six basic emotions (anger, fear, happiness, sadness, disgust, and surprise) were presented to members of various cultures, they were usually correctly identified. This happened both within and among the different cultures, which included Sweden, Kenya, Japan, and New Guinea. However, other studies have indicated that the intensity of an emotion's expression is culturally variable.

    3. Le geste : ampleur du problème Définition : Mouvement du corps. Pei dit avoir identifié 700,000 signaux non verbaux. Pei M., The Story of Language, 1949, (New York: The New American Library) Birdwhistell estime que le visage peut produire 250,000 expressions. Birdwhistell, R. L 1963 The kinesic level in investigations of the emotions. In: Knapp P H (ed.) Expression of the Emotions in Man. International Universities Press, New York Krout identifie 5000 gestes de la main. Krout, M. H. (1935). Autistic gestures: An experimental study in symbolic movement. Psychological Monographs, 46, p.119-120. Les gestes de la main sont synchrones et co-expressifs avec la parole, le regard, les expressions. La signification des gestes différent fortement selon les cultures.   http://members.aol.com/wordbrd3/nonverb.htm Facial expressions are a major way humans communicate nonverbally. Ray Birdwhistell estimated that the human face can produce at least 250,000 expressions. Facially expressed emotions, although mostly endemic, when assumed by members of various cultures can have differing meanings and appropriate situations. In the United States, smiling in response to a smile from a stranger is the norm, especially for American women, who smile more often than men. But in Israel, there are no "social sanctions" imposed on failure to respond by smiling. A few facial expressions are unique to their cultures: for example, the North American expression known as "smug." Non-British people do not always recognize the British "wry smile," in which one corner of the mouth is turned down to express doubt.       Like the eyebrow flash, the smile seems to be a universal form of communication, at least on the surface. Even smiles can be culturally prescribed, though. Photographs of smiling individuals were perceived in eight representative cultures as denoting submissiveness and lack of power. The emotion of happiness is not the only thing a smile signals. It could be a way of signaling approachability or friendliness, a lack of threat, or submissiveness to a superior.       When pictures of other expressions denoting the six basic emotions (anger, fear, happiness, sadness, disgust, and surprise) were presented to members of various cultures, they were usually correctly identified. This happened both within and among the different cultures, which included Sweden, Kenya, Japan, and New Guinea. However, other studies have indicated that the intensity of an emotion's expression is culturally variable.   http://members.aol.com/wordbrd3/nonverb.htm Facial expressions are a major way humans communicate nonverbally. Ray Birdwhistell estimated that the human face can produce at least 250,000 expressions. Facially expressed emotions, although mostly endemic, when assumed by members of various cultures can have differing meanings and appropriate situations. In the United States, smiling in response to a smile from a stranger is the norm, especially for American women, who smile more often than men. But in Israel, there are no "social sanctions" imposed on failure to respond by smiling. A few facial expressions are unique to their cultures: for example, the North American expression known as "smug." Non-British people do not always recognize the British "wry smile," in which one corner of the mouth is turned down to express doubt.       Like the eyebrow flash, the smile seems to be a universal form of communication, at least on the surface. Even smiles can be culturally prescribed, though. Photographs of smiling individuals were perceived in eight representative cultures as denoting submissiveness and lack of power. The emotion of happiness is not the only thing a smile signals. It could be a way of signaling approachability or friendliness, a lack of threat, or submissiveness to a superior.       When pictures of other expressions denoting the six basic emotions (anger, fear, happiness, sadness, disgust, and surprise) were presented to members of various cultures, they were usually correctly identified. This happened both within and among the different cultures, which included Sweden, Kenya, Japan, and New Guinea. However, other studies have indicated that the intensity of an emotion's expression is culturally variable.

    4. Geste et Communication Selon l’anthropologue Edward T. Hall, lors d’une discussion entre deux personnes, moins de 35% de la communication est transmise par des mots. Donc 65% concerne le canal non-verbal Communication non-verbale : 7 catégories principales: (1) langage corporel (expressions faciales, posture, regard et contact visuel, gestes, attitude); (2) apparence (vêtement, …); (3) voix (pitch, volume, débit et pause, silence, rire); (4) espace et distance, facteurs proxémiques (espace interlocuteur et agencement de l’espace); (5) couleur; (6) le rapport au temps; (7) toucher, haptique. Hall, Edward T. (1959). The silent language . Greenwich, CT: Fawcett Publications.

    5. Pourquoi la vision ? Pour ne pas harnacher l’utilisateur avec des capteurs Remarque la reco de parole très performante a besoin d’un micro casque (avec antenne acoustique pas aussi performant en plus du fait qu’il faut l’orienter) Remarque la reco de parole très performante a besoin d’un micro casque (avec antenne acoustique pas aussi performant en plus du fait qu’il faut l’orienter)

    6. Pourquoi la vision ? même si on nous promet qu’il sera élégant de se promener avec des caméras portées Remarque la reco de parole très performante a besoin d’un micro casque (avec antenne acoustique pas aussi performant en plus du fait qu’il faut l’orienter) Remarque la reco de parole très performante a besoin d’un micro casque (avec antenne acoustique pas aussi performant en plus du fait qu’il faut l’orienter)

    7. Classification des gestes Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualité", "geste déictique", "geste illustratif", "geste iconique", "geste idéographique", "geste métaphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA) A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l’observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en évidence, outre les emblèmes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes catégories de mouvements coverbaux [3] : - les coverbaux référentiels, orientés vers la sémiose et la construction du sens (gestualité déictique ou de désignation, gestualité iconique ou de représentation de référents concrets, gestualité métaphorique ou de symbolisation de référents abstraits) ; - les coverbaux expressifs, utilisés pour l'expression des émotions et le cadrage de l'activité énonciative par le biais du marquage des actes de parole ; - les coverbaux de structuration, au service de la démarcation et de la mise en relief des unités de la parole et du discours parlé ; - les coverbaux interactifs, au service de la régulation de l'activité conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et régulateurs). Référentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou emblÈmatiques, qui sont indÈpendants de l'ÈnoncÈ oral et qui peuvent accompagner ou remplacer tout ou une partie de cet ÈnoncÈ (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limitÈ ‡ quelques situations prÈcises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de Ëche pour dÈplacer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est nÈcessaire pour une bonne utilisation de l'application. Dans un systËme de dialogue acceptant l'entrÈe gestuelle spontanÈe, nous n'en trouverons que trËs rarement, et ils seront alors toujours accompagnÈs d'un ÈnoncÈ oral explicite. 2. Les gestes illustrateurs, qui dÈpendent de l'ÈnoncÈ oral dans le sens que la comprÈhension du message de l'utilisateur nÈcessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes dÈictiques : ils dÈsignent un objet ou un lieu rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral. Les gestes iconiques : ils reprÈsentent un objet, une action ou un ÈvÈnement rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral (par exemple : J'ai pÍchÈ un poisson grand comme Áa + geste d'Ècartement des deux mains). Les gestes mÈtaphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos idÈes + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalité sensori-motrice gestuelle est une modalité sensorielle et une modalité d'action. Elle intégre la perception proprio-tactilo-kinesthésique et toutes les formes d'actions motrices. Le rôle de cette modalité est fondamental dans toute activité instrumentale : sculpter, jouer du violon, conduire un véhicule... L'ACROE intervient sur trois aspects : 1. Caractérisation quantitative de l'activité gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caractérise par de petits déplacements (3 cm), des précisions élevées (2 mm, 10 mN), des forces élevées (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximité par déplacement de l'avant bras sur environ 30 cm avec des précisions en force et en position assez faibles (0,5 cm, 10 N) Geste de déplacement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible précision (5 cm, 100 N) par déplacement du bras ou du corps à partir de 60 cm.   2. Caractérisation qualitative et fonctionnelle de l'activité gestuelle Dans l'activité gestuelle, on peut distinguer trois fonctions différentes (cf Cadoz "le geste,..." in "Bibliothèque") : une fonction épistémique -> le geste sert à connaître (un matériau, une surface, ...) une fonction sémiotique -> le geste sert à faire connaître : désigner, communiquer... une fonction ergotique -> le geste sert à déplacer, modifier, contruire des objets matériels   3. Modèles pour l'interaction gestuelle Une part importante de l'activité de l'ACROE est le développement de modèles physiques pour le rendu d'effets gestuels via des systèmes gestuels à retour d'effort : sensations de rigidités, d'élasticités, de répartitions inertielles, d'adhérence, de rugosité, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'étude des anamophoses gestuelles. Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualité", "geste déictique", "geste illustratif", "geste iconique", "geste idéographique", "geste métaphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA)A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l’observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en évidence, outre les emblèmes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes catégories de mouvements coverbaux [3] : - les coverbaux référentiels, orientés vers la sémiose et la construction du sens (gestualité déictique ou de désignation, gestualité iconique ou de représentation de référents concrets, gestualité métaphorique ou de symbolisation de référents abstraits) ; - les coverbaux expressifs, utilisés pour l'expression des émotions et le cadrage de l'activité énonciative par le biais du marquage des actes de parole ; - les coverbaux de structuration, au service de la démarcation et de la mise en relief des unités de la parole et du discours parlé ; - les coverbaux interactifs, au service de la régulation de l'activité conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et régulateurs). Référentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou emblÈmatiques, qui sont indÈpendants de l'ÈnoncÈ oral et qui peuvent accompagner ou remplacer tout ou une partie de cet ÈnoncÈ (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limitÈ ‡ quelques situations prÈcises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de Ëche pour dÈplacer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est nÈcessaire pour une bonne utilisation de l'application. Dans un systËme de dialogue acceptant l'entrÈe gestuelle spontanÈe, nous n'en trouverons que trËs rarement, et ils seront alors toujours accompagnÈs d'un ÈnoncÈ oral explicite. 2. Les gestes illustrateurs, qui dÈpendent de l'ÈnoncÈ oral dans le sens que la comprÈhension du message de l'utilisateur nÈcessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes dÈictiques : ils dÈsignent un objet ou un lieu rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral. Les gestes iconiques : ils reprÈsentent un objet, une action ou un ÈvÈnement rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral (par exemple : J'ai pÍchÈ un poisson grand comme Áa + geste d'Ècartement des deux mains). Les gestes mÈtaphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos idÈes + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalité sensori-motrice gestuelle est une modalité sensorielle et une modalité d'action. Elle intégre la perception proprio-tactilo-kinesthésique et toutes les formes d'actions motrices. Le rôle de cette modalité est fondamental dans toute activité instrumentale : sculpter, jouer du violon, conduire un véhicule... L'ACROE intervient sur trois aspects : 1. Caractérisation quantitative de l'activité gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caractérise par de petits déplacements (3 cm), des précisions élevées (2 mm, 10 mN), des forces élevées (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximité par déplacement de l'avant bras sur environ 30 cm avec des précisions en force et en position assez faibles (0,5 cm, 10 N) Geste de déplacement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible précision (5 cm, 100 N) par déplacement du bras ou du corps à partir de 60 cm.   2. Caractérisation qualitative et fonctionnelle de l'activité gestuelle Dans l'activité gestuelle, on peut distinguer trois fonctions différentes (cf Cadoz "le geste,..." in "Bibliothèque") : une fonction épistémique -> le geste sert à connaître (un matériau, une surface, ...) une fonction sémiotique -> le geste sert à faire connaître : désigner, communiquer... une fonction ergotique -> le geste sert à déplacer, modifier, contruire des objets matériels   3. Modèles pour l'interaction gestuelle Une part importante de l'activité de l'ACROE est le développement de modèles physiques pour le rendu d'effets gestuels via des systèmes gestuels à retour d'effort : sensations de rigidités, d'élasticités, de répartitions inertielles, d'adhérence, de rugosité, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'étude des anamophoses gestuelles.

    8. Classification des gestes Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualité", "geste déictique", "geste illustratif", "geste iconique", "geste idéographique", "geste métaphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA) A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l’observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en évidence, outre les emblèmes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes catégories de mouvements coverbaux [3] : - les coverbaux référentiels, orientés vers la sémiose et la construction du sens (gestualité déictique ou de désignation, gestualité iconique ou de représentation de référents concrets, gestualité métaphorique ou de symbolisation de référents abstraits) ; - les coverbaux expressifs, utilisés pour l'expression des émotions et le cadrage de l'activité énonciative par le biais du marquage des actes de parole ; - les coverbaux de structuration, au service de la démarcation et de la mise en relief des unités de la parole et du discours parlé ; - les coverbaux interactifs, au service de la régulation de l'activité conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et régulateurs). Référentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou emblÈmatiques, qui sont indÈpendants de l'ÈnoncÈ oral et qui peuvent accompagner ou remplacer tout ou une partie de cet ÈnoncÈ (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limitÈ ‡ quelques situations prÈcises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de Ëche pour dÈplacer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est nÈcessaire pour une bonne utilisation de l'application. Dans un systËme de dialogue acceptant l'entrÈe gestuelle spontanÈe, nous n'en trouverons que trËs rarement, et ils seront alors toujours accompagnÈs d'un ÈnoncÈ oral explicite. 2. Les gestes illustrateurs, qui dÈpendent de l'ÈnoncÈ oral dans le sens que la comprÈhension du message de l'utilisateur nÈcessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes dÈictiques : ils dÈsignent un objet ou un lieu rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral. Les gestes iconiques : ils reprÈsentent un objet, une action ou un ÈvÈnement rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral (par exemple : J'ai pÍchÈ un poisson grand comme Áa + geste d'Ècartement des deux mains). Les gestes mÈtaphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos idÈes + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalité sensori-motrice gestuelle est une modalité sensorielle et une modalité d'action. Elle intégre la perception proprio-tactilo-kinesthésique et toutes les formes d'actions motrices. Le rôle de cette modalité est fondamental dans toute activité instrumentale : sculpter, jouer du violon, conduire un véhicule... L'ACROE intervient sur trois aspects : 1. Caractérisation quantitative de l'activité gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caractérise par de petits déplacements (3 cm), des précisions élevées (2 mm, 10 mN), des forces élevées (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximité par déplacement de l'avant bras sur environ 30 cm avec des précisions en force et en position assez faibles (0,5 cm, 10 N) Geste de déplacement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible précision (5 cm, 100 N) par déplacement du bras ou du corps à partir de 60 cm.   2. Caractérisation qualitative et fonctionnelle de l'activité gestuelle Dans l'activité gestuelle, on peut distinguer trois fonctions différentes (cf Cadoz "le geste,..." in "Bibliothèque") : une fonction épistémique -> le geste sert à connaître (un matériau, une surface, ...) une fonction sémiotique -> le geste sert à faire connaître : désigner, communiquer... une fonction ergotique -> le geste sert à déplacer, modifier, contruire des objets matériels   3. Modèles pour l'interaction gestuelle Une part importante de l'activité de l'ACROE est le développement de modèles physiques pour le rendu d'effets gestuels via des systèmes gestuels à retour d'effort : sensations de rigidités, d'élasticités, de répartitions inertielles, d'adhérence, de rugosité, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'étude des anamophoses gestuelles. Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualité", "geste déictique", "geste illustratif", "geste iconique", "geste idéographique", "geste métaphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA)A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l’observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en évidence, outre les emblèmes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes catégories de mouvements coverbaux [3] : - les coverbaux référentiels, orientés vers la sémiose et la construction du sens (gestualité déictique ou de désignation, gestualité iconique ou de représentation de référents concrets, gestualité métaphorique ou de symbolisation de référents abstraits) ; - les coverbaux expressifs, utilisés pour l'expression des émotions et le cadrage de l'activité énonciative par le biais du marquage des actes de parole ; - les coverbaux de structuration, au service de la démarcation et de la mise en relief des unités de la parole et du discours parlé ; - les coverbaux interactifs, au service de la régulation de l'activité conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et régulateurs). Référentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou emblÈmatiques, qui sont indÈpendants de l'ÈnoncÈ oral et qui peuvent accompagner ou remplacer tout ou une partie de cet ÈnoncÈ (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limitÈ ‡ quelques situations prÈcises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de Ëche pour dÈplacer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est nÈcessaire pour une bonne utilisation de l'application. Dans un systËme de dialogue acceptant l'entrÈe gestuelle spontanÈe, nous n'en trouverons que trËs rarement, et ils seront alors toujours accompagnÈs d'un ÈnoncÈ oral explicite. 2. Les gestes illustrateurs, qui dÈpendent de l'ÈnoncÈ oral dans le sens que la comprÈhension du message de l'utilisateur nÈcessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes dÈictiques : ils dÈsignent un objet ou un lieu rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral. Les gestes iconiques : ils reprÈsentent un objet, une action ou un ÈvÈnement rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral (par exemple : J'ai pÍchÈ un poisson grand comme Áa + geste d'Ècartement des deux mains). Les gestes mÈtaphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos idÈes + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalité sensori-motrice gestuelle est une modalité sensorielle et une modalité d'action. Elle intégre la perception proprio-tactilo-kinesthésique et toutes les formes d'actions motrices. Le rôle de cette modalité est fondamental dans toute activité instrumentale : sculpter, jouer du violon, conduire un véhicule... L'ACROE intervient sur trois aspects : 1. Caractérisation quantitative de l'activité gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caractérise par de petits déplacements (3 cm), des précisions élevées (2 mm, 10 mN), des forces élevées (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximité par déplacement de l'avant bras sur environ 30 cm avec des précisions en force et en position assez faibles (0,5 cm, 10 N) Geste de déplacement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible précision (5 cm, 100 N) par déplacement du bras ou du corps à partir de 60 cm.   2. Caractérisation qualitative et fonctionnelle de l'activité gestuelle Dans l'activité gestuelle, on peut distinguer trois fonctions différentes (cf Cadoz "le geste,..." in "Bibliothèque") : une fonction épistémique -> le geste sert à connaître (un matériau, une surface, ...) une fonction sémiotique -> le geste sert à faire connaître : désigner, communiquer... une fonction ergotique -> le geste sert à déplacer, modifier, contruire des objets matériels   3. Modèles pour l'interaction gestuelle Une part importante de l'activité de l'ACROE est le développement de modèles physiques pour le rendu d'effets gestuels via des systèmes gestuels à retour d'effort : sensations de rigidités, d'élasticités, de répartitions inertielles, d'adhérence, de rugosité, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'étude des anamophoses gestuelles.

    9. Classification des gestes Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualité", "geste déictique", "geste illustratif", "geste iconique", "geste idéographique", "geste métaphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA) A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l’observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en évidence, outre les emblèmes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes catégories de mouvements coverbaux [3] : - les coverbaux référentiels, orientés vers la sémiose et la construction du sens (gestualité déictique ou de désignation, gestualité iconique ou de représentation de référents concrets, gestualité métaphorique ou de symbolisation de référents abstraits) ; - les coverbaux expressifs, utilisés pour l'expression des émotions et le cadrage de l'activité énonciative par le biais du marquage des actes de parole ; - les coverbaux de structuration, au service de la démarcation et de la mise en relief des unités de la parole et du discours parlé ; - les coverbaux interactifs, au service de la régulation de l'activité conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et régulateurs). Référentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou emblÈmatiques, qui sont indÈpendants de l'ÈnoncÈ oral et qui peuvent accompagner ou remplacer tout ou une partie de cet ÈnoncÈ (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limitÈ ‡ quelques situations prÈcises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de Ëche pour dÈplacer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est nÈcessaire pour une bonne utilisation de l'application. Dans un systËme de dialogue acceptant l'entrÈe gestuelle spontanÈe, nous n'en trouverons que trËs rarement, et ils seront alors toujours accompagnÈs d'un ÈnoncÈ oral explicite. 2. Les gestes illustrateurs, qui dÈpendent de l'ÈnoncÈ oral dans le sens que la comprÈhension du message de l'utilisateur nÈcessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes dÈictiques : ils dÈsignent un objet ou un lieu rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral. Les gestes iconiques : ils reprÈsentent un objet, une action ou un ÈvÈnement rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral (par exemple : J'ai pÍchÈ un poisson grand comme Áa + geste d'Ècartement des deux mains). Les gestes mÈtaphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos idÈes + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalité sensori-motrice gestuelle est une modalité sensorielle et une modalité d'action. Elle intégre la perception proprio-tactilo-kinesthésique et toutes les formes d'actions motrices. Le rôle de cette modalité est fondamental dans toute activité instrumentale : sculpter, jouer du violon, conduire un véhicule... L'ACROE intervient sur trois aspects : 1. Caractérisation quantitative de l'activité gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caractérise par de petits déplacements (3 cm), des précisions élevées (2 mm, 10 mN), des forces élevées (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximité par déplacement de l'avant bras sur environ 30 cm avec des précisions en force et en position assez faibles (0,5 cm, 10 N) Geste de déplacement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible précision (5 cm, 100 N) par déplacement du bras ou du corps à partir de 60 cm.   2. Caractérisation qualitative et fonctionnelle de l'activité gestuelle Dans l'activité gestuelle, on peut distinguer trois fonctions différentes (cf Cadoz "le geste,..." in "Bibliothèque") : une fonction épistémique -> le geste sert à connaître (un matériau, une surface, ...) une fonction sémiotique -> le geste sert à faire connaître : désigner, communiquer... une fonction ergotique -> le geste sert à déplacer, modifier, contruire des objets matériels   3. Modèles pour l'interaction gestuelle Une part importante de l'activité de l'ACROE est le développement de modèles physiques pour le rendu d'effets gestuels via des systèmes gestuels à retour d'effort : sensations de rigidités, d'élasticités, de répartitions inertielles, d'adhérence, de rugosité, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'étude des anamophoses gestuelles. Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualité", "geste déictique", "geste illustratif", "geste iconique", "geste idéographique", "geste métaphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA)A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l’observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en évidence, outre les emblèmes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes catégories de mouvements coverbaux [3] : - les coverbaux référentiels, orientés vers la sémiose et la construction du sens (gestualité déictique ou de désignation, gestualité iconique ou de représentation de référents concrets, gestualité métaphorique ou de symbolisation de référents abstraits) ; - les coverbaux expressifs, utilisés pour l'expression des émotions et le cadrage de l'activité énonciative par le biais du marquage des actes de parole ; - les coverbaux de structuration, au service de la démarcation et de la mise en relief des unités de la parole et du discours parlé ; - les coverbaux interactifs, au service de la régulation de l'activité conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et régulateurs). Référentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou emblÈmatiques, qui sont indÈpendants de l'ÈnoncÈ oral et qui peuvent accompagner ou remplacer tout ou une partie de cet ÈnoncÈ (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limitÈ ‡ quelques situations prÈcises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de Ëche pour dÈplacer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est nÈcessaire pour une bonne utilisation de l'application. Dans un systËme de dialogue acceptant l'entrÈe gestuelle spontanÈe, nous n'en trouverons que trËs rarement, et ils seront alors toujours accompagnÈs d'un ÈnoncÈ oral explicite. 2. Les gestes illustrateurs, qui dÈpendent de l'ÈnoncÈ oral dans le sens que la comprÈhension du message de l'utilisateur nÈcessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes dÈictiques : ils dÈsignent un objet ou un lieu rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral. Les gestes iconiques : ils reprÈsentent un objet, une action ou un ÈvÈnement rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral (par exemple : J'ai pÍchÈ un poisson grand comme Áa + geste d'Ècartement des deux mains). Les gestes mÈtaphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos idÈes + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalité sensori-motrice gestuelle est une modalité sensorielle et une modalité d'action. Elle intégre la perception proprio-tactilo-kinesthésique et toutes les formes d'actions motrices. Le rôle de cette modalité est fondamental dans toute activité instrumentale : sculpter, jouer du violon, conduire un véhicule... L'ACROE intervient sur trois aspects : 1. Caractérisation quantitative de l'activité gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caractérise par de petits déplacements (3 cm), des précisions élevées (2 mm, 10 mN), des forces élevées (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximité par déplacement de l'avant bras sur environ 30 cm avec des précisions en force et en position assez faibles (0,5 cm, 10 N) Geste de déplacement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible précision (5 cm, 100 N) par déplacement du bras ou du corps à partir de 60 cm.   2. Caractérisation qualitative et fonctionnelle de l'activité gestuelle Dans l'activité gestuelle, on peut distinguer trois fonctions différentes (cf Cadoz "le geste,..." in "Bibliothèque") : une fonction épistémique -> le geste sert à connaître (un matériau, une surface, ...) une fonction sémiotique -> le geste sert à faire connaître : désigner, communiquer... une fonction ergotique -> le geste sert à déplacer, modifier, contruire des objets matériels   3. Modèles pour l'interaction gestuelle Une part importante de l'activité de l'ACROE est le développement de modèles physiques pour le rendu d'effets gestuels via des systèmes gestuels à retour d'effort : sensations de rigidités, d'élasticités, de répartitions inertielles, d'adhérence, de rugosité, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'étude des anamophoses gestuelles.

    10. Classification des gestes Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Ekman et Friesen, 1969 ; Cosnier, 1977 et 1993 ; Scherer, 1984 ; Calbris, 1997 Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualité", "geste déictique", "geste illustratif", "geste iconique", "geste idéographique", "geste métaphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA) A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l’observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en évidence, outre les emblèmes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes catégories de mouvements coverbaux [3] : - les coverbaux référentiels, orientés vers la sémiose et la construction du sens (gestualité déictique ou de désignation, gestualité iconique ou de représentation de référents concrets, gestualité métaphorique ou de symbolisation de référents abstraits) ; - les coverbaux expressifs, utilisés pour l'expression des émotions et le cadrage de l'activité énonciative par le biais du marquage des actes de parole ; - les coverbaux de structuration, au service de la démarcation et de la mise en relief des unités de la parole et du discours parlé ; - les coverbaux interactifs, au service de la régulation de l'activité conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et régulateurs). Référentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou emblÈmatiques, qui sont indÈpendants de l'ÈnoncÈ oral et qui peuvent accompagner ou remplacer tout ou une partie de cet ÈnoncÈ (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limitÈ ‡ quelques situations prÈcises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de Ëche pour dÈplacer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est nÈcessaire pour une bonne utilisation de l'application. Dans un systËme de dialogue acceptant l'entrÈe gestuelle spontanÈe, nous n'en trouverons que trËs rarement, et ils seront alors toujours accompagnÈs d'un ÈnoncÈ oral explicite. 2. Les gestes illustrateurs, qui dÈpendent de l'ÈnoncÈ oral dans le sens que la comprÈhension du message de l'utilisateur nÈcessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes dÈictiques : ils dÈsignent un objet ou un lieu rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral. Les gestes iconiques : ils reprÈsentent un objet, une action ou un ÈvÈnement rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral (par exemple : J'ai pÍchÈ un poisson grand comme Áa + geste d'Ècartement des deux mains). Les gestes mÈtaphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos idÈes + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalité sensori-motrice gestuelle est une modalité sensorielle et une modalité d'action. Elle intégre la perception proprio-tactilo-kinesthésique et toutes les formes d'actions motrices. Le rôle de cette modalité est fondamental dans toute activité instrumentale : sculpter, jouer du violon, conduire un véhicule... L'ACROE intervient sur trois aspects : 1. Caractérisation quantitative de l'activité gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caractérise par de petits déplacements (3 cm), des précisions élevées (2 mm, 10 mN), des forces élevées (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximité par déplacement de l'avant bras sur environ 30 cm avec des précisions en force et en position assez faibles (0,5 cm, 10 N) Geste de déplacement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible précision (5 cm, 100 N) par déplacement du bras ou du corps à partir de 60 cm.   2. Caractérisation qualitative et fonctionnelle de l'activité gestuelle Dans l'activité gestuelle, on peut distinguer trois fonctions différentes (cf Cadoz "le geste,..." in "Bibliothèque") : une fonction épistémique -> le geste sert à connaître (un matériau, une surface, ...) une fonction sémiotique -> le geste sert à faire connaître : désigner, communiquer... une fonction ergotique -> le geste sert à déplacer, modifier, contruire des objets matériels   3. Modèles pour l'interaction gestuelle Une part importante de l'activité de l'ACROE est le développement de modèles physiques pour le rendu d'effets gestuels via des systèmes gestuels à retour d'effort : sensations de rigidités, d'élasticités, de répartitions inertielles, d'adhérence, de rugosité, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'étude des anamophoses gestuelles. Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualité", "geste déictique", "geste illustratif", "geste iconique", "geste idéographique", "geste métaphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA)A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l’observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en évidence, outre les emblèmes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes catégories de mouvements coverbaux [3] : - les coverbaux référentiels, orientés vers la sémiose et la construction du sens (gestualité déictique ou de désignation, gestualité iconique ou de représentation de référents concrets, gestualité métaphorique ou de symbolisation de référents abstraits) ; - les coverbaux expressifs, utilisés pour l'expression des émotions et le cadrage de l'activité énonciative par le biais du marquage des actes de parole ; - les coverbaux de structuration, au service de la démarcation et de la mise en relief des unités de la parole et du discours parlé ; - les coverbaux interactifs, au service de la régulation de l'activité conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et régulateurs). Référentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou emblÈmatiques, qui sont indÈpendants de l'ÈnoncÈ oral et qui peuvent accompagner ou remplacer tout ou une partie de cet ÈnoncÈ (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limitÈ ‡ quelques situations prÈcises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de Ëche pour dÈplacer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est nÈcessaire pour une bonne utilisation de l'application. Dans un systËme de dialogue acceptant l'entrÈe gestuelle spontanÈe, nous n'en trouverons que trËs rarement, et ils seront alors toujours accompagnÈs d'un ÈnoncÈ oral explicite. 2. Les gestes illustrateurs, qui dÈpendent de l'ÈnoncÈ oral dans le sens que la comprÈhension du message de l'utilisateur nÈcessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes dÈictiques : ils dÈsignent un objet ou un lieu rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral. Les gestes iconiques : ils reprÈsentent un objet, une action ou un ÈvÈnement rÈfÈrencÈ simultanÈment dans l'ÈnoncÈ oral (par exemple : J'ai pÍchÈ un poisson grand comme Áa + geste d'Ècartement des deux mains). Les gestes mÈtaphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos idÈes + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalité sensori-motrice gestuelle est une modalité sensorielle et une modalité d'action. Elle intégre la perception proprio-tactilo-kinesthésique et toutes les formes d'actions motrices. Le rôle de cette modalité est fondamental dans toute activité instrumentale : sculpter, jouer du violon, conduire un véhicule... L'ACROE intervient sur trois aspects : 1. Caractérisation quantitative de l'activité gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caractérise par de petits déplacements (3 cm), des précisions élevées (2 mm, 10 mN), des forces élevées (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximité par déplacement de l'avant bras sur environ 30 cm avec des précisions en force et en position assez faibles (0,5 cm, 10 N) Geste de déplacement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible précision (5 cm, 100 N) par déplacement du bras ou du corps à partir de 60 cm.   2. Caractérisation qualitative et fonctionnelle de l'activité gestuelle Dans l'activité gestuelle, on peut distinguer trois fonctions différentes (cf Cadoz "le geste,..." in "Bibliothèque") : une fonction épistémique -> le geste sert à connaître (un matériau, une surface, ...) une fonction sémiotique -> le geste sert à faire connaître : désigner, communiquer... une fonction ergotique -> le geste sert à déplacer, modifier, contruire des objets matériels   3. Modèles pour l'interaction gestuelle Une part importante de l'activité de l'ACROE est le développement de modèles physiques pour le rendu d'effets gestuels via des systèmes gestuels à retour d'effort : sensations de rigidités, d'élasticités, de répartitions inertielles, d'adhérence, de rugosité, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'étude des anamophoses gestuelles.

    11. Plan Si nous avons un bon outil comme un marteau alors tous les problèmes ressemblent à un clou. Face à la grande variété des gestes, quels sont nos outilsSi nous avons un bon outil comme un marteau alors tous les problèmes ressemblent à un clou. Face à la grande variété des gestes, quels sont nos outils

    12. Geste et technique : modélisation Caractéristiques géométriques : Périmêtre, convexité, surface, compacité, boîte entourante, élongation, rectangularité, centroïde, orientationCaractéristiques géométriques : Périmêtre, convexité, surface, compacité, boîte entourante, élongation, rectangularité, centroïde, orientation

    13. Geste et technique : reconnaissance

    14. Principaux gestes du corps

    15. Principaux gestes de la tête

    16. Gestes de la tête

    17. Geste de la tête Online appearance-based face and facial feature tracking , F. Dornaika and F. Davoine and V.M. Dang, IAPR International Conference on Pattern Recognition, Cambridge, UK, August 2004. Le suivi de la tête est une étape importante pour de nombreuses IHM Vision. La position et l’orientation permettent d’identifier lapose et la reconnaissance de gestes simples tel que acquierser ou dénierf. L’image stabilisée est obtenue en prenant en compte la pose du visage : adaptée pour la reconnaissance d’expressions ou de reconnaissance. Se fait à base d’un modèle 3D avec textures. Le système est initialisé manuellement en projetant un modele de visage polygonal. Le suivi est réalisé en recherchant les 6 parametres de translation et de rotation afin d’adapter le modele texturé avec les images videos. We find the parameters by mapping the derivative of the error with respect to the parameters to intensity gradients in the image. We use a robust estimator to pool the information and do gradient descent to find an error minimum. Le suivi de la tête est une étape importante pour de nombreuses IHM Vision. La position et l’orientation permettent d’identifier lapose et la reconnaissance de gestes simples tel que acquierser ou dénierf. L’image stabilisée est obtenue en prenant en compte la pose du visage : adaptée pour la reconnaissance d’expressions ou de reconnaissance. Se fait à base d’un modèle 3D avec textures. Le système est initialisé manuellement en projetant un modele de visage polygonal. Le suivi est réalisé en recherchant les 6 parametres de translation et de rotation afin d’adapter le modele texturé avec les images videos. We find the parameters by mapping the derivative of the error with respect to the parameters to intensity gradients in the image. We use a robust estimator to pool the information and do gradient descent to find an error minimum.

    18. Expressions faciales Recognizing Action Units for Facial Expression Analysis,Tian, Y.L, Kanade, T., & Cohn, J.F. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 2, pp.97-116, 2001.

    19. Regard et Lèvres Interactive Skills Using Active Gaze Tracking Rowel Atienza and Alexander Zelinsky, ACM 5th International Conference on Multimodal Interfaces, Vancouver Canada, Nov 2003. Stereo 3D Lip Tracking, Gareth Loy, Roland Goecke, Sebastien Rougeaux and Alexander Zelinsky Proceedings of Sixth International Conference on Control, Automation, Robotics and Computer Vision (ICARCV2000), Singapore, December 2000. A 3D Head Tracker for an Automatic Lipreading System, Gareth Loy, Eunjung Holden and Robyn Owens, Proceedings of Australian Conference on Robotics and Automation (ACRA2000), Melbourne Australia, August 2000.

    20. Lèvres A Novel Face-tracking Mouth Controller and its Application to Interacting with Bioacoustic Models Gamhewage C. de Silva, Tamara Smyth, Michael J. Lyons International Conference on New Interfaces for Musical Expression, June 3-5, 2004 ATRATR

    21. Principaux gestes du corps

    22. Détection de la main Couleur pour tête et main, quand le fond et les vêtements le permettent Par analyse du contour : points extrêmes (de plus grande courbure ou distance au centre du corps) comme caractéristiques de main

    23. Reconnaissance de posture de la main Comment controler l’environnement goal: to build highly robust CV methods that allow out-of-the-box use of hand gestures as interface modality for VR and AR; graph: ROC curve of “detectability” of various hand postures from a given view – independent of background, person, lighting, and camera calibration top picture: detection in action; based on Viola-Jones face detector, runs at frame rate bottom picture: contour-based hand tracking and posture classification – this is only one of multiple vision modalities that contribute to robustness (others are: motion and color)Comment controler l’environnement goal: to build highly robust CV methods that allow out-of-the-box use of hand gestures as interface modality for VR and AR; graph: ROC curve of “detectability” of various hand postures from a given view – independent of background, person, lighting, and camera calibration top picture: detection in action; based on Viola-Jones face detector, runs at frame rate bottom picture: contour-based hand tracking and posture classification – this is only one of multiple vision modalities that contribute to robustness (others are: motion and color)

    24. Posture et Pendentif Environnement contrôlé 4 postures The Gesture Pendant: A Self-illuminating, Wearable, Infrared Computer Vision System for Home Automation Control and Medical Monitoring. Thad Starner, Jake Auxier, Daniel Ashbrook, Maribeth Gandy Proceedings of IEEE International Symposium on Wearable Computing (ISWC 2000). Atlanta, GA. October 2000. pp. 87-94. This camera is ringed by IR LEDs and has a IR pass filter over the lens (Figure 1.) The result is a camera that can track he user’s hands, even in the dark. This is a design similar to the Toshiba “Motion Processor” project which uses a camera and IR LEDs as an input to a gesture recognition system for interaction with desktop and portable computers XX Ref This camera is ringed by IR LEDs and has a IR pass filter over the lens (Figure 1.) The result is a camera that can track he user’s hands, even in the dark. This is a design similar to the Toshiba “Motion Processor” project which uses a camera and IR LEDs as an input to a gesture recognition system for interaction with desktop and portable computers XX Ref

    25. Reconnaissance de posture de la main Environnement embarqué, 8 postures Georgia Tech Gesture Toolkit: Supporting Experiments in Gesture Recognition Tracy Westeyn, Helene Brashear, Amin Atrash and Thad Starner. International Conference on Perceptive and Multimodal User Interfaces 2003

    26. Main articulée 3D Hand Gesture Tracking by Model Registration, H. Ouhaddi, P. Horain, Proceedings of International Workshop on Synthetic - Natural Hybrid Coding and Three Dimensional Imaging,Santorini, Greece, September, 1999. La vidéo peut être un support pour la communication gestuelle dans les environnements informatiques collaboratifs à distance, au prix d’une charge réseau importante et d’une interface complexe comportant une fenêtre par utilisateur. Des acteurs virtuels permettent de restituer à bas débit dans un monde virtuel les gestes de l’ensemble des utilisateurs distants. Nous présentons un prototype pour l’acquisition 3D des gestes humains par vision monoscopique en temps réel, ainsi que leur restitution par des avatars dans un environnement 3D de type téléprésence pour le partage d’applications. Mots La vidéo peut être un support pour la communication gestuelle dans les environnements informatiques collaboratifs à distance, au prix d’une charge réseau importante et d’une interface complexe comportant une fenêtre par utilisateur. Des acteurs virtuels permettent de restituer à bas débit dans un monde virtuel les gestes de l’ensemble des utilisateurs distants. Nous présentons un prototype pour l’acquisition 3D des gestes humains par vision monoscopique en temps réel, ainsi que leur restitution par des avatars dans un environnement 3D de type téléprésence pour le partage d’applications. Mots

    27. Suivi de la tête et des mains This paper presents a computer vision stereo based interface to navigate inside a 3-D Internet city, using body gestures. A wide-baseline stereo pair of cameras is sed to obtain 3-D body models of the user’s hands and head in a small desk -area environment. The interface feeds this information to an HMM gesture classifier to reliably recognize the user’s browsing commands. To illustrate the features of this interfacewe describe its application to our 3-D Internet browser which facilitates the recollection of information by organizing and embedding it inside a virtual city through which the user navigates. This paper presents a computer vision stereo based interface to navigate inside a 3-D Internet city, using body gestures. A wide-baseline stereo pair of cameras is sed to obtain 3-D body models of the user’s hands and head in a small desk -area environment. The interface feeds this information to an HMM gesture classifier to reliably recognize the user’s browsing commands. To illustrate the features of this interfacewe describe its application to our 3-D Internet browser which facilitates the recollection of information by organizing and embedding it inside a virtual city through which the user navigates.

    28. Reconnaissance de gestes : déplacement This paper presents a computer vision stereo based interface to navigate inside a 3-D Internet city, using body gestures. A wide-baseline stereo pair of cameras is sed to obtain 3-D body models of the user’s hands and head in a small desk -area environment. The interface feeds this information to an HMM gesture classifier to reliably recognize the user’s browsing commands. To illustrate the features of this interfacewe describe its application to our 3-D Internet browser which facilitates the recollection of information by organizing and embedding it inside a virtual city through which the user navigates. This paper presents a computer vision stereo based interface to navigate inside a 3-D Internet city, using body gestures. A wide-baseline stereo pair of cameras is sed to obtain 3-D body models of the user’s hands and head in a small desk -area environment. The interface feeds this information to an HMM gesture classifier to reliably recognize the user’s browsing commands. To illustrate the features of this interfacewe describe its application to our 3-D Internet browser which facilitates the recollection of information by organizing and embedding it inside a virtual city through which the user navigates.

    29. Langue des signes Using Multiple Sensors for Mobile Sign Language Recognition Helene Brashear, Thad Starner, Paul Lukowicz and Holger Junker. 7th IEEE International Symposium on Wearable Computers, 2003 As stated in our example there is an enforced structure to the ordering of the gestures. This structure can be represented as a rule{based grammar. The following grammar uses \j" to denote a choice of gestures and \<>" to indicate one or more repetitions of the enclosed expressions. MoveForward = Advance Slow_Down Halt MoveBackward = Reverse Slow_Down Halt command = Attention <MoveForward | MoveBackward> The vocabulary was a 5 gesture set of words fmy,computer, helps, me, talkg plus a calibration gesture at thebeginning andan exit gesture at the end. The calibration gesture involved the user placing their hands inside a box shown on the video stream (see Figure 4). The exit gesture as the process of dropping the hands and using Twiddler keyboard input to stop the data gathering. http://gt2k.cc.gatech.edu/ Georgia Tech Gesture Toolkit The grammar is specified using variables and commands. Each variable, or category, is denoted with a `$' symbol, as in ``$noun''. Commands represent gestures to recognize, and are simple text strings such as ``adult''. Each category may consist of one or more commands, each separated with the ` ' (pipe) character. Sentences are specified using parenthesis. For isolated recognition, a sentence is as simple as ``( $gesture )''; for continuous recognition, a sentence can be more complicated (as in Figure 4.4). Using angled brackets around a symbol or variable, such as ``  $word  '' denotes that the enclosed symbol may appear any number of times. As stated in our example there is an enforced structure to the ordering of the gestures. This structure can be represented as a rule{based grammar. The following grammar uses \j" to denote a choice of gestures and \<>" to indicate one or more repetitions of the enclosed expressions. MoveForward = Advance Slow_Down Halt MoveBackward = Reverse Slow_Down Halt command = Attention <MoveForward | MoveBackward> The vocabulary was a 5 gesture set of words fmy,computer, helps, me, talkg plus a calibration gesture at thebeginning andan exit gesture at the end. The calibration gesture involved the user placing their hands inside a box shown on the video stream (see Figure 4). The exit gesture as the process of dropping the hands and using Twiddler keyboard input to stop the data gathering. http://gt2k.cc.gatech.edu/ Georgia Tech Gesture Toolkit The grammar is specified using variables and commands. Each variable, or category, is denoted with a `$' symbol, as in ``$noun''. Commands represent gestures to recognize, and are simple text strings such as ``adult''. Each category may consist of one or more commands, each separated with the ` ' (pipe) character. Sentences are specified using parenthesis. For isolated recognition, a sentence is as simple as ``( $gesture )''; for continuous recognition, a sentence can be more complicated (as in Figure 4.4). Using angled brackets around a symbol or variable, such as ``  $word  '' denotes that the enclosed symbol may appear any number of times.

    30. Interfaces portées Pointage, Sélection, Dispositif Applications A Functionally-Distributed Hand Tracking Method for Wearable Visual Interfaces and Its Applications, Takeshi Kurata, Takekazu Kato, Masakatsu Kourogi, Jung Keechul, Ken Endo, IAPR Workshop on Machine Vision Applications (MVA2002) in Nara, Japan, pp.84-89 (2002) AIST Japon, National Institute Tracking of Advanced Institute and Technology distribué entre la partie wearable, … Distributed Monte Carlo Tracking, gmm hand color classification Adaptattive tracking mechanisms by using sufficient number of sample and hand color modeling on the infrastructure side We use a simple 2-D contour model for hand shape representation as shown in Figure 4 and employ the following seven parameters to describe the state: Xt = (Thetat, tx,t, tx,t, st, öx,t, öy,t, ãt), where Thetat is the rotation angle, (tx,t, tx,t) is the center position of the hand shape, sx,t is the scaling parameter,and (öx,t, öy,t) is the shear parameter. The posture parameter ãt(0 ¡Ü ãt ¡Ü 1) controls the hand shape from the pointing posture (Figure 4 (a)) to the clicking posture (Figure 4 (b)) the same way as image morphing. AIST Japon, National Institute Tracking of Advanced Institute and Technology distribué entre la partie wearable, … Distributed Monte Carlo Tracking, gmm hand color classification Adaptattive tracking mechanisms by using sufficient number of sample and hand color modeling on the infrastructure side We use a simple 2-D contour model for hand shape representation as shown in Figure 4 and employ the following seven parameters to describe the state: Xt = (Thetat, tx,t, tx,t, st, öx,t, öy,t, ãt), where Thetat is the rotation angle, (tx,t, tx,t) is the center position of the hand shape, sx,t is the scaling parameter,and (öx,t, öy,t) is the shear parameter. The posture parameter ãt(0 ¡Ü ãt ¡Ü 1) controls the hand shape from the pointing posture (Figure 4 (a)) to the clicking posture (Figure 4 (b)) the same way as image morphing.

    31. Geste du corps

    32. Principaux gestes du corps

    33. Reconnaissance d’activité S’asseoir Voler S’agenouiller Hierarchical Motion History Images for Recognizing Human Motion, J. Davis, IEEE Workshop on Detection and Recognition of Events in Video, Vancouver, Canada, July 8, 2001. To represent how motion is moving, we developed a motion history image (MHI). In an MHI, pixel intensity is a function of the motion history at that location, where brighter values correspond to more recent motion. We currently use a simple replacement and linear decay operator using the binary image difference frames. Examples of MHIs for three actions (sit-down, arms-raise, crouch-down) are presented in the figure below right. Notice that the final motion locations appear brighter in the MHIs. Here is a short demo of the current system using two cameras. The top two images show the camera input with motion bounding regions. Bounding boxes are used to account for the possibility of multiple (separate) people/objects. White boxes identify valid motion regions. The middle two images show the corresponding MHI images for the above frames. The "virtual" room at the bottom shows an avatar of me in particular poses when the system identifies any of the recognizable actions (sitting, waving, crouching). To represent how motion is moving, we developed a motion history image (MHI). In an MHI, pixel intensity is a function of the motion history at that location, where brighter values correspond to more recent motion. We currently use a simple replacement and linear decay operator using the binary image difference frames. Examples of MHIs for three actions (sit-down, arms-raise, crouch-down) are presented in the figure below right. Notice that the final motion locations appear brighter in the MHIs. Here is a short demo of the current system using two cameras. The top two images show the camera input with motion bounding regions. Bounding boxes are used to account for the possibility of multiple (separate) people/objects. White boxes identify valid motion regions. The middle two images show the corresponding MHI images for the above frames. The "virtual" room at the bottom shows an avatar of me in particular poses when the system identifies any of the recognizable actions (sitting, waving, crouching).

    34. Geste et danse http://eyecon.palindrome.de/ EyeCon can analyse motion according to a number of different parameters: • changes in the presence or absence of body parts at give positions in space • the overall dynamic of the movement occurring within a defined field • position of the dancer on stage, direction of travel, etc. (i.e. motion tracking) • predominate direction of movement (e.g. leftward / rightward, upwards / downwards). • degree of right-left symmetry in the body, how similar in shape the two sides of the body are • degree of expansion and contraction in the body. Autre site http://accad.osu.edu/~vberezin/bm/movies/ EyeCon can analyse motion according to a number of different parameters: • changes in the presence or absence of body parts at give positions in space • the overall dynamic of the movement occurring within a defined field • position of the dancer on stage, direction of travel, etc. (i.e. motion tracking) • predominate direction of movement (e.g. leftward / rightward, upwards / downwards). • degree of right-left symmetry in the body, how similar in shape the two sides of the body are • degree of expansion and contraction in the body. Autre site http://accad.osu.edu/~vberezin/bm/movies/

    35. Geste et danse http://eyecon.palindrome.de/ EyeCon can analyse motion according to a number of different parameters: • changes in the presence or absence of body parts at give positions in space • the overall dynamic of the movement occurring within a defined field • position of the dancer on stage, direction of travel, etc. (i.e. motion tracking) • predominate direction of movement (e.g. leftward / rightward, upwards / downwards). • degree of right-left symmetry in the body, how similar in shape the two sides of the body are • degree of expansion and contraction in the body. Autre site http://accad.osu.edu/~vberezin/bm/movies/ EyeCon can analyse motion according to a number of different parameters: • changes in the presence or absence of body parts at give positions in space • the overall dynamic of the movement occurring within a defined field • position of the dancer on stage, direction of travel, etc. (i.e. motion tracking) • predominate direction of movement (e.g. leftward / rightward, upwards / downwards). • degree of right-left symmetry in the body, how similar in shape the two sides of the body are • degree of expansion and contraction in the body. Autre site http://accad.osu.edu/~vberezin/bm/movies/

    36. Synthèse des différents gestes Mise en œuvre des éléments non verbaux de l’interaction en face à face dans un système multimodal ? Geste de la main ? Regard ? Posture du corps ? Intonation ? Sourcils ? Hochement de tête … "Conversation as a System Framework: Designing Embodied Conversational Agents", Cassell, J., Bickmore, T., Campbell, L., Vilhjalmsson, H., and Yan, H. in Cassell, J. et al. (eds.), Embodied Conversational Agents. MIT Press, Cambridge, MA, 1999.

    37. Bibliographie Articles de revues : Watson, Richard. A Survey of Gesture Recognition Techniques. Technical Report TCD-CS-93-11, Department of Computer Science, Trinity College Dublin, 1993. Wu &Yang, Vision-based Gesture Recognition: A Review, Lecture Notes in Artificial Intelligence, 1999 Liste d’articles : http://www.dei.unipd.it/~cuzzolin/Review.html Sites : The Gesture Recognition Home Page http://www.cybernet.com/~ccohen/ Machine Gesture and Sign Language Recognition http://www.cse.unsw.edu.au/~waleed/gsl-rec/ Facial Expression Resources Page http://www.mis.atr.co.jp/~mlyons/facial_expression.html

    38. Contrôle à Distance d’une TV

    39. Geste de la tête Arno Schadl, Antonio Haro, Irfan Essa. Head Tracking Using a Textured Polygonal Model. Proceedings Workshop on Perceptual User Interfaces, Nov 1998 Le suivi de la tête est une étape importante pour de nombreuses IHM Vision. La position et l’orientation permettent d’identifier lapose et la reconnaissance de gestes simples tel que acquierser ou dénierf. L’image stabilisée est obtenue en prenant en compte la pose du visage : adaptée pour la reconnaissance d’expressions ou de reconnaissance. Se fait à base d’un modèle 3D avec textures. Le système est initialisé manuellement en projetant un modele de visage polygonal. Le suivi est réalisé en recherchant les 6 parametres de translation et de rotation afin d’adapter le modele texturé avec les images videos. We find the parameters by mapping the derivative of the error with respect to the parameters to intensity gradients in the image. We use a robust estimator to pool the information and do gradient descent to find an error minimum. Le suivi de la tête est une étape importante pour de nombreuses IHM Vision. La position et l’orientation permettent d’identifier lapose et la reconnaissance de gestes simples tel que acquierser ou dénierf. L’image stabilisée est obtenue en prenant en compte la pose du visage : adaptée pour la reconnaissance d’expressions ou de reconnaissance. Se fait à base d’un modèle 3D avec textures. Le système est initialisé manuellement en projetant un modele de visage polygonal. Le suivi est réalisé en recherchant les 6 parametres de translation et de rotation afin d’adapter le modele texturé avec les images videos. We find the parameters by mapping the derivative of the error with respect to the parameters to intensity gradients in the image. We use a robust estimator to pool the information and do gradient descent to find an error minimum.

More Related