Affective computing

1. Corso interdipartimentale in Comunicazione, Innovazione, Multimedialità Affective computing quando il computer esprime e riconosce le emozioni a.a. 2012/2013 Giustina Sacco Matricola n° 389545

2. 1. Affective Computing 2. Emotion Markup Language 3. Esempi applicativi Emotion ML

3. Affective Computing | Rosalind Picard 1/19 Fondatrice dell’Affective Computing Research Group all’interno del MIT • Entrò nel 1991 nel MIT Media Lab, grazie al quale ebbe un importante riconoscimento internazionale • Ha pubblicato il pluripremiato libro «Affective computing», con cui ha inaugurato il nuovo campo di ricerca

4. Affective Computing | Terminologia ed evoluzione 2/19 Affective computing Scienze informatiche Scienze sociali «Informatica dell’affettività»

5. Affective Computing | Terminologia ed evoluzione 3/19 I metodi di riconoscimento delle emozioni dei calcolatori sono simili a quelli umani. Essi capiscono le emozioni attraverso la voce e i gesti esattamente come l’uomo, oppure tramite sensori indossabili. 1988, Picard Imparano a capire le preferenze dell’uomo, per poterle soddisfare. I computer migliorano le condizioni di vita dell’uomo. Problema autismo: i computer emotivamente competenti diventano un grande sostegno nell’esternazione dell’emotività da parte del soggetto.

6. Affective Computing | Riconoscimento informatico dell’emozione 4/19 Scopo Ottenere un’interazione con la macchina quanto più naturale possibile 3 tipologie Riconoscimento basato sull’elaborazione vocale Riconoscimento basato sulle espressioni facciali 3. Riconoscimento basato sul movimento del corpo

7. Affective Computing | Riconoscimento informatico dell’emozione 5/19 Riconoscimento vocale Attenzione sulle proprietà fonetiche del linguaggio: intensità, intonazione, velocità di lettura e qualità della voce. È importante non cosa si dice, ma come viene detto • Il riconoscimento si compone di tre parti: • Elaborazione del segnale digitalizzazione e pre-elaborazione del potenziale acustico; • Funzione di calcolo  rileva le caratteristiche essenziali del segnale • acustico rispetto alle emozioni; • Funzione di classificazione  si riportano su carta le caratteristiche dei vettori sulle classi di emozioni.

8. Affective Computing | Riconoscimento informatico dell’emozione 6/19 Riconoscimento facciale Strategie di rilevamento del volto in base al tipo di input immagine. Il processo di estrazione delle espressioni facciali rileva la presenza e la posizione di caratteristiche come naso, occhi, narici bocca ecc. • 2 approcci: • Feature-base approaches le caratteristiche facciali vengono rilevate e monitorate, misurando le distanze tra queste; • Appearence- basedapproaches alcune regioni sono trattate come un tutto e vengono registrati il movimento e il cambiamento nella struttura.

9. Affective Computing | Riconoscimento informatico dell’emozione 7/19 Riconoscimento corporale Postura del corpo, gesti, movimenti • 3 approcci: • Motion-based utilizzano direttamente le informazioni del movimento senza alcuna informazione • strutturale sul corpo fisico; • Appearence- based basato su due dati dimensionali come colore/scala grigi; • Model-based  modellazione delle parti del corpo.

10. Affective Computing | Applicazioni dell’affettività 8/19 • Applicazioni tramite : • sistemi robotici pensati come giocattoli, controllabili a distanza e programmati per eseguire una serie di azioni. Sono creati sotto forma di animali. Affinché risultino interessanti dal punto di vista dell’utente sono stati dotati di riconoscimento emotivo. Un prototipo è il Sony AIBO Robot da intrattenimento

11. Affective Computing | Applicazioni dell’affettività 9/19 • computer games gli ostacoli presenti nei giochi si superano attraverso le emozioni positive o negative. Vengono esaminati gli elementi emotivi del discorso del giocatore attraverso sistemi di riconoscimento delle emozioni, influenzando il comportamento del personaggio nel gioco giochi emotivamente reattivi

12. Emotion ML| Evoluzione del linguaggio 10/19 Emotion Markup Language Progettato dall’Emotion Incubator Group con lo scopo di essere utilizzato in contesti e applicazioni diversi, adattabile alle diverse teorie dell’emozione. I concetti e le descrizioni delle scienze affettive vengono rese disponibili per l’uso in contesti tecnologici. È possibile trattare con una vasta gamma di stati emotivi

13. Emotion ML| Campi di applicazione 11/19 Differenti campi di applicazione: • Opinion mining and sentimentanalysis in Web 2.0, monitoraggio del comportamento dell’utente nelle tecnologie del web come i blog; • Affective monitoring, monitoraggio affettivo in applicazioni; • Character design, controllo per i giochi e i mondi virtuali; • Social robot, come robot di guida che coinvolgono i visitatori; • Supportoper le persone portatrici di disabilità; • Realizzazione del contesto emotivo.

14. Emotion ML| Elementi 12/19 2 categorie «Must have» «Should have» • Elementi principali: • <category> • <dimension> • <appraisal> • <action –tendency> • Meta-information: • Confidence • Expressed-through • Info

15. Emotion ML| Elementi 13/19 Elementi principali Descrive uno stato emotivo utilizzando appunto la categoria. È necessario e obbligatorio, poiché deve esplicitare il nome della categoria. • <category> È adoperato per descrivere uno stato affettivo secondo il vocabolario delle dimensioni di un’emozione. • <dimension> Descrive l’emozione in termini di valutazione • <appraisal> Descrive degli stati affettivi secondo il vocabolario delle tendenze d’azione • <action-tendency>

16. Emotion ML| Elementi 14/19 Meta-information indica il grado di affidabilità che ci si aspetta dalla parte di annotazione a cui è legato. • Confidence definisce la modalità attraverso cui un’emozione viene espressa. • Expressed-through può essere utilizzato per annotare metadati arbitrari e può contenere strutture XML. • Info

17. Emotion ML| Vocabolario delle emozioni 15/19 Gli elementi principali, per poter rispondere correttamente ai comandi, devono essere riferiti a uno o più vocabolari per rappresentare le emozioni e gli stati collegati ad esse. Il vocabolario viene allegato nelle singole annotazioni. <category> <dimension> <appraisal> • «Big six» di Ekman; • «Everydayemotion • vocabulary» di Cowie; • «OCC», di Ortony, Clore, • Collins; • «FSRE», di Fontaine, Scherer, Roesch, Ellsworth; • «Frijda», di Frijda. • «Mehrabian's PAD»; • «FSRE»; • «Intensity». • «OCC»; • «Scherer» di Scherer; • «EMA» di Gratch e • Marsella.

18. Esempi applicativi Emotion ML Generazione di comportamento di un sistema di emozioni correlate 16/19 Generazione del comportamento di un robot (W3C) Configurazione dello stato globale: forte eccitazione con un potere limitato di influenzare la situazione Tag di apertura <emotionml xmlns="http://www.w3.org/2009/10/emotionml" xmlns:meta="http://www.example.com/metadata"> <info> <meta:name>robbie the robot example</meta:name> </info> <!-- Robot's current global state configuration: negative, active, powerless --> <emotion dimension-set="http://www.w3.org/TR/emotion-voc/xml#pad-dimensions"> <dimension name="pleasure" value="0.2"/> <dimension name="arousal" value="0.8"/> <dimension name="dominance" value="0.3"/> </emotion> <!-- Robot's action tendencies: want to recharge --> <emotion action-tendency-set="http://www.example.com/custom/action/robot.xml"> <action-tendency name="charge-battery" value="0.9"/> <action-tendency name="seek-shelter" value="0.7"/> <action-tendency name="pickup-boxes" value="0.1"/> </emotion> <!-- Appraised value of incoming event: obstacle detected, appraised as novel and unpleasant --> <emotion appraisal-set="http://www.w3.org/TR/emotion-voc/xml#scherer-appraisals"> <appraisal name="suddenness" value="0.8" confidence="0.4"/> <appraisal name="intrinsic-pleasantness" value="0.2" confidence="0.8"/> <reference role="triggeredBy" uri="file:scannerdata.xml#obstacle27"/> </emotion> <!-- Robot's planned facial gestures: will frown --> <emotion category-set="http://www.example.com/custom/robot-emotions.xml" expressed-through="face"> <category name="frustration"/> <reference role="expressedBy" uri="file:behavior-repository.xml#frown"/> </emotion> </emotionml> 1° elemento 2° elemento Tendenze di azione del robot: predomina la volontà di ricaricare la batteria 3° elemento Individuazione e valutazione di un ostacolo indesiderato: imprevedibilità e sgradevolezza 4° elemento 5° elemento Generazione del comportamento:frustrazione con espressione facciale Tag di chiusura

19. Esempi applicativi Emotion ML Generazione di comportamento di un sistema di emozioni correlate 17/19 Generazione del comportamento di un robot – Elaborazione personale Tag di apertura <emotionmlxmlns="http://www.w3.org/2009/10/emotionml" <info> <meta:name> Robbie, esempio n°2 </meta:name> </info> <!—-Statoattuale del robot--> <emotion dimension-set="../emotion-voc/xml#new_dimensions"> <dimension name="tristezza" value="0.9"/> <dimensionname="soddisfazione" value="0.1"/> <dimension name="rabbia" value="0.7"/> </emotion> <!—-Tendenze di azione di Robbie, in relazione allo stato attuale--> <emotion action-tendency-set="../emotion-voc/action-robbie.xml"> <action-tendency name="tornare-indietro" value="0.2"/> <action-tendency name="superare-ostacolo" value="0.9"/> <action-tendency name="esaurire-batteria" value="0.1"/> </emotion> <!—-Valutazione della strategia per superare l’ostacolo --> <emotion appraisal-set="../emotion-voc/xml#new_appraisals"> <appraisal name="difficolta" value="0.2" confidence="0.3"/> <appraisal name="comfort" value="0.8" confidence="0.8"/> <appraisal name="praticita" value="0.9" confidence="0.7"/> </emotion> <!—-Generazione del comportamento espresso attraverso voce --> <emotion category-set="../emotion-voc/emozioni-di-robbie.xml" expressed-through="voice"> <category name="felicita" value="0.9"/> “Evviva! Ho superatol’ostacolo!” </emotion> </emotionml> Statoattuale del robot: senso di tristezza e di rabbia molto elevati. 1° elemento 2° elemento Tendenze di azione: prevale la volontà di superare l’ostacolo incontrato , piuttosto che le altre due azioni 3° elemento Valutazione della strategia: Robbie stima la difficoltà, il comfort e la praticità della strategia da mettere in atto. 4° elemento 0 Comportamento finale: è generata l’emozione di felicità espressa attraverso voce. 5° elemento Tag di chiusura

20. Affective Computing| Conclusione 18/19 Il computer riconosce ed esprime effettivamente le emozioni umane. Vantaggi Svantaggi I calcolatori emotivamente competenti potrebbero essere un peso nella vita quotidiana dell’uomo. Realizzazione di calcolatori emotivamente competenti. Indagherebbero costantemente sulla sfera emotiva dell’uomo, anche nei casi in cui questi non voglia manifestare il proprio stato emotivo. L’Emotion ML come valida tecnologia per concretizzare e mettere in pratica i concetti sviluppati dall’Affective Computing. Invasione dell’interiorità umana.

21. Affective Computing| Conclusione 19/19 Possibile soluzione Sfruttare le opportunità dell’Affective Computing in modosocialmente responsabile, nei casi di effettiva utilità: soggetti autistici e soggetti con disturbi di manifestazione dell’emotività.