Mariapaola D’Imperio LPL, CNRS & Université de Provence

1. Interprétation linguistique du contour intonatif : méthodes acoustiques, physiologiques et psycholinguistiques Mariapaola D’Imperio LPL, CNRS & Université de Provence 16 mars 2007 – Université Paris VII

2. Plan de l’exposé 1. Introduction - Cadre general: • Phonologie de laboratoire et phonologie intonative • Théorie Autosegmentale-Metrique (AM theory) 2. Le contour intonatif et ses cibles a. Données acoustiques -algorithmes pour l’extraction des cibles tonales b. Données physiologiques -Optotrak et EMA c. Données psycholinguistiques -identification et mouvements oculaires 3. Comparaison inter- et intra-linguistique a. langues romanes : apport syntaxique et prosodique au phrasing b. parole de laboratoire vs. parole spontanée. Exemples d’un corpus Map Task.

3. VALIDATIONPERCEPTIVE Retombées fondamentales Paradigmes Linguistiques Théories linguistiques sur la prosodie (fondation perceptive et physiologique des primitives théoriques) RÉCUPÉRATION DE CIBLES TONALES ACOUSTIQUES/ CORRÉLATIONS AVEC PRODUCTION Retombées appliquées Outils d’acquisition de signaux Modélisation acoustique Théories psycho- acoustiques (synthèse, reconnaissance, étiquetage automatique, dialogue homme/machine, apprentissage de L2)

4. Approche de la Phonologie de Laboratoire • Tester certaines hypothèses phonologiques explicites (pas nécessairement à l’intérieur d’une théorie) • Objectif ultime: renforcer les bases scientifiques de la phonologie Les modèles phonologiques doivent permettre de faire des prédictions explicites qui peuvent être testées par l’expérimentation

5. Pourquoi la phonologie de laboratoire? • Pierrehumbert (1990): “Si la phonétique n’est pas reliée à la phonologie, elle modélise des bruits et des gestes auxquels aucune signification ou catégorie structurelle ne peut être assignée. Une théorie englobant la phonologie, la phonétique et leur relation entre elles est nécessaire pour asseoir les fondations d’une théorie du processus langagier et de l’acquisition du langage ”.

6. Outil théorique :Phonologie Intonative LH !HL • Au niveau segmental : séquence d’événements phonologiques discrets m e 't a (foglio) • Au niveau intonatif : séquence d’événements phonologiques discrets

7. Autosegmental-metrical theory(Pierrehumbert 1980, Pierrehumbert and Beckman, 1988, inter alia) • Structure tonale : séquence d’événements tonals (Hs, Ls) associés avec des têtes ou des frontières de domaines prosodiques • Accent mélodique : ton associé avec une syllabe métriquement forte, monotonal (e.g., H*, L*) ou bitonal (e.g., L+H*). • Ton de frontière : ton aligné avec la frontière d’un constituent prosodique de niveau plus haut (e.g., accents de syntagme H-, L-). ip s T* T

8. Pourquoi approche autosegmentale ? • Simplicité et pouvoir descriptif (comparaison inter- langues) • Lien entre structure tonale et texte (association et alignement) • Applications technologiques (synthèse multilingue)

9. Association de la mélodie au texte • Même contour (tune), mais mots différents (tiré de Grice, D’Imperio, Savino and Avesani, 2005). L*+H HL- (rise) (fall) NAno

10. Association de la mélodie au texte • Même contour (tune), mais mots différents (tiré de Grice, D’Imperio, Savino and Avesani, 2005). L*+H HL- (rise) (fall) BELlamano di MAM

11. Modèle d’interpolation des cibles = underspecified regions = specified tonal targets

12. THEME #1 DONNEES ACOUSTIQUES

13. Représentation de la F0 [][v] [d][] [s] [s] F0 Pierre viendra ce soir F0 est perturbé en cas de forte constriction du conduit vocal et absente dans segments sourds

14. Abstraction du contour F0 Pierre viendra ce soir Mais….notre perception du contour intonatif fait abstraction de ces perturbations.

15. Cibles tonales H H F0 H L L L Pierre viendra ce soir Degré d’abstraction encore plus important : analyse en cibles tonales.

16. HL LHL LH Rise-fall Rise Fall Interprétation linguistique du contour • Niveaux tonals vs. configurations

17. Cibles tonales et alignement Alignement = synchronisation temporelle de certaines parties de la courbe de F0 (points cible) avec des unités ou des frontières segmentales. (Silverman and Pierrehumbert, 1990; Arvaniti et al., 1998; Ladd et al., 1999, 2000; D’Imperio, 1995, 1997, 2001; inter alia). Pic F0 F0 scaling L a l l a time

18. Variabilité acoustique et modélisation • Variables linguistiques : • structure focale • structure syllabique • position dans le mot • position dans la phrase • environnement segmental M a R I a

19. Facteurs qui influencent l’alignement • Tonal crowding (D’Imperio, 2001; Silverman and Pierrehumbert, 1990) • Longueur phonologique et structure syllabique (Ladd et al., 2000; D’Imperio, 2000) • Composition segmentale de la syllabe (van Santen and Hirschberg, 1994; Rietveld and Gussenhoven, 1995) • Débit de parole(Ladd et al., 1999)

20. Longueur phonologique et structure syllabique • En italien, les voyelles en syllabe ouverte (pénultième) accentuée sont longues (D’Imperio & Rosenthall, 1999 ; Van Santen & D’Imperio, 1999). • La durée consonantique est contrastive (nono “neuvième”/ nonno “grandpère”), mais ladurée de la voyelle précédente varie en fonction de la quantité consonantique.

21. Structure syllabique et alignement(D’Imperio 2000; D’Imperio, Petrone and Nguyen, 2004) vedrai n o nn o H L*+H vedrai il n o n o H L*+H A. Nonno « grandpère » il L*+H B. Nono « neuvième »

22. Exemple 1 : Individuation d’une cible tonale(D’Imperio 1999, 2002) L? • Hypothèses: a. Pas de cible contrôlée. • b. Une cible de niveau bas (L), dont alignement et • F0 sont contrôlés. • b1. LH* LH* • b2. H*L H*

23. Analyses compétitives Corpus : 1, 2 ou 3 mots dans constituent focalisé (mamma, mano di mamma, bella mano di mamma) 1. (L)H H H sagging interpolation (cf. Pierrehumbert, 1980 for A. English) 2. (L)HL H H L est une cible 3. (L)H LHLH L est une cible

24. Mesures

25. Régression linéaire (Elbow detection) (D’Imperio 1995, 2000, 2002) L H

26. Régression linéaire et pente 2 MOTS Pente moins rède pour constituants focalisés à 3 mots 3 MOTS L L(H)

27. Régression logistique (D’Imperio, 2000)

28. Exemple 2: structure intonative du français (D’Imperio et al., 2006) • Vérifier l’existence de différences formelles et acoustiques entre les accents nucléaires (IP-final) et prénucléaires (non-final de IP) ascendants, qui ne sont pas attribuables à la structure segmentale. [[Les amis]AP [de mami]AP]S/IP [[ils n’arrivent que demain]]S/IP [(H*)AP(H*)AP]IP?

29. Méthode : approche double • Transcription auditive de l’emplacement et du type d’accent mélodique, ainsi que de la frontière prosodique. • Mesures acoustiques (hauteur et alignement des cibles tonales, etc.)

30. 1 ou 2 cibles? L? L?

31. Modélisation acoustique des cibles 1 ou 2 cibles? MOMEL (Hirst et al. 2000) H L [[Les amis]AP [de mami]AP]S/IP [[ils n’arrivent que demain]]S/IP L 2-line regression (D’Imperio, 2000)

32. Résumé Intermédiaire • L’interprétation linguistique du contour de F0 dépend fortement de la notion de cible tonale. • Les hypothèses sur la structure tonale ainsi que sur la nature et la taille de l’inventaire d’accents mélodiques d’une langue donnée peuvent être testées à l’aide de la phonologie de laboratoire.

33. THEME #2 DONNEES PHYSIOLOGIQUES

34. Acquisition données articulatoires Accent de focus F0 MAMma temps OBJECTIFS : 1. Corrélation entre contrôle tonal et contrôle du conduit vocal. 2. Alignement systématique des cibles tonales avec des repères articulatoires. Trajectoires verticales de la lèvre inférieure

35. Acquisition données articulatoires : EMA • Articulograph (Carstens AG-100, 2-D EMA system). • Système electro-magnétique à 2 dimensions. • 9 capteurs (lèvre supérieure et inférieure, mandibule, 4 sur la langue, 1 sur nez et incisifs supérieures).

36. Hypothèse Les cibles H sont alignées/synchronisée avec des événements articulatoires cruciaux indépendamment de la structure syllabique et du débit de parole.

37. Latency F0 values Articulatory Trajectory/ Velocity LATENCY (s) F0 V v0 v1 peak min2 Linear velocity of tongue apex_y Mesures

38. m a mm a waveform étiquettes F0 distance entre les levres Visualisation des données

39. THEME #3 DONNEES PSYCHOLINGUISTIQUES

40. Alignement et catégories accentuelles • Ward et Hirschberg (1985) proposent qu’en anglais américain il y a un contraste de sens entre accents montants avec un pic avancé et accents montants avec un pic retardé.

41. they fly to Des Moines they fly to Des Moines Alignement et catégories accentuelles A: I’d like to fly to Davenport, Iowa on TWA. B: TWA doesn’t fly there ... EARLY PEAK (assertion) LATE PEAK (suggestion/uncertainty) L*+H L+H*

42. Alignement et catégorialité • Pierrehumbert & Steele (1989) synthétisent plusieurs contours intonatifs avec différents degrés d’alignement du pic, en demandant d’imiter le contour perçu par des locuteurs. • L’alignement des pics des réponses des locuteurs n’était pas graduel, mais dans deux catégories distinctes: pic avancé (‘assertion’) ou retardé (‘suggestion’).

43. Alignement et contraste L A L la Q = L*+H L L A = L+H* ?question (D’Imperio et House, 1997; D’Imperio et al. 2000; D’Imperio 2001, to appear) . affirmation Une différence temporelle minimale est cruciale pour la catégorisation (justification perceptive).

44. Stimuli synthétiques Stylization et resynthèse du contour L*+H Vedrai il nono? “Verras-tu le neuvième?”

45. 300 H 280 250 F0 (Hz) 210 210 180 200 L1 150 L 2 150 Time Méthode Alignment: A.Linear stylisation Alignment: B.Temporal shift A1 A2 A3 A4 300 H 250 F0 (Hz) 200 L1 L 2 150 Vocalicoffset -15 0 15 30 Shift (msec)

46. Exemple de résultats Changement catégoriel du à la manipulation temporelle (S-shaped curve)

47. Effet de l’intonation sur la résolution de l’anaphore • Les auditeurs se servent de la catégorie accentuelle pour identifier l’objet auquel on fait référence (Dahan et al. 2002). • Eye-tracking A. “Put the candle/candy below the triangle.” B1. NOW, put the CANDLE above the square B2. NOW, put the candle ABOVE THE SQUARE. CANDLE (accentué) est non-anaphorique fixation to candy candle (non-accentué) est anaphorique fixation to candle

48. Mouvements oculaires

49. Catégories tonales et pragmatique : Eye-tracking(Ito et Speer 2005) Pierrehumbert & Hirschberg, 1990 Compositional tune meaning PA typesmeaning H* Added to mutual belief space. L* Already part of mutual beliefs. Salience-without-predication L*+H Uncertainty, lack of speaker commitment L+H*Contrast with some alternative related item http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt

50. Parole semi-spontanée(unscripted speech) • Tâche: Donner des instructions pour décorer un arbre de Noël • L’écran montre une photo d’un ornement et une photo d’un arbre avec une étiquette (e.g. blue ball) indiquant l’emplacement de l’ornement. • Newness, Givenness & Contrastiveness manipulées par ordre d’occurrence dans le discours. New: The first mention of the discourse entity Given: Subsequent mentions of the discourse entity Contrastive: Immediate repetition of an entity. E.g. blue ball -> blue DRUM / blue ball -> RED ball http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt