Jeremy Marozeau IRCAM

1. Journée des Jeunes Chercheurs 2003 Jeremy Marozeau IRCAM L’effet de la fréquence fondamentale sur le timbre des sons musicaux 4ème année en thèse ATIAM,financée par le Fond National Suisse Dirigé par A. de Cheveigné, IRCAM en collaboration avec D. Wessel, CNMAT, UC Berkeley et le LMA Marseille

2. But: • Etudier l’effet perceptif que peut avoir la fréquence fondamentale (F0) sur le timbre des instruments de musique.

3. La psychoacoustique: Perceptif Physique F0 Sonie Intensité Durée Hauteur Longueur du signal Descripteurs: (Attaque, CGS, …) Timbre

4. Relations perceptives A C B D Evénements sonores A B C D 3 5 6 A 2 5 B 1 4 3 2 C Matrice des dissemblances D 5 6 2 perceptives Interprétation par l'expérimentateur (explication psychophysique) Programme d'analyse A C multidimensionnelle D C D A B B C A D B Configuration géométrique (choix du modèle spatial) • • • 1D 2D 3D Analyse Multidimensionnellede jugements de dissemblance:

5. Exempled’espace perceptifdetimbre.McAdams et Al. (1995) Piano Piano frotté Clarinette Trompette

6. Question: • Comment cet espace varierait-il si la fréquence fondamentale changeait ?

7. La psychoacoustique: Perceptif Physique F0 Sonie Intensité Durée Hauteur Longueur du signal Descripteurs: (Attaque, CGS, …) Timbre

8. La psychoacoustique: Perceptif Physique Hauteur F0 Sonie Intensité Durée perçue Durée physique Timbre ? CGS Impulsivité Flux spectral etc ....

9. Comment cet espace varierait-il si la fréquence fondamentale changeait ? • Hypothèses: • I) Invariance • II) changementisometrique • III) changementnon-isometrique

10. Comment cet espace varierait-il si la fréquence fondamentale changeait ? • Hypothèses: • I) Invariance • II) changementisometrique • III) changementnon-isometrique

11. Comment cet espace varierait-il si la fréquence fondamentale changeait ? • Hypothèses: • I) Invariance • II) changementisometrique • III) changementnon-isometrique

12. Comment cet espace varierait-il si la fréquence fondamentale changeait ? • Hypothèses: • I) Invariance • II) changementisometrique • III) changementnon-isometrique

13. Comment cet espace varierait-il si la fréquence fondamentale changeait ? • Les corrélats acoustiques varient-ils ?

14. La psychoacoustique: Perceptif Physique Hauteur F0 Sonie Intensité Durée perçue Durée physique Timbre ? CGS Impulsivité Flux spectral etc ....

15. Le centre de gravité spectral (CGS): CGS

16. Analyse acoustique Stable pour tout F0 CGS Horn

17. Analyse acoustique Change avec la F0 CGS Violin

18. Analyse acoustique Stable, puis change avec f0 CGS

19. Expérience I: Stimuli • 3 F0s : B2, C# 3, Bb 3 • Durée : 1.5 secondes • 12 instruments dont: 10 instruments extraits de la base de donnéeSOL 2 cuivres 2 cordes frottées 3 bois 3 cordes pincées • Contrebasse • Trompette • Hautbois • Guitare • Violon • Clarinette • cor • Harpe • Flûte • Violon pizzicato. • 2 instruments synthétiques • SynthA • SynthB

20. Experiment I: 12 instruments (66 pairs) Fl1 Tr1 Vl1 Tr1 Vl1 => Fl1 Fl1Tr1Vl1 => 0.2 0.3 0.4 Fl2 Vl2 Tr3 Fl2 Tr2 Vl2 Tr2 Fl3 Tr3 Vl3 => => Fl3 Fl2Tr2Vl2 Vl3 Fl3Tr3Vl3 0.8 0.1 0.6 0.2 0.6 0.4 Bb3: 466 Hz => => 3 matrices de dissemblance 3 espaces de timbre 3 sessions B2: 247 Hz C#3: 277 Hz

21. Matrice de Dissemblance Exp. I - B2 GuitareHarpeViolon pizzViolonBassSynth ASynth BHauboisClarinetteFlutecorTrompette

22. Matrice de Dissemblance Exp I 0.88 0.89 0.80 Bb3 C#3 B2 Gu = guitare; Hr = harpe; Vp = violon pizz.; Vl = violon; Ba = bass; SA = synthA; SB = synthB; Ob = hautbois; Cl = clarinette; Fl = flute; Ho = cor; Tr = trompette.

23. Espace de timbre MDS Exp. I - B2

24. Espaces de timbre MDS Exp. I C#3 Bb3 B2

25. Experience II: 12*2 instruments (144 paires) Fl1 Tr1 Vl1 0.5 0.2 0.4 Fl2Tr2Vl2 => 0.6 0.2 0.1 0.7 0.3 0.4 Fl1 Tr1 Vl1 0.6 0.0 0.9 Fl3Tr3Vl3 => 0.3 0.5 0.1 0.4 0.3 0.1 2 matrices de dissemblance 2 sessions B2 : 247 Hz C#3: 277 Hz B2 : 247 Hz Bb3: 466 Hz

26. Matrice de Dissemblance Exp. II- B2/C#3 GuitarHarpViolin pizzViolinBassSynth ASynth BOboeClarinetFluteHornTrumpet B2 C#3

27. Matrice de Dissemblance ExpII Exp. II-B2/Bb3 Exp. II-B2/C#3 B2 B2 C#3 Bb3

28. Hypothèses: • II) changementisometrique

29. Conclusions • Le timbre est stable malgré de petites variations avec la F0. • Ces variations sont idiosyncratiques • La tâche est possible: les sujets peuvent ignorer une différence de F0.

30. Experiment III: 9*2 instruments (153 pairs) Fl1 Tr1 Vl1 Fl2 Tr2 Vl2 Fl1 Tr2 Fl1Tr1Vl1 Fl2Tr2Vl2 Vl1 Tr1 Fl2 0.5 => => Vl2 0.2 0.4 0.6 0.2 0.1 1 0.7 0.4 0.3 0.5 0.9 0.1 0.0 0.3 1 sessions 1 dissimilarity matrix 1 Timbre space B2 C#3

31. Dissimilarity Matrices = ExpI- B2 0.95 Exp. I & II = ExpII- B2/C#3 = ExpI- C#3 Exp. III - B2/C#3 B2 C#3 B2 C#3

32. Timbre Spaces MDS B2 - C#3

33. Timbre Spaces MDS B2 - Bb3

34. Physical Correlation • First dimension • Good correlation coefficient with the impulsiveness of the stimuli. • Exp.I-B2 = 0.97, Exp.I-C#3 = 0.96, Exp.I-Bb3 = 0.94 • Second dimension • Good correlation coefficient with the spectral centroid. • Exp.I-B2 = 0.99, Exp.I-C#3 = 0.89, Exp.I-Bb3 = 0.91

35. Physical Correlations B2 C#3 Bb3 the Exp I with CGS Absolu Correlation Coefficient = 0.87

36. Physical Correlations B2 C#3 Bb3 the Exp I with CGS Relatif Correlation Coefficient = 0.60

37. Physical Correlations (Proposition) B2 C#3 Bb3 the Exp I with CGS Absolu - F0 Correlation Coefficient = 0.91

38. Experiment I: Stimuli (2) • 2 synthetic instruments 2 3 3

39. Experiment II: SynthA versus SynthB

40. Fréquence Fondamentale: • Inverse de la période d’un son periodique. Bon prédicteur de la hauteur musicale perçue.