Hauteur et indexation (contribution digestive)

1. Hauteuretindexation(contribution digestive) Alain de Cheveigné CNRS - Ecole Normale Supérieure

2. Plan • Intro • Hauteur, hauteur multiples • Modèles de perception • Méthodes d'estimation • Indexation

3. Intro percepts son

4. Intro son espace des signaux: dimensionalité infinie

5. Intro percept son espace des signaux: dimensionalité infinie espace (?) des états mentaux: dimensionalité infinie

6. Fechner (1880): quantification des états mentaux durée perçue hauteur son sonie timbre "dimensions perceptives"

7. Fechner (1880): quantification des états mentaux durée perçue durée physique hauteur période sonie intensité timbre centroide spectral, temps d'attaque, etc. "dimensions physiques" "dimensions perceptives" --> psychophysique

8. vision réductrice: • "états mentaux" ≠ espace vectoriel • sonie, hauteur, etc.: description incomplète • produit de la méthodologie? (e.g. MDS) • néglige: contexte, dynamique, particularités individuelles, etc.

9. vision réductrice: • "états mentaux" ≠ espace vectoriel • sonie, hauteur, etc.: description incomplète • produit de la méthodologie? (e.g. MDS) • néglige: contexte, dynamique, particularités individuelles, etc. • néanmoins: • utile comme approximation du rapport entre son et percept • --> pouvoir prédictif • --> descripteurs psychoacoustiques utiles pour l'indexation

10. Intro durée perçue durée physique hauteur période sonie intensité timbre centroide spectral, temps d'attaque, etc. "dimensions physiques" "dimensions perceptives" psychophysique

11. Hauteur AFNOR (1977): "le caractère de la sensation auditive liéà la fréquence d'un son périodique, qui fait dire que le son est aigu ou grave selon que cette fréquence est plus ou moins élevée"

12. Hauteur AFNOR (1977): "le caractère de la sensation auditive liéà la fréquence d'un son périodique, qui fait dire que le son est aigu ou grave selon que cette fréquence est plus ou moins élevée" --> spécifique d'une classe particulière de signaux

13. hauteur = classe d'équivalence (abstraction) hauteur: unidimensionnel son: multidimensionnel

14. hauteur = classe d'équivalence (abstraction) ~= classe des sons de même période T période hauteur: unidimensionnel son: multidimensionnel

15. exceptions: • son périodique mais pas de hauteur musicale si: • F0 < ~30 Hz (Pressnitzer et al. 2001) • F0 > ~4000 Hz (Semal & Demany 1990) • partiels tous de rang > ~15 • partiels tous de fréquence > ~5000 Hz

16. exceptions: • son périodique mais pas de hauteur musicale si: • F0 < ~30 Hz (Pressnitzer et al. 2001) • F0 > ~4000 Hz (Semal & Demany 1990) • partiels tous de rang > ~15 • partiels tous de fréquence > ~5000 Hz • son non périodique mais évoque une hauteur: • certains sons inharmoniques • bruits modulés en amplitude • Huggins pitch (binaural)

17. high thresholds low thresholds Bernstein & Oxenham (2003)

18. autres complications: • dépend du mode d'écoute: • analytique (Helmholtz): hauteurs de partiels • synthétique: • hauteur liée à la période • hauteur liée au centre de gravité spectrale • différences inter-individuelles! • aspects complexes: • dynamique (--> mélodie) • harmonie, tonalité, etc. • relative vs absolue

19. Hauteur fondamentale vs spectrale periodiciy pitch F0 Flocus spectral locus pitch --> fortes différences interindividuelles

20. tone height periodiciy pitch F0 Flocus chroma spectral locus pitch --> nature pluridimensionnelle

21. Modèles de perception de hauteur • controverse depuis Hemholtz... • version classique: • spectral vs • temporel • version moderne: • pattern-matching vs • autocorrélation • version post moderne: • unitaire vs 2 mécanismes... http://cognition.ens.fr/Audition/ps/2005_pitch_SHAR.pdf

22. Licklider (˜1951)

23. Licklider from cochlea

24. Licklider

26. période --> hauteur

27. Licklider: interaction excitatrice E soma: integration E Annulation harmonique: interaction inhibitrice soma: integration

28. modèle "annulation" de perception de hauteur (de Cheveigné 1998) période --> hauteur

29. Hauteurs multiples

30. Hauteurs multiples hauteur 1 hauteur 2 hauteur 3

31. 2 modes de perception: • holistique: • timbre de l'accord • analytique: • perception des hauteurs élémentaires ...difficiles à départager

32. facteurs de l'écoute analytique: • nombre de notes: • plus facile si peu de notes • enveloppes spectrales: • plus facile si différentes • enveloppes temporelles: • plus facile si différentes • familiarité avec l'instrument • différences interindividuelles! peu d'études contrôlées...

33. Modèles de hauteurs multiples • domaine fréquence: • calcul d'un spectre d'excitation cochléaire, peigne harmonique • résolution souvent insuffisante... • domaine spectrotemporel: • sélection de canaux, autocorrélation • fonctionne si enveloppes spectrales ≠ • domaine temporel: • annulation harmonique par filtre neuronal • fonctionne dans tous les cas, mais... • ...prédit performance supérieure à celle observée

34. channel selection: autocorrelation array

35. multiple pitch perception stochastic spike train

36. Estimation de F0 • --> voir exposé de Klapuri • plusieurs méthodes issues de modèles perceptifs • exemple: algorithmes YIN et MMM

37. YIN signal model: T=period

38. property: true if T=period

39. to find T... ...search for minimum of d(t) t

40. t

41. MMM: signal model: sum of two periodic signals

42. MMM: property: true if s is sum of two periodic signals with periods T, U

43. MMM: if T,U unknown, form: search for minimum of d(t,u)

44. MMM: u t

45. MMM: u T t U

46. MMM:

47. Indexation de la hauteur • objectif: • description de documents sonores • applications: recherche documents, navigation • pertinence perceptive • tout son peut avoir une hauteur • pertinence musicale • liens avec indexation symbolique (partition)

48. Indexation de la hauteur • problèmes spécifiques: • gestion du temps • quantification, structure chroma / hauteur • polyphonie • scalabilité des descripteurs • traduction représentations symboliques

49. gestion du temps: • hauteur (F0) varie en fonction du temps • quantification (notes) • intervalles sans hauteur (mesure de confiance)

50. reliability t