High order ambisonics hoa une approche compl te de la spatialisation sonore
This presentation is the property of its rightful owner.
Sponsored Links
1 / 37

High Order Ambisonics (HOA), une approche complète de la spatialisation sonore PowerPoint PPT Presentation


  • 63 Views
  • Uploaded on
  • Presentation posted in: General

High Order Ambisonics (HOA), une approche complète de la spatialisation sonore. Jérôme Daniel Workshop Ear Wide Open Rennes, 2008/03/12. High Order Ambisonix, tous les bons côtés d'Ambisonix et les pouvoirs d'un super-Panoramix (sonore). Jérôme Daniel Workshop Ear Wide Open

Download Presentation

High Order Ambisonics (HOA), une approche complète de la spatialisation sonore

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


High order ambisonics hoa une approche compl te de la spatialisation sonore

High Order Ambisonics (HOA),une approche complète de la spatialisation sonore

Jérôme Daniel

Workshop Ear Wide Open

Rennes, 2008/03/12


High order ambisonix tous les bons c t s d ambisonix et les pouvoirs d un super panoramix sonore

High Order Ambisonix,tous les bons côtés d'Ambisonix et les pouvoirs d'un super-Panoramix (sonore)

Jérôme Daniel

Workshop Ear Wide Open

Rennes, 2008/03/12


Sommaire

sommaire

1

  • quelques généralités

  • concepts généraux (higher order ambisonics)

    • encodage spatial et décodage spatial, format HOA

  • bénéfices en termes de restitution

    • restitution: holophonique, binaurale, de groupe, dispositifs surround

  • principe des microphones 3D HOA

    • approche progressive et rationalisation

  • récapitulatif et discussion

2

3

4

5


High order ambisonics hoa une approche compl te de la spatialisation sonore

1

introduction / généralités


High order ambisonics hoa un syst me en 3 points cl s

High Order Ambisonics (HOA): un système en 3 points clés

  • un formataudio 3D générique and flexible basé sur un modèle pertinent de représentation du champ acoustique

  • une technologie rationnelle et efficace pour une "vraie" captation audio 3D

  • une technologie de reproduction sonore 3D adaptable à une large variété de dispositifs de haut-parleurs (et au casque)


Ambisonics et hoa quelques jalons

Ambisonics et HOA:quelques jalons

  • naissance en Angleterre dans les années 70 [M.Gerzon]

    • ambisonics: captation et reproduction 3D (résolution spatiale minimale)

  • extension à des résolutions spatiales élevées

    ("higher order")

    • 1996-2000: développement des bases théoriques

      [Bamford, Poletti] [PhD Daniel] HOA, [PhD Nicol] liens avec WFS

    • 2003: améliorations… vers l'holophonie / Wave Field Synthesis

      [Daniel, Nicol, PhD Moreau]

    • depuis 2004-2005: développement, validation et démonstration du premier microphone HOA

      [PhD Moreau, Daniel, PhD Bertet]

    • reproduction binaurale dynamique (avec head-tracker)

    • développement et utilisation d'une suite de plugins VST


Une approche aux points d entr e multiples

une approche aux points d'entrée multiples

[angles d'éclairage utilisés dans cette présentation]

  • ingénieur du son / outils d'enregistrement, microphones, panning

  • mathématicien / concepts communs avec le traitement du signal

  • [trait. signal + acousticien / antennes, beamforming]

  • acousticien / propriétés du champ acoustique

  • psycho-acousticien / sensations spatiales auditives & localisation


High order ambisonics hoa une approche compl te de la spatialisation sonore

2

principaux concepts liés à higher order ambisonics

(d'abord illustrés en 2D)


Ambisonics ordre 1 encodage spatial

Front (X)

Left

(Y)

Right

+

Back

+

-

+

-

ambisonics (ordre 1): encodage spatial

  • enregistrement sonore panoramique

    • microphones coïncidents omni (W) et bidirectifs (X,Y)

       séparationAV-AR, G-D

    • informations sur la propagation des ondes

    • format d'encodage = B-Format [Gerzon]

       indépendant de tout dispositif de HP

W

X

Y

B-Format


D codage spatial pour la reproduction

Front (X)

Left

(Y)

Right

+

+

Back

=

+

-

+

+

=

-

-

décodage spatial pour la reproduction

  • reproduction sur haut-parleurs

    • "reconstituer" un microphone par HP

    • recombiner les directivités du B-Format

    • opération de décodage: matricer W,X,Y

    • ... autant de HP qu'on veut, mais...

    • … le flou d'image sonore ne diminue pas

W

X

Y

+

+

B-Format


Ambisonics d ordre 1 avantages et limites

ambisonics d'ordre 1: avantages et limites

  • avantages

    • formatmulticanal compact

    • homogénéité spatiale

    • fidélité acoustique (pour les propriétés de propagation)

    • facilement extensible à la 3D (composante additionnelle Z)

    • flexibilité: transformation de champ acoustique; dispositifs de reproduction

    • microphones B-Format commercialisés (eg SoundField™)

  • limites

    • images sonores floues et instables (sweet spot très réduit)

    • mal adapté aux arrangements de HP irréguliers/déséquilibrés (notamment config ITU 5.1)

    • séparation spatiale limitée car faible directivité des micros (surtout en BF)

    • ... voilà peut-être pourquoi une partie des ingés son préfèrent les approches non-coïncidentes (compte-tenu des technos traditionnelles de microphone)


Higher order ambisonics hoa

Front (X)

Left

(Y)

Right

Back

Higher Order Ambisonics (HOA)

  • augmenter la discrimination angulaire grâce à des directivités supplémentaires

    • encodage spatial Transf. de Fourier circulaire

    • spectre spatial = {composantes ambisoniques}

    • largeur de bande = fréquence angulaire max

spectre

spatial

enrichi

2nd order

3rd order

4th order

0th order

1st order


Higher order ambisonics hoa1

Front (X)

Left

(Y)

Right

Back

Higher Order Ambisonics (HOA)

  • augmenter la discrimination angulaire grâce à des directivités supplémentaires

    • encodage spatial  Transf. de Fourier circulaire

    • spectre spatial = {composantes ambisoniques}

    • largeur de bande = fréquence angulaire max

  • améliorer la séparation spatiale pour un usage plus sélectif des haut-parleurs

    • synthétiser des directivités plus fines

    • décodage spatial  beamforming multidirectionnel

+

+

+

+

=

=

=

=

directivité

accrue


Higher order ambisonics hoa2

Front (X)

Left

(Y)

Right

Back

Higher Order Ambisonics (HOA)

  • augmenter la discrimination angulaire grâce à des directivités supplémentaires

    • encodage spatial  Transf. de Fourier circulaire

    • spectre spatial = {composantes ambisoniques}

    • largeur de bande = fréquence angulaire max

  • améliorer la séparation spatiale pour un usage plus sélectif des haut-parleurs

    • synthétiser des directivités plus fines

    • décodage spatial  beamforming multidirectionnel

       Transf. Fourier inverse à support discret

    • images sonores plus précises (étalement angulaire réduit)

3rd order

4th order

1st order

2nd order


Scalabilit spatiale du format hoa

W

X

Front (X)

Y

Decodage :

matrice

(+ filtres)

Left

(Y)

Right

Back

scalabilité spatiale du format HOA

1st order

2nd order

3rd order

4th order

plus ou moins de composantes utilisées

selon les contraintes de transmission et/ou reproduction


High order ambisonics hoa une approche compl te de la spatialisation sonore

3

bénéfices de HOA sur le plan de la restitution


Reconstruction acoustique largie

ordre 3

ordre 4

ordre 2

ordre1

1st order

2nd order

5th order

10th order

reconstruction acoustique élargie

fréquence angulaire croissante (spectre spatial + riche)

expansionradiale de la reconstruction acoustique (prop. longueur d'onde)


Reconstruction holophonique

reconstruction "holophonique"

  • reconstruction en fonction de la fréquence (zone cible donnée)

f=125Hz, 2nd order

f=300Hz, 5th order

f=450Hz, 8th order

f=600Hz, 10th order

  • là où la reconstruction est correcte  ITD et ILD corrects

     bonne localisation, stable avec le déplacement

ici: hypothèse d'ondes planes (HPs "à l'infini")!

or, HPs à distance finie  front d'onde "infléchi"


Synth se de front d onde avec nfc hoa

synthèse de front d'onde avec NFC-HOA

  • compenser le champ proche des HPs

    (bass-boost et déphasage)

  • et modéliser celui de la source virtuelle

    contrôle de la courbure du front d'onde

    (Near Field Compensated HOA)

    [Daniel, 2003]

  • sources "extérieures" et "intérieures"


Et en dehors des conditions de reconstruction exacte

et en dehors des conditions de reconstruction "exacte"?

  • ordre modérément élevé ; gamme MF/HF ; écoute excentrée

    • étalement/ponctualité des contributions de HP

      • dégradation/préservation des indices de localisation (ITD, ILD, IS)

    • qualité décrite par le vecteur énergie

    • décodage optimisable

  • impact sur la robustesse en écoute de groupe

étalement

ponctualité


De la reconstruction holophonique la reconstruction binaurale

de la reconstruction holophonique à la reconstruction binaurale

  • reconstruction ciblée sur une zone englobant un auditeur centré

     meilleure préservation des indices de localisation

bonne reconstruction jusqu'à flim

(bon ITD voire ILD selon fq)

"angle de flou",

compte-tenu seulement

des indices de loc. HF

(ILD&ITD), altérés au-delà de flim

  • évaluation subjective pour un auditeur centré [Bertet]

    • précise le gain en "qualité" en fonction des ordres croissants


Extension l encodage et la reproduction 3d

K signauxHOA

K

N signaux HP

“virtualisation”:

filtrage HRTF

head-tracker

reproduction sur casque

extension à l'encodage et la reproduction 3D

reproduction sur config 3D

encodage vers Format HOA 3D

  • encodage et décodage 3D

  • reproduction binaural dynamique

    • approche de base: "virtualisation" binaurale des HPs

    • décodage optimisé: [Faure, Daniel, Emerit]

    • rotations de champ sonore piloté par head-tracker

rotation

du champ

sonore

décodage

spatial

(idem 2D)


Compatibilit avec des dispositifs non r guliers

= limite physique (cas extrême=pan-pot par paire de HP)

compatibilité avec des dispositifs non-réguliers

  • configurations ITU standard and enrichies (5.0, 7.0, 8.0, etc.)

  • synthétiser des directivités adaptées aux angles inter-HP (couverture optimale)

(exemple: décodage d'ordre 4)

◊=" vecteur énergie" (* = cible, i.e. image sonore idéale)


High order ambisonics hoa une approche compl te de la spatialisation sonore

4

principe des microphones 3D HOA


Captation directive approche progressive

captation directive: approche progressive

  • approximation du gradient (cas "unidimensionnel")

    • [ex. fonction sinusoïdale: "onde pour une fréquence donnée"]

    • dérivée = pente, estimée entre deux points "proches"

      • assez rapprochés // longueur d'onde

      • pas trop proches non plus, car…

      • la différence doit se détacher du bruit de mesure! (dans la "vraie vie")

  • cas de la prise de son par omnis [hors capteurs de vélocité]

    • fonction = champ de pression

    • points de mesure = lieux des capteurs omni…

       mêmes positions quelle que soit la longueur d'onde!!

e trop petit

Bruit de mesure

e OK

e trop grand


Captation hoa approche progressive

capteur de pression

gain positif

gain négatif

+

+

-

+

-

+

+

-

-

-

-

+

+

-

+

captation HOA: approche progressive

  • compromis sur l'espacement d des capteurs

    • BF (différences noyées dans bruit)

    • HF (aliasing spatial)

    • théoriquement, EQ BF de –m x 6dB/oct !!!

    • en pratique, effort relâché en BF  baisse de directivité et/ou de réponse [id pour cardio et bi]

  • réseau microphonique global

    • ici, 9 capteurs rassemblés pour 5 composantes

    • 5 capteurs devraient suffire pour 5 composantes!?

p0

p1

p5

p8

p3

p4

p1

p4

p3

p2

p6

p7

p2

bass-boost=6dB/oct

bass-boost=12dB/oct


Rationalisation sph re microphonique hoa

N signaux captés

Q signaux

ambisoniques

Matrice

N x K

rationalisation: sphère microphonique HOA

  • Q capsules réparties sur une sphère

    •  échantillonnage du champ sonore

    • Q=32  ordre 4, K=25 composantes HOA

  • traitement = matrice + égalisation

    • égalisation:

      • théoriquement -mx6dB / oct !

      • on relâche l’effort en BF


Microphone hoa limites et compromis

(dB)

microphone HOA: limites et compromis

estimation

correcte

aliasing spatial

7cm,

32 capteurs

  • 25 comp.

    (ordre 4)

estimation error

bande spatiale

réduite

décalé vers BF quand diamètre

décalé vers HF quand diamètre ↓


Sph res microphoniques hoa ou assimilables

sphères microphoniques HOA ou assimilables

prototypes de laboratoire [Moreau, Daniel, Bertet], [Meyer, Elko] [Rafaely][Farina]

Univ. Maryland

[Lee, Duraiswami]

64 caps ordre 6

FTR&D

32 caps  ordre 4

12 caps  ordre 2

20 caps  ordre 3

produits commercialisés (sans label "HOA")

B&K

(orientée mesure et imagerie acoustique)

36/50 caps.

 ordre 5-6

EigenMike™

(mh-acoustics)

32 caps  ordre 4

perspectives d'amélioration [Epain 2008]

  • "multi-sphère" [Parthy et al]

  • structures particulièrement diffractantes

     résoudre le compromis LF/HF


High order ambisonics hoa une approche compl te de la spatialisation sonore

5

récapitulatif et discussion


R capitulatif

récapitulatif

  • points forts (au moins les mêmes qu'à l'ordre 1, plus…)

    • formatmulticanal scalable (hiérarchique)

    • homogénéité spatiale

    • fidélité acoustique+ "haute définition spatiale"  reconstruction "holophonique"

    • extension à la 3D - spatialisation binaurale efficace

    • encore plus de flexibilité: transformations spatiales;

      config de reproduction, y compris irrégulières (surround ITU)

    • microphones HOA (à « haute résolution spatiale  »)

  • points faibles

    • aucun?  ... vraiment? peut-être les "défauts de ses qualités" !?

    • marge d'amélioration sur les outils (microphones, etc.)


Contextes d usage

contextes d'usage

  • contextes d'utilisation potentiels

    • prise de son artistique (musicale, théâtrale…), documentaire…

    • partage d'ambiances sonores 3D

      • captation / reproduction sonore immersive pour des "proches à distance"

    • amélioration de l'audioconférence

      • gain en intelligibilité et confort

    • nouvelles perspectives de création et de "consommation" de contenu audio 3D

      • … un contenu pour une reproduction 2D ou 3D, statique ou interactive,de haute ou basse résolution, selon les contraintes


Pour discussion

pour discussion…

  • HOA par rapport à des approches plus traditionnelles

    • famille "coïncidente" / panning d'amplitude (car DT=0)

      • … mais captation par micros non-coïncidents  séparation spatiale

    • approche rationnelle qui tente d'exploiter au mieux les informations spatiales captées

      • mais comme pour toutes les techniques, pas exempte d'artefact !

      • … certains artefacts sont-ils préférables à d'autres ?

    • un parti-pris: une certaine "fidélité" acoustique (effets de propagation / localisation) ≠ approche purement artistique

      • privilégie l'immersion, homogénéité

      • outils à mettre aux mains des ingés sons

      • approche artistique: "trahir" éventuellement la réalité acoustique (pour l'embellir ou la corriger) mais bénéficier de la solidité des infos spatiales

    • marges d'amélioration

      • éléments technologiques perfectibles (microphones, etc.)

      • outils de post-prod, mixage 3D, retouches spatiales


High order ambisonics hoa une approche compl te de la spatialisation sonore

6

système mis en œuvre pour "ears wide open"


Le microphone hoa

le microphone HOA

  • 20 DPA4060 arrangés suivant les sommets d'un dodécaèdre

  • sur une boule de 7,5cm de diamètre

  • ordre 3 (16 composantes 3D)

  • effort modéré en BF (+6dB de bruit)

  • (éléments défectueux dans la chaîne d'acquisition)


La restitution hoa 2d

la restitution HOA (2D)

  • configurations ITU 5.0 et "enrichie" 8.0

  • suite de plugins VST HOA de FTR&D

  • démonstration de "recadrage" par rotations, etc.

  • appoints non exploités


Merci pour votre attention

merci pour votre attention


  • Login