High order ambisonics hoa une approche compl te de la spatialisation sonore
Sponsored Links
This presentation is the property of its rightful owner.
1 / 37

High Order Ambisonics (HOA), une approche complète de la spatialisation sonore PowerPoint PPT Presentation


  • 74 Views
  • Uploaded on
  • Presentation posted in: General

High Order Ambisonics (HOA), une approche complète de la spatialisation sonore. Jérôme Daniel Workshop Ear Wide Open Rennes, 2008/03/12. High Order Ambisonix, tous les bons côtés d'Ambisonix et les pouvoirs d'un super-Panoramix (sonore). Jérôme Daniel Workshop Ear Wide Open

Download Presentation

High Order Ambisonics (HOA), une approche complète de la spatialisation sonore

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


High Order Ambisonics (HOA),une approche complète de la spatialisation sonore

Jérôme Daniel

Workshop Ear Wide Open

Rennes, 2008/03/12


High Order Ambisonix,tous les bons côtés d'Ambisonix et les pouvoirs d'un super-Panoramix (sonore)

Jérôme Daniel

Workshop Ear Wide Open

Rennes, 2008/03/12


sommaire

1

  • quelques généralités

  • concepts généraux (higher order ambisonics)

    • encodage spatial et décodage spatial, format HOA

  • bénéfices en termes de restitution

    • restitution: holophonique, binaurale, de groupe, dispositifs surround

  • principe des microphones 3D HOA

    • approche progressive et rationalisation

  • récapitulatif et discussion

2

3

4

5


1

introduction / généralités


High Order Ambisonics (HOA): un système en 3 points clés

  • un formataudio 3D générique and flexible basé sur un modèle pertinent de représentation du champ acoustique

  • une technologie rationnelle et efficace pour une "vraie" captation audio 3D

  • une technologie de reproduction sonore 3D adaptable à une large variété de dispositifs de haut-parleurs (et au casque)


Ambisonics et HOA:quelques jalons

  • naissance en Angleterre dans les années 70 [M.Gerzon]

    • ambisonics: captation et reproduction 3D (résolution spatiale minimale)

  • extension à des résolutions spatiales élevées

    ("higher order")

    • 1996-2000: développement des bases théoriques

      [Bamford, Poletti] [PhD Daniel] HOA, [PhD Nicol] liens avec WFS

    • 2003: améliorations… vers l'holophonie / Wave Field Synthesis

      [Daniel, Nicol, PhD Moreau]

    • depuis 2004-2005: développement, validation et démonstration du premier microphone HOA

      [PhD Moreau, Daniel, PhD Bertet]

    • reproduction binaurale dynamique (avec head-tracker)

    • développement et utilisation d'une suite de plugins VST


une approche aux points d'entrée multiples

[angles d'éclairage utilisés dans cette présentation]

  • ingénieur du son / outils d'enregistrement, microphones, panning

  • mathématicien / concepts communs avec le traitement du signal

  • [trait. signal + acousticien / antennes, beamforming]

  • acousticien / propriétés du champ acoustique

  • psycho-acousticien / sensations spatiales auditives & localisation


2

principaux concepts liés à higher order ambisonics

(d'abord illustrés en 2D)


Front (X)

Left

(Y)

Right

+

Back

+

-

+

-

ambisonics (ordre 1): encodage spatial

  • enregistrement sonore panoramique

    • microphones coïncidents omni (W) et bidirectifs (X,Y)

       séparationAV-AR, G-D

    • informations sur la propagation des ondes

    • format d'encodage = B-Format [Gerzon]

       indépendant de tout dispositif de HP

W

X

Y

B-Format


Front (X)

Left

(Y)

Right

+

+

Back

=

+

-

+

+

=

-

-

décodage spatial pour la reproduction

  • reproduction sur haut-parleurs

    • "reconstituer" un microphone par HP

    • recombiner les directivités du B-Format

    • opération de décodage: matricer W,X,Y

    • ... autant de HP qu'on veut, mais...

    • … le flou d'image sonore ne diminue pas

W

X

Y

+

+

B-Format


ambisonics d'ordre 1: avantages et limites

  • avantages

    • formatmulticanal compact

    • homogénéité spatiale

    • fidélité acoustique (pour les propriétés de propagation)

    • facilement extensible à la 3D (composante additionnelle Z)

    • flexibilité: transformation de champ acoustique; dispositifs de reproduction

    • microphones B-Format commercialisés (eg SoundField™)

  • limites

    • images sonores floues et instables (sweet spot très réduit)

    • mal adapté aux arrangements de HP irréguliers/déséquilibrés (notamment config ITU 5.1)

    • séparation spatiale limitée car faible directivité des micros (surtout en BF)

    • ... voilà peut-être pourquoi une partie des ingés son préfèrent les approches non-coïncidentes (compte-tenu des technos traditionnelles de microphone)


Front (X)

Left

(Y)

Right

Back

Higher Order Ambisonics (HOA)

  • augmenter la discrimination angulaire grâce à des directivités supplémentaires

    • encodage spatial Transf. de Fourier circulaire

    • spectre spatial = {composantes ambisoniques}

    • largeur de bande = fréquence angulaire max

spectre

spatial

enrichi

2nd order

3rd order

4th order

0th order

1st order


Front (X)

Left

(Y)

Right

Back

Higher Order Ambisonics (HOA)

  • augmenter la discrimination angulaire grâce à des directivités supplémentaires

    • encodage spatial  Transf. de Fourier circulaire

    • spectre spatial = {composantes ambisoniques}

    • largeur de bande = fréquence angulaire max

  • améliorer la séparation spatiale pour un usage plus sélectif des haut-parleurs

    • synthétiser des directivités plus fines

    • décodage spatial  beamforming multidirectionnel

+

+

+

+

=

=

=

=

directivité

accrue


Front (X)

Left

(Y)

Right

Back

Higher Order Ambisonics (HOA)

  • augmenter la discrimination angulaire grâce à des directivités supplémentaires

    • encodage spatial  Transf. de Fourier circulaire

    • spectre spatial = {composantes ambisoniques}

    • largeur de bande = fréquence angulaire max

  • améliorer la séparation spatiale pour un usage plus sélectif des haut-parleurs

    • synthétiser des directivités plus fines

    • décodage spatial  beamforming multidirectionnel

       Transf. Fourier inverse à support discret

    • images sonores plus précises (étalement angulaire réduit)

3rd order

4th order

1st order

2nd order


W

X

Front (X)

Y

Decodage :

matrice

(+ filtres)

Left

(Y)

Right

Back

scalabilité spatiale du format HOA

1st order

2nd order

3rd order

4th order

plus ou moins de composantes utilisées

selon les contraintes de transmission et/ou reproduction


3

bénéfices de HOA sur le plan de la restitution


ordre 3

ordre 4

ordre 2

ordre1

1st order

2nd order

5th order

10th order

reconstruction acoustique élargie

fréquence angulaire croissante (spectre spatial + riche)

expansionradiale de la reconstruction acoustique (prop. longueur d'onde)


reconstruction "holophonique"

  • reconstruction en fonction de la fréquence (zone cible donnée)

f=125Hz, 2nd order

f=300Hz, 5th order

f=450Hz, 8th order

f=600Hz, 10th order

  • là où la reconstruction est correcte  ITD et ILD corrects

     bonne localisation, stable avec le déplacement

ici: hypothèse d'ondes planes (HPs "à l'infini")!

or, HPs à distance finie  front d'onde "infléchi"


synthèse de front d'onde avec NFC-HOA

  • compenser le champ proche des HPs

    (bass-boost et déphasage)

  • et modéliser celui de la source virtuelle

    contrôle de la courbure du front d'onde

    (Near Field Compensated HOA)

    [Daniel, 2003]

  • sources "extérieures" et "intérieures"


et en dehors des conditions de reconstruction "exacte"?

  • ordre modérément élevé ; gamme MF/HF ; écoute excentrée

    • étalement/ponctualité des contributions de HP

      • dégradation/préservation des indices de localisation (ITD, ILD, IS)

    • qualité décrite par le vecteur énergie

    • décodage optimisable

  • impact sur la robustesse en écoute de groupe

étalement

ponctualité


de la reconstruction holophonique à la reconstruction binaurale

  • reconstruction ciblée sur une zone englobant un auditeur centré

     meilleure préservation des indices de localisation

bonne reconstruction jusqu'à flim

(bon ITD voire ILD selon fq)

"angle de flou",

compte-tenu seulement

des indices de loc. HF

(ILD&ITD), altérés au-delà de flim

  • évaluation subjective pour un auditeur centré [Bertet]

    • précise le gain en "qualité" en fonction des ordres croissants


K signauxHOA

K

N signaux HP

“virtualisation”:

filtrage HRTF

head-tracker

reproduction sur casque

extension à l'encodage et la reproduction 3D

reproduction sur config 3D

encodage vers Format HOA 3D

  • encodage et décodage 3D

  • reproduction binaural dynamique

    • approche de base: "virtualisation" binaurale des HPs

    • décodage optimisé: [Faure, Daniel, Emerit]

    • rotations de champ sonore piloté par head-tracker

rotation

du champ

sonore

décodage

spatial

(idem 2D)


= limite physique (cas extrême=pan-pot par paire de HP)

compatibilité avec des dispositifs non-réguliers

  • configurations ITU standard and enrichies (5.0, 7.0, 8.0, etc.)

  • synthétiser des directivités adaptées aux angles inter-HP (couverture optimale)

(exemple: décodage d'ordre 4)

◊=" vecteur énergie" (* = cible, i.e. image sonore idéale)


4

principe des microphones 3D HOA


captation directive: approche progressive

  • approximation du gradient (cas "unidimensionnel")

    • [ex. fonction sinusoïdale: "onde pour une fréquence donnée"]

    • dérivée = pente, estimée entre deux points "proches"

      • assez rapprochés // longueur d'onde

      • pas trop proches non plus, car…

      • la différence doit se détacher du bruit de mesure! (dans la "vraie vie")

  • cas de la prise de son par omnis [hors capteurs de vélocité]

    • fonction = champ de pression

    • points de mesure = lieux des capteurs omni…

       mêmes positions quelle que soit la longueur d'onde!!

e trop petit

Bruit de mesure

e OK

e trop grand


capteur de pression

gain positif

gain négatif

+

+

-

+

-

+

+

-

-

-

-

+

+

-

+

captation HOA: approche progressive

  • compromis sur l'espacement d des capteurs

    • BF (différences noyées dans bruit)

    • HF (aliasing spatial)

    • théoriquement, EQ BF de –m x 6dB/oct !!!

    • en pratique, effort relâché en BF  baisse de directivité et/ou de réponse [id pour cardio et bi]

  • réseau microphonique global

    • ici, 9 capteurs rassemblés pour 5 composantes

    • 5 capteurs devraient suffire pour 5 composantes!?

p0

p1

p5

p8

p3

p4

p1

p4

p3

p2

p6

p7

p2

bass-boost=6dB/oct

bass-boost=12dB/oct


N signaux captés

Q signaux

ambisoniques

Matrice

N x K

rationalisation: sphère microphonique HOA

  • Q capsules réparties sur une sphère

    •  échantillonnage du champ sonore

    • Q=32  ordre 4, K=25 composantes HOA

  • traitement = matrice + égalisation

    • égalisation:

      • théoriquement -mx6dB / oct !

      • on relâche l’effort en BF


(dB)

microphone HOA: limites et compromis

estimation

correcte

aliasing spatial

7cm,

32 capteurs

  • 25 comp.

    (ordre 4)

estimation error

bande spatiale

réduite

décalé vers BF quand diamètre

décalé vers HF quand diamètre ↓


sphères microphoniques HOA ou assimilables

prototypes de laboratoire [Moreau, Daniel, Bertet], [Meyer, Elko] [Rafaely][Farina]

Univ. Maryland

[Lee, Duraiswami]

64 caps ordre 6

FTR&D

32 caps  ordre 4

12 caps  ordre 2

20 caps  ordre 3

produits commercialisés (sans label "HOA")

B&K

(orientée mesure et imagerie acoustique)

36/50 caps.

 ordre 5-6

EigenMike™

(mh-acoustics)

32 caps  ordre 4

perspectives d'amélioration [Epain 2008]

  • "multi-sphère" [Parthy et al]

  • structures particulièrement diffractantes

     résoudre le compromis LF/HF


5

récapitulatif et discussion


récapitulatif

  • points forts (au moins les mêmes qu'à l'ordre 1, plus…)

    • formatmulticanal scalable (hiérarchique)

    • homogénéité spatiale

    • fidélité acoustique+ "haute définition spatiale"  reconstruction "holophonique"

    • extension à la 3D - spatialisation binaurale efficace

    • encore plus de flexibilité: transformations spatiales;

      config de reproduction, y compris irrégulières (surround ITU)

    • microphones HOA (à « haute résolution spatiale  »)

  • points faibles

    • aucun?  ... vraiment? peut-être les "défauts de ses qualités" !?

    • marge d'amélioration sur les outils (microphones, etc.)


contextes d'usage

  • contextes d'utilisation potentiels

    • prise de son artistique (musicale, théâtrale…), documentaire…

    • partage d'ambiances sonores 3D

      • captation / reproduction sonore immersive pour des "proches à distance"

    • amélioration de l'audioconférence

      • gain en intelligibilité et confort

    • nouvelles perspectives de création et de "consommation" de contenu audio 3D

      • … un contenu pour une reproduction 2D ou 3D, statique ou interactive,de haute ou basse résolution, selon les contraintes


pour discussion…

  • HOA par rapport à des approches plus traditionnelles

    • famille "coïncidente" / panning d'amplitude (car DT=0)

      • … mais captation par micros non-coïncidents  séparation spatiale

    • approche rationnelle qui tente d'exploiter au mieux les informations spatiales captées

      • mais comme pour toutes les techniques, pas exempte d'artefact !

      • … certains artefacts sont-ils préférables à d'autres ?

    • un parti-pris: une certaine "fidélité" acoustique (effets de propagation / localisation) ≠ approche purement artistique

      • privilégie l'immersion, homogénéité

      • outils à mettre aux mains des ingés sons

      • approche artistique: "trahir" éventuellement la réalité acoustique (pour l'embellir ou la corriger) mais bénéficier de la solidité des infos spatiales

    • marges d'amélioration

      • éléments technologiques perfectibles (microphones, etc.)

      • outils de post-prod, mixage 3D, retouches spatiales


6

système mis en œuvre pour "ears wide open"


le microphone HOA

  • 20 DPA4060 arrangés suivant les sommets d'un dodécaèdre

  • sur une boule de 7,5cm de diamètre

  • ordre 3 (16 composantes 3D)

  • effort modéré en BF (+6dB de bruit)

  • (éléments défectueux dans la chaîne d'acquisition)


la restitution HOA (2D)

  • configurations ITU 5.0 et "enrichie" 8.0

  • suite de plugins VST HOA de FTR&D

  • démonstration de "recadrage" par rotations, etc.

  • appoints non exploités


merci pour votre attention


  • Login