high order ambisonics hoa une approche compl te de la spatialisation sonore
Download
Skip this Video
Download Presentation
High Order Ambisonics (HOA), une approche complète de la spatialisation sonore

Loading in 2 Seconds...

play fullscreen
1 / 37

High Order Ambisonics (HOA), une approche complète de la spatialisation sonore - PowerPoint PPT Presentation


  • 102 Views
  • Uploaded on

High Order Ambisonics (HOA), une approche complète de la spatialisation sonore. Jérôme Daniel Workshop Ear Wide Open Rennes, 2008/03/12. High Order Ambisonix, tous les bons côtés d\'Ambisonix et les pouvoirs d\'un super-Panoramix (sonore). Jérôme Daniel Workshop Ear Wide Open

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' High Order Ambisonics (HOA), une approche complète de la spatialisation sonore' - tory


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
high order ambisonics hoa une approche compl te de la spatialisation sonore

High Order Ambisonics (HOA),une approche complète de la spatialisation sonore

Jérôme Daniel

Workshop Ear Wide Open

Rennes, 2008/03/12

high order ambisonix tous les bons c t s d ambisonix et les pouvoirs d un super panoramix sonore

High Order Ambisonix,tous les bons côtés d\'Ambisonix et les pouvoirs d\'un super-Panoramix (sonore)

Jérôme Daniel

Workshop Ear Wide Open

Rennes, 2008/03/12

sommaire
sommaire

1

  • quelques généralités
  • concepts généraux (higher order ambisonics)
    • encodage spatial et décodage spatial, format HOA
  • bénéfices en termes de restitution
    • restitution: holophonique, binaurale, de groupe, dispositifs surround
  • principe des microphones 3D HOA
    • approche progressive et rationalisation
  • récapitulatif et discussion

2

3

4

5

slide4
1

introduction / généralités

high order ambisonics hoa un syst me en 3 points cl s
High Order Ambisonics (HOA): un système en 3 points clés
  • un formataudio 3D générique and flexible basé sur un modèle pertinent de représentation du champ acoustique
  • une technologie rationnelle et efficace pour une "vraie" captation audio 3D
  • une technologie de reproduction sonore 3D adaptable à une large variété de dispositifs de haut-parleurs (et au casque)
ambisonics et hoa quelques jalons
Ambisonics et HOA:quelques jalons
  • naissance en Angleterre dans les années 70 [M.Gerzon]
    • ambisonics: captation et reproduction 3D (résolution spatiale minimale)
  • extension à des résolutions spatiales élevées

("higher order")

    • 1996-2000: développement des bases théoriques

[Bamford, Poletti] [PhD Daniel] HOA, [PhD Nicol] liens avec WFS

    • 2003: améliorations… vers l\'holophonie / Wave Field Synthesis

[Daniel, Nicol, PhD Moreau]

    • depuis 2004-2005: développement, validation et démonstration du premier microphone HOA

[PhD Moreau, Daniel, PhD Bertet]

    • reproduction binaurale dynamique (avec head-tracker)
    • développement et utilisation d\'une suite de plugins VST
une approche aux points d entr e multiples
une approche aux points d\'entrée multiples

[angles d\'éclairage utilisés dans cette présentation]

  • ingénieur du son / outils d\'enregistrement, microphones, panning
  • mathématicien / concepts communs avec le traitement du signal
  • [trait. signal + acousticien / antennes, beamforming]
  • acousticien / propriétés du champ acoustique
  • psycho-acousticien / sensations spatiales auditives & localisation
slide8
2

principaux concepts liés à higher order ambisonics

(d\'abord illustrés en 2D)

ambisonics ordre 1 encodage spatial

Front (X)

Left

(Y)

Right

+

Back

+

-

+

-

ambisonics (ordre 1): encodage spatial
  • enregistrement sonore panoramique
    • microphones coïncidents omni (W) et bidirectifs (X,Y)

 séparationAV-AR, G-D

    • informations sur la propagation des ondes
    • format d\'encodage = B-Format [Gerzon]

 indépendant de tout dispositif de HP

W

X

Y

B-Format

d codage spatial pour la reproduction

Front (X)

Left

(Y)

Right

+

+

Back

=

+

-

+

+

=

-

-

décodage spatial pour la reproduction
  • reproduction sur haut-parleurs
    • "reconstituer" un microphone par HP
    • recombiner les directivités du B-Format
    • opération de décodage: matricer W,X,Y
    • ... autant de HP qu\'on veut, mais...
    • … le flou d\'image sonore ne diminue pas

W

X

Y

+

+

B-Format

ambisonics d ordre 1 avantages et limites
ambisonics d\'ordre 1: avantages et limites
  • avantages
    • formatmulticanal compact
    • homogénéité spatiale
    • fidélité acoustique (pour les propriétés de propagation)
    • facilement extensible à la 3D (composante additionnelle Z)
    • flexibilité: transformation de champ acoustique; dispositifs de reproduction
    • microphones B-Format commercialisés (eg SoundField™)
  • limites
    • images sonores floues et instables (sweet spot très réduit)
    • mal adapté aux arrangements de HP irréguliers/déséquilibrés (notamment config ITU 5.1)
    • séparation spatiale limitée car faible directivité des micros (surtout en BF)
    • ... voilà peut-être pourquoi une partie des ingés son préfèrent les approches non-coïncidentes (compte-tenu des technos traditionnelles de microphone)
higher order ambisonics hoa

Front (X)

Left

(Y)

Right

Back

Higher Order Ambisonics (HOA)
  • augmenter la discrimination angulaire grâce à des directivités supplémentaires
    • encodage spatial Transf. de Fourier circulaire
    • spectre spatial = {composantes ambisoniques}
    • largeur de bande = fréquence angulaire max

spectre

spatial

enrichi

2nd order

3rd order

4th order

0th order

1st order

higher order ambisonics hoa1

Front (X)

Left

(Y)

Right

Back

Higher Order Ambisonics (HOA)
  • augmenter la discrimination angulaire grâce à des directivités supplémentaires
    • encodage spatial  Transf. de Fourier circulaire
    • spectre spatial = {composantes ambisoniques}
    • largeur de bande = fréquence angulaire max
  • améliorer la séparation spatiale pour un usage plus sélectif des haut-parleurs
    • synthétiser des directivités plus fines
    • décodage spatial  beamforming multidirectionnel

+

+

+

+

=

=

=

=

directivité

accrue

higher order ambisonics hoa2

Front (X)

Left

(Y)

Right

Back

Higher Order Ambisonics (HOA)
  • augmenter la discrimination angulaire grâce à des directivités supplémentaires
    • encodage spatial  Transf. de Fourier circulaire
    • spectre spatial = {composantes ambisoniques}
    • largeur de bande = fréquence angulaire max
  • améliorer la séparation spatiale pour un usage plus sélectif des haut-parleurs
    • synthétiser des directivités plus fines
    • décodage spatial  beamforming multidirectionnel

 Transf. Fourier inverse à support discret

    • images sonores plus précises (étalement angulaire réduit)

3rd order

4th order

1st order

2nd order

scalabilit spatiale du format hoa

W

X

Front (X)

Y

Decodage :

matrice

(+ filtres)

Left

(Y)

Right

Back

scalabilité spatiale du format HOA

1st order

2nd order

3rd order

4th order

plus ou moins de composantes utilisées

selon les contraintes de transmission et/ou reproduction

slide16
3

bénéfices de HOA sur le plan de la restitution

reconstruction acoustique largie

ordre 3

ordre 4

ordre 2

ordre1

1st order

2nd order

5th order

10th order

reconstruction acoustique élargie

fréquence angulaire croissante (spectre spatial + riche)

expansionradiale de la reconstruction acoustique (prop. longueur d\'onde)

reconstruction holophonique
reconstruction "holophonique"
  • reconstruction en fonction de la fréquence (zone cible donnée)

f=125Hz, 2nd order

f=300Hz, 5th order

f=450Hz, 8th order

f=600Hz, 10th order

  • là où la reconstruction est correcte  ITD et ILD corrects

 bonne localisation, stable avec le déplacement

ici: hypothèse d\'ondes planes (HPs "à l\'infini")!

or, HPs à distance finie  front d\'onde "infléchi"

synth se de front d onde avec nfc hoa
synthèse de front d\'onde avec NFC-HOA
  • compenser le champ proche des HPs

(bass-boost et déphasage)

  • et modéliser celui de la source virtuelle

contrôle de la courbure du front d\'onde

(Near Field Compensated HOA)

[Daniel, 2003]

  • sources "extérieures" et "intérieures"
et en dehors des conditions de reconstruction exacte
et en dehors des conditions de reconstruction "exacte"?
  • ordre modérément élevé ; gamme MF/HF ; écoute excentrée
    • étalement/ponctualité des contributions de HP
      • dégradation/préservation des indices de localisation (ITD, ILD, IS)
    • qualité décrite par le vecteur énergie
    • décodage optimisable
  • impact sur la robustesse en écoute de groupe

étalement

ponctualité

de la reconstruction holophonique la reconstruction binaurale
de la reconstruction holophonique à la reconstruction binaurale
  • reconstruction ciblée sur une zone englobant un auditeur centré

 meilleure préservation des indices de localisation

bonne reconstruction jusqu\'à flim

(bon ITD voire ILD selon fq)

"angle de flou",

compte-tenu seulement

des indices de loc. HF

(ILD&ITD), altérés au-delà de flim

  • évaluation subjective pour un auditeur centré [Bertet]
    • précise le gain en "qualité" en fonction des ordres croissants
extension l encodage et la reproduction 3d

K signauxHOA

K

N signaux HP

“virtualisation”:

filtrage HRTF

head-tracker

reproduction sur casque

extension à l\'encodage et la reproduction 3D

reproduction sur config 3D

encodage vers Format HOA 3D

  • encodage et décodage 3D
  • reproduction binaural dynamique
    • approche de base: "virtualisation" binaurale des HPs
    • décodage optimisé: [Faure, Daniel, Emerit]
    • rotations de champ sonore piloté par head-tracker

rotation

du champ

sonore

décodage

spatial

(idem 2D)

compatibilit avec des dispositifs non r guliers

= limite physique (cas extrême=pan-pot par paire de HP)

compatibilité avec des dispositifs non-réguliers
  • configurations ITU standard and enrichies (5.0, 7.0, 8.0, etc.)
  • synthétiser des directivités adaptées aux angles inter-HP (couverture optimale)

(exemple: décodage d\'ordre 4)

◊=" vecteur énergie" (* = cible, i.e. image sonore idéale)

slide24
4

principe des microphones 3D HOA

captation directive approche progressive
captation directive: approche progressive
  • approximation du gradient (cas "unidimensionnel")
    • [ex. fonction sinusoïdale: "onde pour une fréquence donnée"]
    • dérivée = pente, estimée entre deux points "proches"
      • assez rapprochés // longueur d\'onde
      • pas trop proches non plus, car…
      • la différence doit se détacher du bruit de mesure! (dans la "vraie vie")
  • cas de la prise de son par omnis [hors capteurs de vélocité]
    • fonction = champ de pression
    • points de mesure = lieux des capteurs omni…

 mêmes positions quelle que soit la longueur d\'onde!!

e trop petit

Bruit de mesure

e OK

e trop grand

captation hoa approche progressive

capteur de pression

gain positif

gain négatif

+

+

-

+

-

+

+

-

-

-

-

+

+

-

+

captation HOA: approche progressive
  • compromis sur l\'espacement d des capteurs
    • BF (différences noyées dans bruit)
    • HF (aliasing spatial)
    • théoriquement, EQ BF de –m x 6dB/oct !!!
    • en pratique, effort relâché en BF  baisse de directivité et/ou de réponse [id pour cardio et bi]
  • réseau microphonique global
    • ici, 9 capteurs rassemblés pour 5 composantes
    • 5 capteurs devraient suffire pour 5 composantes!?

p0

p1

p5

p8

p3

p4

p1

p4

p3

p2

p6

p7

p2

bass-boost=6dB/oct

bass-boost=12dB/oct

rationalisation sph re microphonique hoa

N signaux captés

Q signaux

ambisoniques

Matrice

N x K

rationalisation: sphère microphonique HOA
  • Q capsules réparties sur une sphère
    •  échantillonnage du champ sonore
    • Q=32  ordre 4, K=25 composantes HOA
  • traitement = matrice + égalisation
    • égalisation:
      • théoriquement -mx6dB / oct !
      • on relâche l’effort en BF
microphone hoa limites et compromis

(dB)

microphone HOA: limites et compromis

estimation

correcte

aliasing spatial

7cm,

32 capteurs

  • 25 comp.

(ordre 4)

estimation error

bande spatiale

réduite

décalé vers BF quand diamètre

décalé vers HF quand diamètre ↓

sph res microphoniques hoa ou assimilables
sphères microphoniques HOA ou assimilables

prototypes de laboratoire [Moreau, Daniel, Bertet], [Meyer, Elko] [Rafaely][Farina]

Univ. Maryland

[Lee, Duraiswami]

64 caps ordre 6

FTR&D

32 caps  ordre 4

12 caps  ordre 2

20 caps  ordre 3

produits commercialisés (sans label "HOA")

B&K

(orientée mesure et imagerie acoustique)

36/50 caps.

 ordre 5-6

EigenMike™

(mh-acoustics)

32 caps  ordre 4

perspectives d\'amélioration [Epain 2008]

  • "multi-sphère" [Parthy et al]
  • structures particulièrement diffractantes

 résoudre le compromis LF/HF

slide30
5

récapitulatif et discussion

r capitulatif
récapitulatif
  • points forts (au moins les mêmes qu\'à l\'ordre 1, plus…)
    • formatmulticanal scalable (hiérarchique)
    • homogénéité spatiale
    • fidélité acoustique+ "haute définition spatiale"  reconstruction "holophonique"
    • extension à la 3D - spatialisation binaurale efficace
    • encore plus de flexibilité: transformations spatiales;

config de reproduction, y compris irrégulières (surround ITU)

    • microphones HOA (à « haute résolution spatiale  »)
  • points faibles
    • aucun?  ... vraiment? peut-être les "défauts de ses qualités" !?
    • marge d\'amélioration sur les outils (microphones, etc.)
contextes d usage
contextes d\'usage
  • contextes d\'utilisation potentiels
    • prise de son artistique (musicale, théâtrale…), documentaire…
    • partage d\'ambiances sonores 3D
      • captation / reproduction sonore immersive pour des "proches à distance"
    • amélioration de l\'audioconférence
      • gain en intelligibilité et confort
    • nouvelles perspectives de création et de "consommation" de contenu audio 3D
      • … un contenu pour une reproduction 2D ou 3D, statique ou interactive,de haute ou basse résolution, selon les contraintes
pour discussion
pour discussion…
  • HOA par rapport à des approches plus traditionnelles
    • famille "coïncidente" / panning d\'amplitude (car DT=0)
      • … mais captation par micros non-coïncidents  séparation spatiale
    • approche rationnelle qui tente d\'exploiter au mieux les informations spatiales captées
      • mais comme pour toutes les techniques, pas exempte d\'artefact !
      • … certains artefacts sont-ils préférables à d\'autres ?
    • un parti-pris: une certaine "fidélité" acoustique (effets de propagation / localisation) ≠ approche purement artistique
      • privilégie l\'immersion, homogénéité
      • outils à mettre aux mains des ingés sons
      • approche artistique: "trahir" éventuellement la réalité acoustique (pour l\'embellir ou la corriger) mais bénéficier de la solidité des infos spatiales
    • marges d\'amélioration
      • éléments technologiques perfectibles (microphones, etc.)
      • outils de post-prod, mixage 3D, retouches spatiales
slide34
6

système mis en œuvre pour "ears wide open"

le microphone hoa
le microphone HOA
  • 20 DPA4060 arrangés suivant les sommets d\'un dodécaèdre
  • sur une boule de 7,5cm de diamètre
  • ordre 3 (16 composantes 3D)
  • effort modéré en BF (+6dB de bruit)
  • (éléments défectueux dans la chaîne d\'acquisition)
la restitution hoa 2d
la restitution HOA (2D)
  • configurations ITU 5.0 et "enrichie" 8.0
  • suite de plugins VST HOA de FTR&D
  • démonstration de "recadrage" par rotations, etc.
  • appoints non exploités
ad