C est quoi le br sil fran ois pachet sony csl
Download
1 / 30

- PowerPoint PPT Presentation


  • 120 Views
  • Uploaded on

C’est quoi, le Brésil ? François Pachet SONY CSL. Dialogue avec Laurière. - FP: Le plus gros pays d’Amérique Latine ? - JLL: … C’est quoi l’Amérique latine ? FP: Latitude x, longitude y ? JLL: … C’est quoi la longitude ? FP: La seule solution du problème: Langage (X, Portugais)

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about '' - deanna-mcbride


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
C est quoi le br sil fran ois pachet sony csl
C’est quoi, le Brésil ?François Pachet SONY CSL


Dialogue avec lauri re
Dialogue avec Laurière

  • - FP: Le plus gros pays d’Amérique Latine ?

  • - JLL: … C’est quoi l’Amérique latine ?

  • FP: Latitude x, longitude y ?

  • JLL: … C’est quoi la longitude ?

  • FP: La seule solution du problème:

    • Langage (X, Portugais)

    • not (equal (X, Portugal))

    • PartOf (X, LatinAmerica)

  • JLL: Bof

  • FP: Je vois pas



Ancrage
Ancrage

  • Une des limites de la manipulation de symboles: le manque d’ancrage

  • Seules des interactions sensori-motrices permettent de donner un sens aux symboles, et donc d’y attacher (solidement) des connaissances

  • Alice: pas d’ancrage dans le « réel »Mais les prémisses d’un système ancré, via la double représentation des contraintes en extension et en intention, et le jeu entre ces deux niveaux


Double niveau d alice
Double niveau d’Alice

  • Thèse de Pierre Roy (1998):« Satisfaction de contraintes et programmation par objets”

    • Filtrage des contraintes subsume bcp des méthodes d’Alice.

    • Heuristiques puissantes et générales (min size)

  • Thèse d’Anne Liret (2000): « Intégration de mécanismes de réécriture dans un langage de CSP »

    • On peut encore « gagner » avec le raisonnement symbolique sur CSP « modernes »,

    • Mais délicat à contrôler, pas d’heuristique systématique


C est quoi le br sil fran ois pachet sony csl
EDS

Les nouveaux problèmes de l’I.A. ne concernent plus les domaines strictement symboliques

Besoin de catégoriser des signaux bruts issus de l’expérience ordinaire

EDS: Extractor Discovery System, tente de trouver de “bons” extracteurs pour catégoriser les sons

Influence d’ALICE dans la conception d’EDS


Feature extraction
Feature Extraction

Le schéma classique

Signal

Sélection

Training

Features

Centaines d’ algorithmes

HMM

SVM

Neural nets

Decision Trees,

Etc.

  • MFCC

  • Spectral Features

  • Slope

  • Roll-Off

  • Centroid

  • Spread

  • Skew

  • Kurtosis

  • Odd-to-Even Harmonic Energy Ratio (OER)

  • Tristimulus

  • Filters

  • Temporal features (ZCR, RMS, etc.)

  • Formants

  • Etc.

Dizaines d’algorithmes

Chien, Bossa, Blues, etc.


G n ralit vs efficacit
Généralité vs Efficacité

  • Alice a montré qu’un algorithme général pouvait être meilleur qu’un algorithme spécifique en exploitant les structures dans les données.

  • De même, EDS s’adapte aux données en trouvant des features spécifiques au problème. Les algorithmes (classification) sont standards


La communaut d apprentissage num rique se focalise sur les algorithmes
La communauté d’apprentissage (numérique) se focalise sur les algorithmes

Classe

Features

Classifiers


Au contraire eds invente des features ad hoc
Au contraire, EDS invente des sur les features ad hoc

Classe

Features

Classifiers


C est quoi le br sil fran ois pachet sony csl
EDS sur les

Classifieurs: algorithmes généraux de classification

Features: fonctions du signal inventées

« Square (Log10 (Abs (Spectral Flatness (BpFilter (Normalize (BpFilter (Blackman (Correlation (Abs (BpFilter (Normalize (Blackman (Correlation (BpFilter (Normalize (Testwav), 308, 965), Testwav))), 232, 1596)), Testwav)), 1256, 244)), 326, 1848))))) »

Données: signaux audio

Classe 1

Classe 2


Double niveau en alice
Double niveau en ALICE sur les

Contraintes redondantes, réécriture…

x + y = 2 * z

x > y + z

Contraintes formelles

z > 2 * y

Contraintes en extension

x {1, 2, 3, 4, 5, 6, …, 100}

y {1, 2, 3, 4, 5, 6, …, 100}

z {1, 2, 3, 4, 5, 6, …, 100}


Double niveau en eds
Double niveau en EDS sur les

Programmation génétique, réécriture

Features formelles

Max(Autocorrelation(x))

RMS(x)

f1 = Zcr (HpFilter (x, 100))

f2 = Max(MFCC (x))

f3 = Max(HpFilter(MFCC(x, 100)))

Features en extension

f1 {2, 5, 1E-15, 43, .. 3}

f2 {…}

f3 {…}


Heuristique d eds d cision
Heuristique d’EDS sur les Décision

  • L’évaluation d’une feature consiste à la calculer sur tous les exemples d’apprentissage.

  • Ceci est très coûteux.

  • On peut évaluer sur moins, pour faire une estimation

  • Si elle est très mauvaise, on ne continue pas

  • Heuristique “généralement bonne”


Heuristiques d eds cr ation de fonction
Heuristiques d’EDS sur les Création de fonction

Heuristique généralement bonne:

« Une fonction compliquée dont le résultat est utilisé comme argument numérique d’un opérateur est rarement intéressante »

HpFilter (signal,

Max

(BandPassFilter

(FFt

(Hanning

(derivation(x), 199), 2048), 200, 2000))


Heuristiques d eds cr ation de fonction1
Heuristiques d’EDS sur les Création de fonction

Heuristique généralement bonne:

« Une fonction utilisant +3 fois le même opérateur est rarement intéressante »

Fft

(Fft

(Fft

(signal, 2048), 2048), 2048)


Pandeiro en musique br silienne traditionnelle

tchi sur les

ting

tung

pa

PA

tr

Pandeiro en musique brésilienne traditionnelle

6 types de sons


Classification de sons de pandeiro

tchi sur les

ting

tr

pa

tr

pa

Classification de sons de Pandeiro

invente

EDS

Features

apprends

Extractors

(Classifiers)


Features trouv es par eds pour le pandeiro
Features sur les trouvées par EDS pour le Pandeiro

  • Rms (Chroma (x))

  • Power (Sum (SpectralFlatness (FilterBank (Normalize (x), 5))), -1)

  • Peaks (Peals (Square (HFC (Mfcc (Blackman (Normalize (x)), 5)))))

  • Derivation (BarkBands (Hann (Normalize (x)), 5))

  • Abs (BarkBands (Bartlett (LpFilter (Normalize (x), 100)), 5))

  • Mfcc0 (Blackman (HpFilter (Normalize (x), 100)), 10)

  • Zcr (LpFilter (x, 100))

  • Zcr (HpFilter (x, 20000))


R sultats
Résultats sur les


Reconnaissance temps r el

Extractors sur les

(Classifiers)

ting

tchi

tung

tr

ting

Reconnaissance temps-réel

Real-time

segmentation

Real-time

classification

Process


Identification d aboiements de chiens f kaplan et p roy

food sur les

alone

stranger

play

walk

Identification d’aboiements de chiens(F. Kaplan et P. Roy)

Différentes situations => Différents aboiements


Exp rimentations
Exp sur les érimentations

Data

Features

  • 150 best features created with EDS and Praat operators

  • Feature space optimized using Weka’s GreedyStepwise:

  • 34 features left

  • 19 from EDS genetic search

  • 15 Praat speech operators



Reconnaissance d harmonies la guitare br silienne th se de giordano cabral
Reconnaissance d’harmonies sur les à la guitare (brésilienne)Thèse de Giordano Cabral

  • Approche standard

    • Feature bien connue: Chromagram (Hanning (x))

    • Moins de 70% de succès

  • EDS trouve de meilleurs features:

    • Derivation (Power (Chroma (Blackman (x)), 0.3)

    • 78% succès sur les mêmes données

Majeur renverse

Mineur

Majeur 7 9

Majeur 7


Classification en genres
Classification en genres sur les

  • Reconnaître le “genre” de la musique en analysant uniquement le signal audio

  • Base d’apprentissage: 3 classes

    • Brésilien

    • Jazz

    • Blues


Conclusion
Conclusion sur les

L’hypothèse feature vs classifier est iconoclaste en traitement du signal.

Mais elle est très puissante.

Elle est exactement la transposition de l’hypothèse de généralité / adaptation aux données d’ALICE dans le monde du signal.

Ça marche parce qu’il existe des heuristiques qui marchent bien de manière générale