automatick rozpozn v n zp v pt k n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Automatické rozpoznávání zpěvů ptáků PowerPoint Presentation
Download Presentation
Automatické rozpoznávání zpěvů ptáků

Loading in 2 Seconds...

play fullscreen
1 / 33

Automatické rozpoznávání zpěvů ptáků - PowerPoint PPT Presentation


  • 122 Views
  • Uploaded on

Automatické rozpoznávání zpěvů ptáků. Ladislav Ptáček, UFY, březen 2014. Osnova. • Automatické rozpoznávání lidské řeči a automatická identifikace ptáků Teoretický základ Provádění experimentů Identifikace ptáků Kroužkování Budníček menší Použitá data Příklad dosažených výsledků Závěr.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Automatické rozpoznávání zpěvů ptáků' - kira


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
automatick rozpozn v n zp v pt k

Automatické rozpoznávání zpěvů ptáků

Ladislav Ptáček, UFY, březen 2014

osnova
Osnova

• Automatické rozpoznávání lidské řeči a automatická identifikace ptáků

  • Teoretický základ
  • Provádění experimentů
  • Identifikace ptáků
  • Kroužkování
  • Budníček menší
  • Použitá data
  • Příklad dosažených výsledků
  • Závěr
automatick rozpozn v n lidsk e i
Automatické rozpoznávánílidské řeči

• Využití

Identifikace osob

Převod řeči na text

Komunikace se strojem (ovládání PC, Call Centra, navigace)

• Překážky

Charakter lidské řeči

Každý mluvčí je originál

Nářečí, vady řeči, spisovně/nespisovně

Vliv prostoru

Hluk okolí

automatick rozpozn v n lidsk e i1
Automatické rozpoznávání lidské řeči

• Typy úloh

  • Rozpoznávání Speakerrecognition (SR)
  • Identifikace SI
  • Verifikace SV
  • Množina Uzavřená / Otevřená
  • Obsah promluvy Závislé / Nezávislé

Speechdependent/independent

automatick rozpozn v n teoretick z klad
Automatické rozpoznáváníTeoretický základ

• Postup získání vzorků z řeči/ze zpěvu

automatick rozpozn v n teoretick z klad1
Automatické rozpoznáváníTeoretický základ

• Výpočet cepstrálních koeficientů

• Výpočet dalších koeficientů (energie, korelace, atd.) -> vznik modelu

• Proces rozpoznávání je porovnáváním modelů

automatick rozpozn v n teoretick z klad2
Automatické rozpoznáváníTeoretický základ

• Model UBM

Modeluje pozadí (hluk, ostatní ptáci, telefonní linka, atd.)

• Model GMM

Modeluje cílového řečníka (TargetBird)

• Porovnávání

Jsou porovnávány modely neznámého řečníka a GMM a UBM

Na základě jejich porovnání resp. jejich vzájemné vzdálenosti doje k rozhodnutí:

Accept x Reject

automatick rozpozn v n metody
Automatické rozpoznáváníMetody

• Rozpoznávání ptáků: Metody

  • Parametry MFCCs →klasifikace GMM
  • Parametry MFCC a PLP →klasifikace HMM s využitím HTK
  • Parametry MFCC →klasifikátor ANN, s využitím NN Toolboxu vMatlabu

Naše práci kombinují

  • Neupravená data (rawrecords)
  • Záznamy napříč časovým obdobím (roky a delší)
  • GMM-UBM (Universal Background Model)
automatick rozpozn v n metody1
Automatické rozpoznáváníMetody

• GMM - Gaussovské směsi (GaussianMixtureModels)

  • D..rozměr vektoru příznaků x (feature vector), M..počet Gaussiánů
  • μy..vektor D x 1
  • Σy.. kovarianční matice D x D
  • wS …váha pravděpodobnosti
  • λS..model řečníka S
  • UBM – Universal Background Model
automatick rozpozn v n metody state of the art
Automatické rozpoznáváníMetody, StateoftheArt

• JFA – Joint FactorAnalysis

  • Nalezení korelací řečník resp. kanál → snížení rozměru supervektoru.
  • GMM supervektor lze vyjádřit jako součet dvou supervektorů:
  • S…řečník, C..kanál
  • i-Vector – Identity vector
  • Oddělení dat kanál x řečník - využité v JFA - je úspěšné pouze částečně.Velké množství dat → není nutné je oddělit, dostaneme výsledky jako JFA
  • m..supervektor, nezávislý na řečníkovi ani na kanálu
  • T..Total variability matrix, získaná EM z velkého množství dat s velkou variabilitou
  • w..i-Vector, záleží jak na řečníkovi tak na kanálu.
automatick rozpozn v n experimenty t d n nahr vek
Automatické rozpoznáváníExperimenty, třídění nahrávek
  • Nahrávky jsou rozděleny do několika sad
  • Příprava dat
    • katalogizace (700 minut nahrávek)
    • třídění (eliminace nevhodných nahrávek, atd.)
  • Nastavení konfiguračních souborů
    • Training
    • UBM
    • Testování
  • Spouštění testů
    • 1 až 4 současně
  • Vyhodnocení dat
    • Matlab, EER
automatick rozpozn v n experimenty postup
Automatické rozpoznáváníExperimenty, postup

• Jednotlivé kroky experimentů s vyznačením využitých sad nahrávek

automatick rozpozn v n experimenty chyby rozpozn n
Automatické rozpoznáváníExperimenty, chyby rozpoznání

• Při verifikaci mohou nastat dva druhy chyb:

FA…FalseAcceptance

FR…FalseRejection

automatick rozpozn v n pt k typy loh
Automatické rozpoznávání ptákůTypy úloh

• Rozpoznávání ptáků: Typ úloh

  • Identifikace jedince (v rámci jednoho druhu) →Speaker Identification
  • Rozpoznání druhu (zpěv/zvuk) → Language Identification
  • Rozpoznání specifického zvuku → Speech recognition task (SV, SI)
  • Optimalizace metod pro řeč → využití v ornitologii
zp vy pt k datab ze
Zpěvy ptákůDatabáze

• Databáze nahrávek zvuků ptáků

Komerční (např. CornellLab, Audio CD)

Nekomerční (např. xeno-canto.org)

• U nás

AV ČR

Amatérské databáze

  • Vlastní databáze PřF
pt ci zp v a sluch
PtáciZpěv a sluch
  • Hlasový trakt
pt ci sluch
PtáciSluch

•vrabec

o pěnkava

pt ci p enos zp vu post ed m
PtáciPřenos zpěvu postředím

Lidská řeč x Ptačí zpěv

• Přenos na velké vzdálenosti

  • Ozvěna
  • Posun fází. Větší vliv na zvuky s konstantní f než na modulované
  • Odrazy od země, interference
krou kov n
Kroužkování

• Sledování, rozpoznávání a identifikacejedinců v ornitologii

• Kroužkování (1773, H. C. Mortensen)

U nás 1910 Kurt Loos a dr. K. Richter

Propagují Ing. Otta Kadlec, Hrabě B.K.Kinský ad.

      • European Union for Bird Ringing (EURING)
  • Spektrogram
  • Novější metody

Telemetrie, analýza stabilních izotopů z peří, radarové sledování

pt ci budn ek men
PtáciBudníček menší
  • Budníček menší (CZ),
  • Phylloscopuscollybita (LAT),
  • Chiffchaff (EN)

Zpěv v lese Hluk v lese Zpěv město

Zpěv → Fráze → Slabika → Elementy

pt ci budn ek men spektrogram
PtáciBudníček menší, spektrogram

• Budníček, jeden zpěv (single song), délka 5 s.

pt ci budn ek men spektrogram1
PtáciBudníček menší, spektrogram

• Budníček, reálná nahrávka, hluk pozadí

  • Zpěv → Fráze → Slabika → Elementy
automatick rozpozn v n experimenty p klad vyhodnocen
Automatické rozpoznáváníExperimenty, příklad vyhodnocení

• Příklad vyhodnocení výsledků

Graf znázorňující EER Graf znázorňující závislost úspěšnosti na míře FA a FR

(EqualErrorRate) svislá čára znázorňuje nastavení Treshold

automatick rozpozn v n experimenty dosa en v sledky
Automatické rozpoznáváníExperimenty, dosažené výsledky

• Příklad dosažených výsledků

Budníček menší

foto: Wikipedia

automatick rozpozn v n experimenty dosa en v sledky1
Automatické rozpoznáváníExperimenty, dosažené výsledky

• Příklad dosažených výsledků

Rypoši

Foto Klaus Rudloff , www.biolib.cz

automatick rozpozn v n sou asnost sm ov n
Automatické rozpoznáváníSoučasnost, směřování

ZČU, Fakulta aplikovaných věd, katedra kybernetiky KKY

Příklady aplikací: Titulkování, převod řeči na text

Poslanecká sněmovna ČR

Televizní vysílání

Znaková řeč

Další využití

Lékaři

Polici

Soudnictví

Mobilní telefony (Google, Siri)

…další využití?

…budoucnost?

z v r
Závěr

Děkuji vám za pozornost

Ing. Ladislav Ptáček

Ústav fyziky a biofyziky

Laboratoř elektroniky a akustiky

Přírodovědecká fakulta

Branišovská 31, 370 05 České Budějovice

Telefon: +420 38 777 6268