Automatické rozpoznávání zpěvů ptáků

1. Automatické rozpoznávání zpěvů ptáků Ladislav Ptáček, UFY, březen 2014

2. Osnova • Automatické rozpoznávání lidské řeči a automatická identifikace ptáků • Teoretický základ • Provádění experimentů • Identifikace ptáků • Kroužkování • Budníček menší • Použitá data • Příklad dosažených výsledků • Závěr

3. Automatické rozpoznávánílidské řeči • Využití Identifikace osob Převod řeči na text Komunikace se strojem (ovládání PC, Call Centra, navigace) • Překážky Charakter lidské řeči Každý mluvčí je originál Nářečí, vady řeči, spisovně/nespisovně Vliv prostoru Hluk okolí

4. Automatické rozpoznávání lidské řeči • Typy úloh • Rozpoznávání Speakerrecognition (SR) • Identifikace SI • Verifikace SV • Množina Uzavřená / Otevřená • Obsah promluvy Závislé / Nezávislé Speechdependent/independent

5. Automatické rozpoznáváníTeoretický základ • Postup získání vzorků z řeči/ze zpěvu

6. Automatické rozpoznáváníTeoretický základ • Výpočet cepstrálních koeficientů • Výpočet dalších koeficientů (energie, korelace, atd.) -> vznik modelu • Proces rozpoznávání je porovnáváním modelů

7. Automatické rozpoznáváníTeorie, Feature vector

8. Automatické rozpoznáváníTeoretický základ • Model UBM Modeluje pozadí (hluk, ostatní ptáci, telefonní linka, atd.) • Model GMM Modeluje cílového řečníka (TargetBird) • Porovnávání Jsou porovnávány modely neznámého řečníka a GMM a UBM Na základě jejich porovnání resp. jejich vzájemné vzdálenosti doje k rozhodnutí: Accept x Reject

9. Automatické rozpoznáváníMetody • Rozpoznávání ptáků: Metody • Parametry MFCCs →klasifikace GMM • Parametry MFCC a PLP →klasifikace HMM s využitím HTK • Parametry MFCC →klasifikátor ANN, s využitím NN Toolboxu vMatlabu Naše práci kombinují • Neupravená data (rawrecords) • Záznamy napříč časovým obdobím (roky a delší) • GMM-UBM (Universal Background Model)

10. Automatické rozpoznáváníMetody • GMM - Gaussovské směsi (GaussianMixtureModels) • D..rozměr vektoru příznaků x (feature vector), M..počet Gaussiánů • μy..vektor D x 1 • Σy.. kovarianční matice D x D • wS …váha pravděpodobnosti • λS..model řečníka S • UBM – Universal Background Model

11. Automatické rozpoznáváníMetody, StateoftheArt • JFA – Joint FactorAnalysis • Nalezení korelací řečník resp. kanál → snížení rozměru supervektoru. • GMM supervektor lze vyjádřit jako součet dvou supervektorů: • S…řečník, C..kanál • i-Vector – Identity vector • Oddělení dat kanál x řečník - využité v JFA - je úspěšné pouze částečně.Velké množství dat → není nutné je oddělit, dostaneme výsledky jako JFA • m..supervektor, nezávislý na řečníkovi ani na kanálu • T..Total variability matrix, získaná EM z velkého množství dat s velkou variabilitou • w..i-Vector, záleží jak na řečníkovi tak na kanálu.

12. Automatické rozpoznáváníExperimenty, třídění nahrávek • Nahrávky jsou rozděleny do několika sad • Příprava dat • katalogizace (700 minut nahrávek) • třídění (eliminace nevhodných nahrávek, atd.) • Nastavení konfiguračních souborů • Training • UBM • Testování • Spouštění testů • 1 až 4 současně • Vyhodnocení dat • Matlab, EER

13. Automatické rozpoznáváníExperimenty, postup • Jednotlivé kroky experimentů s vyznačením využitých sad nahrávek

14. Automatické rozpoznáváníExperimenty, procesní diagram • Speaker / Birdverificationsystem

15. Automatické rozpoznáváníExperimenty, chyby rozpoznání • Při verifikaci mohou nastat dva druhy chyb: FA…FalseAcceptance FR…FalseRejection

16. Automatické rozpoznávání ptákůTypy úloh • Rozpoznávání ptáků: Typ úloh • Identifikace jedince (v rámci jednoho druhu) →Speaker Identification • Rozpoznání druhu (zpěv/zvuk) → Language Identification • Rozpoznání specifického zvuku → Speech recognition task (SV, SI) • Optimalizace metod pro řeč → využití v ornitologii

17. Zpěvy ptákůDatabáze • Databáze nahrávek zvuků ptáků Komerční (např. CornellLab, Audio CD) Nekomerční (např. xeno-canto.org) • U nás AV ČR Amatérské databáze • Vlastní databáze PřF

18. PtáciZpěv a sluch • Hlasový trakt

19. PtáciSluch •vrabec o pěnkava

20. PtáciPřenos zpěvu postředím Lidská řeč x Ptačí zpěv • Přenos na velké vzdálenosti • Ozvěna • Posun fází. Větší vliv na zvuky s konstantní f než na modulované • Odrazy od země, interference

21. Kroužkování • Sledování, rozpoznávání a identifikacejedinců v ornitologii • Kroužkování (1773, H. C. Mortensen) U nás 1910 Kurt Loos a dr. K. Richter Propagují Ing. Otta Kadlec, Hrabě B.K.Kinský ad. • European Union for Bird Ringing (EURING) • Spektrogram • Novější metody Telemetrie, analýza stabilních izotopů z peří, radarové sledování

22. Kroužkování

23. Kroužkování

24. PtáciBudníček menší, kroužkování

25. PtáciBudníček menší • Budníček menší (CZ), • Phylloscopuscollybita (LAT), • Chiffchaff (EN) Zpěv v lese Hluk v lese Zpěv město Zpěv → Fráze → Slabika → Elementy

26. PtáciBudníček menší, spektrogram • Budníček, jeden zpěv (single song), délka 5 s.

27. PtáciBudníček menší, spektrogram • Budníček, reálná nahrávka, hluk pozadí • Zpěv → Fráze → Slabika → Elementy

28. Automatické rozpoznáváníExperimenty, použitá data, 2011

29. Automatické rozpoznáváníExperimenty, příklad vyhodnocení • Příklad vyhodnocení výsledků Graf znázorňující EER Graf znázorňující závislost úspěšnosti na míře FA a FR (EqualErrorRate) svislá čára znázorňuje nastavení Treshold

30. Automatické rozpoznáváníExperimenty, dosažené výsledky • Příklad dosažených výsledků Budníček menší foto: Wikipedia

31. Automatické rozpoznáváníExperimenty, dosažené výsledky • Příklad dosažených výsledků Rypoši Foto Klaus Rudloff , www.biolib.cz

32. Automatické rozpoznáváníSoučasnost, směřování ZČU, Fakulta aplikovaných věd, katedra kybernetiky KKY Příklady aplikací: Titulkování, převod řeči na text Poslanecká sněmovna ČR Televizní vysílání Znaková řeč Další využití Lékaři Polici Soudnictví Mobilní telefony (Google, Siri) …další využití? …budoucnost?

33. Závěr Děkuji vám za pozornost Ing. Ladislav Ptáček Ústav fyziky a biofyziky Laboratoř elektroniky a akustiky Přírodovědecká fakulta Branišovská 31, 370 05 České Budějovice Telefon: +420 38 777 6268