1 / 15

Music Information Retrieval Eine Rundreise

Music Information Retrieval Eine Rundreise. Klaus Frieler Universität Hamburg Musikwissenschaftliches Institut Seminar WS 07/08. Einleitung. Sehr früh nach Erfindung des Computers wurden diese auch für musikalische Zwecke eingesetzt

lane-potter
Download Presentation

Music Information Retrieval Eine Rundreise

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Music Information RetrievalEine Rundreise Klaus Frieler Universität Hamburg Musikwissenschaftliches Institut Seminar WS 07/08

  2. Einleitung • Sehr früh nach Erfindung des Computers wurden diese auch für musikalische Zwecke eingesetzt • Man kann zwei große Bereiche unterscheiden: Musikproduktion und Musikanalyse • Uns interessiert die Musikanalyse im weitesten Sinne und darunter der Bereich des Music Information Retrievals MIR: Eine Rundreise

  3. Information Retrieval • Das Auffinden von Dokumenten in Datensammlungen, wobei die Suchkriterien vage sein dürfen, und die Dokumente unsichereInhalte haben können. • Beispiel: • Ich gebe bei Google „Infomation Retieval“ ein (mit Tippfehler!) und erhalte dennoch eine Menge Links aller Art, relevant oder nicht. • Ich habe einen Melodie im Kopf (wahrscheihnlich mit „Fehlern“) und will die Titel der Stücke wissen, die diese Melodie enthalten. • Ich suche (neue) Musikstücke die gerade gut zu meiner Stimmung passen. MIR: Eine Rundreise

  4. Information Retrieval • Information Retrieval entstand zuerst als Textretrieval. • Das Internet hat den Bedarf nach IR explosionsartig anwachsen lassen. • Z.B. basiert Googles Erfolg auf einer recht zufriedenstellenden Lösung des Retrieval Problems • Musik ist Paradebeispiel: • Vage Suchkriterien: Wie formuliere ich Suchanfragen nach Melodien, Harmonien, Klangfarben, Stimmungen, etc. ? • Unsichere Daten: Wie repräsentiert man musikalischen Inhalt und wie kommt man ihn ran? MIR: Eine Rundreise

  5. Music Information Retrieval • Music Information Retrieval als solches enstand in den letzten 10-15 Jahren (parallel zum Internetboom). • Erste ISMIR Konferenz 1999 • Relativ junges Fach: Noch keine systematische Darstellung und wenig Lehrbücher vorhanden • Sehr aktive Forschung • Viele Artikel sind im Netz vorhanden MIR: Eine Rundreise

  6. Music Information Retrieval • Klassifikation nach Datenformaten: • Audio, signalbasiert (Wav, mp3 etc) • Symbolisch, Noten-basiert (MIDI, computerfähige Text-Codes) • (Kon-)Text-basiert (textliche Metadaten) • Hybrid (Mischung von einen oder mehreren der obigen) MIR: Eine Rundreise

  7. Music Information Retrieval • Klassifikation nach Aufgabenstellung: • Information Retrieval im eigentlichen Sinne • Erkennung musikalischer Inhalte • Such/Retrievalmethoden • Musikanalytische Tools • Anwendungsorientiertes MIR • Playlist-Erstellung • Musikempfehlung • Partiturverfolgung • Optische Erkennung von Notentexten • Sonstiges MIR: Eine Rundreise

  8. Erkennung musikalischer Inhalte • Tempo-, Beat-, Metrumserkennung, Beattracking • Stimmtrennung, Stimmextraktion, Melodieerkennung • Tonalitäts/Harmonieerkennung • Instrumentenerkennung (Timbre classification) • Erkennung und Bestimmung musikalischer Formen (Music Structure Discovery) • Gesangstext-Extraktion • Alles zusammen: Automatische Transkription (monophon, polyphon) • Genre/Mood - Erkennung bzw. Klassifikation MIR: Eine Rundreise

  9. Retrievalmethoden • Suchmethoden zum Finden (ähnlicher) Melodien in Melodie-Datenbanken oder in polyphonen Stücken • Methoden zum Finden (ähnlicher) Musikstücke in Musikdatenbanken (Music Similarity) • Audio-Fingerprinting/Identification • Gesamtsysteme: Query-by-(Humming/Whistling/Beatboxing/…/Example) MIR: Eine Rundreise

  10. Anwendungsorientiertes MIR • Playlisterstellung: Nach verschiedenen Kriterien und Algorithmen, z.B. (Un-)Ähnlicheit, Genre, Mood, etc. mit Audiofeaturen oder nach Metadaten (z.B. Pandora) • Musikempfehlung: Im Prinzip dasselbe Spektrum wie Playlist-Erstellung. (Oft auch zusammen…) • Partiturverfolgung, Partitur-zu-Audio-Ausrichtung. Synchronisation (online oder offline) von Audiodaten zu einer gegeben Partitur (z.B. für Interpretations-Analyse oder als Solistenbegleitung) • Optische Erkennung von Notentexten: OMR. MIR: Eine Rundreise

  11. Sonstiges • Visualisierung von Musiksammlungen nach bestimmten Kirtieren • Entwicklung von Tools (Marsyas, CLAM, MIR/MIDI Toolbox für Matlab…) • Evaluation von MIR Systemen (Metriken, Testumgebungen, Testdaten, M2K, MIREX) • Metadaten-Standards (MPEG-7, Music Ontology, Akkordbezeichnungen) • Beschaffung von Metadaten (Ground Truth, Annotation) • Anwenderforschung (Wer, was, wie, wann, warum) • Design und Entwicklung von Anwenderschnittstellen MIR: Eine Rundreise

  12. Methoden und Techniken • Eine große Vielzahl von Techniken, oft aus anderen Anwendungsgebieten übertragen (vor allen Spracherkennung und Text Retrieval) • Grundlegendes Konzept des Features: Musikalische Objekte werden durch ihre Attribute und Eigenschaften beschrieben, zur Datenreduktion und Datenabstraktion. • Audiofeature, Symbolische Feature, Feature aus Metadaten MIR: Eine Rundreise

  13. Methoden & Techniken • Allg. Mathematik • Mengen, Vektorräume • Geometrie: Distanz/Ähnlichkeitsfunktionen • Boolesche und Fuzzy Logik • Allg. Informatik • Programmierung (z.B. Java, C/C++, Matlab, Scriptsprachen) • Tools (Matlab, Marsyas, CLAM, WEKA …) • Musikwissenschaft • Allgemeine Musiklehre • Musikpsychologie • Psychoakustik MIR: Eine Rundreise

  14. Methoden & Techniken • DSP Techniken • FFT, STFT, Spectogram, Autokorrelation, Wavelets, Filter, Mel-frequency Cepstral Coefficients (MFCCs), Chromavektoren ... • Stochastik • Allgemein: Wahrscheinlicheiten, Bayes‘sche Regel, Entropie • Datenreduktion: PCA, ICA, SVD, Clustertechniken • Machine Learning: Support Vector Machines (SVM), Neuronale Netze, Bayes Klassifier, k-NN… Decison Trees • Modellierung: Gaussian Mixture Models, (Hidden) Markov Models, Bayes Rule… • Zeitreihenanalyse MIR: Eine Rundreise

  15. Methoden & Techniken String/Texttechniken • Edit Distance, „Dynamic Programming“, Local/Global Alignment, Dynamic Time Warping • N-grams, Suffixtrees, • Textnormalisierung, TF-IDF… MIR: Eine Rundreise

More Related