maschinelles lernen mit multiplen kernen n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Maschinelles Lernen mit multiplen Kernen PowerPoint Presentation
Download Presentation
Maschinelles Lernen mit multiplen Kernen

Loading in 2 Seconds...

play fullscreen
1 / 16

Maschinelles Lernen mit multiplen Kernen - PowerPoint PPT Presentation


  • 111 Views
  • Uploaded on

Maschinelles Lernen mit multiplen Kernen. Marius Kloft Technische Universität Berlin. Kolloquium zum GI Disserationspreis, Dagstuhl, 14. Mai 2012. TexPoint fonts used in EMF. Read the TexPoint manual before you delete this box.: A A. Maschinelles Lernen. Beispiel

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Maschinelles Lernen mit multiplen Kernen' - curry


Download Now An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
maschinelles lernen mit multiplen kernen

Maschinelles Lernen mit multiplen Kernen

Marius Kloft

Technische Universität Berlin

Kolloquium zum GI Disserationspreis, Dagstuhl, 14. Mai 2012

TexPoint fonts used in EMF.

Read the TexPoint manual before you delete this box.: AA

maschinelles lernen
Maschinelles Lernen
  • Beispiel
    • Erkennung von Objekten in Bildern
  • Zielstellung
    • Erlernen des Zusammen-hanges zweier Zufallsgrößenund
      • auf Grundlage von Beobach-tungen
  • Kernbasiertes Lernen:
multiple sichtweisen kerne
Multiple Sichtweisen / Kerne
  • (Lanckriet, 2004)

Raum

Form

Sichtweisen wie kombinieren?

Gewichtungen.

Farbe

bestimmung der gewichte
Bestimmung der Gewichte?
  • Stand der Forschung
    • „Spärliche“ Gewichtungen
      • Kerne / Sichtweisen werden komplett ausgeschaltet
          • Aber warum Information verwerfen?
  • (Bach, 2008)
von der vision zur wirklichkeit
Von der Vision zur Wirklichkeit?
  • Bisher: Spärliches Verfahren
    • Empirisch ineffektiv in Anwendungen
  • Dissertation: Neue Methodologie
    • hat sich als Standard etabliert
  • (Gehler et al., Noble et al., Shawe-Taylor et al., NIPS 2008)
  • Effektiv in Anwendungen
  • In der Praxis wirk-samer und effektiver
  • Durch bei Lern-schranken: O(M/n)
vorstellung der methodologie
Vorstellung der Methodologie

Nicht-spärliche, Multiple, Kernbasierte Lernverfahren

neue methodologie
Neue Methodologie
  • (Kloft et al.,ECML
  • 2010, JMLR 2011)
  • Generelle Formulierung
    • Erstmalig beliebiger Verlust
    • Erstmalig beliebige Normen
      • z. B. lp-Normen:
      • 1-Norm führt zu Spärlichkeit:
  • Bestimmung der Gewichte?
    • Model
      • Kern
    • Mathematisches Programm

Konvexes Problem.

Optimierung über Gewichte

theoretische fundamente
Theoretische Fundamente
  • Theoretische Klärung
    • Aktives Thema
      • NIPS Workshop 2010
    • Wir beweisen :
      • Theorem (Kloft & Blanchard). Die lokale Rademacher-Kom-plexität von MKL ist be-schränkt durch:
  • Folgerungen
    • Lernschranke mit Rate
      • bisher beste Rate:
      • Üblicherweise
        • Zwei Größenordnungen bes-ser für
  • (Cortes et al., ICML 2010)
  • (Kloft & Blanchard, NIPS 2011, JMLR 2012)
beweisschritte
Beweisschritte
  • Abschätzung der Originalklasse durch die zentrierten Klasse
  • Abschätzung der Komplexität der zentrierten Klasse
  • Ungleichungen von Khintchine-Kahane (1964) und Rosenthal (1970)
  • Abschätzung der Komplexität der Originalklasse
  • Umformulierung als Trunkierung der Spektren der Kerne
optimierung
Optimierung
  • (Kloft et al.,JMLR 2011)
  • Implementierung
    • In C++ (“SHOGUN Toolbox”)
      • Matlab/Octave/Python/R support
    • Laufzeit:

~ 1-2 Größenordnungen effizienter

  • Algorithmen
    • Newton-Methode
    • Sequentielle, quadratisch-bedingte Programmierung mit Höhenlinien-Projektionen
    • Blockkoordinaten-Algorithmus
      • Alterniere
        • Löse (P) bezüglich w
        • Löse (P) bezüglich %:
      • Bis Konvergenz

(bewiesen)

  • (Skizze)

analytisch

anwendungsgebiet maschinelles sehen
Anwendungsgebiet: Maschinelles Sehen
  • Visuelle Objekterkennung
    • Zielstellung: Annotation visueller Medien (z.B. Bilder):
    • Motivation:
          •  inhaltsbasierter Bildzugriff
  • Flugzeug Fahrrad Vogel
anwendungsgebiet maschinelles sehen1
Anwendungsgebiet: Maschinelles Sehen
  • Visuelle Objekterkennung
    • Zielstellung: Annotation visueller Medien (z.B. Bilder):
    • Motivation:
          •  inhaltsbasierter Bildzugriff
  • Multiple Kerne
    • basierend auf
      • Pixelfarben
      • Formen

(Gradienten)

      • lokale Merkmale

(SIFT-Wörter)

      • räumliche Merkmale
  • Empirische Analyse
    • Datensatz: PASCAL VOC’08
    • Genauigkeitsgewinn gegenüber uniformer Kerngewichtung:

Gewinner: ImageCLEF 2011 Photo Annotation challenge!

zusammenfassung
Zusammenfassung

Visuelle Objekterkennung

Als Standard etabliert: Gewinner des Image-CLEF Wettbewerbs

Bioinformatik

Genauerer TSS-Er-kenner als Gewinner internat. Vergleichs

Appli-

kationen

Training mit >100000 Daten-

Punkten und >1000 Kernen

Scharfe Lernschranken

referenzen
Referenzen
  • Abeel, Van de Peer, Saeys (2009).Toward a gold standard for promoter prediction evaluation. Bioinformatics.
  • Bach (2008).Consistency of the Group Lasso and Multiple Kernel Learning. Journal of Machine Learning Research (JMLR).
  • Kloft, Brefeld, Laskov, Sonnenburg (2008).Non-sparse Multiple Kernel Learning. NIPS Workshop on Kernel Learning.
  • Kloft, Brefeld, Sonnenburg, Laskov, Müller, Zien (2009).Efficient and Accurate Lp-norm Multiple Kernel Learning. Advances in Neural Information Processing Systems (NIPS).
  • Kloft, Rückert, Bartlett (2010). A Unifying View of Multiple Kernel Learning. ECML.
  • Kloft, Blanchard (2011).The Local Rademacher Complexity of Lp-Norm Multiple Kernel Learning. Advances in Neural Information Processing Systems (NIPS).
  • Kloft, Brefeld, Sonnenburg, Zien (2011). Lp-Norm Multiple Kernel Learning. Journal of Machine Learning Research (JMLR).
  • Kloft, Blanchard (2012). On the Convergence Rate of Lp-norm Multiple Kernel Learning. Journal of Machine Learning Research (JMLR), to appear.
  • Lanckriet, Cristianini, Bartlett, El Ghaoui, Jordan (2004). Learning the Kernel Matrix with Semidefinite Programming. Journal of Machine Learning Research (JMLR).
slide15

Vielen Dank für Ihre Aufmerksamkeit.

  • Für weitere Fragen stehen ich Ihnen gerne zur Verfügung.
anwendungsgebiet bioinformatik
Anwendungsgebiet: Bioinformatik
  • (Kloft et al., NIPS 2009, JMLR 2011)
  • Detektion von
    • Transkriptionsstartpunkten:
  • mittels Kernen basierend auf:
    • Sequenzalignment
    • Nukleotidverteilung
      • downstream, upstream
    • Faltungseigenschaften
      • Bindungsenergien, Winkel
  • Empirische Analyse
    • Detektionsgenauigkeit (AUC):
    • Höhere Genauigkeiten als spärliches MKL sowie ARTS
      • ARTS Gewinner eines Vergleichs von 19 Modellen
  • Theoretische Analyse
    • Einfluss von lp-Norm auf Schranke:
    • Bestätigung des Experimentes:
      • Stärkere theoretische Garantie für vorgeschlagenen Ansatz (p>1)
      • Empirie nähert sich Theorie an für Stichprobengröße
  • Abb. aus Alberts et al. (2002)
  • (Abeel et al., 2009)