220 likes | 326 Views
Oliver Scheickl. Human Motion Analysis. Motivation Anwendungen Grundlegendes Körperanalyse Tracking Action Recognition Gesichtserkennung. 1. Motivation. Motivation Anwendungen Grundlegendes Körperanalyse Tracking Action Recognition Gesichtserkennung.
E N D
Oliver Scheickl Human Motion Analysis • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung
1. Motivation • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Hauptgrund der Forschung: Mensch-Maschine-Interaktion Neue Input Formen Erweiterte Einsatzmöglichkeiten Unabhängige Umgebungsanalyse
2. Anwendungen • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung
3. Grundlegendes • Motivation • Anwendungen • Grundlegendes • Stick figure • 2D Modell • 3D Modell • Gebiete • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Drei grundsätzliche Arten, den menschlichen Körper zu modellieren: Stick figure
3. Grundlegendes • Motivation • Anwendungen • Grundlegendes • Stick figure • 2D Modell • 3D Modell • Gebiete • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Drei grundsätzliche Arten, den menschlichen Körper zu modellieren: 2D Modell
3. Grundlegendes • Motivation • Anwendungen • Grundlegendes • Stick figure • 2D Modell • 3D Modell • Gebiete • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Drei grundsätzliche Arten, den menschlichen Körper zu modellieren: 3D Modell
3. Grundlegendes • Motivation • Anwendungen • Grundlegendes • Stick figure • 2D Modell • 3D Modell • Gebiete • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Die verschiedenen Arbeitsgebiete: Bewegungs- und Körperanalyse Tracking (Verfolgen) von Menschen Aktivitätserkennung Gesichts- Emotionserkennung
4. Körperanalyse • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Zwei unterschiedliche Methoden: Modellbasierter Ansatz Grundlage ist ein menschliches Modell Bildsequenzen werden auf Modell übertragen Verknüpfung Bilddaten <=> Modell Ansatz ohne Modell Analyse folgt direkt aus dem Realbild Angleichung basiert auf Vorhersage bzw. Schätzung
4.1 Modellbasiert • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Mit Modell • Ohne Modell • Tracking • Action Recognition • Gesichtserkennung Im Allgemeinen stick figure Modelle Extraktion des Körpers aus Hintergrund Akita, Keyframes Perales & Torres, Modellbibliothek Merkmalsprojektion Extraktion
4.2 Ohne Modell • Schwieriger • Grundlegende Arbeit von Johannson: • Stichwort Moving Light Displays (MLD) • Darauf aufbauend Arbeiten von: • Rashid, Erkennen menschlicher Strukturen • Webb & Aggarwal, Fixed-Axis-Assumption • Shio & Slansky arbeiteten mit „Blobs“ • All diese Verfahren haben sich v.a. im Bereich • Der Handhaltungserkennung etabliert (Zeichen- • Sprachenübersetzung) • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Mit Modell • Ohne Modell • Tracking • Action Recognition • Gesichtserkennung
5. Tracking • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Erkennen und Verfolgen von Personen. Vorteil: Durch Nutzung uninterpretierter visueller Low-Level-Merkmale geringer Rechenaufwand Ikonisches Modell: Templatebasiert nur wenig Bewegung! Strukturelles Modell: nutzt Bildmerkmale auch schnelle Bewegung! Man unterscheidet prinzipiell zwischen Verfolgen mit einer Kamera (Single Camera Tracking), und mit mehreren Kameras (multiple Camera Tracking)
5.1 Single Camera Tracking • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Single • Multiple • Action Recognition • Gesichtserkennung Die meisten Methoden des Tracking benutzen Bildsequenzen einer Kamera. Merkmale zur Aufzeichnung sind gewöhnlich Punkte und Bewegungsblobs. Polana & Nelson, Rechtecküberdeckung Rossi & Bozzoli, vertikale Kamera
5.2 Multiple Camera Tracking • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Single • Multiple • Action Recognition • Gesichtserkennung Beliebig großer Beobachtungsbereich Schwierigeres Angleichen Cai & Aggarwal, Mittelachse Sato, Menschen sind Kombination aus Blobs Kelly, Voxel
6. Action Recognition • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Aufbauend auf den Techniken der Körperanalyse und des Tracking ist der nächste Schritt das computergesteuerte Erkennen der Handlung eines Menschen (Action Recognition). Verbreitete Sichtweise: Klassifikationsproblem State-Space-Verfahren Template Matching
6.1 Template Matching • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Template M. • State-Space • Gesichtserkennung Polana & Nelson, Zyklen in Bewegungen Zyklus = feste Anzahl Abschnitte Bobick & Davis, Motion-Energy-Images (MEI) Motion-History-Images (MHI)
6.2 State-Space-Verfahren • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Template M. • State-Space • Gesichtserkennung • Jede Körperstellung = fester Zustand • Jede Sequenz besteht aus diesen Haltungen • Zustände verbunden mit Übergangs-Wkt. • Hidden-Markov-Modell Bobick & Campbell, MLD Aufzeichnungen Wichtig: Oft Endhaltung entscheidend, nicht vorherige Bewegung!
6.2 State-Space-Verfahren • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Template M. • State-Space • Gesichtserkennung
7. Gesichtserkennung • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Entscheidend bei Überwachungssystemen und Mensch-Maschine-Interaktion Die meisten Algorithmen gehen von einer vorher Bekannten Position des Gesichtes aus. Geometrische Analyse Active Shape Model Template Matching
7. Gesichtserkennung • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Geometrische Analyse:
7. Gesichtserkennung • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Active Shape Model:
7. Gesichtserkennung • Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Template Matching:
Motivation • Anwendungen • Grundlegendes • Körperanalyse • Tracking • Action Recognition • Gesichtserkennung Vielen Dank für die Aufmerksamkeit!