Fakultät für Elektrotechnik und Informationstechnik

1. 3D-Objektmodellierung für Facial Animation Arbeitsberatung der ITG Fachgruppe 3.1.2 “Digitale Bildcodierung” Ilmenau, 30.06.2000 Dirk Albrecht Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

2. Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

3. Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

4. Synthetic Natural Hybrid Coding (SNHC) Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

5. Objektbasierte Videocodierung Object based Analysis-Synthesis Coding 2D- und 3D-Source Models, Wireframes Knowledge based Object Coding Face Model, Candide Semantic based Object Coding Gesichtsausdruck etc. Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

6. Einschränkung auf Head and Shoulder Szenario  Gesicht frontal zur Kamera  Gemäßigte Kopfbewegung  Lokale Gesichtsbewegung  Trennung von Kopf- und Schulterbereich Video Analyse Kanal Synthese Video FAP-, FDP- Encoder FAP-, FDP- Decoder Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

7. Head and Shoulder Szenario - Bedingungen Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

8. Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

9. 3D-Kopfmodell nach Rydfalk • Parametrisches Gesichts- • modell Candide • lokales KO-System • 79 Knoten • 108 Dreiecke • im Bildsystem • P = [R] • P* + PU MPEG-4 definiert mindestens 50 Knotenpunkte - für eine gute Abbildung werden 500 erwartet Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

10. Onset Apex End of Apex Offset Animation über Action Units (AU) Ausgangspunkt: Neutrales Gesicht  Blick in Richtung z-Achse  alle Muskeln entspannt  Augenlider tangential zur Iris  Pupillen haben 1/3 des Iris-Durchmessers  Mund geschlossen, Linie zwischen Lippen ist horizontal  Zähne aufeinander liegend  Zunge berührt die Linie zwischen den Zähnen Facial Action Coding System (FACS) 46 AU für Gesichtsausdrücke 12 AU für Blickrichtung u. Kopforientierung  basierend auf Gesichtsanatomie  korreliert mit Muskelbewegungen Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

11. Klassifikation von FAPs FAP Groups Primary facial expressions as defined for FAP 2 Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

12. Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

13. Finden der Gesichtsform (Farbansatz) RGB  IRgBy By Median Textur Rg Median IRgBy  HSI Ausgangs- bild Median Farbton Sättigung – Probleme: Beleuchtungsverhältnisse unterschiedliche Hautfarben Textur- Amplitude Schwellwert- operator Binäres Hautbild Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

14. Gesichtserkennung über Bewegung 1. Differenzbildberechnung 2. Schwellwertoperator 3. Rauschreduktion 4. Histogramm der bewegten Pixel  Problem: statischer Hintergrund Typisches Bewegungsbild Histogramm Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

15. Elastic Bunch Graph Matching Zuordnung eines Gitternetzes ("Labeled Graph“) zu einem Gesicht  Knoten des Graphen beinhalten bestimmte Merkmale des Gesichts  Aufbringen diese Graphen auf das zu findende Gesicht über Matching Algorithmus Extraktion der Merkmale über Jets (bestehend aus mehreren Gabor Wavelets) 3D Gabor-Wavelets Labeled Graph Jet, bestehend aus 12 Gabor-Wavelets (4 Orientierungen bei 3 unterschiedlichen Größen) Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

16. Gesichtserkennung über Eigenfaces  Gesichter bilden einen Untervektorraum des Originalbildes Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

17. 2D Template Matching Normiertes Template Suchbild mit eingeschränktem Suchraum  parametrisch deformierbar Kreuzkorrelation Drehung und Skalierung entsprechend Kopfgröße u. -drehung  Ausnutzung symmetrischer Charakteristiken  Evolutionäre Navigationsroutinen  Problem: Training Set Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

18. Fluß Bewegung des Modells Optischer Fluß  Bewegung eines Pattern in der Bildebene Exu + Eyv + Et =0  Ergebnis ist Vektorfeld  Annahme: Helligkeit der Objektpunkte gleich über Zeit  für lokale Bewegung hinreichend  Probleme mit starken Texturen, bewegenden Kanten etc. Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

19. Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

20. Gesichtsmerkmale • Primäre Merkmale •  Augen •  Mund •  Nase •  Augenbrauen •  Zähne •  Ohren •  Zunge •  Kinn •  Wangen •  Haar • Sekundäre Merkmale •  Textur der Haut, Adern •  physische Verletzungen / Krankheiten •  Geschlecht •  Rasse •  Größe / Alter • Feature Selection • Untersuchung der Wichtung der Parameter Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

21. Parametrische 2D-Modelle Schätzverfahren  für Augen-und Mundwinkelpositionen  Augenöffnungsgrad  Auswahl des Mundmodells Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

22. Skalierungs- und Mimikparameter Gesichtsgröße  Ausgangspunkt Dreieck der Augen und Mundmittelpunkt  Verifikation der Ergebnisse anhand der äußeren Gesichtsform  Schätzung der Tiefeninformation  Normalenvektor des Dreiecks bestimmt Blickrichtung  Projektion in Bildebene Augengröße  Bestimmung der Skalierungs- parameter  Projektion in das 3D-Modell Mundgröße  Bestimmung der Lippengöße  Projektion in das 3D-Modell Projektion auf Action Units Erkenntnisse:  Solide Vorverarbeitung  Robuste Schätzung der Augen-und Mundwinkel- positionen Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

23. Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme

24. Ausblick und Zusammenfassung •  Arbeitsbereich mit zahlreichen weltweiten Aktivitäten • beachtliche Ergebnisse • Standard für Übertragung gegeben (MPEG-4/SNHC) • Problem der Robustheit ist zu lösen, um eine Umsetzung in kommerziellen Systemen zu erreichen Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme