K pfeldolgoz si rdekess gek mpeg 4 alap fejmodellek
This presentation is the property of its rightful owner.
Sponsored Links
1 / 22

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek PowerPoint PPT Presentation


  • 49 Views
  • Uploaded on
  • Presentation posted in: General

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek. Srancsik Bálint, Tihanyi Attila. Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1083 Budapest, Práter u. 50/a. 2006. június 28. Videó előfeldolgozás. Audio előfeldolgozás. SzinkronizáltAudio-vizuális adatbázis.

Download Presentation

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek

Srancsik Bálint, Tihanyi Attila

Pázmány Péter Katolikus Egyetem

Információs Technológiai Kar

1083 Budapest, Práter u. 50/a.

2006. június 28.


Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-4 alapú mozgó száj megjelenítés


Arcanimáció (FA) – informatikai megközelítés

MPEG-4

Kutató

Művész


Kódolás, dekódolás

Kódoló

?

Dekódoló

?

Adat formátum

Az MPEG-4 FA-ban nincs szabványosítva a kódoló és a dekódoló


Paraméterezés


Kódolás-dekódolás szerkezete

FDP – Face Definition Parameter

FP – Feature Point

FAP – Facial Animation Parameter

FAPU – Facial Animation Parameter Unit

(FAT – Face Animation Tables)


Arckifejezések MPEG-4-es megvalósítása

Az első csoportba tartozó két FAP magas szintű paraméter -> előre definiált komplexebb mozgásokat lehet végrehajtani velük.

Számítógépes modell

  • Neme (fiú, lány)

  • Kora

  • Érzelmi állapota


Vizuális adatbázis létrehozása


FP meghatározás

Erózió

Dilatáció

Invertálás

Döntéshozás

Lényeg-kiemelés

Eredeti


Referencia alkalmazása


Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-4 alapú mozgó száj megjelenítés


Lucia

  • Bőr (15736)

  • Haj (4608)

  • Szemek (5376)

  • Fogak (1033)

  • Nyelv (236)

  • Torok (318)


Animáció megvalósítás

  • Tartópont mozgatás

  • Tartópontok egymásra hatása

  • Száj körül a bőrfelült részekre osztásával valósítható meg a mozgatás


Tartópontok egymásra hatása

  • Közeli pontok hatóköre összeér

Álkapocs forgáspont rögzítése szükséges

Álcsúcs mozgatásának a hatóköre nagy!


Műveletek MPEG-4 adatokkal

Érzelmet, szájállást megjelenítő fej

  • A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei

Alapállású fej

Alapállású fej

Érzelmet, szájállást megjelenítő fej


Animáció meggyorsítása

  • A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei

  • Előre legkésőbb a modell betöltésekor meghatározhatók az FDP-k által mozgatott hálópontok

  • Modellt alkotó háló pontjainak válogatása, sorba állítása elmozdulás mértéke szerint

  • Rendelkezésre álló gép kapacitásnak azonnali automatikus skálázása valósítható meg.


Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-2 alapú mozgó száj megjelenítés


Teszt eredmények

Ellenőrzés

Eredmény

Markerekkel vezérelve

Hanggal vezérelve


Teszt eredmények

  • A: Video felvételek

  • B: LUCIA FP koordinátákkal vezérelve

  • C: LUCIA hanggal vezérelve


Továbblépések

Előfeldolgozás

Szájmozgást előállító rendszer

Adatbázis


Modellek


Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Bemutató következik

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-4 alapú mozgó száj megjelenítés


  • Login