K pfeldolgoz si rdekess gek mpeg 4 alap fejmodellek
This presentation is the property of its rightful owner.
Sponsored Links
1 / 22

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek PowerPoint PPT Presentation


  • 46 Views
  • Uploaded on
  • Presentation posted in: General

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek. Srancsik Bálint, Tihanyi Attila. Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1083 Budapest, Práter u. 50/a. 2006. június 28. Videó előfeldolgozás. Audio előfeldolgozás. SzinkronizáltAudio-vizuális adatbázis.

Download Presentation

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


K pfeldolgoz si rdekess gek mpeg 4 alap fejmodellek

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek

Srancsik Bálint, Tihanyi Attila

Pázmány Péter Katolikus Egyetem

Információs Technológiai Kar

1083 Budapest, Práter u. 50/a.

2006. június 28.


K pfeldolgoz si rdekess gek mpeg 4 alap fejmodellek

Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-4 alapú mozgó száj megjelenítés


Arcanim ci fa informatikai megk zel t s

Arcanimáció (FA) – informatikai megközelítés

MPEG-4

Kutató

Művész


K dol s dek dol s

Kódolás, dekódolás

Kódoló

?

Dekódoló

?

Adat formátum

Az MPEG-4 FA-ban nincs szabványosítva a kódoló és a dekódoló


Param terez s

Paraméterezés


K dol s dek dol s szerkezete

Kódolás-dekódolás szerkezete

FDP – Face Definition Parameter

FP – Feature Point

FAP – Facial Animation Parameter

FAPU – Facial Animation Parameter Unit

(FAT – Face Animation Tables)


Arckifejez sek mpeg 4 es megval s t sa

Arckifejezések MPEG-4-es megvalósítása

Az első csoportba tartozó két FAP magas szintű paraméter -> előre definiált komplexebb mozgásokat lehet végrehajtani velük.

Számítógépes modell

  • Neme (fiú, lány)

  • Kora

  • Érzelmi állapota


Vizu lis adatb zis l trehoz sa

Vizuális adatbázis létrehozása


Fp meghat roz s

FP meghatározás

Erózió

Dilatáció

Invertálás

Döntéshozás

Lényeg-kiemelés

Eredeti


Referencia alkalmaz sa

Referencia alkalmazása


K pfeldolgoz si rdekess gek mpeg 4 alap fejmodellek

Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-4 alapú mozgó száj megjelenítés


Lucia

Lucia

  • Bőr (15736)

  • Haj (4608)

  • Szemek (5376)

  • Fogak (1033)

  • Nyelv (236)

  • Torok (318)


Anim ci megval s t s

Animáció megvalósítás

  • Tartópont mozgatás

  • Tartópontok egymásra hatása

  • Száj körül a bőrfelült részekre osztásával valósítható meg a mozgatás


Tart pontok egym sra hat sa

Tartópontok egymásra hatása

  • Közeli pontok hatóköre összeér

Álkapocs forgáspont rögzítése szükséges

Álcsúcs mozgatásának a hatóköre nagy!


M veletek mpeg 4 adatokkal

Műveletek MPEG-4 adatokkal

Érzelmet, szájállást megjelenítő fej

  • A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei

Alapállású fej

Alapállású fej

Érzelmet, szájállást megjelenítő fej


Anim ci meggyors t sa

Animáció meggyorsítása

  • A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei

  • Előre legkésőbb a modell betöltésekor meghatározhatók az FDP-k által mozgatott hálópontok

  • Modellt alkotó háló pontjainak válogatása, sorba állítása elmozdulás mértéke szerint

  • Rendelkezésre álló gép kapacitásnak azonnali automatikus skálázása valósítható meg.


K pfeldolgoz si rdekess gek mpeg 4 alap fejmodellek

Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-2 alapú mozgó száj megjelenítés


Teszt eredm nyek

Teszt eredmények

Ellenőrzés

Eredmény

Markerekkel vezérelve

Hanggal vezérelve


Teszt eredm nyek1

Teszt eredmények

  • A: Video felvételek

  • B: LUCIA FP koordinátákkal vezérelve

  • C: LUCIA hanggal vezérelve


Tov bbl p sek

Továbblépések

Előfeldolgozás

Szájmozgást előállító rendszer

Adatbázis


Modellek

Modellek


K pfeldolgoz si rdekess gek mpeg 4 alap fejmodellek

Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Bemutató következik

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-4 alapú mozgó száj megjelenítés


  • Login