K pfeldolgoz si rdekess gek mpeg 4 alap fejmodellek
Download
1 / 22

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek - PowerPoint PPT Presentation


  • 65 Views
  • Uploaded on

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek. Srancsik Bálint, Tihanyi Attila. Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1083 Budapest, Práter u. 50/a. 2006. június 28. Videó előfeldolgozás. Audio előfeldolgozás. SzinkronizáltAudio-vizuális adatbázis.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek' - trapper


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
K pfeldolgoz si rdekess gek mpeg 4 alap fejmodellek

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek

Srancsik Bálint, Tihanyi Attila

Pázmány Péter Katolikus Egyetem

Információs Technológiai Kar

1083 Budapest, Práter u. 50/a.

2006. június 28.


Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-4 alapú mozgó száj megjelenítés



K dol s dek dol s
Kódolás, dekódolás

Kódoló

?

Dekódoló

?

Adat formátum

Az MPEG-4 FA-ban nincs szabványosítva a kódoló és a dekódoló



K dol s dek dol s szerkezete
Kódolás-dekódolás szerkezete

FDP – Face Definition Parameter

FP – Feature Point

FAP – Facial Animation Parameter

FAPU – Facial Animation Parameter Unit

(FAT – Face Animation Tables)


Arckifejez sek mpeg 4 es megval s t sa
Arckifejezések MPEG-4-es megvalósítása

Az első csoportba tartozó két FAP magas szintű paraméter -> előre definiált komplexebb mozgásokat lehet végrehajtani velük.

Számítógépes modell

  • Neme (fiú, lány)

  • Kora

  • Érzelmi állapota



Fp meghat roz s
FP meghatározás

Erózió

Dilatáció

Invertálás

Döntéshozás

Lényeg-kiemelés

Eredeti



Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-4 alapú mozgó száj megjelenítés


Lucia
Lucia

  • Bőr (15736)

  • Haj (4608)

  • Szemek (5376)

  • Fogak (1033)

  • Nyelv (236)

  • Torok (318)


Anim ci megval s t s
Animáció megvalósítás

  • Tartópont mozgatás

  • Tartópontok egymásra hatása

  • Száj körül a bőrfelült részekre osztásával valósítható meg a mozgatás


Tart pontok egym sra hat sa
Tartópontok egymásra hatása

  • Közeli pontok hatóköre összeér

Álkapocs forgáspont rögzítése szükséges

Álcsúcs mozgatásának a hatóköre nagy!


M veletek mpeg 4 adatokkal
Műveletek MPEG-4 adatokkal

Érzelmet, szájállást megjelenítő fej

  • A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei

Alapállású fej

Alapállású fej

Érzelmet, szájállást megjelenítő fej


Anim ci meggyors t sa
Animáció meggyorsítása

  • A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei

  • Előre legkésőbb a modell betöltésekor meghatározhatók az FDP-k által mozgatott hálópontok

  • Modellt alkotó háló pontjainak válogatása, sorba állítása elmozdulás mértéke szerint

  • Rendelkezésre álló gép kapacitásnak azonnali automatikus skálázása valósítható meg.


Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-2 alapú mozgó száj megjelenítés


Teszt eredm nyek
Teszt eredmények

Ellenőrzés

Eredmény

Markerekkel vezérelve

Hanggal vezérelve


Teszt eredm nyek1
Teszt eredmények

  • A: Video felvételek

  • B: LUCIA FP koordinátákkal vezérelve

  • C: LUCIA hanggal vezérelve


Tov bbl p sek
Továbblépések

Előfeldolgozás

Szájmozgást előállító rendszer

Adatbázis



Videó előfeldolgozás

Audio előfeldolgozás

SzinkronizáltAudio-vizuális adatbázis

Szájmozgást előállító rendszer

Bemutató következik

Akusztikus lényegkiemelés

MFCC

Ellenőrzés

NN

w1 … w6 főkomponens súlytényezők

Eredmények

PCA -1

FP tartópont koordináták

MPEG-4 alapú mozgó száj megjelenítés


ad