Laboratory of Image Analysis and Vision

1. Laboratory of Image Analysis and Vision Quarto incontro LIMA 3D Università degli Studi di Milano Dipartimento di Scienze dell’Informazione Verona, 4° incontro LIMA 3D

2. Due Approcci per la ricostruzione 3D di volti • Modello semantico del volto • Mesh sparsa i cui vertici hanno una semantica nota • Permette di calcolare misure biometriche significative • maggiore semplicità • Stereo matching denso • Mesh densa del volto, ricostruito con maggiore dettaglio e precisione Verona, 4° incontro LIMA 3D

3. Modello semantico del volto • Modello 3D di un volto generico • Deformato per adattarlo al volto di uno specifico individuo Modello di CANDIDE: mesh avente 114 triangoli e 64 vertici Verona, 4° incontro LIMA 3D

4. Modello semantico del volto • Primo passo: • ricostruzione 3D di 15 punti caratteristici del volto, determinati su tre immagini stereo dello stesso individuo • i vertici del modello 3D corrispondenti ai punti caratteristici sono i punti di controllo usati per deformare la mesh Verona, 4° incontro LIMA 3D

5. Modello semantico del volto I due passi di deformazione del modello • Allineamento globale: • Trasformazione affine per ottenere un sistema di riferimento unico • Adattamento locale: • Spostamento dei punti di controllo • In modo che coincidano coi 15 punti caratteristici ricostruiti • Spostamento degli altri vertici del modello • in funzione dello spostamento dei punti di controllo • ogni punto di controllo ha una regione di influenza sulla mesh di Candide Verona, 4° incontro LIMA 3D

6. Modello semantico del volto Necessità di un modello più preciso • Il modello di Candide è formato da un basso numero di triangoli ed è quindi: • Facilmente implementabile • Velocemente deformabile MA • La semplicità del modello non permette di ottenere significative deformazioni • Le ricostruzioni di volti diversi appaiono simili Verona, 4° incontro LIMA 3D

7. Modello semantico del volto Il nuovo modello • Modello 3D creato per ogni individuo sulla base di: • 15 punti caratteristici localizzati nelle immagini stereo del volto • 72 vertici aggiuntivi: • 22 vertici inferiti sulla immagine frontale • 25 vertici inferiti per ognuna delle immagini laterali • Per ciascuno di questi vertici si cerca la corrispondenza • Modello finale con 156 triangoli • Problema: determinare corrispondenze precise dei 72 punti Verona, 4° incontro LIMA 3D

8. Modello semantico del volto Verona, 4° incontro LIMA 3D

9. Modello semantico del volto Ricerca delle corrispondenze • Si definiscono tre cammini che partono da un punto caratteristico (.) e terminano nel punto (X) di cui si cerca il corrispondente • Per ogni cammino viene cercato il cammino corrispondente nell’immagine di ricerca • Il mediano tra i tre corrispondenti trovati per il puntoXè il corrispondente del puntoXstesso. Verona, 4° incontro LIMA 3D

10. Modello semantico del volto Risultati Corrispondenze trovate Modello ricostruito Verona, 4° incontro LIMA 3D

11. Modello semantico del volto Integrazione dei due modelli Verona, 4° incontro LIMA 3D

12. Stereo Matching Denso • Ricerca di corrispondenze dense su immagini stereo, mediante l’utilizzo di misure di similarità, al fine di definire una mesh densa • Vincoli • Esistenza ed Unicità delle corrispondenze • Continuità e “Smoothness” della superficie 3D • Vincolo di Ordinamento • Vincolo Epipolare Verona, 4° incontro LIMA 3D

13. Metodi Locali vs. Globali • Metodi locali: corrispondenze non accurate in regioni a basso gradiente • Metodi globali: spesso con programmazione dinamica che non permette controllo dell’algoritmo • Risoluzione delle immagini • Bassa risoluzione: consente solo una ricostruzione grossolana • Alta risoluzione: caratterizzata da un basso rapporto segnale-rumore • Disparità delle immagini • Bassa disparità: il problema di ricostruzione è più sensibile agli errori • Alta disparità: distorsione prospettica maggiore Verona, 4° incontro LIMA 3D

14. Stereo matching denso Algoritmi sperimentati • A.Fusiello, V.Roberto, E.Trucco “Efficient Stereo with Multiple Windowing” CVPR 97 • C.L. Zitnick, T. Kanade “A Cooperative Algorithm for Stereo Matching and Occlusion Detection” PAMI 2000 • K. Jonsson “Shader-based stereo matching with local algorithms”Master thesis in Lund University 2003 • C. Sun “Fast Stereo Matching using Rectangular Subregioning and 3D Maximum-Surface Techniques” Int. Journal of Comp. Vision 2002 • S. Huq, B. Abidi, A. Goshtasby, M. Abidi “Stereo Matching with Energy Minimizing Snake Grid for 3D face modeling” SPIE 2004 Verona, 4° incontro LIMA 3D

15. Stereo matching denso “Stereo Matching with Energy Minimizing Snake Grid for 3D face modeling” Huq, Abidi, Goshtasby, Abidi • “Snake grid” • Ricerca della corrispondenza dei vertici di una coppia di griglie • Deformazione locale e iterativa di una griglia in modo da minimizzare globalmente: • Eint tende a mantenere la forma regolare • Eext corrisponde alla funzione di correlazione • Inizializzazione della griglia con scanner laser • Raffinamento “coarse to fine” Verona, 4° incontro LIMA 3D

16. Stereo matching denso Metodo da noi proposto • Multi-risoluzione • Coarse-to-fine • Multi-window • Tecnica basata sugli “snake grid”: Verona, 4° incontro LIMA 3D

17. Stereo matching denso Eint Eext -1 0 1 -1 0 1 L’algoritmo di stereo matching denso • Spostamento dei vertici di una griglia per minimizzare la funzione energia: • Eint non tiene conto solo dello spostamento laterale ma anche di quello verticale • Eext viene calcolato con un metodo multi-window Verona, 4° incontro LIMA 3D

18. E -1 0 1 10% Spostamento di un nodo della griglia • Spostamento “simultaneo” dei nodi della griglia • Simulazione di tale spostamento simultaneo tramite un’evoluzione iterativa • Minimizzazione dell’energia totale Etot della griglia Verona, 4° incontro LIMA 3D

19. L’evoluzione degli snake grids Verona, 4° incontro LIMA 3D

20. L’evoluzione degli snake grids Verona, 4° incontro LIMA 3D

21. Sviluppi futuri • Miglioramenti di entrambi gli approcci • Definizione di una mesh sparsa più dettagliata • Ottimizzazione del metodo di stereo matching denso • Integrazione dei modelli • Unione dei due modelli al fine di avere un modello ben dettagliato con semantica Verona, 4° incontro LIMA 3D

22. Stereo matching denso “Efficient Stereo with Multiple Windowing” Fusiello, Roberto, Trucco • “Area-based algorithm”: • adotta la SSD come misura di similarità • “Multiple Windows”: • IDEA: mantenere quella a massima similarità • Utilizza 9 diverse finestre • “Left-Right Consistency constraint”: • Riconosce e gestisce le occlusioni • “Uncertainty Estimate”: • Stima l’affidabilità delle disparità calcolate • Problema: tecnica locale non ottimale per i volti che presentano regioni con scarsa tessitura Verona, 4° incontro LIMA 3D

23. Stereo matching denso “A Cooperative Algorithm for Stereo Matching and Occlusion Detection” Zitnick, Kanade • Vincoli di unicità e continuità • Si basa su: • Template adattativo • Volume 3D di correlazione • Aggiornamento iterativo delle corrispondenze • Occlusioni: • Rilevate tramite sogliatura dei valori di corrispondenza • Problema: tecnica locale non ottimale per i volti che presentano regioni con scarsa tessitura Verona, 4° incontro LIMA 3D

24. Stereo matching denso “Shader-based stereo matching with local algorithms” Jonsson • Input: immagini rettificate • Costruzione delle piramidi multi-risoluzione • Ricerca delle corrispondenze al livello più alto (Inizializzazione della disparity map) • Per ogni livello • Inizializza la disparity map interpolando quella del livello superiore • Raffinamento delle corrispondenze usando la SSD • Problemi: • È molto sensibile all’inizializzazione • Non sfrutta i vincoli di ordinamento e di smoothness Verona, 4° incontro LIMA 3D

25. Stereo matching denso “Fast Stereo Matching using Rectangular Sub-regioning and 3D Maximum-Surface Techniques” Sun • Vincoli: di continuità ed epipolare • Algoritmo: • Suddivisione delle immagini in sotto regioni per il calcolo veloce della similarità (RSR) • Costruzione di un volume 3D di correlazione • Utilizzo di una tecnica di programmazione dinamica per la ricerca nel volume 3D della superficie di somma massima (TSDP) • Problemi: • la convergenza non è uniforme • Non c’è controllo sull’algoritmo Verona, 4° incontro LIMA 3D

26. Trovare le corrispondenze Corrispondenze tra cammini • La ricerca del cammino corrispondente parte dal punto caratteristico • Per ogni punto del cammino • si estrae un template centrato nel punto stesso; • si cerca il corrispondente nell’intorno rettangolare centrato nel punto precedentemente trovato; la misura di similarità usata è la Zero Normalized Cross Correlation (ZNCC) Punti caratteristici corrispondenti Torna Verona, 4° incontro LIMA 3D