Image Based Rendering

1. Image Based Rendering Daniele Marini

2. Image based rendering • ricavare informazioni per il rendering dalle immagini acquisite • profondita’ • colore • BRDF • luminanza

3. Ricavare la geometria • Ricostruzione della profondità da immagini multiple • problema della inversione della proiezione prospettica

4. la “costruzione legittima” L.B. Alberti

6. Come ricavare la forma? • Shape from shading • Shape from motion

7. Shape from stereo

8. b= 65 mm distanza interpupillare

9. Ricerca dei punti corrispondenti

10. Metodi basati su immagini • Ricostruzione “a quinte” • Mapping di panoramiche su forme regolari (cilindri, calotte sferiche)

11. Ricostruzione a “quinte” • Ricavando z per diversi piani di profondità permette di organizzare la scena come “quinte” teatrali • Ogni immagine viene mappata come texture su una superficie a profondità z • Si può esplorare la scena con sistemi di visualizzazione 3D

12. Panoramiche: QuickTimeVR • Costruzione dello “stitch” • Stima dell’obiettivo • Correzione prospettica • Collimazione fotogrammi • Mapping dello stitch • Costruzione sequenza video • Dislay con interpolazione

14. Un esempio

15. Stima obiettivo

16. Collimazione immagini

18. Mapping dello stitch

19. Tiling: fotogrammi chiave e traiettorie di navigazione

20. Tiling e compressione

21. Il risultato

22. Struttura ipertestuale • Si possono inserire “hot spots” per collegare scenari diversi • La struttura del meta-filmato:

23. Oggetti • Si possono creare modelli virtuali di oggetti • Riprese multiple di un oggetto, organizzate in un array 2D • Il mapping idealmente è su una struttura sferica

25. Scene e link • Panorami e oggetti si possono organizzare in scene • Il passaggio a scene, panorami e oggetti diversi avviene con hot spots • Sono disponibili links URL

26. Costruzione dello “stitch” • Determinare lo scarto tra due immagini: • Basato su caratteristiche delle immagini • Correlazione di fase

27. Correlazione di fase • La correlazione di fase è basata sulla valutazione della fase del Cross Power Spectrum (CPS) delle due immagini. • Se una delle due immagini è una replica sfasata dell’altra, cioè se: f2(x,y) = f1(x+x0,y+y0) • la fase del Cross Power Spectrum delle due immagini f1 e f2 è data dall’equazione:

28. Correlazione di fase (cont.) • F è la trasformata di Fourier dell’immagine f e F* è la sua coniugata complessa. • La trasformata di Fourier inversa dell’equazione è solitamente un impulso di coordinate (x0,y0) la cui posizione indica lo scostamento cercato.

29. Correlazione di fase (cont.)

30. Ricostruzione con luce coerente • Esame del profilo della forma delineato con un fascio laser

31. La faccia nascosta della luna • Ricostruzione da proiezioni multiple (TAC, NMR)

32. Proiezioni multiple

33. x’,y’ coordinate del punto trasformato per rotazione R viene rilevato più volte al variare dell’angolo l’inversione dell’equazione produce f(x,y) Trasformata di Radon

34. HDRI e Image-Based lighting • Uso di immagini ad alta dinamica di un ambiente per illuminare oggetti virtuali.

35. HDRI • Bisogna acquisire un’immagine ad alta dinamica di un ambiente. • Varie soluzioni:

36. Mirrored ball

37. Fisheye lens

38. Image-Based Lighting (1\4) • L’immagine ad alta dinamica fornisce i valori di luminanza reali di tutti i 360° della scena. • Utilizzandola come environment riesco a renderizzare oggetti virtuali che sembrano inseriti nella scena reale

39. Image-Based Lighting (2\4)

40. Image-Based Lighting (3\4)

41. Image-Based Lighting (4\4)