image based rendering
DESCRIPTION
Image Based Rendering. Daniele Marini. Image based rendering. ricavare informazioni per il rendering dalle immagini acquisite profondita’ colore BRDF luminanza. Ricavare la geometria. Ricostruzione della profondità da immagini multiple - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/1.jpg)
1
Image Based Rendering
Daniele Marini
![Page 2: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/2.jpg)
2
Image based rendering
• ricavare informazioni per il rendering dalle immagini acquisite– profondita’– colore– BRDF– luminanza
![Page 3: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/3.jpg)
3
Ricavare la geometria
• Ricostruzione della profondità da immagini multiple
• problema della inversione della proiezione prospettica
![Page 4: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/4.jpg)
4
la “costruzione legittima” L.B. Alberti
![Page 5: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/5.jpg)
5
![Page 6: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/6.jpg)
6
Come ricavare la forma?
• Shape from shading
• Shape from motion
![Page 7: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/7.jpg)
7
Shape from stereo
![Page 8: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/8.jpg)
8
x
zxs
'
f
x bz
xd
'
f
z bf
x' s x'd
b= 65 mm distanza interpupillare
![Page 9: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/9.jpg)
9
Ricerca dei punti corrispondenti
![Page 10: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/10.jpg)
10
Metodi basati su immagini
• Ricostruzione “a quinte”
• Mapping di panoramiche su forme regolari (cilindri, calotte sferiche)
![Page 11: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/11.jpg)
11
Ricostruzione a “quinte”
• Ricavando z per diversi piani di profondità permette di organizzare la scena come “quinte” teatrali
• Ogni immagine viene mappata come texture su una superficie a profondità z
• Si può esplorare la scena con sistemi di visualizzazione 3D
![Page 12: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/12.jpg)
12
Panoramiche: QuickTimeVR
• Costruzione dello “stitch”– Stima dell’obiettivo– Correzione prospettica– Collimazione fotogrammi
• Mapping dello stitch
• Costruzione sequenza video
• Dislay con interpolazione
![Page 13: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/13.jpg)
13
![Page 14: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/14.jpg)
14
Un esempio
![Page 15: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/15.jpg)
15
Stima obiettivo
![Page 16: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/16.jpg)
16
Collimazione immagini
![Page 17: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/17.jpg)
17
![Page 18: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/18.jpg)
18
Mapping dello stitch
![Page 19: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/19.jpg)
19
Tiling: fotogrammi chiave e traiettorie di navigazione
![Page 20: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/20.jpg)
20
Tiling e compressione
![Page 21: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/21.jpg)
21
Il risultato
![Page 22: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/22.jpg)
22
Struttura ipertestuale
• Si possono inserire “hot spots” per collegare scenari diversi
• La struttura del meta-filmato:
![Page 23: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/23.jpg)
23
Oggetti
• Si possono creare modelli virtuali di oggetti
• Riprese multiple di un oggetto, organizzate in un array 2D
• Il mapping idealmente è su una struttura sferica
![Page 24: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/24.jpg)
24
![Page 25: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/25.jpg)
25
Scene e link
• Panorami e oggetti si possono organizzare in scene
• Il passaggio a scene, panorami e oggetti diversi avviene con hot spots
• Sono disponibili links URL
![Page 26: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/26.jpg)
26
Costruzione dello “stitch”
• Determinare lo scarto tra due immagini:– Basato su caratteristiche delle immagini– Correlazione di fase
![Page 27: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/27.jpg)
27
Correlazione di fase
• La correlazione di fase è basata sulla valutazione della fase del Cross Power Spectrum (CPS) delle due immagini.
• Se una delle due immagini è una replica sfasata dell’altra, cioè se:
f2(x,y) = f1(x+x0,y+y0)• la fase del Cross Power Spectrum delle due
immagini f1 e f2 è data dall’equazione:
![Page 28: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/28.jpg)
28
Correlazione di fase (cont.)
• F è la trasformata di Fourier dell’immagine f e F* è la sua coniugata complessa.
• La trasformata di Fourier inversa dell’equazione è solitamente un impulso di coordinate (x0,y0) la cui posizione indica lo scostamento cercato.
F1( ,)F2*( ,)
F1( ,)F2*( ,)
e j2 (x0y0 )
![Page 29: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/29.jpg)
29
Correlazione di fase (cont.)
![Page 30: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/30.jpg)
30
Ricostruzione con luce coerente
• Esame del profilo della forma delineato con un fascio laser
![Page 31: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/31.jpg)
31
La faccia nascosta della luna
• Ricostruzione da proiezioni multiple (TAC, NMR)
![Page 32: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/32.jpg)
32
Proiezioni multiple
![Page 33: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/33.jpg)
33
Trasformata di Radon
R (x') f (x 'cos y 'sin ,x'sin y 'cos )dy '
• x’,y’ coordinate del punto trasformato per rotazione
• R viene rilevato più volte al variare dell’angolo
• l’inversione dell’equazione produce f(x,y)
![Page 34: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/34.jpg)
34
HDRI e Image-Based lighting• Uso di immagini ad alta dinamica di un
ambiente per illuminare oggetti virtuali.
![Page 35: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/35.jpg)
35
HDRI• Bisogna acquisire un’immagine ad alta
dinamica di un ambiente.
• Varie soluzioni:Mirrored Ball Fisheye lens
Panoramic camera Stitching
![Page 36: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/36.jpg)
36
Mirrored ball
![Page 37: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/37.jpg)
37
Fisheye lens
![Page 38: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/38.jpg)
38
Image-Based Lighting (1\4)
• L’immagine ad alta dinamica fornisce i valori di luminanza reali di tutti i 360° della scena.
• Utilizzandola come environment riesco a renderizzare oggetti virtuali che sembrano inseriti nella scena reale
![Page 39: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/39.jpg)
39
Image-Based Lighting (2\4)
![Page 40: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/40.jpg)
40
Image-Based Lighting (3\4)
![Page 41: Image Based Rendering](https://reader036.vdocuments.site/reader036/viewer/2022062305/56815563550346895dc32de3/html5/thumbnails/41.jpg)
41
Image-Based Lighting (4\4)