synteza widoków w systemach telewizji 3d
TRANSCRIPT
1
Synteza Widoków Wirtualnych w
systemach Telewizji 3D
Seminarium Doktoranckie, czerwiec 2010
Krzysztof Wegner
Katedra Telekomunikacji Multimedialnej i Mikroelektroniki
Politechnika Poznańska
Tradycyjna Telewizja – pojedyńcza kamera Jedno miejsce obserwacji
Telewizja 3D – system wielu kamer Wiele miejsc obserwacji
2
Telewizja 3D
System wielo kamerowy System kamer – Politechnika Poznańska
3
4
Sekwencje wielowidokowe
Sekwencja składa się z wielu widoków zarejestrowanych z wielu miejsc w przestrzeni
5
Sekwencje wielowidokowe Standardowe wielowidokowe sekwencje testowe ISO/IEC MPEG 3DV – zbiór 14 sekwencji testowych 4 sekwencje nakręcone na Poliechnice Pozańskiej
Widok 3Widok 1 Widok 5
Poznań Street
6
Telewizja swobodnego punktu widzenia
Widz może wybrać z którego miejsca chce oglądać scenę.
Nie tylko z miejsca z którego fizycznie rejestrowaliśmy scenę
7
Mapy głębi Informacja o strukturze przestrzennej sceny
Im jaśniejszy kolor tym bliższy obiekt
8
Poznań Street
9
Poznań Street
10
Synteza widoku wirtualnego
Ma na celu stworzenie obrazu z wirtualnej kamery Na podstawie obrazów referencyjnych Renderowanie
11
Synteza widoku wirtualnego
1. Rekonstrukcja modelu w przestrzeni 3D obrazy referencyjne mapy głebi
12
Synteza widoku wirtualnego
2. Model w przestrzeni 3D poprawki modelu
13
Synteza widoku wirtualnego
3. Renderowanie nowego widoku rzutowanie modelu do nowego widoku
14
Synteza widoku wirtualnego
Problemy Nie dokładności w mapie głębi Różnice w oświetleniu Półprzeźroczystości Nawigowanie Czas syntezy
15
Czas Renderowanie – złożone obliczeniowo
Obliczenie pozycji w przestrzeni Każdy punkt opisany 7 liczbami
3 współrzędne 4 składowe koloru
Obliczenie położenia wymaga rozwiązania równania z macierzami 4x4
16
11
Z
Y
X
RAy
x
d
Czas - rozwiązanie Renderowanie
17
Renderowanie – Homografia
Czas - rozwiązanie Renderowanie – Homografia
Przesuwanie punktów Obliczenie położenia wymaga rozwiązania
równania z macierzami 3x3 (256 szczególnych przypadków)
18
11
Y
X
Hy
x
d
Czas - rozwiązanie Renderowanie – Homografia
Implementacja na karcie graficznej GPGPU Ogromne zrównoleglenie – specjalny
algorytm
19
Schemat zaproponowanego rozwiązania
20
Poznań Street - Rotacja
21
Poznań Street - Zoom
22
WynikiGPU – ATI Radeon Procek - Core
i7VSRS - Ref
Czas przetwarzania
25 fps – 40 ms 0.5 fps – 2s 0.25 fps – 4 s
23
Wyniki jakości subiektywnej – praca w toku
Dziękuje za uwagę Pytania?
24