synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia
TRANSCRIPT
![Page 1: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/1.jpg)
Cele, teza i przegląd rozprawy doktorskiej
Krzysztof WegnerPolitechnika Poznańska
![Page 2: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/2.jpg)
Tło tematyczne rozprawy
Rejestracja Obrazu Wielowidokowego
Estymacja Głębi Synteza Obrazu
Obraz wielowidokowy
Koder Wielowidokowy
Mapy głębi
Dekoder Wielowidokowy
Mapy głębi
Obraz wielowidokowy
Strumień bitowy
Transmisja Obrazy Wielowidokowego wraz z Mapami Głębi
Widok Wirtualny
Żądana pozycja
Swobodna nawigacja
![Page 3: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/3.jpg)
Obszar tematyczny rozprawy
Rejestracja Obrazu Wielowidokowego
Estymacja Głębi Synteza Obrazu
Obraz wielowidokowy
Koder Wielowidokowy
Mapy głębi
Dekoder Wielowidokowy
Mapy głębi
Obraz wielowidokowy
Strumień bitowy
Transmisja Obrazy Wielowidokowego wraz z Mapami Głębi
Widok Wirtualny
Żądana pozycja
Swobodna nawigacja
![Page 4: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/4.jpg)
Metodologia
View Synthesis Reference Software
Koder MVC Dekoder MVC
Mapy głębi
Obraz wielowidokowy
Dwa strumienie bitowe
Transmisja Obrazu Wielowidokowego wraz z Mapami Głębi
Widok Wirtualny
Żądana pozycja
Ocena SubiektywnaUznany zbiór sekwencji wielowidokowych
Koder MVC Dekoder MVC
Poznan Street Poznan Hall 2
Undo DancerGhost Town Fly
Balloons Newspaper
Kendo Lovebird
Mapy głębi
Obraz wielowidokowy
PSNR
BD-Rate
PSNRWidok WirtualnyObraz z kamery
![Page 5: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/5.jpg)
Synteza Obrazu
Synteza widoku Synteza widoku
Łączenie obrazu
Wypełnianie dziur
Scena otoczona wielowidokowym systemem akwizycji
Żądana pozycja
Widok Wirtualny
Schemat blokowy procesu syntezy widoku wirtualnego
![Page 6: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/6.jpg)
Synteza Obrazu - usprawnienia
Synteza widoku Synteza widoku
Łączenie obrazu
Wypełnianie dziur
• Redukcja liczby operacji arytmetycznych• Łączenie obrazu zgodnie z
wartością głębi• Redukcja zniekształceń na
krawędziach obiektów
Schemat blokowy procesu syntezy widoku wirtualnego
Synteza widoku Synteza widoku
Łączenie obrazu
Wypełnianie dziur
![Page 7: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/7.jpg)
Redukcja liczby operacji arytmetycznych • Jedną z najkosztowniejszych operacji w procesie syntezy jest transformacja
położenia punku z przestrzeni widoku wejściowego do przestrzeni widoku wirtualnego
[𝑧𝑤 ∙𝑢𝑤
𝑧𝑤 ∙𝑣𝑤𝑧𝑤1
]=[ h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44
] ∙ [𝑧 ∙𝑢𝑧 ∙𝑣𝑧1 ]
[h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44
]=𝐾𝑤 ∙𝑅𝑡𝑤 ∙𝑅𝑡−1 ∙𝐾 −1
[𝑢 𝑣 ]𝑇
[𝑢𝑤 𝑣𝑤 ]𝑇
𝐾𝑤 ,𝐾 Macierz parametrów wewnętrznych
𝑅𝑡𝑤 ,𝑅𝑡 Macierz parametrów zewnętrznych
d
𝑑𝑤
𝑧=1
𝑑255
∙( 1𝑧𝑛𝑒𝑎𝑟
− 1𝑧 𝑓𝑎𝑟 )+ 1
𝑧 𝑓𝑎𝑟
![Page 8: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/8.jpg)
Transformacja położenia punktów
Analiza liczby operacji Mnożenia Dodawania Dzielenia Opis
1·W·H 1·W·H 1·W·H Denormalizacja
2·W·H 0 0 Konstrukcja m
16·W·H 12·W·H 0 Transformacja
0 0 3·W·H Normalizacja m
1·W·H 1·W·H 1·W·H Normalizacja d
Suma 20·W·H 14·W·H 5·W·H
![Page 9: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/9.jpg)
Redukcja liczby operacji arytmetycznych • Rozłożenie obliczeń na etapy
[𝑧𝑤 ∙𝑢𝑤
𝑧𝑤 ∙𝑣𝑤𝑧𝑤1
]=[ h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44
] ∙ [𝑧 ∙𝑢𝑧 ∙𝑣𝑧1 ]
𝑧=1
𝑑255
∙( 1𝑧𝑛𝑒𝑎𝑟
− 1𝑧 𝑓𝑎𝑟 )+ 1
𝑧 𝑓𝑎𝑟
[ h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44
] ∙ [𝑧 ∙𝑢𝑧 ∙𝑣𝑧1 ]
=
∼h1𝑇 ∙𝑢+h2𝑇 ∙𝑣+h3
𝑇 ∙1+h4𝑇 ∙ 1𝑧
⟹ 1𝑧=
𝑑255
∙( 1𝑧𝑛𝑒𝑎𝑟
− 1𝑧 𝑓𝑎𝑟 )+
1𝑧 𝑓𝑎𝑟
¿𝑑 ∙𝑎+𝑏
![Page 10: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/10.jpg)
Szybka transformacja położenia punktów
Analiza liczby operacji Mnożenia Dodawania Dzielenia Opis
4·H 4·H 0 Akumulacja v
4·W·H 4·W·H 0 Akumulacja u
1·W·H 1·W·H 0 Wyznaczanie invz
4·W·H 4·W·H 0 Akumulacja invz
0 0 3·W·H Normalizacja m
1·W·H 1·W·H 1·W·H Normalizacja d
Suma (6·W+4)·H (6·W+4)·H 3·W·H
20·W·H 14·W·H 5·W·H Poprzednio
![Page 11: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/11.jpg)
Szybka transformacja położenia punktów• Zaproponowany algorytm wymaga zaledwie 30% mnożneń, 47% dodawań i 60%
najkosztowniejszych obliczeniowo dzieleń.• Czyli przeszło 3 razy mniej mnożeń, ponad 2 razy mniej dodawań i 1.6 razy mniej
najkosztowniejszych obliczeniowo dzieleń.
![Page 12: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/12.jpg)
Łączenie obrazu• Problem przysłonięć
Fragment obrazu widoku wirtualnego
![Page 13: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/13.jpg)
Redukcja zniekształceń na krawędziach obiektów• Błędy w mapach głębi• Dodatkowa obwódka
![Page 14: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/14.jpg)
Jakość Obrazu Widoku SyntezowanegoSekwencja Book Arrival widok 5
![Page 15: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/15.jpg)
Jakość Obrazu Widoku SyntezowanegoWartości uśrednione po wszystkich sekwencjach i wszystkich widokach
![Page 16: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/16.jpg)
Szybka synteza widoków
• Mapy głębi• Płaszczyzny• Oddzielone krawędziami
![Page 17: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/17.jpg)
Sposób syntezy obrazu• Typowo punkt po punkcie• Dla bloku NxN
wymaga N2 operacji• Pojawiają się dziury
• Przybliżyć mapę głębi płaszczyzną• Dla bloku NxN
wymaga 4 operacji• Ciągły obszar brak dziur
![Page 18: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/18.jpg)
Przyspieszenie syntezy obrazu• Redukcja liczby obliczeń R dla blocku NxN• Zamiast transformacji N2 punktów• Tylko 4 narożniki wymagają transformacji
R=𝑁2
4
![Page 19: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/19.jpg)
Modelowanie głębi• Mapa głębi składa się z płaskich, gładkich
obszarów, rozdzielonych krawędziami• Modelowane płaszczyzną• Modelowanie wprowadza błąd reprezentacji
• Rozwiązanie• Adaptacyjny podział mapy głębi na bloki• Maksymalizacja stopnia redukcji liczby transformacji• Minimalizacja błędów reprezentacji
Fragmentmapy głębiN2 Transformacji
Model fragmentu mapy głębi16 bloków64 Transformacji𝐾𝑜𝑠𝑧𝑡=𝜆∙𝐸+𝑅
𝐸=∑𝑥=0
𝑁−1
∑𝑦=0
𝑁− 1
(𝑀𝑜𝑑𝑒𝑙 (𝑥 , 𝑦 )−𝑑 (𝑥 , 𝑦 ) )2
𝑀𝑜𝑑𝑒𝑙 (𝑥 , 𝑦 )=𝑎 ∙ 𝑥+𝑏 ∙ 𝑦+𝑐
![Page 20: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/20.jpg)
Modelowanie głębi• Oryginalna Mapa Głębi Podział na bloki
![Page 21: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/21.jpg)
Metodologia
![Page 22: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/22.jpg)
Przyśpieszenie procesu syntezy
![Page 23: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/23.jpg)
Przyśpieszenie procesu syntezy
![Page 24: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/24.jpg)
Przyśpieszenie procesu syntezy
![Page 25: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/25.jpg)
Przyśpieszenie procesu syntezy
![Page 26: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/26.jpg)
Szybka synteza obrazu - Podsumowanie• Modelowanie mapy głębi zbiorem płaszczyzn• Umożliwia 16 krotną redukcje liczby obliczeń• Dla skompresowanego obrazu do 64 razy szybciej
![Page 27: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/27.jpg)
Kodowanie obszarów odsłoniętych• 95% treści obrazu powtórzone w więcej niż jednym widoku• Przesyłać tylko raz
Sekwencja Procent powierzchni obrazu
Poznan Street 95%
Poznan Hall 2 94%Dancer 95%Balloons 96%Kendo 96%Newspaper 92%Average 95%
![Page 28: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/28.jpg)
Kodowanie obszarów odsłoniętych
![Page 29: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/29.jpg)
Schemat opracowanego kodera
![Page 30: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/30.jpg)
Metodologia
View Synthesis Reference Software
Koder Wielowidokowy
Dekoder Wielowidokowy
Mapy głębi
Obraz wielowidokowy
Strumienie bitowe
Transmisja Obrazu Wielowidokowego wraz z Mapami Głębi
Widok Wirtualny
Żądana pozycja
Ocena SubiektywnaUznany zbiór sekwencji wielowidokowych
Poznan Street Poznan Hall 2
Undo DancerGhost Town Fly
Balloons Newspaper
Kendo Lovebird
Mapy głębi
Obraz wielowidokowy
PSNR
BD-Rate
PSNRWidok WirtualnyObraz z kamery
![Page 31: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/31.jpg)
Ocena jakości kompresji
![Page 32: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/32.jpg)
Ocena jakości kompresji
![Page 33: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/33.jpg)
Ocena jakości kompresji
![Page 34: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/34.jpg)
Redukcja wymaganej prędkości bitowej - PSNR
![Page 35: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/35.jpg)
Redukcja wymaganej prędkości bitowej - MOS
![Page 36: Synteza widoków wirtualnych w systemach telewizji swobodnego punktu widzenia](https://reader033.vdocuments.site/reader033/viewer/2022042723/58d0fbab1a28abc00b8b6287/html5/thumbnails/36.jpg)
Podsumowanie• Przesyłanie obszarów odsłoniętych pozwala na:• 45% redukcję wymaganej prędkości bitowej przy zachowaniu tej samej jakości
obiektywnej• 61% redukcję wymaganej prędkości bitowej przy zachowaniu tej samej jakości
subiektywnej