ivan ralašić - rekonstrukcija 2d i 3d scene sažetim ... · ivan ralašić zagreb, lipanj 2016. 2...

SVEUČILIŠTE U ZAGREBU

FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA

DIPLOMSKI RAD br. 993

Rekonstrukcija 2D i 3D scene sažetim

očitavanjem

Ivan Ralašić

Zagreb, lipanj 2016.

2

Veliku zahvalnost dugujem mentoru prof. dr. sc. Damiru Seršiću na

nesebičnoj pomoći prilikom izrade ovog rada. Zahvaljujem se i svim

profesorima i asistentima Zavoda za elektroničke sustave i obradbu

informacija Fakulteta elektrotehnike i računarstva u Zagrebu na

svim korisnim savjetima i sugestijama. Konačno, najveću zahvalnost

dugujem svojim roditeljima i cijeloj obitelji te prijateljima na

podršci tijekom cjelokupnog studija!

3

SADRŽAJ

1. Uvod........................................................................................................ 5

2. Potpuno očitavanje signala ..................................................................... 8

2.1 Shannon-Nyquistov teorem uzorkovanja .......................................... 8

2.2 Postupak potpunog očitavanja ........................................................ 13

2.3 Transformacijsko kodiranje ............................................................. 14

3. Sažeto očitavanje signala ..................................................................... 16

3.1 Povijest sažetog očitavanja ............................................................. 16

3.2 Svojstva sažetog očitavanja ............................................................ 17

3.2.1. Rijetkost signala ....................................................................... 18

3.2.2. Kompresibilnost signala ............................................................ 18

3.2.3. Nekoherentnost mjerne i transformacijske baze ....................... 18

3.3 Postupak sažetog očitavanja .......................................................... 20

3.4 Metode rekonstrukcije ..................................................................... 22

3.5 Minimizacija 𝓵𝒑 norme .................................................................... 23

3.5.1. Optimizacijski algoritam SeDuMi .............................................. 25

3.5.2. Optimizacijski paket CVX ......................................................... 28

4. Sintetski primjer rekonstrukcije slike sažetim očitavanjem .................... 30

5. Rekonstrukcija dvodimenzionalne scene sažetim očitavanjem ............. 39

5.1 Kalibracija sustava kamere i projektora ........................................... 39

5.1.1. Estimacija pozadinskog osvjetljenja i šuma .............................. 41

5.1.2. Linearizacija sustava kamere i projektora ................................. 42

5.2 Proces mjerenja dvodimenzionalne scene ...................................... 49

5.3 Rekonstrukcija dvodimenzionalne scene ........................................ 52

5.4 Rezultati rekonstrukcije dvodimenzionalne scene ........................... 54

6. Rekonstrukcija trodimenzionalne scene sažetim očitavanjem .............. 59

4

6.1 3D kamera za snimanje svjetlosnog polja ....................................... 59

6.2 Kalibracija sustava kamere i projektora ........................................... 60

6.2.1. Kalibracija kamere .................................................................... 61

6.2.2. Kalibracija projektora ................................................................ 63

7. Zaključak ............................................................................................... 65

8. Literatura ............................................................................................... 66

9. Sažetak ................................................................................................. 71

10. Summary ............................................................................................ 71

5

1. Uvod

Nalazimo se u vremenu kada današnja moderna civilizacija generira

nezamislive količine podataka. Veliku većinu tih podataka čine multimedijski

sadržaji koji se nalaze na svakom koraku neovisno radilo se pri tome o slikama,

audio ili video sadržajima. Prema procjenama Ciscovih stručnjaka globalni godišnji

internetski promet će do kraja 2016. godine prijeći prag od jednog zettabajta (1000

eksabajta) ili preko milijardu gigabajta na mjesečnoj razini. Tablica 1. prikazuje

porast globalnog internetskog prometa u razdoblju od 1992. do 2019. godine iz čega

je moguće zaključiti da će se trend porasta količine podataka nastaviti [1].

Tablica 1. Rast globalnog internetskog prometa u razdoblju 1992.-2019.g.

Godina Globalni internetski promet

1992. 100 GB po danu

1997. 100 GB po satu

2002. 100 GB po sekundi

2007. 2 000 GB po sekundi



Upravo iz prethodno navedenih razloga dolazi do razvoja mnogobrojnih

metoda kompresije (sažimanja) podataka koje iskorištavaju činjenicu kako je iz

očitanog signala moguće odbaciti veliki dio podataka bez gubitka informacijskog

sadržaja ili barem bez gubitka kojeg ljudska osjetila mogu percipirati.

Postoje dva osnovna načina kompresije podataka: sažimanje s gubicima

(engl. lossy) te sažimanje bez gubitaka (engl. lossless). Sažimanje bez gubitaka

iskorištava statističku redundanciju očitanog signala te na taj način osigurava

očuvanje svih informacija sadržanih u signalu dok sažimanje s gubicima iskorištava

6

nesavršenosti ljudskih osjetila te iz očitanog signala odbacuje uzorke koji ne utječu

značajno na samu percepciju signala [2].

Postavlja se pitanje o smislenosti potpune akvizicije signala ako se naknadno

odbaci velik dio uzoraka, posebice dok postoji očigledna potreba za smanjenjem

količine podataka koja se generira. Primjerice, današnje digitalne kamere snimaju

ogromne količine podataka, a u konačnici se kompresijskim algoritmima odbacuje

velik dio prikupljenih podataka.

Metode sažetog očitavanja iskorištavaju činjenicu da će veliki dio iz

prikupljenog skupa uzoraka biti odbačen u procesu kompresije te pokušavaju

uštedjeti resurse odmah pri procesu akvizicije podataka. Razmatrajući strukturu

podataka generiranih u internetskom prometu uvidjelo se da značajnu količinu čine

audio-vizualni podaci te se naglasak stavio na razvoj kompresijskih algoritama za

multimedijske podatke. Trenutne tehnologije kompresije prilično efikasno uspijevaju

smanjiti količinu podataka uz maksimalno očuvanje informacijskog sadržaja. Bitno

je istaknuti činjenicu kako je vrlo neefikasno prvotno obaviti potpuno očitavanje

signala, a potom odbacivanje velikog dijela uzoraka.

Daljnji razvoj metoda sažetog očitavanja trebao bi omogućiti da se u procesu

očitavanja signala prikupi samo dvadesetak posto od ukupnog broja uzoraka te da

se iz tog podskupa uzoraka obavi potpuna rekonstrukcija signala. Pošto je prilikom

same akvizicije podataka uzet najmanji mogući broj uzoraka, naglasak neće biti na

metodama kompresije, nego će se pažnja posvetiti efikasnijim metodama

dekompresije i rekonstrukcije signala iz reduciranog broja uzoraka.

U ovom radu opisana je primjena metode sažetog očitavanja u razvoju

sustava za rekonstrukciju dvodimenzionalne i trodimenzionalne scene. Osnovna

ideja je da se korištenjem kalibriranog sustava kamere i projektora iz reduciranog

broja očitanih uzoraka rekonstruira polazni signal s određenom statističkom

točnosti. Drugim riječima, korištenjem kamere koja sadrži senzor niske rezolucije i

projektora visoke rezolucije potrebno je iz slike niske rezolucije određene

rezolucijom senzora kamere rekonstruirati sliku u rezoluciji projektora. Uvodni dio

sadrži objašnjenje teorijske pozadine te navodi prednosti metode sažetog

očitavanja u odnosu na tradicionalne metode očitavanja signala. Nastavak rada

opisuje cjelovit postupak razvoja sustava za rekonstrukciju dvodimenzionalne scene

7

te rezultate rekonstrukcije pomoću navedenog sustava. U slučaju rekonstrukcije

trodimenzionalne scene opisana je samo osnovna ideja razvoja sustava za

rekonstrukciju trodimenzionalne scene. Zaključak je donesen na temelju

eksperimentalnih rezultata dobivenih u radu.

8

2. Potpuno očitavanje signala

2.1 Shannon-Nyquistov teorem uzorkovanja

Uzorkovanje signala postupak je pretvorbe signala iz kontinuiranog, odnosno

analognog svijeta, u diskretni digitalni svijet diskretizacijom signala po vremenu ili

prostoru. Tradicionalni pristup uzorkovanju signala prema općepoznatom Shannon-

Nyquistovom teoremu specificira da je signal potrebno uzorkovati najmanje

dvostruko većom frekvencijom od Nyquistove frekvencije, tj. najveće frekvencijske

komponente sadržane u spektru signala kako bi bila osigurana mogućnost savršene

rekonstrukcije signala. Navedeni pristup koristi većina uređaja za obradu signala

korištenih u potrošačkoj elektronici namijenjenoj obradi audio ili video signala,

različitim medicinskim uređajima, radio prijemnicima itd.

Postupak uzimanja uzoraka ili očitavanja kontinuiranog signala 𝑓(𝑡) može se

matematički modelirati (1) pridruživanjem niza impulsa 𝑓′ funkciji 𝑓, čiji intenzitet je

proporcionalan trenutnim vrijednostima kontinuiranog signala:

𝑓′(𝑡) = 𝑆𝑇{𝑓(𝑡)} (1)

pri čemu oznaka 𝑇 u 𝑆𝑇{∘} označava period uzorkovanja, tj. razmak između

susjednih impulsa u vremenu. Detaljnije, operacija uzorkovanja može se

matematički opisati (2) kao modulacija impulsnog niza 𝛿𝑇(𝑡) s funkcijom 𝑓(𝑡):

𝑓′(𝑡) = 𝑓(𝑡) ⋅ 𝛿𝑇(𝑡) (2)

gdje je impulsni niz 𝛿𝑇(𝑡) jedna periodična funkcija koja se sastoji od beskonačnog

niza Diracovih delta funkcija (3) na pravilnom vremenskom razmaku 𝑇:

𝛿𝑇(𝑡) = ∑ 𝛿(𝑡 − 𝑛𝑇)

+∞

𝑛=−∞

(3)

9

Konačni izraz za uzorkovanje signala 𝑓(𝑡) opisan je formulom (4), dok Slika

1. ilustrira uzorkovanje kontinuiranog signala 𝑓(𝑡) [3].

𝑓′(𝑡) = 𝑓(𝑡) ∑ 𝛿(𝑡 − 𝑛𝑇)

+∞

𝑛=−∞

(4)

Slika 1. Ilustracija postupka uzorkovanja kontinuiranog signala [3]

Postupak očitavanja signala također je moguće predstaviti jednadžbom (5).

Jednadžba prikazuje korelaciju polaznog signala 𝑥(𝑡) i očitavajuće funkcije 𝜑𝑘(𝑡)

što predstavlja standardni prikaz postupka očitavanja signala [4].

𝑦𝑘 = ⟨𝑓(𝑡), 𝜑𝑘(𝑡)⟩ , 𝑘 = 1,… ,𝑚 (5)

Slika 2. prikazuje primjer očitavanja jednodimenzionalnog signala gdje se kao

očitavajuće funkcije 𝜑𝑘(𝑡) koriste Diracove delta funkcije (engl. spikes), a signal 𝑦𝑘

predstavlja uzorkovane vrijednosti vremenski kontinuiranog signala 𝑓(𝑡) kakve daje

analogno-digitalni (AD) pretvarač.

10

Slika 2. Očitavanje jednodimenzionalnog vremenski kontinuiranog signala češljem Diracovih delta impulsa

Kako bi bilo moguće ilustrirati odnose signala 𝑓(𝑡) i 𝑓′(𝑡), pogodno je

promotriti njihove spektre 𝐹(𝜔) i 𝐹′(𝜔). Spektar signala 𝑓(𝑡) nalazi se Fourierovom

transformacijom prema izrazu (6):

𝐹(𝜔) = ∫ 𝑓(𝑡)𝑒−𝑗𝜔𝑡𝑑𝑡

+∞

−∞

(6)

dok se inverznom Fourierovom transformacijom može rekonstruirati polazni signal

iz spektra 𝐹(𝜔) prema formuli (7):

𝑓(𝑡) =

1

2𝜋∫ 𝐹(𝜔)𝑒𝑗𝜔𝑡𝑑𝜔+∞

−∞

(7)

Izraz za spektar očitanog signala prikazan je formulom (8) te je vidljivo kako

se spektar 𝐹′(𝜔) očitanog signala 𝑓′(𝑡) dobiva periodičnim ponavljanjem spektra 𝐹

kontinuiranog signala svakih 𝜔0. Iz istog izraza očito je da je 𝐹′(𝜔) periodična

funkcija u varijabli 𝜔, s periodom ponavljanja 𝜔0 = 2𝜋/𝑇.

𝐹′(𝜔) =

1

𝑇∑ 𝐹(𝜔 − 𝑖𝜔0)

+∞

𝑖=−∞

(8)

11

Uz pretpostavku da je spektar 𝐹(𝜔) polaznog signala frekvencijski ograničen,

tj. da je modul spektra jednak nuli za sve frekvencije 𝜔 iznad neke granične

frekvencije 𝜔0:

|𝐹(𝜔)| = {

≠ 0, |𝜔| ≤ 𝜔𝑔= 0, |𝜔| > 𝜔𝑔

(9)

različite frekvencije uzorkovanja signala 𝜔0 mogu u spektru 𝐹′(𝜔) izazvati različite

rezultate ovisno o tome da li je 𝜔0 − 𝜔𝑔 > 𝜔𝑔 ili 𝜔0 − 𝜔𝑔 < 𝜔𝑔, a navedene

nejednakosti vrlo često se pišu u obliku (10):

𝜔0 > 2𝜔𝑔 ili 𝜔0 < 2𝜔𝑔 (10)

Slika 3. prikazuje spektar pravilno očitanog signala frekvencijom uzorkovanja

koja je više no dvostruko veća od najveće frekvencijske komponente sadržane u

signalu, odnosno signal je očitan frekvencijom iznad Nyquistove granične

frekvencije. Vidljivo je kako su replike osnovnog spektra dovoljno razmaknute i da

ne dolazi do preklapanja spektara susjednih kopija. Shannon-Nyquistovim

teoremom definiran je uvjet savršene rekonstrukcije signala iz skupa njegovih

uzoraka.

Slika 4. prikazuje spektar signala koji nije očitan pravilnom frekvencijom, tj.

prikazuje slučaj kada je 𝜔0 < 2𝜔𝑔. Vidljivo je kako dolazi do preklapanja osnovne

periode spektra s ostalim replikama spektra. Očigledno je kako u ovom slučaju

očitani signal ne opisuje jednoznačno ulazni signal 𝑓(𝑡) te kako ne postoji

mogućnost pravilne rekonstrukcije početnog signala iz njegova spektra. Pojava

preklapanja spektra u literaturi naziva se i aliasingom [3].

Slika 3. Spektar očitanog signala bez aliasinga [3]

12

Slika 4. Spektar očitanog signala s aliasingom [3]

Shannon-Nyquistov teorem može se promotriti na realnom primjeru

uzorkovanja audio signala. Frekvencijski raspon koji ljudsko uho može uspješno

percipirati raspon je od 20Hz do 20ak kHz. Prema Shannon-Nyquistovom teoremu

spomenuti audio signal treba uzorkovati frekvencijom dvostruko većom od gornje

granične frekvencije signala, odnosno frekvencijom od 40kHz. Međutim, u realnim

primjerima, antialiasing filtri koji se koriste u analogno-digitalnim pretvaračima

nemaju frekvencijsku karakteristiku idealnog pravokutnog otvora te se zbog toga

uzima nešto viša frekvencija uzorkovanja od 44.1kHz. Frekvencija uzorkovanja od

44.1kHZ govori da se iz originalnog signala uzima 44 100 uzoraka po sekundi.

Količina podataka generirana uzorkovanjem originalnog zvučnog signala

kvantiziranog na 16 bita navedenom frekvencijom od 44.1kHz pod pretpostavkom

stereo zvuka jednaka je:

(44 100 uzoraka po sekundi x 16 bita po uzorku x 2 kanala = 1.411.200 bita/s)

Enormna količina podataka generira se samo za jednu sekundu zvučnog

zapisa. Ipak, kompresijski algoritmi poput mp3 (MPEG-2 audio sloj III)

kompresijskog algoritma iskorištavaju određena svojstva samog signala te

karakteristike ljudskog sluha kako bi se smanjila količina podataka generirana

uzorkovanjem originalnog signala. Najčešće se za mp3 kompresiju koristi brzina

informacijskog toka od 128kbit/s, tj. koristi se omjer kompresije 1:11 u odnosu na

originalni očitani signal s originalnom brzinom informacijskog toka od 1 411kbit/s.

Kompresija uzrokuje smanjenje preciznosti na nekim dijelovima zvučnog signala za

koje se smatra da su izvan razlučivosti osjetila kod većine ljudi. Navedena metoda

se obično naziva percepcijskim kodiranjem. Percepcijsko kodiranje koristi

13

psihoakustičke modele radi odbacivanja ili smanjenja preciznosti komponenata

signala koje su nedostupne ljudskom sluhu, naknadno obrađujući preostale

informacije efektivnim algoritmima kompresije [5].

2.2 Postupak potpunog očitavanja

Očitavanje signala može se zapisati u obliku 𝑦 = 𝐴 ⋅ 𝑥 pri čemu je slovom 𝐴

označena mjerna matrica s vektorima 𝜑1∗, … , 𝜑𝑚

∗ složenim u retke matrice, dok 𝑎∗

označava kompleksnu transpoziciju vektora 𝑎. Prethodno formulirani problem

zapisan je matričnom jednadžbom (11).

[

𝑦1⋮𝑦𝑛] = [

𝜑11∗ … 𝜑1𝑛

∗

⋮ ⋱ ⋮𝜑𝑛1∗ … 𝜑𝑛𝑛

∗] ⋅ [

𝑥1⋮𝑥𝑛] (11)

Kod potpunog očitavanja signala, mjerna matrica je kvadratna, a

najjednostavnija od svih kvadratnih matrica je jedinična matrica. Potpuno očitavanje

tada ima oblik (12):

[

𝑦1⋮𝑦𝑛] = [

1 0 00 ⋱ 00 0 1

] ⋅ [

𝑥1⋮𝑥𝑛] (12)

Vektori 𝜑1 = [1 0 0 0 0 0… ]𝑇, 𝜑2 = [0 1 0 0 0 0… ]

𝑇 … 𝜑𝑛 = [0 0 0…0 0 1]𝑇 čine

mjernu bazu te istovremeno tvore retke mjerne matrice Φ. U tom smislu 𝑦 = Φ ⋅ 𝑥

predstavlja prikaz vektora 𝑥 u bazi Φ. Kada je mjerna matica jednaka matrici

identiteta (Φ = I) govorimo o kanonskoj bazi. Kod uzorkovanja kontinuiranih

signala, retci matrice Φ sadrže Diracove delta funkcije (𝛿) te se takva baza naziva

još i spike bazom.

Signal 𝑥 očitava se u bazi Φ, ali se može reprezentirati i u nekoj drugoj bazi

Ψ = [𝜓1, 𝜓2, … , 𝜓𝑛]. Kod potpunog očitavanja vrijedi (13):

𝑦 = Φ ⋅ 𝑥 = Φ ⋅ Ψ ⋅ 𝑠 (13)

14

Potrebno je uočiti da za Φ = I vrijedi 𝑦 = Ψ ⋅ 𝑠 što predstavlja vezu između

dvaju domena (vremenske ili prostorne te spektralne) [6].

2.3 Transformacijsko kodiranje

Tradicionalni sustavi za obradu signala najčešće su temeljeni na kompresiji

pomoću transformacijskog kodiranja koja pri snimanju signala zahtjeva uzimanje

svih 𝑁 uzoraka prema Shannon-Nyquistovom teoremu, te se nakon toga iz

dohvaćenog skupa uzoraka obavlja izračun svih 𝑁 transformacijskih koeficijenata.

Najznačajnijih 𝐾 transformacijskih koeficijenata sadržava većinu energije i dovoljni

su za kvalitetnu rekonstrukciju signala. Spomenute transformacijske koeficijente se

pohranjuje dok se ostalih 𝑁 − 𝐾 koeficijenata zanemaruje jer nemaju značajan

doprinos kvaliteti rekonstruiranog signala. Problem opisanog postupka potreba je

za snimanjem svih 𝑁 uzoraka originalnog signala i proračunom cijelog skupa od 𝑁

transformacijskih koeficijenata kako bi se u konačnici zadržalo samo 𝐾

najznačajnijih.

Slika 5. ilustrira postupak transformacijskog kodiranja slike. Na originalnu

sliku prikazanu lijevo primijenjena je dvodimenzionalna Fourierova transformacija

čiji spektar je prikazan na slici u sredini. Područje označeno crvenom bojom

predstavlja područje koje sadrži desetak posto najznačajnijih koeficijenata spektra

koji se uzimaju u obzir pri rekonstrukciji slike. Na slici desno ilustrirana je

rekonstrukcija slike pomoću najznačajnijih koeficijenata Fourierova spektra.

Promjene nastale rekonstrukcijom slike iz reduciranog spektra gotovo su

nezamjetne. Većina najznačajnijih koeficijenata nalazi se u niskofrekvencijskom

području Fourierova spektra, dok su odbačeni visokofrekvencijski koeficijenti. U

ovom primjeru korišteno je percepcijsko kodiranje na način da su odbačene

visokofrekvencijske komponente spektra koje ljudsko oko slabije raspoznaje,

odnosno koje ne pridonose subjektivnoj ocjeni kvalitete slike u mjeri kao što to čine

niskofrekvencijske komponente. Analogan postupak transformacijskog kodiranja se

koristi i za kompresiju audio te video signala. Različiti postupci kodiranja koriste

različite domene transformacije, ali je osnovna ideja transformacijskog kodiranja

jednaka.

15

Metoda sažetog očitavanja opisana u sljedećem poglavlju nudi rješenje na

neke od izazova s kojima se susreću tradicionalne metode kodiranja i kompresije.

Slika 5.. Primjer kompresije slike postupkom transformacijskog kodiranja

16

3. Sažeto očitavanje signala

Sažeto očitavanje (engl. compressive sensing, compressive sampling)

predstavlja novi pristup teoriji uzorkovanja koji pretpostavlja da signal može biti

rekonstruiran s određenom statističkom točnosti iz nepotpunog skupa prikupljenih

uzoraka. Iako se tvrdnja da je moguće u potpunosti rekonstruirati originalni signal iz

reduciranog broja uzoraka čini apsolutno besmislenom jer se ne slaže s osnovnim

načelima prethodno objašnjenog Shannon-Nyquistovog teorema, ipak postoje

određeni uvjeti u kojima je to moguće. Metoda sažetog očitavanja koristi

neadaptivne linearne projekcije kako bi se sačuvala struktura signala i kako bi se

obavio postupak uzimanja reprezentativnih uzoraka koji kvalitetno opisuju izvorni

signal te su dovoljni za njegovo pouzdano obnavljanje. Rekonstrukcija signala

obavlja se preko postupaka optimizacije koji uključuju kompleksne izračune te

predstavljaju glavni problem u sažetom uzorkovanju.

3.1 Povijest sažetog očitavanja

Prvi algoritam kojeg se može povezati s postupkom sažetog očitavanja

Pronyjeva je metoda razvijena davne 1795. godine koja omogućuje procjenu

frekvencija, amplituda i faza rijetkih trigonometrijskih polinoma na sličan način kao

što to omogućuje Fourierova transformacija, ali iz reduciranog broja uzoraka [7] [8].

Nastavak razvoja metode sažetog očitavanja predstavlja dokazivanje da je pozitivna

linearna kombinacija bilo kojih 𝑘 sinusoida jednoznačno određena svojom

vrijednošću na mjestu 2𝑛𝑘 (uz 𝑛 = 1,2,3…). Bresler i Feng predlažu shemu

uzorkovanja za određenu klasu signala koji sadrže 𝑘 komponenata različitih od nule

u svom spektru [9]. Nekoliko godina kasnije Blu, Marziliano i Vertterli razmatraju

klasu signala koji imaju konačan broj stupnjeva slobode po jedinici vremena te

dokazuju da takvi signali, koji su neograničeni u spektru, mogu biti jednoliko

uzorkovani uz uporabu odgovarajuće jezgre te zatim savršeno rekonstruirani [10].

Godine 1965. javlja se ideja kako bi 𝑙1 minimizacija mogla točno obnoviti signale koji

su rijetki u frekvencijskoj domeni iz skupa poduzorkovanih podataka [11]. Candès,

17

Romberg, Tao te Donoho dokazali su da je signale koji imaju rijetku reprezentaciju

moguće obnoviti iz malog skupa linearnih, neadaptivnih mjera [12] [13].

Tijekom godina intenzivno se razvijala teorijska pozadina metode sažetog

očitavanja dok je praktičnih primjena bilo zanemarivo malo. Veliki pomak u tom

smislu predstavlja razvoj jednopikselne kamere koja radi na principu sažetog

očitavanja. Znanstvenici sveučilišta Rice University 2006. godine razvili su prototip

kamere koja umjesto očitavanja svih uzoraka signala snima samo jedan piksel slike

na slučajno odabranom mjestu [14].

3.2 Svojstva sažetog očitavanja

Sažeto očitavanje oslanja se na svojstva poput rijetkosti i kompresibilnosti

signala te nekoherentnosti mjernih i transformacijskih baza. Jasna je činjenica kako

sažeto očitavanje ne slijedi tradicionalne procese prikupljanja podataka temeljene

na Shannon-Nyquistovom teoremu. Kompresibilnost i rijetkost signala vrlo su

korisna svojstva u obradi signala iz razloga što su mnogi prirodni signali rijetki ili

kompresibilni u odgovarajućoj transformacijskoj domeni.

U linearnoj algebri, baza je skup vektora čijom linearnom kombinacijom se

može predstaviti svaki vektor u danom prostoru. Skup mora zadovoljavati uvjet

ortogonalnosti, dakle, nijedan element skupa ne može biti prikazan kao linearna

kombinacija drugih. Realni, konačni, jednodimenzionalni signal 𝑥 moguće je

prikazati kao vektor stupac dimenzija 𝑁 × 1 u prostoru 𝑅𝑁 (vektor 𝑁 realnih brojeva).

Takav signal moguće je predstaviti u obliku (14):

𝑥 =∑ 𝑠𝑖𝜓𝑖 = Ψ𝑆

𝑁

𝑖=1 (14)

gdje je Ψ = [𝜓1𝜓2…𝜓𝑛] matrica koja sadrži vektore u određenoj bazi, a 𝑠 je vektor

transformacijskih koeficijenata. Vektori 𝑥 i 𝑠 ekvivalentne su reprezentacije istog

signala u vremenskoj (ili prostornoj) te u transformacijskoj domeni Ψ [13].

18

3.2.1. Rijetkost signala

Rijetkost signala izražava ideju kako informacijski sadržaj vremenski

kontinuiranog signala može biti puno manji nego što je određeno širinom

frekvencijskog spektra signala. Mnogi prirodni signali mogu se prikazati sažetim

reprezentacijama u odgovarajućim transformacijskim bazama. Signal je 𝐾 rijedak

ako sadržava mali broj uzoraka 𝐾 ≪ 𝑁 koji su različiti od nule, što znači da ga je

moguće prikazati kao linearnu kombinaciju samo 𝐾 vektora baze.

3.2.2. Kompresibilnost signala

Kompresibilnost signala svojstvo je signala da sadrži samo nekoliko

značajnih koeficijenata u transformacijskoj domeni dok su ostali koeficijenti

zanemarivo mali ili jednaki nuli. Kao što je prethodno pokazano na postupku

transformacijskog kodiranja, iako slika stvarne prirodne scene sadrži gotovo sve

vrijednosti elemenata slike različite od nule, transformacija slike u odgovarajućoj

bazi, primjerice valićnoj (engl. wavelet) ili Fourierovoj, imati će sažeti zapis u kojemu

je većina koeficijenata jednaka ili otprilike jednaka nuli dok će nekoliko relativno

velikih koeficijenata sadržavati većinu informacije i energije koja se nalazi u slici.

Kompresibilan signal moguće je predstaviti sa samo 𝐾 najznačajnijih koeficijenata,

dok se ostali mogu odbaciti bez značajnog gubitka u kvaliteti. Navedeno svojstvo

vrlo je bitno u području obrade signala jer su mnogi prirodni signali kompresibilni u

odgovarajućoj transformacijskoj bazi.

3.2.3. Nekoherentnost mjerne i transformacijske baze

Nekoherentnost baza izražava dualnost između reprezentacije signala u

mjernoj bazi i reprezentacije signala u transformacijskoj bazi, odnosno izražava

činjenicu kako signal koji je gust u mjernoj bazi mora imati rijetku reprezentaciju u

transformacijskoj bazi. Koherencija između mjerne baze Φ i transformacijske baze

Ψ može se prikazati izrazom (15):

19

𝜇(Φ,Ψ) = √𝑛 ∙ max1≤𝑘,𝑗≤𝑛

|⟨𝜑𝑘, 𝜓𝑗⟩| (15)

koji označava maksimalnu korelaciju između bilo koja dva elementa promatranih

baza. Ako promatrane baze sadrže korelirane vektore, koherencija je velika (i

obrnuto), ali je pritom ograničena na interval (16):

𝜇(Φ,Ψ)𝜖[1, √𝑛] (16)

Postoje mnogi parovi baza koji imaju nisku koherenciju poput primjerice

kanonske (engl. spike) 𝜑𝑘(𝑡) = 𝛿(𝑡 − 𝑘) i Fourierove baze 𝜓𝑗 = 𝑛−1

2 𝑒𝑖 2𝜋 𝑗𝑡/𝑛.

Primjer s kanonskom i Fourierovom bazom odgovara klasičnoj metodi očitavanja

signala u vremenskoj ili prostornoj domeni. Navedeni par baza ispunjava 𝜇(Φ,Ψ) =

1 te stoga omogućuje maksimalnu nekoherenciju [4].

Vrlo bitna činjenica jest da je bilo koja slučajna mjerna matrica redovito

nekoherentna s bilo kojom fiksnom transformacijskom bazom Ψ. Stoga je slučajna

Gaussova mjerna matrica ili pak slučajna binarna mjerna matrica visoko

nekoherentna s bilo kojom fiksnom transformacijskom bazom Ψ.

Ključno je zapaziti kako je moguće dizajnirati efikasne metode uzorkovanja

koje će zabilježiti korisni informacijski sadržaj iz rijetkog signala te ga sažeti u malu

količinu podataka. Predložene metode uzorkovanja su neadaptivne i jednostavno

zahtijevaju korelaciju signala s malim brojem fiksnih očitavajućih funkcija koje su

nekoherentne s transformacijskom bazom u kojoj je signal rijedak. Izrazito je bitna

činjenica da ovakve metode uzorkovanja signala omogućuju vrlo efikasno

očitavanje signala bez poznavanja strukture i svojstava signala.

Nadalje, iskorištavanjem računalnih resursa i snage današnjih računala

moguće je različitim numeričkim optimizacijskim postupcima rekonstruirati polazni

signal (s određenom statističkom pouzdanosti) iz reduciranog skupa prikupljenih

uzoraka signala. Drugim riječima, sažeto očitavanje vrlo je jednostavna i efikasna

metoda uzorkovanja signala koja je neovisna o vrsti signala i samim time ne

zahtjeva poznavanje prirode signala za proces akvizicije uzoraka, dok se u procesu

rekonstrukcije koriste numeričke optimizacije kako bi iz nepotpunog skupa uzoraka

20

bilo moguće rekonstruirati polazni signal s određenom statističkom pouzdanosti.

Sažeto očitavanje predstavlja metodu uzorkovanja signala koja osim samog

očitavanja signala istovremeno omogućuje i kompresiju signala što objašnjava sam

naziv metode.

3.3 Postupak sažetog očitavanja

U slučaju da diskretni signal 𝑥 sadrži samo 𝑚 (𝑚 ≪ 𝑛) uzoraka govori se o

poduzorkovanom signalu jer je broj dostupnih mjerenja 𝑚 puno manji od same

dimenzionalnosti signala 𝑛. U stvarnosti ovakav problem veoma je česta pojava iz

mnogo razloga. Naime, broj senzora kojima se signal očitava često je ograničen,

vrijeme očitavanja signala često je dugo, cijena mjerenja je visoka itd. Spomenute

okolnosti dovode do pitanja, da li je moguće konstruirati reducirane očitavajuće

funkcije koje omogućuju prikupljanje cjelovitog informacijskog sadržaja signala i da

li je moguće točno rekonstruirati signal iz 𝑚 ≪ 𝑛 mjerenja. Iako na prvi pogled

navedeni problem može djelovati obeshrabrujuće jer je potrebno riješiti podzadani

sustav linearnih jednadžbi, prethodno spomenute činjenice o rijetkosti i

kompresibilnosti signala u odgovarajućoj domeni dokazuju da je to moguće.

Proces rekonstrukcije signala 𝑓𝜖ℝ𝑛 iz 𝑦 = 𝐴 ⋅ 𝑥 𝜖 ℝ𝑚 predstavlja loše zadan

numerički problem za slučaj kada je 𝑚 < 𝑛 jer postoji beskonačno mnogo signala �̃�

za koje vrijedi 𝑦 = 𝐴 ⋅ �̃�. Kako bi rekonstrukcija signala bila uspješna, odnosno kako

bi bilo odabrano pravilno rješenje, koristi se prirodni model signala. Prethodno

formuliran problem zapisan je matrično jednadžbom (17):

[

𝑦1⋮𝑦𝑚] = [

𝜑11∗ … 𝜑1𝑛

∗

⋮ ⋱ ⋮𝜑𝑚1∗ … 𝜑𝑚𝑛

∗] ⋅ [

𝑥1⋮𝑥𝑛] (17)

Kod djelomičnog očitavanja, za razliku od potpunog očitavanja, u vektoru 𝑦

nisu prisutni svi elementi već samo određeni elementi 𝑦𝑘 , 𝑘𝜖{1, … , 𝑛} te se takav

slučaj opisuje jednadžbom 𝑦𝑘 = Φ𝑘 ⋅ Ψ ⋅ 𝑠. Metoda sažetog očitavanja omogućuje

dohvat reduciranog skupa uzoraka, zvanih mjerenja, pomoću kojih je moguće

statistički točno obnoviti originalni signal od 𝑁 uzoraka. Obično je broj mjerenja puno

21

manji od broja uzoraka signala, tj. 𝑀 ≪ 𝑁. Proces uzimanja skupa 𝑀 uzoraka

zapisuje se matričnom jednadžbom (18) što predstavlja unutarnji produkt mjerne

matrice dimenzija 𝑀 ×𝑁 i polaznog signala 𝑥.

𝑦 = Φ𝑘 ⋅ 𝑥 = Φ𝑘 ⋅ Ψ ⋅ 𝑠 (18)

gdje mjerna matrica predstavlja skup vektora ili ispitnih funkcija 𝜙𝑘 , 𝑘 = 1,… ,𝑀 koje

čine retke mjerne matrice. Mjerenja su zapravo projekcije signala na skup funkcija

𝜙𝑘, a Slika 6. prikazuje matrični zapis postupka mjerenja. Moguće je zaključiti kako

je jednadžba kojom se opisuje djelomično očitavanje vrlo slična jednadžbi za

potpuno očitavanje uz razliku da je iz matrice identiteta Φ = I potrebno izbaciti

određene retke što je analogno izbacivanju jednog mjerenja iz potpunog skupa.

Izbacivanje određenih redaka iz matrice Φ može se obaviti pomoću matrice 𝐾 na

način Φ𝑘 = 𝐾 ⋅ Φ pri čemu matrica 𝐾 služi za redukciju broja mjerenja iz potpunog

očitavanja.

Slika 6. Projekcija signala na skup ispitnih funkcija

Izbor ispitnih funkcija određuje mjernu bazu. Važno je konstruirati mjernu

matricu koja će osigurati da informacije u svakom 𝐾 rijetkom signalu ne budu

oštećene ili izgubljene smanjivanjem dimenzionalnosti s 𝑁 na 𝑀. Također, proces

uzimanja uzoraka mora biti neadaptivan, tj. mjerna matrica mora biti definirana za

svaki signal na isti način i ne smije ovisiti o svojstvima i strukturi signala.

22

Ključno svojstvo koje se treba zadovoljiti pri konstrukciji mjerne matrice kako

bi se osigurala stabilna rekonstrukcija signala je RIP (engl. Restricted Isometry

Property) svojstvo. Mjerna matrica Φ zadovoljava navedeno svojstvo kada vrijede

nejednadžbe (19).

(1 − 휀)‖𝑥‖𝑙22 ≤ ‖Φx‖𝑙2

2 ≤ (1 + 휀)‖𝑥‖𝑙22 (19)

Nejednadžbe (19) vrijede za svaki 𝐾 rijedak vektor 𝑥 i svaku proizvoljno malu

konstantu 휀. U tom slučaju mjerna matrica čuva euklidsku duljinu signala i svi

podskupovi 𝐾 stupaca matrice su ortogonalni [15].

Moguće je pokazati kako Bernoullijeva i slučajna Gaussova matrica

zadovoljavaju navedeno svojstvo te se prema tome može zaključiti da mjerna

matrica treba sadržavati slučajno generirane elemente kako bi bila potpuno

nestrukturirana.

3.4 Metode rekonstrukcije

Dok je ideja procesa uzimanja uzoraka prilično jednostavna, rekonstrukcijski

proces uključuje kompleksne izračune. Proces rekonstrukcije nelinearna je

procedura s ciljem obnavljanja početnog signala ili njegove rijetke reprezentacije iz

𝑀 mjerenja. Slika 7. prikazuje rekonstrukcijski problem u matričnom obliku gdje je

matrica Θ izračunata kao produkt mjerne matice Φ i transformacijske matrice Ψ (20).

Θ = Φ ⋅ Ψ (20)

23

Slika 7. Rekonstrukcijski problem zapisan pomoću matrica

Matrica Θ je pravokutna matrica s brojem redaka koji odgovara broju

mjerenja. Rješavanje problema rekonstrukcije iz smanjenog broja uzoraka

podrazumijeva rješavanje poddeterminiranog sustava linearnih jednadžbi s mnogo

više nepoznanica nego dostupnih jednadžbi za proračune. Budući da je broj

mjerenja znatno manji od broja uzoraka signala (𝑀 ≪ 𝑁) postoji beskonačan broj

mogućih rješenja zadanog sustava. Ipak, zahvaljujući svojstvu rijetkosti i

kompresibilnosti početnog signala postoji mogućnost određivanja rješenja koje u

smislu statističke pouzdanosti najbolje aproksimira signal.

3.5 Minimizacija 𝓵𝒑 norme

Jedna od mogućih metoda za rekonstrukciju početnog signala iz njegovog

sažetog zapisa, koja je ujedno i najčešće korištena, minimizacija je neke od ℓ𝑝

normi. Navedene norme definirane su kao (21):

‖𝑥‖𝑝 = (∑ |𝑥𝑖|𝑝

𝑁

𝑖=1)

1𝑝

(21)

gdje 𝑁 predstavlja broj uzoraka. Izraz (21) za 𝑝 = 2 postaje Euklidska, dok za 𝑝 = 1

postaje Manhattan norma. Iako se čini da su izrazi za različite norme vrlo slični,

njihova matematička svojstva, a samim time i njihove primjene, drastično se

24

razlikuju. Osnovni cilj rekonstrukcije signala metodom sažetog očitavanja je pronaći

maksimalno rijetko rješenje. Klasičan pristup takvim problemima uporaba je ℓ2

minimizacije:

�̂� = min𝑠′𝜖ℝ𝑛

‖𝑠′‖2 𝑢𝑧 𝑢𝑣𝑗𝑒𝑡 Θ𝑠′ = 𝑦 (22)

Izraz Θ𝑠′ = 𝑦 definira da se trebaju uzeti u obzir samo signali koji daju iste

mjere kao i početni signal, a ℓ2 norma predstavlja količinu energije. Rješavanje

izraza (22) daje rješenje koje nije rijetko, tj. sadrži mnogo elemenata različitih od

nule. ℓ2 norma poznata i pod nazivom Euklidska norma, koristi se kao mjera razlike

među vektorima (matricama). Jedna od primjena Euklidske norme u području

obrade signala računanje je srednje kvadratne pogreške (23) čime se dobiva

informacija o sličnosti, odnosno o koreliranosti dvaju signala.

𝑀𝑆𝐸(𝑥1, 𝑥2) =

1

𝑛‖𝑥1 − 𝑥2‖2

2 =1

𝑛∑ (𝑥1𝑖 − 𝑥2𝑖)

2

𝑖 (23)

Iz razloga što se minimizacijom ℓ2 norme dobiva rješenje koje nije rijetko, ℓ2

norma zamijenjena je ℓ0 normom (24) koja označava broj elemenata različitih od

nule u vektoru 𝑠′. Kako se u problemu sažetog očitavanja pokušava pronaći rješenje

s najmanjim brojem elemenata različitih od nule, očekuje se kako bi minimizacija ℓ0

norme trebala dati idealno rijetko rješenje, odnosno minimizacija ℓ0 norme

omogućuje direktno mjerenje rijetkosti signala.



Međutim, direktno rješavanje izraza za ℓ0 normu je NP složeno (engl. Non-

deterministic Polynomial Time), pa se ℓ0 norma zamjenjuje ℓ1 normom (25) koja

označava sumu amplituda elemenata u vektoru 𝑠′:



25

ℓ1 norma se u obradi signala često koristi kao srednja apsolutna pogreška

(26) između dvaju vektora. Popularni naziv spomenute norme je i Manhattan norma

ili taxicab norma zbog analogije s problemom s kojim se susreću vozači taksija.

Razlog tome je što vozači taksija udaljenost do neke točke ne mogu mjeriti

najkraćom ravnom linijom do odredišta, nego moraju uzeti u obzir da su gradske

ulice okomite jedna na drugu ili pak paralelne te da se udaljenost treba promatrati u

tom smislu.

𝑀𝐴𝐸(𝑥1, 𝑥2) =1

𝑛‖𝑥1 − 𝑥2‖1=

1

𝑛∑ |𝑥1𝑖 − 𝑥2𝑖|𝑖 (26)

Minimizacija pomoću ℓ1 norme može pouzdano i statistički točno obnoviti 𝐾 rijedak

signal ili aproksimativno kompresibilan signal iz samo (27) slučajnih mjera gdje 𝐶

predstavlja neku malu pozitivnu konstantu [4].

𝑀 ≥ 𝐶 ⋅ 𝑆 ⋅ log

𝑁

𝑆 (27)

ℓ1 norma predstavlja praktičnu alternativu ℓ0 normi jer njeno računanje može

biti postavljeno kao linearni programski problem te može biti riješeno mnogim

poznatim i efikasnim optimizacijskim algoritmima. Pokazuje se da je pri

pronalaženju najrjeđeg rješenja ℓ1 norma u konačnici skoro jednako efikasna kao

ℓ0 norma.

3.5.1. Optimizacijski algoritam SeDuMi

SeDuMi (engl. Self-Dual-Minimization) je računalni program (programsko

proširenje) otvorenog koda namijenjen korištenju u programskom okruženju

MATLAB koji se koristi za optimizacijske probleme preko simetričnih konusa [16].

Inicijalnu inačicu SeDuMi-ja razvio je 1997. godine Jos F. Sturm, dok su

nadogradnju napravili Oleksandri Romanko i Imrei Pólik [17]. Trenutačno SeDuMi

održava i razvija CORAL Lab na odjelu „Department of Industrial and Systems

Engineering“ Sveučilišta Lehigh. SeDuMi je pronašao široku primjenu u

akademskim i industrijskim krugovima zbog visoke numeričke preciznosti,

26

robusnosti, učinkovitog rukovanja rijetkim sustavima te zbog toga što je namijenjen

korištenju unutar popularnog programskog okruženja MATLAB. Kao i većina

optimizacijskih algoritama, SeDuMi vrlo intenzivno koristi računalne resurse.

SeDuMi zahtjeva definiciju linearnog programskog modela u primarnoj

standardnoj formi ili u dualnoj standardnoj formi prema izrazima (28) ili (29).

min 𝑐𝑇

𝑠. 𝑡. 𝐴𝑥 = 𝑏,

𝑥𝑖 ≥ 0 𝑧𝑎 𝑖 = 1,2, … , 𝑛

(28)

max 𝑏𝑇

𝑠. 𝑡. 𝑐𝑖 − 𝑎𝑖𝑇𝑦 ≥ 0,

𝑖 = 1,2, … , 𝑛

(29)

Problem optimizacije ℓ1 norme zapisuje se kao (30):

min ‖𝑥‖1 𝑠. 𝑡. Θ 𝑠 = 𝑦𝑘 (30)

Početni korak pripreme navedenog problema za optimizacijski algoritam

SeDuMi uvođenje je slack varijable 𝑡 čime se dobiva ekvivalentni zapis problema u

obliku (31) [17]:

min 𝑡

𝑠. 𝑡. Θ 𝑠 = 𝑦𝑘

𝑥 ≤ 𝑡

𝑥 ≥ −𝑡

𝑡 ≥ 0

(31)

U slučaju korištenja dualne standardne forme, uvjet Θ 𝑠 = 𝑦𝑘 se može

raspisati pomoću nejednakosti prema izrazu (32) uz prebacivanje varijabli na jednu

stranu znaka nejednakosti kako bi se osiguralo da su svi izrazi nejednakosti zadani

na isti način:

27

max−𝑡

𝑠. 𝑡. Θ 𝑠 − 𝑦𝑘 ≥ 0

−Θ 𝑠 − 𝑦𝑘 ≥ 0

−𝑥 + 𝑡 ≥ 0

𝑥 + 𝑡 ≥ 0

𝑡 ≥ 0

(32)

Problem (32) može se raspisati po komponentama kao (33):

max [0 … 0 ⏟ −1…− 1⏟ ]

𝑁 𝑁

[ 𝑧1⋮𝑧𝑁𝑧𝑁+1⋮𝑧2𝑁 ]

(33)

𝑠. 𝑡.

−𝑦𝑘 + [Θ 0]𝑧 ≥ 0

+𝑦𝑘 + [−Θ 0]𝑧 ≥ 0

[0⋮0] + [

−1 000

⋱0 00

1 0 00 ⋱ 0

−1 0 0 1] 𝑧 ≥ 0

[0⋮0] + [

1 000

⋱0 00

1 0 00 ⋱ 0

1 0 0 1] 𝑧 ≥ 0

[0⋮0] + [

0 000

⋱0 00

1 0 00 ⋱ 0

0 0 0 1] 𝑧 ≥ 0

28

Konačan zapis problema minimizacije ℓ1 norme pripremljen za pozivanje

optimizacijskog algoritma SeDuMi u programskom okruženju MATLAB u matričnom

obliku prikazan je jednadžbama (34) [6]:

max

𝒃

0 … 0 ⏟ −1…− 1⏟

𝑁 𝑁

⏞

[ 𝑧1⋮𝑧𝑁𝑧𝑁+1⋮𝑧2𝑁 ]

(34)

𝑠. 𝑡.

[ −𝑦𝑘𝑦𝑘0⋮00⋮00⋮0 ]

⏟

𝒄

−

[

−Θ+Θ

+𝑒𝑦𝑒(𝑁)

−𝑒𝑦𝑒(𝑁)

𝑧𝑒𝑟𝑜𝑠(𝑁)

00



−𝑒𝑦𝑒(𝑁)]

⏟

𝑨𝒕

𝑧 ≥ 0

3.5.2. Optimizacijski paket CVX

CVX je paket optimizacijskih algoritama za disciplinirano konveksno

programiranje namijenjen korištenju unutar programskog okruženja MATLAB [18].

CVX pretvara MATLAB u modelirajući programski jezik dozvoljavajući pri tome

definiranje uvjeta, ograničenja i ciljeva korištenjem standardnih MATLAB izraza te

zbog toga predstavlja moćan alat za brzu izradu prototipova modela i algoritama u

kojima se koriste konveksne optimizacije. Optimizacijski paket CVX besplatan je za

uporabu u akademske svrhe ako se prilikom rješavanja optimizacijskih problema

koristi neki od uključenih besplatnih algoritama, SeDuMi ili SDPT3 [16] [19].

Dostupni su još Gurobi i MOSEK algoritmi za optimizaciju, međutim za njihovo

korištenje potrebna je licenca koja je također besplatna za akademske korisnike [20]

[21].

29

Problem optimizacije ℓ1 norme definiran jednadžbom (30) preveden u

problem namijenjen rješavanju pomoću CVX programskog paketa definiran je kao:

cvx_solver SeDuMi

cvx_begin quiet

variable s_est(N, 1);

minimize(norm(s, 1));

subject to

theta * s == y_k;

cvx_end

Naredbom cvx_solver definiran je optimizacijski algoritam korišten pri

rješavanju navedenog problema. Naredbama cvx_begin i cvx_end definira se

početak i kraj optimizacijskog problema, dok ostale naredbe prevode problem (30)

u problem formuliran za rješavanje korištenjem CVX optimizacijskog paketa.

30

4. Sintetski primjer rekonstrukcije slike sažetim

očitavanjem

Korištenjem prethodno izvedenih zaključaka vezanih uz sažeto očitavanje

izrađen je sintetski primjer rekonstrukcije slike iz reduciranog broja uzoraka

metodom sažetog očitavanja. Sintetski primjer služi kako bi sva prethodno izrečena

teorijska svojstva bila potvrđena i dokazana u praktičnoj primjeni te kako bi se

uvidjele prednosti i mane različitih pristupa rješavanju problema rekonstrukcije slike

iz reduciranog broja uzoraka pomoću metode sažetog očitavanja.

Testna slika korištena pri sintetskoj rekonstrukciji dobro je poznata testna

slika Lenna koju prikazuje Slika 8 [22]. Rekonstrukcija slike provodi se prema

dijagramu tijeka kojeg prikazuje Slika 9. Obrada slike i sama rekonstrukcija obavlja

se na blokovima veličine 8x8 piksela iz razloga što su optimizacijski algoritmi puno

efikasniji u rješavanju problema minimizacije ℓ1 norme na manjim skupovima

podataka.

Slika 8. Testna slika Lenna

31

Slika 9. Dijagram tijeka rekonstrukcije signala pomoću sažetog očitavanja

Prvi korak sintetskog primjera rekonstrukcije slike metodom sažetog

očitavanja izgradnja je mjerne matrice Φ. Slika 10. prikazuje mjerne matrice

korištene u ovom primjeru, a to su slučajna binarna mjerna matrica te slučajna

Gaussova mjerna matrica. Na slikama su prikazane potpune mjerne matrice koje

sadrže 64 retka, odnosno sačinjene su od 64 mjerne maske preuređene u mjerne

vektore duljine 64 elementa (za blok od 8x8 slikovnih elemenata). Smanjenjem broja

redaka mjerne matrice u konačnici se smanjuje i broj mjerenja korištenih u

rekonstrukciji signala.

Slika 11. prikazuje izgled jedne mjerne maske iz slučajne binarne mjerne

matrice Φ. Prikazana mjerna maska pretvara se u vektor te se slaže u mjernu

matricu kao vektor-redak. Broj jedinica i nula u svakoj slučajnoj binarnoj mjernoj

maski iznosi pedeset posto ukupnog broja elemenata maske.

Slika 10. Mjerne matrica 𝛷 – lijevo binarna, desno Gaussova matrica

Izgradnja mjerne matrice Φ

Odabir transformacijske

matrice Ψ

Provođenje sintetskih mjerenja

Rekonstrukcija slike

32

Slika 11. Mjerna maska

Sljedeći korak sintetskog primjera rekonstrukcije testne slike odabir je

odgovarajuće transformacijske matrice Ψ. Odgovarajuća transformacijska matrica

omogućuje rijetku reprezentaciju signala u transformacijskoj domeni.

Transformacijske matrice korištene u ovom primjeru su dvodimenzionalna matrica

diskretne kosinusne transformacije te dvodimenzionalna matrica Haarove valićne

transformacije (engl. Haar wavelet) koje prikazuje Slika 12.

Slika 12. Transformacijske matrice - lijevo DCT, desno DWT

33

Izvođenje mjerenja pomoću prethodno konstruiranih mjernih matrica sljedeći

je korak sintetskog primjera rekonstrukcije slike. Sintetska mjerenja simulirana su

pomoću unutarnjeg produkta mjerne matrice Φ i jednodimenzionalnog vektora

ulaznih podataka stvorenog od slikovnih elemenata testne slike. Rezultantni vektor

𝑦 sadrži broj mjerenja koji je jednak broju redaka mjerne matrice Φ. Važno je

primijetiti transformaciju dvodimenzionalnog signala u jednodimenzionalni vektor iz

razloga što optimizacijski algoritmi rješavaju dvodimenzionalni problem

rekonstrukcije signala na istovjetan način kao problem definiran u jednoj dimenziji.

Slika se transformira u jednodimenzionalan vektor pomoću MATLAB funkcije

reshape na način kao što ilustrira Slika 13.

Slika 13. Transformacija slike u jednodimenzionalni vektor slikovnih elemenata

Posljednji korak sintetskog primjera rekonstrukcije slike predstavlja sama

rekonstrukcija iz reduciranog skupa mjerenja dobivenih sažetim očitavanjem.

Korištenjem nekog od prethodno navedenih algoritama za optimizaciju, minimizira

se ℓ1 norma i pokušava se pronaći najrjeđe moguće rješenje koje sažeto opisuje

originalni dvodimenzionalni signal. U ovom primjeru za rekonstrukciju slike iz

sažetog broja očitavanja korišten je optimizacijski algoritam SeDuMi.

Korištenjem opisanog algoritma napravljene su rekonstrukcije originalne slike

iz reduciranog broja uzoraka uz modifikacije različitih parametara kako bi se

promotrio njihov utjecaj na kvalitetu rekonstrukcije. U algoritmu je omogućen odabir

vrste i veličine mjerne matrice te odabir vrste transformacijske matrice. Također,

moguće je odabrati željenu razinu rijetkosti signala na način da se u domeni

34

transformacije odbacuje određeni postotak najmanjih koeficijenata povećavajući pri

tome rijetkost signala.

Slika 14. prikazuje jedno mjerenje provedeno na blokovima veličine 8x8

preko cijele slike koje odgovara množenju vektora koji sadrži slikovne elemente

bloka s jednim retkom slučajne binarne mjerne matrice. Rezultat rekonstrukcije slike

očitane pomoću potpune slučajne binarne mjerne matrice (64 retka) prikazuje Slika

15. Usporedbom rezultata rekonstrukcije slike i originalne slike (Slika 8.) vidljivo je

kako je rekonstrukcija vrlo kvalitetna. Nadalje, rekonstrukciju slike iz reduciranog

broja mjerenja (48 mjerenja) prikazuje Slika 16. Potrebno je uočiti pojavu određenih

deformacija i pogrešno rekonstruiranih blokova. Izobličenja koja se pojavljuju mogu

se usporediti s onima koja se javljaju prilikom JPEG kompresije slike. Konačno,

Slika 17. prikazuje rekonstrukciju slike iz polovice broja ukupnih mjerenja (32

mjerenja). Izobličenja koja se javljaju u slici su značajna, iako je informacijski sadržaj

slike ostao prepoznatljiv. Slika 18. prikazuje rekonstrukciju slike iz 16 mjerenja

prikazana. Vidljive su značajne pogreške u rekonstrukciji i artefakti blokovske

obrade slike.

Slika 14. Prikaz jednog mjerenja korištenog u rekonstrukciji slike

35

Slika 15. Rekonstrukcija slike – 64 mjerenja

Slika 16. Rekonstrukcija slike - 48 mjerenja

36



37

Tablica 2. prikazuje odnos srednje kvadratne i apsolutne pogreške te broja

mjerenja korištenih za rekonstrukciju slike. Jasno je vidljivo kako kvaliteta

rekonstrukcije opada sa smanjenjem broja mjerenja iz čega je moguće zaključiti da

je odnos broja mjerenja i kvalitete rekonstrukcije proporcionalan. Svi podaci

prikazani u tablici dobiveni su rekonstrukcijom testne slike korištenjem diskretne

kosinusne transformacijske matrice i slučajne binarne mjerne matrice na

neprorijeđenim ulaznim podacima.

Tablica 2. Odnos srednje kvadratne pogreške i broja mjerenja

broj mjerenja 16 32 48 64

MSE [dB] -19.61 -23.75 -28.77 -95.65

MAE [dB] -11.35 -13.49 -16.18 -50.77

Tablica 3. prikazuje odnos srednje kvadratne i apsolutne pogreške te

postotka rijetkosti slike na primjeru rekonstrukcije slike iz 32 mjerenja. Može se

zaključiti kako je navedeni odnos proporcionalan, odnosno povećanje postotka

rijetkosti slike poboljšava kvalitetu rekonstrukcije što je bilo i očekivano prema

teorijskoj pozadini metode sažetog očitavanja. I u ovom slučaju korištena je

diskretna kosinusna transformacijska matrica te slučajna binarna mjerna matrica.

Tablica 3. Odnos srednje kvadratne pogreške i rijetkosti slike

postotak rijetkosti [%] 0 25 50 75

MSE [dB] -23.65 -24.50 -25.58 -27.28

MAE [dB] -13.55 -13.91 -14.42 -15.50

Pokazalo se kako se odabirom drukčije transformacijske ili mjerne matrice ne

dobivaju značajni dobici u smislu kvalitete rekonstrukcije slike. Tablica 4. prikazuje

utjecaj odabira mjerne i transformacijske matrice na kvalitetu rekonstrukcije. Vidljivo

je kako odabir transformacijske matrice ima veći utjecaj na kvalitetu rekonstrukcije

nego odabir mjerne matrice. Kvaliteta rekonstrukcije je izražena pomoću srednje

kvadratne pogreške i srednje apsolutne pogreške iskazane u dB dok su za

38

usporedbu korištene rekonstrukcije pomoću 48 mjerenja na neprorijeđenim ulaznim

podacima.

Tablica 4. Utjecaj odabira mjerne i transformacijske matrice na kvalitetu rekonstrukcije

Φ

Ψ

BINARNA GAUSSOVA

DCT MSE [dB] -29.11 -29.38

MAE [dB] -16.33 -16.30

DWT (Haar) MSE [dB] -27.24 -27.85

MAE [dB] -15.66 -15.71

39

5. Rekonstrukcija dvodimenzionalne scene sažetim

očitavanjem

Osnovna ideja rekonstrukcije dvodimenzionalne scene sažetim očitavanjem

jest da se korištenjem kalibriranog sustava digitalne kamere i projektora iz

reduciranog broja očitanih uzoraka rekonstruira potpuni signal s određenom

statističkom pouzdanosti. Nakon što je na sintetskom primjeru rekonstrukcije

dvodimenzionalnog signala dokazana teorijska pozadina sažetog očitavanja,

iskorištavanjem određenih zaključaka razvijen je cjelokupni sustav za rekonstrukciju

dvodimenzionalne scene sažetim očitavanjem koji se sastoji od sklopovskog i

programskog dijela.

Sklopovski dio sastoji se od kalibriranog sustava digitalne kamere i

projektora. Digitalna kamera korištena u procesu rekonstrukcije je Canon 400D.

Canon 400D je 10.1 megapikselna kamera sa senzorom rezolucije 3888x2592

piksela [23]. Drugi dio sustava čini WXGA LCD projektor Hitachi CP-WX410

rezolucije 1280x800 piksela [24]. Rezolucijom projektora određena je maksimalna

rezolucija rekonstruirane dvodimenzionalne scene. Iako je rezolucija senzora

digitalne kamere očigledno veća od rezolucije LCD projektora, naknadnim

procesiranjem slike rezolucija je programski smanjena.

Programski dio sustava za rekonstrukciju dvodimenzionalne scene sažetim

očitavanjem razvijen je u programskom okruženju MATLAB. Drugi programi

korišteni u razvoju programskog rješenja biti će opisani u daljnjim poglavljima.

5.1 Kalibracija sustava kamere i projektora

Slika 19. prikazuje izgled sustava kamere i projektora korištenog u procesu

mjerenja dvodimenzionalne scene. Projektor i kamera se postavljaju okomito na

ravninu projekcije odnosno okomito na mjerenu dvodimenzionalnu scenu. Kamera

se na računalo spaja putem mini USB kabla dok se za spajanje projektora koristi

HDMI kabel.

40

Slika 19. Sustav kamere i projektora

Vrlo bitna stvar u procesu mjerenja dvodimenzionalne scene jest statičnost

sustava kamere i projektora. Projektor se postavlja na stabilnu površinu poput

radnog stola dok se za kameru koristi stativ. Iz istog razloga se za udaljeno okidanje

kamere (engl. Remote Shooting) koristi programska podrška Canon EOS Utility [25].

Sve automatizirane postavke kamere poput automatske ekspozicije i

automatskog izoštravanja u procesu kalibracije te kasnije u procesu mjerenja

dvodimenzionalne scene moraju biti isključene. Razlog tome je što se želi ostvariti

potpuna kontrola nad procesom mjerenja. Parametri kamere u procesu kalibracije i

mjerenja postavljaju se na sljedeće vrijednosti: brzina blende postavljena je na

𝐹/5.6, dok je vrijeme ekspozicije namješteno na 1/25𝑠, ISO osjetljivost senzora

41

namještena je na minimalnu vrijednost 100 kako bi se u sliku unosila što manja

razina šuma.

Sve postavke projektora također se postavljaju na neutralne, isključuju se sve

automatske postavke s posebnim naglaskom na postavku keystone čija promjena

uzrokuje aliasing efekte u prikazu slike.

U procesu kalibracije se na ravnu plohu (npr. zid) stavlja bijeli papir poznatih

svojstava. Prije procesa rekonstrukcije scene na papir identičnih svojstava će se

isprintati određeni uzorak koji će biti rekonstruiran metodom sažetog očitavanja.

5.1.1. Estimacija pozadinskog osvjetljenja i šuma

Proces kalibracije sustava projektora i kamere započinje estimacijom

pozadinskog osvjetljenja i šuma. Pozadinsko osvjetljenje i pozadinski šum jednim

imenom nazivamo pozadinom. Prvi razlog pojavljivanja pozadinskog osvjetljenja je

što projektor prilikom prikazivanja potpuno tamne slike zapravo propušta dio

svjetlosti ne prikazujući pri tome očekivanu crnu sliku. Iako je preporučeno proces

mjerenja obaviti u apsolutno zamračenoj sobi, može se dogoditi da se pojavi utjecaj

dnevnog svjetla koje će podići razinu osvjetljenja dvodimenzionalne scene. Nadalje,

pošto je Canon 400D kamera koja sadrži CCD senzor pri procesu uzorkovanja

signala javlja se i šum senzora koji doprinosi ukupnom pozadinskom šumu, a dijeli

se na tri komponente: fotonski šum (engl. photon noise), tamni šum (engl. dark

current noise) te mjerni šum (engl. readout noise).

Fotonski šum je šum koji je vezan uz nasumične fluktuacije fotonskog toka

koji dolazi do CCD senzora. Ovaj šum ravna se po Poissonovoj distribuciji i njegova

vrijednost proporcionalna je kvadratnom korijenu signala. Ova vrsta šuma je

neizbježna i uvijek je prisutna u sustavima za uzorkovanje intenziteta

elektromagnetskog zračenja.

Tamni šum nastaje kao posljedica nesavršenosti senzora i ovisi o temperaturi

senzora (obično se udvostručuje svakih 6-7K) te se može drastično smanjiti

hlađenjem senzora. Tamni šum proporcionalan je vremenu integracije senzora

kamere.

42

Mjerni šum je aditivni Gaussov bijeli šum koji uključuje termalni šum u

elektroničkim komponentama i kvantizacijski šum. Ova vrsta šuma se može smanjiti

dužim ekspozicijama [26] [27].

Proces estimacije pozadine započinje projiciranjem potpuno tamne slike na

projektoru i snimanjem scene digitalnom kamerom. Ponavlja se više mjerenja

utjecaja pozadine zbog preciznijeg računanja srednje vrijednosti, odnosno

smanjenja standardne devijacije mjerenja. Slike koje služe za estimaciju utjecaja

pozadine programski se usrednjavaju te se koriste u procesu linearizacije sustava

kamere i projektora, ali i kasnije u procesu rekonstrukcije scene kako bi se u

potpunosti eliminirao utjecaj pozadinskog osvjetljenja i šuma.

5.1.2. Linearizacija sustava kamere i projektora

Sljedeći korak u procesu kalibracije sustava kamere i projektora je

linearizacija mjerenja. Potpuno neobrađeni podaci s digitalne kamere

podrazumijevaju podatke na kojima nisu primijenjene nikakve transformacije. RAW

format predstavlja format zapisa neprocesuiranih podataka o mjerenju koji dolaze

direktno sa senzora digitalne kamere što je vrlo korisno kod znanstvenih istraživanja

kada je potrebno imati potpunu kontrolu nad procesom akvizicije podataka. Iako vrlo

korisno kada se koristi u znanstvene svrhe, u praktičnim potrošačkim primjenama

RAW slika mora proći dugački lanac postprocesiranja prije nego može biti ispravno

prikazana. Većina današnjih kamera namijenjena je upravo potrošačkim

primjenama, dakle, kao izlazne podatke daje slike na kojima su prethodno

primijenjene različite operacije postprocesiranja ne dopuštajući pri tom pristup

sirovim podacima o mjerenju sa senzora, dok digitalne kamere višeg cjenovnog

ranga ipak omogućuju spremanje slika u RAW formatu zapisa.

RAW format zapisa klasa je računalnih datoteka koje tipično sadrže

nekomprimiranu sliku s vrijednostima intenziteta svakog pojedinog piksela, ali

također sadrže i veliku količinu meta-informacija (engl. Exif data) o slici generiranoj

pomoću digitalne kamere. Ovisno o proizvođaču korištene digitalne kamere RAW

zapisi imaju različite forme pojavljivanja pa tako primjerice Canon ima vlastiti

zatvoreni format RAW zapisa koji se naziva CR2 formatom [28]. Postoji i univerzalni,

43

otvoreni format zapisa nazvan digitalnim negativom DNG (engl. Digital Negative)

koji se može shvatiti kao nerazvijeni film analogne kamere [29]. Općenito, zatvoreni

RAW formati su vrlo zagonetni i teški za dešifriranje, međutim, razvijene su brojne

metode kojima se uspješno dolazi do podataka sadržanih u takvim zapisima. RAW

zapis sa senzora digitalne kamere zasigurno sadrži informaciju o sceni, međutim

ona nije prepoznatljiva ljudskom oku kao što prikazuje Slika 20.

Slika 20. Izgled RAW zapisa slike [30]

RAW je jednokanalni zapis intenziteta svjetlosti na pojedinom fotosenzoru.

Razina intenziteta svjetlosti koju kamera može uspješno obraditi definirana je

razinom zasićenja samog senzora digitalne kamere i kao takva nikad neće biti

premašena. Kod većine digitalnih kamera vrijednosti intenziteta svjetlosti izražavaju

se 12 ili 14-bitnim cjelobrojnim brojevima. Referentna razina crne boje u sceni

najmanja je vrijednost intenziteta očitana na senzoru kamere. Očitana razina

intenziteta svjetlosti odgovara broju fotona koji padaju na senzor kamere, odnosno

broju elektrona koji su generirani prilikom pobude fotosenzora upadnom svjetlošću.

RAW zapis podataka sa senzora digitalne kamere najčešće dolazi u formatu

Bayerovog filtera (engl. Bayer Color Filter Array, CFA). Bayerov filter matrica je

fotosenzora veličine 𝑚𝑥𝑛 (gdje su 𝑚𝑥𝑛 dimenzije cijelog senzora) u kojoj svaki

fotosenzor sadrži informaciju o boji jednog od triju RGB kanala. Bayerov filter

informaciju o boji ostvaruje kompromisnim rješenjem u kojemu se iznad senzora

44

postavlja selektivni filter koji na različitim lokacijama propušta samo određeni dio

spektra svjetlosti (crveni, zeleni ili plavi) spremajući pri tome informaciju o intenzitetu

određene boje. Iako se na ovaj način dobiva informacija o samo jednoj boji na

određenom fotosenzoru, pametnim načinima interpolacije moguće je izračunati

intenzitet ostalih dvaju boja te na taj način ostvariti dobro poznati RGB zapis slike

[30].

Spomenuti proces interpolacije naziva se demosaicing. Proces interpolacije

stvara slikovno polje veličine 𝑚𝑥𝑛𝑥3 RGB vrijednosti koje sadrži vrijednosti

intenziteta boja za svaki slikovni element. Slika 21. prikazuje izgled Bayerovog filtra.

Može se primjetiti kako u Bayerovom filteru ima dvostruko više fotosenzora za

zelenu boju nego fotosenzora za crvenu ili plavu boju. Razlog tome je što je ljudsko

oko puno osjetljivije na varijacije u nijansama zelene boje te što je zelena boja bolje

korelirana s percepcijom intenziteta svjetlosti u sceni.

Slika 21. Bayerov filter [30]

Vrijedi napomenuti da iako je forma Bayerovog filtera prilično standardna,

različiti proizvođači digitalnih kamera mogu koristiti Bayerov filter u različitim

fazama. Faza označava raspored senzora boja na Bayerovom filteru. Postoje četiri

različite faze u kojima se Bayerov filter može pojaviti, a to su: RGGB, BGGR, GBRG,

GRBG. Iznimno je važno da interpolacijski algoritam dobije ispravnu informaciju o

rasporedu boja na Bayerovom filteru kako bi ispravno mogao interpolirati boje u slici.

Sve Canonove kamere EOS serije sadrže senzor koji ima RGGB fazu Bayerovog

filtera [28].

45

Slika 22. prikazuje tok obrade slike u RAW formatu. Ulazni podatak je slika u

RAW formatu na koju se primjenjuju operacije linearizacije (engl. linearization),

balansiranja bijele boje (engl. white balance), interpolacije Bayerovog filtra (engl.

demosaicing), određivanja prostora boja pogodnog za prikaz (engl. color space

correction) te konačno operacije kontrole svjetline i kontrasta (engl. brightness and

contrast control). Nakon provođenja navedenih operacija dobiva se slika koja je

spremna za prikaz.

Slika 22. Obrada RAW slike

Kako bi bilo moguće raditi s RAW slikama unutar programskog okruženja

MATLAB prvo je potrebno doći do informacija sadržanih u zatvorenim, vlasničkim

formatima poput Canonovog CR2 formata. Postoje različiti programi koji

omogućavaju pretvaranje različitih zatvorenih formata RAW slike u otvoreni DNG

format među kojima vrijedi istaknuti besplatni Adobe DNG Converter koji je vrlo

jednostavan za korištenje te istovremeno vrlo efikasan [31]. DNG format temelji se

na TIFF formatu slike i zadržava mnoštvo Exif meta-podataka sadržanih u

originalnim RAW zapisima. Adobe DNG Converter omogućuje pristup RAW slici

prije nego što se na nju primjeni bilo koji od koraka obrade.

Nakon što je konverzijom podataka iz RAW zapisa osigurana potpuna

kontrola nad procesom mjerenja obavlja se drugi korak kalibracije sustava kamere

i projektora, odnosno njihova linearizacija. Iako je očekivano kako bi RAW format

slike koju daje digitalna kamere trebao sadržavati potpuno linearne podatke postoji

mogućnost postojanja nelinearnosti, dok s druge strane projektor zasigurno unosi

nelinearnost u cjelokupni mjerni sustav. Zbog toga se obavlja umjeravanje sustava

pomoću posebno dizajniranih kalibracijskih mjernih maski.

Kalibracijske maske korištene u procesu linearizacije binarne su maske

slične mjernim maskama korištenim u sintetskom primjeru rekonstrukcije pomoću

sažetog očitavanja (Slika 11.), uz razliku što se za linearizaciju koriste maske s

46

različitim postotcima jedinica i nula. Maske projicirane pomoću projektora

sadržavaju rastući broj jedinica u rasponu od 0 do 64 s inkrementalnim korakom

jedan. Naknadnim analizama pokazalo se da je spomenuti broj kalibracijskih maski

koje se koriste u procesu kalibracije nepotrebno velik. Naime, smanjenjem broja

kalibracijskih maski na četvrtinu ukupnog broja unosi se zanemariva pogreška u

linearizacijski postupak dok se vrijeme i resursi potrebni za obavljanje kalibracije

značajno smanjuju. Radi toga kalibracija se može obaviti pomoću binarnih

kalibracijskih maski u kojima broj jedinica raste inkrementalno s korakom četiri.

Maska koja sadrži sve crne piksele nije nužna u procesu linearizacije,

međutim prethodno objašnjeni proces estimacije pozadine može se pripojiti procesu

linearizacije radi pojednostavljenja i ubrzanja cjelokupnog procesa kalibracije. Slika

23. (lijevo) prikazuje izgled potpune kalibracijske matrice gdje su mjerne maske

posložene u vektor-retke. Na desnoj slici prikazana je reducirana kalibracijska

matrica u kojoj je broj ukupnih kalibracijskih mjerenja smanjen na četvrtinu ukupnog

broja. Vidljivo je kako od početnog do krajnjeg retka matrice raste postotak jedinica

u kalibracijskim maskama. Kalibracijske maske se u postupku kalibracije projiciraju

na istu površinu koja je korištena u procesu estimacije pozadinskog šuma na kojoj

se nalazi papir poznatih svojstava.

Slika 23. Potpuna kalibracijska matrica (lijevo) i reducirana kalibracijska matrica (desno)

47

Proces kalibracijskog mjerenja se, kao i proces stvarnog mjerenja, odvija u

četiri faze na blokovima veličine 8x8 kao što prikazuje Slika 24. Razlog tome je

razdvajanje susjednih mjerenja kako bi se eliminirao eventualni utjecaj susjednih

mjernih maski na rezultat mjerenja.

Slika 24. Faze mjerenja

Rezultat kalibracijskog mjerenja suma je svih vrijednosti intenziteta očitanih

sa senzora kamere koje odgovaraju količini svjetlosti koja je došla do samog

senzora. Očekuje se potpuno linearni rast očitanih veličina kako se povećava

postotak jedinica u kalibracijskim maskama. Slika 25. prikazuje odnos broja jedinica

u kalibracijskoj maski te rezultata kalibracijskog mjerenja dobivenih na jednom

obrađenom bloku. Očigledno postoji određena nelinearnost između rezultata

kalibracijskog mjerenja i broja jedinica u kalibracijskoj maski. Plavom linijom

označena je stvarna vrijednost funkcije nelinearnosti, dok je crvenom bojom

označena krivulja nelinearnosti dobivena regresijom. Vrlo teško je odgonetnuti koji

element sustava unosi nelinearnosti, stoga se pokušava estimirati inverzna funkcija

koja će eliminirati nelinearnosti. Slika 26. prikazuje korekcijsku funkciju za

eliminiranje nelinearnosti u sustavu kamere i projektora.

48

Slika 25. Funkcija nelinearnosti sustava

Slika 26. Korekcijska funkcija za nelinearnosti u sustavu

49

Očekuje se da su sve nelinearnosti unutar mjernog sustava eliminirane

prethodnim kalibracijskim postupkom. Nakon procesa linearizacije sustava

očekivano je kako mjerenje očitano sa senzora kamere linearno odgovara količini

svjetlosti koja se nalazi u sceni, odnosno broju jedinica koje se nalaze u mjernoj

maski. Proces kalibracije sustava kamere i projektora korakom linearizacije je

završen te slijedi proces mjerenja dvodimenzionalne scene objašnjen u sljedećem

poglavlju.

5.2 Proces mjerenja dvodimenzionalne scene

Proces mjerenja dvodimenzionalne scene obavlja se pomoću prethodno

kalibriranog sustava kamere i projektora. Izrazito je bitna činjenica da između

kalibracijskih i stvarnih mjerenja cijeli sustav mora biti statičan te svi parametri

kamere i projektora moraju ostati nepromijenjeni. Na papir identičnih svojstava

onom korištenom u kalibracijskim mjerenjima otisnuta je stvarna scena. Slika 27.

prikazuje sadržaj stvarne scene. Slike ornamenata predstavljaju povoljan odabir

scene za rekonstrukciju jer sadrže različite detalje u kojima su zastupljene

visokofrekvencijske, ali i niskofrekvencijske komponente. Papir na kojemu je

isprintana scena za rekonstrukciju stavlja se na identično mjesto gdje se nalazio

čisti bijeli papir poznatih svojstava za vrijeme kalibracije.

50

Slika 27. Scena za rekonstrukciju

Stvarno mjerenje se kao i kalibracijsko obavlja u četiri odvojene faze kao što

prikazuje Slika 24. Mjerne maske su slučajne binarne maske koje sadrže pedeset

posto elemenata jednakih jedinicama. Odabir slučajnih binarnih mjernih maski, a ne

Gaussovih mjernih maski objašnjava činjenica da je i sam proces kalibracije

obavljen pomoću binarnih mjernih maski s različitim postotkom bijelih piksela,

odnosno s različitim postotkom elemenata koji su jednaki jedinicama. Također,

pretpostavljamo da postoje određene nelinearnosti u projekcijama koje nastaju pri

prikazu različitih razina svjetline. Jednostavan način eliminacije eventualnih

nelinearnosti uzrokovanih prethodnim razmatranjem korištenje je binarnih mjernih

maski.

Proces stvarnog mjerenja dvodimenzionalne scene odvija se projiciranjem

svih mjernih maski sadržanih u potpunoj mjernoj matrici u četiri odvojene faze.

Korištenjem svih mjernih maski sadržanih u mjernoj matrici osigurava se

redundancija informacija potrebnih u procesu rekonstrukcije. Slika 28. prikazuje

jednu fazu mjerenja stvarne dvodimenzionalne scene. Crvenim pravokutnikom

označen je papir na kojem se nalazi isprintana željena scena za rekonstrukciju.

Područje crvenog pravokutnika ujedno definira i područje interesa za rekonstrukciju.

51

Jasno se može vidjeti razmak između projiciranih susjednih mjernih maski koji služi

za razdvajanje i eliminaciju utjecaja susjednih mjerenja. Pod utjecajem susjednih

mjerenja podrazumijeva se utjecaj ukupnog osvjetljenja susjedne mjerne maske na

trenutno promatranu mjernu masku čime se može značajno promijeniti informacijski

sadržaj mjerenja.

Slika 28. Stvarno mjerenje

Idući korak procesa rekonstrukcije dvodimenzionalne scene sažetim

očitavanjem izdvajanje je mjernih rezultata definiranih projiciranim mjernim

maskama. Mjerni rezultat skalarna je vrijednost koja opisuje odstupanje stvarne

dvodimenzionalne scene od one korištene za kalibraciju sustava kamere i

projektora. Ovako definirani mjerni rezultat posljedica je samog procesa kalibracije.

Naime, kalibracija je obavljena na potpuno bijelom papiru čime je definirana

referentna razina bijele boje u sceni. Kao što je spomenuto u prethodnom poglavlju,

nakon procesa eliminacije pozadine i linearizacije cjelovitog mjernog sustava

očekivano je kako rezultat mjerenja linearno odgovara broju jedinica u binarnoj

52

maski, odnosno broju projiciranih bijelih piksela projektora. Ako se u stvarnoj sceni

na mjestu gdje je projicirana mjerna maska nalazi detalj crne boje, rezultat mjerenja

će pokazati da postoji značajno odstupanje od referentne razine bijele boje. Na taj

način rezultat mjerenja opisuje informacijski sadržaj dvodimenzionalne scene za

rekonstrukciju.

5.3 Rekonstrukcija dvodimenzionalne scene

Rekonstrukcija dvodimenzionalne scene odvija se na identičan način kao i u

sintetskom primjeru rekonstrukcije slike sažetim očitavanjem. Nakon obavljenih

mjerenja pomoću binarne mjerne matrice Φ𝑘 na red dolazi izdvajanje pojedinih

rezultata mjerenja.

Izdvajanje pojedinih rezultata mjerenja obavlja se pomoću blob detekcije na

kalibracijskoj slici u kojoj su svi elementi kalibracijske maske jednaki jedinicama. Na

taj način određuje se maksimalno područje koje pojedina mjerna maska osvjetljuje

prilikom mjerenja. Blob detekcija je metoda detekcije nakupina slikovnih elemenata

u binarnoj slici na temelju različitih parametara. Konverzija slike iz slike sivih razina

u binarnu sliku ostvaruje se primjenom fiksnog praga koji je definiran razinom

pozadinskog šuma u slici. Nakon same blob detekcije slijedi filtriranje rezultata

prema veličini područja koje nakupina slikovnih elemenata zauzima te sortiranje

centroida pojedinih slikovnih nakupina kako bi izlaz funkcije detekcije bila sortirana

lista omeđujućih pravokutnika u slici. Na temelju liste omeđujućih pravokutnika

određuje se područje interesa za rekonstrukciju. Slika 29. prikazuje izgled liste

detektiranih omeđujućih pravokutnika na dijelu ulazne slike.

53

Slika 29. Detekcija omeđujućih pravokutnika

Nakon definiranja područja interesa za rekonstrukciju slijedi korak eliminacije

pozadine koji se obavlja jednostavnom operacijom oduzimanja pozadine od svakog

piksela slike. Uz pretpostavku kako je cjelokupni sustav statičan operacija

oduzimanja dati će ispravan rezultat, odnosno sliku bez pozadine. Ipak, operacija

oduzimanja ne eliminira pozadinu u potpunosti i stoga se koristi estimacija šuma

pomoću valićne transformacije te se obavlja filtriranje šuma pomoću određenog

fiksnog praga.

Proces rekonstrukcije dvodimenzionalne scene odvija se prema jednadžbi

(35) kao u slučaju sintetske rekonstrukcije slike pomoću sažetog očitavanja.

𝑦 = Φ𝑘 ⋅ 𝑥 = Φ𝑘 ⋅ Ψ ⋅ 𝑠 (35)

Transformacijska matrica Ψ proizvoljna je matrica kojom se signal

transformira u domenu u kojoj ima rijetku reprezentaciju. Odabir transformacijske

matrice se vrši na temelju scene koju treba rekonstruirati te različite transformacijske

matrice imaju različit utjecaj na uspješnost rekonstrukcije dvodimenzionalne scene.

54

Transformacijska matrica korištena u ovom primjeru je dvodimenzionalna matrica

diskretne kosinusne transformacije.

Oznakom 𝑦 predstavljen je vektor mjernih rezultata. Pojedini mjerni rezultat

računa se kao suma vrijednosti intenziteta svih slikovnih elemenata omeđenih

jednim omeđujućim pravokutnikom koji definira područje koje zauzima jedna

projicirana mjerna maska. Ovdje se vidi značaj obavljanja mjerenja u četiri odvojene

faze. Naime, kada mjerenja ne bi bila odvojena u faze, u ovom koraku bi definicija

pojedinog mjerenja bila gotovo nemoguća bez unošenja određene pogreške u

mjerni rezultat zbog utjecaja susjednih mjernih maski.

Rekonstrukcija dvodimenzionalne scene iz reduciranog broja uzoraka

obavlja se pomoću optimizacijskog algoritma SeDuMi na identičan način kao i u

sintetskom primjeru rekonstrukcije slike. Takav način rekonstrukcije moguć je iz

razloga što je trenutno promatrani problem rekonstrukcije dvodimenzionalne scene

sažetim očitavanjem pomoću sustava kamere i projektora sveden na ekvivalentan

problem kao u slučaju sintetske rekonstrukcije slike. Konačno, rekonstruirani blokovi

slažu se u rekonstruiranu sliku dvodimenzionalne scene.

5.4 Rezultati rekonstrukcije dvodimenzionalne scene

Rezultat rekonstrukcije dvodimenzionalne scene slika je dvodimenzionalne

scene rekonstruirana u sustavu projektora. Rezolucija slike rekonstruirane u

sustavu projektora određena je rezolucijom samog projektora. U ovom slučaju

korišten je projektor rezolucije 1280x800 piksela te je time definirana maksimalna

rezolucija rekonstrukcije.

Slika 30. prikazuje rezultat rekonstrukcije dvodimenzionalne scene pomoću

metode sažetog očitavanja. U rekonstrukciji je korištena samo polovica ukupnog

broja mjerenja (32 mjerenja). Slika 31. prikazuje rezultat rekonstrukcije

dvodimenzionalne scene metodom sažetog očitavanja iz 48 mjerenja. Razlika

između rekonstrukcije scene iz 32 i 48 mjerenja nije značajna, a najviše se očituje

u kontrastu slike te u broju pogrešno rekonstruiranih blokova. Rekonstrukcija

dvodimenzionalne scene iz potpunog skupa uzoraka ne daje dobre rezultate zbog

55

toga što optimizacijski algoritam u tom slučaju nema dovoljan broj stupnjeva slobode

za obavljanje minimizacije jer skup podataka potpuno definiran.

Slika 32. prikazuje očekivani rezultat rekonstrukcije dvodimenzionalne scene

(engl. ground truth) u sustavu kamere. Očekivani rezultat sintetski je stvoren

zbrajanjem slika svih pojedinih mjerenja te naknadnom promjenom rezolucije

ukupnog rezultata kako bi očekivani rezultat rezolucijom odgovarao rezoluciji

projektora. Moguće je primjetiti pojavu ponavljajućih uzoraka koja je povezana s

izborom mjernih maski. Navedeni utjecaj vjerojatno je povezan s procesom

kalibracije cijelog sustava koji se odvija prema referentnoj razini bijele boje papira

te bi se spomenuti artefakti mogli otkloniti drukčijim procesom kalibracije sustava.

Slika 33. prikazuje vizualizaciju jednog mjerenja dvodimenzionalne scene.

Vidljivo je kako je rezolucija slike mjerenja 16 puta manja od rezolucije

rekonstruirane dvodimenzionalne scene metodom sažetog očitavanja.

Bitna činjenica jest da se rekonstrukcijom scene u sustavu projektora

eliminiraju sve eventualne distorzije koje se javljaju pri snimanju dvodimenzionalne

scene digitalnom kamerom. Pod različitim distorzijama podrazumijevaju se

primjerice distorzije koje se javljaju kod fisheye kamera i koje su u potpunosti

eliminirane ako se koristi ovakav pristup rekonstrukciji dvodimenzionalne scene.

56

Slika 30. Rezultat rekonstrukcije dvodimenzionalne scene sažetim očitavanjem (32 mjerenja)

Slika 31. Rezultat rekonstrukcije dvodimenzionalne scene sažetim očitavanjem (48 mjerenja)

57

Slika 32. Očekivani rezultat rekonstrukcije dvodimenzionalne scene sažetim očitavanjem

Slika 33. Prikaz jednog mjerenja dvodimenzionalne scene

58

Rekonstrukcija dvodimenzionalne scene metodom sažetog očitavanja dala

je zadovoljavajuće rezultate. Uspoređujući rekonstruirane i očekivane slike može se

primjetiti kako je uspješno rekonstruiran sav informacijski sadržaj scene. Postoje

određeni problemi koji se javljaju pri rekonstrukciji scene poput problema šuma koji

je uzrokovan projiciranjem mjernih maski na dvodimenzionalnu scenu, iako postoji

mogućnost drukčijeg pristupa kalibraciji mjernog sustava kojim bi bilo moguće

ukloniti navedeni šum. Pošto se rekonstrukcija dvodimenzionalne scene pokazala

uspješnom, sljedeće poglavlje proširuje ideju rekonstrukcije na trodimenzionalnu

scenu.

59

6. Rekonstrukcija trodimenzionalne scene sažetim

očitavanjem

Kao što je u prethodnom poglavlju napomenuto, ovo poglavlje opisuje ideju

primjene metode sažetog očitavanja na rekonstrukciju trodimenzionalne scene.

Osnovna ideja je da se korištenjem kalibriranog sustava koji se sastoji od 3D

kamere za snimanje svjetlosnog polja (engl. Light Field Camera) i projektora

rekonstruira trodimenzionalna scena.

6.1 3D kamera za snimanje svjetlosnog polja

3D kamera za snimanje svjetlosnog polja naziva se i plenoptičkom kamerom

te predstavlja posebnu kameru koja dohvaća informacije o svjetlosnom polju

izračenom iz scene [32]. Informacije o svjetlosnom polju koje plenoptička kamera

snima su intenzitet svjetlosti u sceni, ali također i smjer zraka svjetlosti u prostoru.

Prethodno navedeno čini značajnu razliku između tradicionalnih digitalnih kamera

koje snimaju samo informaciju o intenzitetu svjetlosti u sceni.

Plenoptička kamera koristi niz mikroleća koje se nalaze ispred

konvencionalnog senzora kamere koji snima informacije o intenzitetu, boji te smjeru

svjetlosti koja izvire iz scene. Alternativni pristup korištenju niza mikroleća korištenje

je niza digitalnih kamera koje imitiraju prethodno objašnjeni sustav. Informacije

prikupljene pomoću plenoptičke kamere omogućuju mnoštvo zanimljivih primjena

među kojima su naknadno fokusiranje snimljene slike te izrada 3D modela scene.

Naknadno fokusiranje vrlo je zanimljivo iz aspekta umjetničke fotografije jer se

slikama snimljenim pomoću plenoptičke kamere fokus može mijenjati prema

potrebi. Slika 34. prikazuje Lytro plenoptičku kameru koja predstavlja jednu od

najnaprednijih 3D kamera za snimanje svjetlosnog polja [33].

Veliki problem koji se pojavljuje pri korištenju plenoptičkih kamera za

rekonstrukciju trodimenzionalne scene sažetim očitavanjem zatvorenost je izlaznih

formata. Naime, vrlo je teško doći do sirovih informacija o sadržaju scene koje bilježi

60

senzor plenoptičke kamere, a samim time je teško osigurati linearnost koja je prijeko

potrebna u procesu rekonstrukcije scene sažetim očitavanjem.

Slika 34. Lytro plenoptička kamera

6.2 Kalibracija sustava kamere i projektora

Kalibracija sustava za rekonstrukciju trodimenzionalne scene razlikuje se od

kalibracije sustava za rekonstrukciju dvodimenzionalne scene. Naime vrlo je važno

znati pozicije pojedinih piksela koji su projicirani na trodimenzionalnu scenu pomoću

projektora. Pošto se problem rekonstrukcije scene pomoću sustava kamere i

projektora može smatrati svojevrsnim sustavom strukturiranog svjetla (engl.

Structured Light System) osnovna ideja jest da se iskoriste tradicionalni sustavi i

algoritmi za kalibraciju sustava strukturiranog svjetla [34].

Sustav kamere i projektora može se promatrati kao sustav stereo vida ukoliko

se projektor promatra kao inverzna kamera i ako se, imajući na umu prethodnu

pretpostavku, u procesu kalibracije primjenjuju sva pravila koja vrijede pri kalibraciji

pasivnog stereo sustava koji se sastoji od dvije kamere. Ipak, moraju se koristiti

određene prilagodbe u odnosu na pasivni sustav stereo vida iz razloga što projektor

ne može direktno mjeriti koordinate slikovnih elemenata kao što to čini digitalna

kamera. Svi parametri kamere i projektora moraju biti podešeni tako da odgovaraju

sceni koja se želi rekonstruirati. Bitna činjenica jest da svaki relativni pomak sustava

kamere i projektora ili promjena parametara iziskuje ponovnu kalibraciju

61

cjelokupnog sustava. Prijedlog metode za kalibraciju sustava kamere i projektora

kalibracijska je metoda koja iskorištava lokalnu homografiju kako bi estimirala

koordinate točaka kalibracijske ravnine u koordinatnom sustavu projektora

predstavljena u radu Morena i Taubina [35].

6.2.1. Kalibracija kamere

Kalibracija kamere sastoji se od estimacije intrinzičnih i ekstrinzičnih

parametara kamere. Intrinzični parametri ovisno o odabranom modelu kamere

podrazumijevaju parametre kamere poput fokalne udaljenosti izražene u pikselima,

lokacije optičkog centra senzora te koeficijenata radijalne i tangencijalne distorzije.

Kalibracija kamere objašnjena u ovom poglavlju podrazumijeva korištenje pinhole

modela kamere koji ne uzima u obzir radijalne i tangencijalne distorzije uzrokovane

lećom [36].

Intrinzični parametri sadrže informacije potrebne za centralnu projekciju iz

trodimenzionalnog prostora svijeta u dvodimenzionalni prostor kamere. Ekstrinzični

parametri smještaju kameru u odnosu na definirani koordinatni sustav svijeta

pomoću matrica rotacije i translacije. Pinhole model kamere jednostavan je model

u kojem se leća kamere zamjenjuje s vrlo malim otvorom koji se može zamisliti kao

jedna točka. Prema strogoj definiciji modela pinhole kamere otvor pinhole kamere

beskonačno je malen te iz svake točke objekta koji se snima kroz otvor prolazi samo

jedna zraka svjetlosti. Projekcija slike iz trodimenzionalnog koordinatnog sustava

svijeta u dvodimenzionalni koordinatni sustav kamere definirana je matričnom

jednadžbom (36). Matrica 𝐴 označava intrinzičnu matricu, dok se ekstrinzična

matrica sastoji od matrice rotacije 𝑅 i vektora translacije 𝑡. Faktor 𝑤 je skalirajući

faktor. Vektori koordinata prikazani su u homogenom obliku.

1

𝑤[𝑥𝑦1] = 𝐴 [𝑅 𝑡] [

𝑋𝑌𝑍1

] (36)

62

Kalibracija kamere obavlja se Zhangovom metodom koja kao kalibracijski

objekt koristi planarnu šahovsku ploču [37]. Pritom se šahovska ploča kamerom

snima u nekoliko različitih orijentacija u prostoru kako bi se u potpunosti pokrio

cjelokupni radni prostor. Nakon obavljenog snimanja kalibracijski algoritam

izračunava intrinzične i ekstrinzične parametre kamere koristeći relacije između

unutarnjih rubova šahovske ploče i koordinatnog sustava svijeta kojeg zamišljamo

pričvršćenog na ravninu šahovske ploče. Slika 35. prikazuje šahovsku ploču

osvjetljenu pomoću projektora koristeći potpuno bijelu sliku. Upravo na toj slici odvija

se detekcija unutrašnjih rubova šahovske ploče.

Kako bi se smanjio broj potrebnih koraka za kalibraciju sustava kamere i

projektora, za svaku orijentaciju šahovske ploče projicira se kompletni uzorak

strukturiranog svjetla koji se koristi za rekonstrukciju [35]. Vrlo popularan i

jednostavan uzorak strukturiranog svjetla koji se može koristiti u kalibraciji sustava

kamere i projektora je Grayev uzorak jer je vrlo robustan i otporan na pogreške u

dekodiranju [38].

Slika 35. Šahovska ploča s označenim karakterističnim točkama

63

6.2.2. Kalibracija projektora

Kamera i projektor mogu se opisati istim matematičkim modelom. Naime,

projektor se može predstaviti kao inverzna kamera i za njegovu kalibraciju se može

primijeniti identičan postupak korišten za kalibraciju kamere.

Transformacija projektora u kameru započinje projekcijom Grayevog uzorka

na kalibracijsku ravninu čime se pronalazi skup korespondencija piksela kamere i

projektora. Projektor se u kameru pretvara pomoću relacija zabilježenih iz

projiciranih uzoraka strukturiranog svjetla. Dekodiranje Grayevog uzorka

omogućuje povezivanje svakog piksela projektora s pikselom ili sa skupinom piksela

koji se nalaze u sustavu kamere. Slika 36. prikazuje dekodirani Grayev kod,

odnosno prikazuje korespondencije između projektora i kamere. Pikseli obojani

određenom bojom predstavljaju isti stupac (slika lijevo) ili redak (slika desno) slike

projektora u sustavu kamere. Pikseli koji se ne mogu uspješno dekodirati postavljaju

se na neodređenu vrijednost i obojani su sivom bojom. Drugi korak transformacije

iskorištava pronađene korespondencije te iz njih izračunava skup lokalnih

homografija koje omogućuju transformaciju bilo koje točke koja se nalazi na

kalibracijskom objektu u sustav projektora sa subpikselnom preciznošću. Slika 37.

prikazuje sliku koja je korištenjem skupa lokalnih homografija transformirana u

sustav projektora, odnosno drukčije rečeno, prikazuje sliku kako bi ona izgledala

„snimljena pomoću projektora“. Prethodna transformacija omogućuje korištenje

identičnog kalibracijskog postupka za kalibraciju projektora koji je korišten za

kalibraciju kamere.

Slika 36. Dekodirani Grayev kod - korespondencije između piksela projektora i kamere

64

Slika 37. Slika šahovske ploče transformirana u sustav projektora

Nastavak kalibracije stereo sustava kamere i projektora pronalazak je

relativne rotacije i translacije projektora i kamere. Prethodno pronađeni intrinzični

parametri kamere i projektora ostaju nepromijenjeni, a ishodište koordinatnog

sustava svijeta poistovjećuje se s ishodištem koordinatnog sustava kamere. Pozicija

projektora promatra se relativno u odnosu na koordinatni sustav svijeta. Pošto je

sustav kamera-projektor sveden na sustav kamera-kamera za estimaciju relativne

rotacije i translacije može se koristiti neki od poznatih algoritama korištenih u

kalibraciji tradicionalnih pasivnih stereo sustava [35].

Daljnji koraci kalibracije sustava za rekonstrukciju trodimenzionalne scene

trebali bi biti istovjetni onima u kalibraciji sustava za rekonstrukciju

dvodimenzionalne scene. Prvi od njih je estimacija pozadinskog osvjetljenja i šuma

kojim se eliminiraju vanjski utjecaji na izračeno svjetlosno polje u trodimenzionalnoj

sceni. Drugi korak je linearizacija cjelovitog sustava za rekonstrukciju.

Prethodno spomenuti problem zatvorenosti formata zapisa plenoptičke

kamere onemogućuje pristup sirovim podacima sa senzora kamere te zbog toga

nije bilo moguće obaviti potpunu linearizaciju sustava.

65

7. Zaključak

U ovom radu osmišljen je i razvijen cjelovit sustav za rekonstrukciju

dvodimenzionalne scene metodom sažetog očitavanja. Razvijeni sustav predstavlja

velik pomak u razvoju metode sažetog očitavanja. Pomoću sustava kamere i

projektora rekonstruirana je dvodimenzionalna scena iz reduciranog broja uzoraka.

Rekonstrukcija scene pomoću navedenog sustava eliminira utjecaj eventualnih

distorzija koje se javljaju pri korištenju fisheye ili drugog tipa leće. Trenutno je broj

praktičnih primjena sažetog očitavanja u realnim problemima vrlo malen.

Postoje brojne mogućnosti primjene sustava razvijenog u ovom radu. Naime,

iako je problem rekonstrukcije dvodimenzionalne scene u ovom radu promatran u

vidljivom dijelu spektra svjetlosti, može se promatrati i u ostalim dijelovima spektra.

Digitalne kamere koje snimaju u vidljivom dijelu spektra svjetlosti vrlo su dostupne i

tehnološki razvijene dok su kamere koje snimaju u ostalim dijelovima spektra, poput

infracrvenih kamera, vrlo skupe te nisu na jednakoj razini razvoja. Senzori korišteni

u kamerama koje snimaju u drugim dijelovima spektra često su niskorezolucijski

zbog njihove visoke cijene. Korištenjem razvijenog sustava u drugim dijelovima

spektra bi se iz reduciranog broja uzoraka mogla obaviti rekonstrukcija scene u

visokoj rezoluciji.

Metoda sažetog očitavanja zasigurno ima svijetlu budućnost s brojnim

primjenama. Očekivan je razvoj velikog broja praktičnih primjena sažetog očitavanja

u različitim inženjersko-znanstvenim granama. Prostora za unaprjeđenje metode

sažetog očitavanja ima mnogo, počevši od konstrukcije mjernih matrica, odabira

odgovarajuće transformacijske matrice, poboljšanja optimizacijskih algoritama sve

do pronalaska novih područja za praktičnu primjenu. Sva navedena poboljšanja

pomoći će popularizaciji i intenzivnijem razvoju metode sažetog očitavanja.

____________________

Ivan Ralašić (0036465985)

66

8. Literatura

[1] »Cisco,« svibanj 2015. [Mrežno]. Dostupno:

http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-

vni/VNI_Hyperconnectivity_WP.html. [Pokušaj pristupa 22 svibanj 2016].

[2] M. Kovač, H. Mlinarić i J. Knezović, »Materijali s predavanja za predmet Multimedijske

arhitekture i sustavi(dio 2),« FER, Zagreb, 2005.

[3] D. Petrinović, Ekvivalencija vremenski kontinuiranih i diskretnih signala i sustava, Zagreb: FER,

2008.

[4] E. J. Candès i M. B. Wakin, »An Introduction To Compressive Sampling,« IEEE Signal

Processing Magazine, ožujak 2008.

[5] Zavod za elektroakustiku Fakulteta elektrotehnike i računarstva, »Prijenos zvuka - MPEG

kodiranje - laboratorijska vježba,« FER, Zagreb.

[6] M. Vučić, Bilješke uz formulaciju problema Compressive samplinga, Zagreb.

[7] M. R. Osborne i G. K. Smyth, »A Modified Prony Algorithm for Fitting Functions Defined by

Difference Equations,« SIAM J. on Sci. and Statist. Comp., svez. 12, pp. 362-382, 1991.

[8] »The School of Engineering at the University of Connecticut,« [Mrežno]. Dostupno:

http://www.statsci.org/smyth/pubs/pronyr.pdf. [Pokušaj pristupa 20 5 2016].

[9] Y. Bresler i P. Feng, »Spectrum-blind minimum-rate sampling and reconstruction of 2-D

multiband signals,« ICIP, Zurich, 1996.

[10] M. Vetterli, P. Marziliano i T. Blu, »Sampling signals with finite rate of innovation,« IEEE Trans.

Signal Processing, svez. 50, br. 6, pp. 1417-1428, 2002.

[11] B. Logan, »Properties of High-Pass Signals,« Columbia University, Columbia, 1965.

[12] J. R. E. Candès i T. Tao, »Stable signal recovery from incomplete and inaccurate

measurements,« Comm. Pure Appl. Math, svez. 59, br. 8, pp. 1207-1223, 2006.

[13] D. Tralić, Rekonstrukcija signala iz skupa podataka dobivenih uzorkovanjem ispod Nyquistove

frekvencije, Zagreb.

[14] R. Baraniuk i K. Kelly, »Compressive Imaging: A New Single-Pixel Camera,« Rice University,

2006. [Mrežno]. Dostupno: http://dsp.rice.edu/cscamera. [Pokušaj pristupa 1 lipanj 2016].

67

[15] E. J. Candès, »The Restricted Isometry Property and Its Implications for Compressed

Sensing,« Applied & Computational Mathematics, California Institute of Technology, Pasadena,

2008.

[16] »SeDuMi,« [Mrežno]. Dostupno: http://sedumi.ie.lehigh.edu/. [Pokušaj pristupa 10 travanj

2016].

[17] J. F. Sturm, »Using SeDuMi 1.02, , a MATLAB toolbox for optimization over symmetric cones,«

Communications Research Laboratory, McMaster University, Hamilton, Canada, 1998.

[18] »CVX Research,« CVX Research, Inc., 2012. [Mrežno]. Dostupno: http://cvxr.com/. [Pokušaj

pristupa 25 ožujak 2016].

[19] K.-C. Toh, M. J. Todd i a. R. H. Tutuncu, »SDPT3 version 4.0,« 1999. [Mrežno]. Dostupno:

http://www.math.nus.edu.sg/~mattohkc/sdpt3.html. [Pokušaj pristupa 15 svibanj 2016].

[20] »Gurobi Optimization,« [Mrežno]. Dostupno: http://www.gurobi.com/. [Pokušaj pristupa 5

svibanj 2016].

[21] »Mosek,« Mosek ApS., [Mrežno]. Dostupno: https://www.mosek.com/. [Pokušaj pristupa 5

travanj 2016].

[22] »The USC-SIPI Image Database,« [Mrežno]. Dostupno: http://sipi.usc.edu/database/. [Pokušaj

pristupa 30 ožujak 2016].

[23] »Canon,« [Mrežno]. Dostupno:

http://www.canon.hr/for_home/product_finder/cameras/digital_slr/eos_400d/. [Pokušaj

pristupa 8 lipanj 2016].

[24] »Hitachi,« [Mrežno]. Dostupno: http://www.hitachidigitalmedia.com/en-gb/discontinued-

products/projectors/multi-purpose/cp-wx410. [Pokušaj pristupa 8 lipanj 2016].

[25] »Canon EOS Utility,« [Mrežno]. Dostupno:

https://www.usa.canon.com/internet/portal/us/home/support/self-help-center/eos-utility.

[Pokušaj pristupa 21 ožujak 2016].

[26] D. Seršić, A. Sović i C. S. Menoni, »Restoration of soft x-ray laser images of nanostructures,«

Optical Society of America, 2010.

[27] I. Brkić, »Obradba digitalnih slika dobivenih laserskom mikroskopijom u EUV i SXR

područjima,« Fakultet elektrotehnike i računarstva, Zagreb.

[28] »Understanding What is stored in a Canon RAW .CR2 file, How and Why,« 8 lipanj 2015.

[Mrežno]. Dostupno: http://lclevy.free.fr/cr2/. [Pokušaj pristupa 3 svibanj 2016].

68

[29] »Wikipedia,« [Mrežno]. Dostupno: https://en.wikipedia.org/wiki/Digital_Negative. [Pokušaj

pristupa 19 svibanj 2016].

[30] R. Sumner, »Processing RAW Images in MATLAB,« Department of Electrical Engineering,

Santa Cruz, 2014.

[31] »Adobe DNG Converter,« Adobe , [Mrežno]. Dostupno:

https://www.adobe.com/support/downloads/product.jsp?product=106&platform=Windows.

[Pokušaj pristupa 17 travanj 2016].

[32] M. Archambault, »The Science Behind Lytro’s Light Field Technology and Megaray Sensors,«

PetaPixel, 2015 lipanj 22. [Mrežno]. Dostupno: http://petapixel.com/2015/06/22/the-science-

behind-lytros-light-field-technology-and-megaray-sensors/. [Pokušaj pristupa 8 lipanj 2016].

[33] »Lytro,« [Mrežno]. Dostupno: https://www.lytro.com/imaging. [Pokušaj pristupa 13 svibanj

2016].

[34] D. Lanman i G. Taubin, »Build Your Own 3D Scanner: 3D Photography for Beginners,« u

SIGGRAPH 2009 Course Notes, 2009.

[35] D. Moreno i G. Taubin, »Simple, Accurate, and Robust Projector-Camera Calibration,« School

of Engineering, Brown University, Providence, RI, USA.

[36] »What Is Camera Calibration?,« MATLAB, [Mrežno]. Dostupno:

http://www.mathworks.com/help/vision/ug/camera-calibration.html. [Pokušaj pristupa 22

svibanj 2016].

[37] Z. Zhang, »A Flexible New Technique for Camera,« Microsoft Research Microsoft Corporation,

Redmond, WA 98052, 1998.

[38] G. Gerig, »Scientific Computing and Imaging Institute,« 2012. [Mrežno]. Dostupno:

http://www.sci.utah.edu/~gerig/CS6320-S2013/Materials/CS6320-CV-S2012-StructuredLight-

II.pdf. [Pokušaj pristupa 5 lipanj 2016].

69

Slika 1. Ilustracija postupka uzorkovanja kontinuiranog signala [3] ........................ 9

Slika 2. Očitavanje jednodimenzionalnog vremenski kontinuiranog signala češljem

Diracovih delta impulsa ........................................................................................ 10

Slika 3. Spektar očitanog signala bez aliasinga [3] ............................................... 11

Slika 4. Spektar očitanog signala s aliasingom [3] ................................................ 12

Slika 5.. Primjer kompresije slike postupkom transformacijskog kodiranja ........... 15

Slika 6. Projekcija signala na skup ispitnih funkcija .............................................. 21

Slika 7. Rekonstrukcijski problem zapisan pomoću matrica ................................. 23

Slika 8. Testna slika Lenna................................................................................... 30

Slika 9. Dijagram tijeka rekonstrukcije signala pomoću sažetog očitavanja ......... 31

Slika 10. Mjerne matrica 𝛷 – lijevo binarna, desno Gaussova matrica ................. 31

Slika 11. Mjerna maska ........................................................................................ 32

Slika 12. Transformacijske matrice - lijevo DCT, desno DWT .............................. 32

Slika 13. Transformacija slike u jednodimenzionalni vektor slikovnih elemenata . 33

Slika 14. Prikaz jednog mjerenja korištenog u rekonstrukciji slike ........................ 34

Slika 15. Rekonstrukcija slike – 64 mjerenja ........................................................ 35

Slika 16. Rekonstrukcija slike - 48 mjerenja ......................................................... 35



Slika 19. Sustav kamere i projektora .................................................................... 40

Slika 20. Izgled RAW zapisa slike [30] ................................................................. 43

Slika 21. Bayerov filter [30] ................................................................................... 44

Slika 22. Obrada RAW slike ................................................................................. 45

Slika 23. Potpuna kalibracijska matrica (lijevo) i reducirana kalibracijska matrica

(desno) ................................................................................................................. 46

Slika 24. Faze mjerenja ........................................................................................ 47

Slika 25. Funkcija nelinearnosti sustava ............................................................... 48

Slika 26. Korekcijska funkcija za nelinearnosti u sustavu ..................................... 48

Slika 27. Scena za rekonstrukciju ......................................................................... 50

Slika 28. Stvarno mjerenje.................................................................................... 51

Slika 29. Detekcija omeđujućih pravokutnika ....................................................... 53

Slika 30. Rezultat rekonstrukcije dvodimenzionalne scene sažetim očitavanjem (32

mjerenja) .............................................................................................................. 56

70

Slika 31. Rezultat rekonstrukcije dvodimenzionalne scene sažetim očitavanjem (48

mjerenja) .............................................................................................................. 56

Slika 32. Očekivani rezultat rekonstrukcije dvodimenzionalne scene sažetim

očitavanjem .......................................................................................................... 57

Slika 33. Prikaz jednog mjerenja dvodimenzionalne scene .................................. 57

Slika 34. Lytro plenoptička kamera ....................................................................... 60

Slika 35. Šahovska ploča s označenim karakterističnim točkama ........................ 62

Slika 36. Dekodirani Grayev kod - korespondencije između piksela projektora i

kamere ................................................................................................................. 63

Slika 37. Slika šahovske ploče transformirana u sustav projektora ...................... 64

Tablica 1. Rast globalnog internetskog prometa u razdoblju 1992.-2019.g. ........... 5

Tablica 2. Odnos srednje kvadratne pogreške i broja mjerenja ............................ 37

Tablica 3. Odnos srednje kvadratne pogreške i rijetkosti slike ............................. 37

Tablica 4. Utjecaj odabira mjerne i transformacijske matrice na kvalitetu

rekonstrukcije ....................................................................................................... 38

71

9. Sažetak

Rekonstrukcija 2D i 3D scene sažetim očitavanjem

Tema rada rekonstrukcija je dvodimenzionalne i trodimenzionalne scene

sažetim očitavanjem. U okviru rada osmišljen je i realiziran sustav za rekonstrukciju

dvodimenzionalne scene metodom sažetog očitavanja. Navedeni sustav sastoji se

od digitalne kamere i projektora. Opisana je osnovna ideja razvoja sustava za

rekonstrukciju trodimenzionalne scene sažetim očitavanjem. Eksperimentalni

rezultati rekonstrukcije dvodimenzionalne scene metodom sažetog očitavanja

sadržani u radu su zadovoljavajući. Informacijski sadržaj rekonstruirane scene

uspješno je obnovljen iz reduciranog skupa uzoraka signala te odgovara

informacijskom sadržaju originalne scene. Rad potvrđuje činjenicu kako je metodom

sažetog očitavanja moguće iz reduciranog skupa snimljenih uzoraka statistički

pouzdano rekonstruirati polazni signal.

10. Summary

Compressive Sensing Reconstruction of 2D and 3D Scene

This thesis theme is reconstruction of two-dimensional and three-dimensional

scenes using compressive sensing. In the thesis, system for reconstruction of two-

dimensional scene using compressive sensing method has been designed and

developed. The system is made of digital camera and a projector. Basic idea of

three-dimensional scene reconstruction using compressive sensing has been

described. Experimental results of two-dimensional scene reconstruction using

compressive sensing method have been presented and are satisfying. Informational

content of the scene is successfully reconstructed from reduced number of

measurements and it is equal to the informational content of original scene. This

thesis confirms the fact that compressive sensing method is able to reconstruct the

original signal from reduced number of measurements with certain statistical

reliability.

ivan ralašić - rekonstrukcija 2d i 3d scene sažetim ... · ivan ralašić zagreb, lipanj 2016. 2...

Documents