računalne metode za detekciju vegetacije•mjerenje rasta šuma •planiranje gradova i šuma...
TRANSCRIPT
Kvalifikacijski doktorski ispit
Računalne metode za detekciju vegetacije
Iva Harbaš
Mentor: Doc. dr. sc. Marko Subašić
Kvalifikacijski doktorski ispit
Sadržaj
• Zašto detekcija vegetacije?
• Podjela metoda za detekciju vegetacije
• Spektralni potpis objekta
• Sustavi bazirani na vidljivom dijelu spektra
• Sustavi bazirani na nevidljivom dijelu spektra
• Indeksi vegetacije
• Terenska detekcija vegetacije
• Zračna detekcija vegetacije
• Zaključak
Kvalifikacijski doktorski ispit
Zašto detekcija vegetacije?
• Praćenje promjena vegetacije nastalih uslijed urbanizacije
• Detekcija vegetacije pod stresom
• Mjerenje rasta šuma
• Planiranje gradova i šuma
• Mapiranje gradova i urbane vegetacije
• Navigacija autonomnih vozila
• Poboljšanje kvalitete videa, odnosno TV slike
• Naš cilj:
– razvijanje sustava za detekciju vegetacije uz prometnice s ciljem održavanja prometne infrastrukture kao i
prepoznavanje potencijalnih prepreka u prometu
Kvalifikacijski doktorski ispit
Podjela metoda za detekciju vegetacije
• Po načinu snimanja:
– Terenska detekcija vegetacije
– Zračna detekcija vegetacije
• Po korištenim značajkama:
– Sustavi bazirani na vidljivom dijelu spektra
– Sustavi bazirani na nevidljivom dijelu spektra
Kvalifikacijski doktorski ispit
Spektralni potpis objekta
• Elektromagnetsko zračenje - propuštanje, reflektiranje ili upijanje.
• Različite boje vidljive ljudskim okom ovise o kombinacijama različitih valnih duljina koje se reflektiraju od
objekta - vidljivi dio spektra elektromagnetskog zračenja.
• Refleksija – udio ukupne količine energije koja se reflektira (od 0 do 1).
• Spektralna krivulja ili spektralni potpis objekta – iscrtane vrijednosti refleksije za raspon valnih duljina.
Kvalifikacijski doktorski ispit
Spektralni potpis objekta
• Spektar refleksije (vegetacije) se dijeli na tri dijela:
– vidljivi - od 0,4µm do 0,7µm,
– kratki infracrveni (eng. Near Infrared - NIR) - od 0,701µm do 1,3µm,
– srednji infracrveni dio spektra (eng. Middle Infrared - MIR) - od 1,301µm do 2,5µm.
Kvalifikacijski doktorski ispit
Sustavi bazirani na vidljivom dijelu spektra
• Ljudi jednostavno detektiraju vegetaciju – boja i tekstura.
• Računalo imitira čovjeka.
• Značajke: boja, značajke teksture, značajke dobivene LADAR-om (eng. LAser Detection And Ranging).
• Problemi:
– Nisu robusni na promjene u osvjetljenju scene (sunčan ili kišovit dan, sjene i sl.) .
– Godišnja doba kad lišće nije zeleno nego smeđe i žuto.
– Drugi objekti u sceni koji su iste boje kao i vegetacija, npr. zeleni automobil.
– Procesiranje skupa 3D točaka vremenski zahtjevno.
Kvalifikacijski doktorski ispit
Sustavi bazirani na nevidljivom dijelu spektra
• Proučavanje drugih modaliteta snimanja i korištenje drugačijih značajki za opisivanje i
detekciju vegetacije.
• Najveća revolucija je došla iz područja daljinskog istraživanja - promatra se spektar
reflektirane svijetlosti.
• Iz spektra se računaju različite mjere (tzv. indeksi vegetacije).
– Razlika količine refleksije u NIR području i refleksije crvenih valnih duljina
– Indeksi specifični za pojedine probleme
Kvalifikacijski doktorski ispit
Indeksi vegetacije
𝑅𝑉𝐼 =𝜌𝑁𝐼𝑅
𝜌𝑟𝑒𝑑𝑁𝐷𝑉𝐼 =
𝜌𝑁𝐼𝑅 − 𝜌𝑟𝑒𝑑𝜌𝑁𝐼𝑅 + 𝜌𝑟𝑒𝑑
𝐼𝑃𝑉𝐼 =𝜌𝑁𝐼𝑅
𝜌𝑁𝐼𝑅 + 𝜌𝑟𝑒𝑑
𝑃𝑉𝐼 = (𝜌𝑟𝑒𝑑𝑆𝑜𝑖𝑙 − 𝜌𝑟𝑒𝑑𝑉𝑒𝑔𝑒)2+(𝜌𝑁𝐼𝑅𝑠𝑜𝑖𝑙 − 𝜌𝑁𝐼𝑅𝑣𝑒𝑔𝑒)
2
𝐷𝑉𝐼 = 𝜌𝑁𝐼𝑅 − 𝜌𝑟𝑒𝑑
𝑀𝑆𝐴𝑉𝐼 =2 𝜌𝑁𝐼𝑅 + 1 − (2𝜌𝑁𝐼𝑅 + 1)2 −8(𝜌𝑁𝐼𝑅 − 𝜌𝑟𝑒𝑑)
2
𝑀𝑁𝐷𝑉𝐼 =𝜌𝑁𝐼𝑅 − log(𝜌𝑟𝑒𝑑 + 𝜖)
𝜌𝑁𝐼𝑅 + log(𝜌𝑟𝑒𝑑 + 𝜖)
𝑉𝐼𝑛𝑜𝑟𝑚 = 𝛼 ×𝑀𝑁𝐷𝑉𝐼 + (1 − 𝛼) × 𝑁𝐷𝑉𝐼
• 𝜌𝑁𝐼𝑅 - vrijednost refleksije u NIR području• 𝜌𝑟𝑒𝑑 - vrijednost refleksije crvenih valnih duljina
• 𝛼 = 1, 𝜌𝑟𝑒𝑑 > 𝑇𝑒𝑥𝑝𝑜0, 𝑖𝑛𝑎č𝑒
, a 𝑇𝑒𝑥𝑝𝑜 = 0,3
• 𝜖
Kvalifikacijski doktorski ispit
Terenska detekcija vegetacije
• Mlado i neistraženo područje.
• Početak:
– korištenje autonomnih vozila za istraživanje šuma,
– DARPA.
• Primjena:
– Navigacija autonomnog vozila
• klasifikacija vegetacije na prohodnu i neprohodnu
– Promjena strategije kretanja.
• Postupak klasifikacije:
Kvalifikacijski doktorski ispit
Terenska detekcija vegetacije - Nguyen
• Nguyen et al. [2010.]
– Pretprocesiranje - segmentacija 3D točaka u n regija računanjem homogenih udaljenosti piksela iz dubinske slike.
– Za svako segmentirano područje se računa matrica kovarijance (podjela na scatter i surface).
• Korak dalje: kombinacija LADAR-a i CMOS kamere (Logitech QuickCam Pro 9000) [2011.]
– Pretprocesiranje + matrica kovarijance
– Za interesna područja se računaju 2D značajke.
• srednja vrijednost i standardna devijacija svjetline,
• razlika histograma dobivenih usrednjavanjem histograma slika vegetacije i pojedinačnih histograma izračunatih za područje od interesa.
– Klasifikacija SVM-om (eng. Support Vector Machines)
• Drugi modalitet snimanja: tzv. Multi-Cam [2012.]
– CMOS senzor + aktivni sustav osvjetljenja koji odašilje modulirane NIR signale i prima reflektirane NIR signale te se tako pomoću jedne kamere dobije NIR i slika u boji.
– Klasifikacija se vrši postavljanjem praga (eng. thresholding) na modificirani indeks vegetacije - MNDVI.
• Kombinacija indeksa vegetacije s bojom i značajkama teksture [2012.].
– Postavljanjem praga za NDVI i MNDVI dobiju se pikseli bogati klorofilom - početak algoritma izrastanja regija.
– Za svaki seed piksel se računa udaljenost boje i značajke teksture između njega i njegovih susjeda.
– Pretpostavke: boja u malom području vegetacije je homogena i prisutni su pikseli s različitim orijentacijama te se za to koriste Gaborovi filtri za detekciju nestrukturiranih tekstura.
Kvalifikacijski doktorski ispit
Kvalifikacijski doktorski ispit
Terenska detekcija vegetacije - ostali
• Liu et al. koriste kombinaciju 2D i značajki dobivenih LADAR-om za navigaciju autonomnog vozila.
– Značajke:
• visina izračunata iz 3D prostora dobivenog LADAR-om,
• H i S komponente dobivene pretvorbom RGB u HSV sustav boja.
– Klasifikator:
• SVM s radijalnom jezgrom.
• Za poboljšanje kvalitete videa, odnosno TV slike vrši se segmentacija slike
– Značajke:
• komponente boje iz YUV prostora boja ,
• značajke teksture izračunate kao apsolutna razlika promatranog piksela i srednje vrijednosti njegovih susjeda.
– Nakon detekcije travnatih površina u video sekvenci (travnata područja su često prisutna u sportu) slijedi poboljšanje slike mijenjanjem boje ili svjetline piksela u određenom segmentu pomicanjem prema svjetlijoj boji, povećanjem zasićenosti boja ili osvjetljenja.
Kvalifikacijski doktorski ispit
Terenska detekcija vegetacije - ostali
• Fotogrametrija - vještina, znanost i tehnologija dobivanja pouzdanih kvantitativnih informacija o fizičkim
objektima na Zemlji i o okolišu procesom zabilježavanja, mjerenja, analiziranja i interpretacije fotografskih
snimaka.
– npr. praćenje odronjavanja zemljišta
• Zhan i Lai primjenjuju detekciju vegetacije u svrhu eliminiranja utjecaja vegetacije u procesu praćenja
količine deformacije zemljišta
– Značajke:
• značajke teksture dobivene računanjem histograma drugog reda,
• vrijednosti gradijenta izračunate Sobelovim operatorom.
– Klasifikator:
• Naive Bayes.
Kvalifikacijski doktorski ispit
Terenska detekcija vegetacije - problemi
• Promjena osvjetljenosti utječe na spektralni potpis objekta
– sjene,
– nedovoljno ili prekomjerno osvjetljenje,
– sunčan ili tmuran dan.
• Druge prepreke
– objekti koji imaju visoku refleksiju u NIR području,
– objekti sličnih boja kao vegetacija.
• Moguća rješenja:
– kombiniranje više indeksa vegetacije,
– kombiniranje indeksa vegetacije s drugim značajkama (npr. boja, značajke teksture, LADAR, itd.)
Kvalifikacijski doktorski ispit
Zračna detekcija vegetacije - sateliti
• Klasifikacija vegetacije
• Li et al. klasificiraju cvijeće, travu, drveće i grmlje
– Značajke:
• položaj crvenog ruba,
• maksimum refleksije zelene boje,
• maksimum apsorpcije crvene boje u spektru.
– Klasifikator:
• stabla odlučivanja.
• Molinier et al. klasificiraju vrste drveća
– Značajke:
• R, G, B i NIR dobivenih sa GeoEye satelita.
– Klasifikator:
• LDA (eng. Linear Discriminant Analysis).
• Kempeneers et al. vrše klasifikaciju na stresnu i ne-stresnu vegetaciju
– Značajke:
• valićni koeficijenti (eng. wavelet coefficients) dobiveni primjenom DWT-a na snimljeni spektar.
– Klasifikator:
• LDA
Kvalifikacijski doktorski ispit
Zračna detekcija vegetacije - laseri
• LiDAR (eng. Light Detection And Ranging) vs. LADAR (eng. LAser Detection And Ranging)
– LiDAR - za mapiranje i 3D modeliranje pejzaža grada.
– LADAR - za lociranje i karakterizaciju manjih objekata poput vozila ili drugih predmeta koje je napravio čovjek.
• LiDAR daje 3D reprezentaciju snimanog područja na osnovu kojeg se generiraju:
– digitalni model terena - DTM (eng. Digital Terrain Model) i
– digitalni model površine - DSM (eng. Digital Surface Model).
– nDSM = DSM – DTM (visine objekata u promatranoj sceni).
• podjela na točke koje pripadaju i ne pripadaju terenu.
• Yang i Lin koriste LiDAR za detekciju vegetacije u urbanim sredinama:
– Značajke:
• visina objekta,
• lokalna hrapavost izračunata iz 3D modela.
– Klasifikacija:
• postavljanje praga (thresholding).
• Secord i Zakhor detektiraju drveće u urbanim sredinama:
– Značajke:
• visina i lokalna varijacija visine,
• nijansa (eng. hue), zasićenost i intenzitet.
– Klasifikator:
• SVM.
Kvalifikacijski doktorski ispit
Zračna detekcija vegetacije - sateliti
• Detektiranje sušnih područja je dosta istraženo i dosta radova je na tu temu.
• Postoje razni indeksi suše koji uzimaju u obzir količinu oborina, npr. SPI (eng. Standardized Precipitation
Index).
• Marshall et al. su korelirali SPI s različitim indeksima vegetacije s ciljem utvrđivanja može li se pomoću
satelitskih snimaka i indeksa vegetacije, bez poznavanja količine oborina, detektirati suša.
– Rezultati su pokazali da je NDVI najviše koreliran sa SPI-em i da se pomoću njega može detektirati suša.
• Moguća primjena
– Dugotrajne suše i nedostatak oborina pospješuju izbijanje i širenje požara tako da se detekcija sasušene vegetacije uz cestu može koristiti za prevenciju nepogoda.
Kvalifikacijski doktorski ispit
Zaključak
• Ne postoji univerzalna i općeprihvaćena metoda za detekciju vegetacije.
• Ovaj pregled područja istraživanja će služiti kao baza za nastavak istraživanja i razvoja algoritama za
detekciju vegetacije.
• Planirane primjene:
– detekcija i klasifikacija vegetacije kao mogućih prepreka na putu,
– održavanje prometne infrastrukture.
• Dostupna oprema:
– Kamera u boji,
– IR kamera,
– LADAR.
Kvalifikacijski doktorski ispit
Zaključak – predloženi okvir rješenja
• Smjernice za budući rad i istraživanje
– Pretprocesiranje
• Segmentacija
– Izdvajanje značajki
• Značajke iz vidljivog dijela spektra: RGB, HSV, tekstura (Gabor, Sobel).
• Značajke iz nevidljivog dijela spektra: NIR – indeksi vegetacije.
– Treniranje klasifikatora
• Algoritmi strojnog učenja, npr. SVM, NM.
Kvalifikacijski doktorski ispit
Pitanja?