DOCTORS AND MASTERS OF SCIENCE

KiG No. 33, Vol. 1 9, 20201 00

Anomaly detection onhyperspectral andmultispectral digitalimages of a minesuspected area

Ivan Racetin,PhD in TechnicalSciences

Ivan Racetin was born on 30 January 1990 in Šibenik,where he attended primary and secondary school. Aftergraduating from the Antun Vrančić High School of Nat-ural Sciences and Mathematics, in 2008 he enrolled at theFaculty of Geodesy, University of Zagreb. During hisstudies, he was awarded scholarships for being an excep-tionally gifted student and a scholarship from the Uni-versity of Zagreb for excellence for the academic year2012/2013. As the best student with excellent results inall years of undergraduate and graduate studies, he wasawarded five Faculty of Geodesy awards. In 2012, he wasawarded the Rector's Prize ofthe University ofZagreb forhis work Global Geopotential Models and TheirVisualization.

In the last year of his graduate studies, he startedworking on a European Commission FP7 research and de-velopment project Toolbox Implementation for Removal ofAnti-personnel Mines, Submunitions and UXO (TIRAMISU).Since 2014, he has been employed at the Faculty of CivilEngineering, Architecture and Geodesy in Split, where heleads or has led exercises in Remote Sensing, State Survey,Photogrammetry, Geodetic Instruments, Geodetic Plans,Map Projections and GIS Applications in Water ResourcesManagement. In the same year, he enrolled in postgradu-ate doctoral studies in Geodesy and Geoinformatics at theFaculty ofGeodesy, University ofZagreb. During 2015 and2016, as an expert associate, he participated in the projectMine Action after the Flood, Regional Crisis Response, Techno-logy Development and Capacity Building. Since 2019, he hasbeen participating in the Interreg project Monitoring Sea-water intrusion in coastal aquifers and testing pilot projects forits mitigation (MoST). As an author or co-author, he haspublished over 20 scientific publications, ofwhich five areindexed in CC or SCIE bibliographic databases.

His doctoral thesis consists of 236 A4 pages and in-cludes a summary in Croatian, an extended summary inEnglish, 82 pictures, five tables, a bibliography with 159titles and nine online sources, five appendices, a list ofabbreviations used and the author’s resumé.

The introduction presents the basis and motivationfor the work, and the purpose of the research. By review-ing the available literature on humanitarian demining,the author notes there has been insufficient research onthe application ofanomaly detection methods on multidi-mensional data collected by remote sensing methods.Furthermore, in most scientific publications, testing an-omaly detectionmethods is performed on elementary andapplicatively irrelevant examples. The concepts that arethoroughly analysed in the following chapters are briefly

On 19 June 2020, Ivan Racetin defended his doc-toral thesis Anomaly detection on hyperspectraland multispectral digital images ofa mine suspectedarea at the Faculty of Geodesy, University ofZagreb. The commission for the defence of thedoctoral thesis comprised Prof. Dr. Mario Brkić,Prof. Dr. Tomislav Bašić, Prof. Dr. Hrvoje Goldfrom the Faculty of Transport and Traffic Sci-ences, University of Zagreb, Prof. Dr. RenataPernar from the Faculty of Forestry, Universityof Zagreb, and Prof. Dr. Sven Lončarić from theFaculty of Electrical Engineering and Comput-ing, University of Zagreb. The mentor was Asst.Prof. Andrija Krtalić.

The doctoral thesis is divided into sevenchapters:

1 Introduction2 The problem of explosive ordnance and

humanitarian demining3 Hyperspectral and multispectral systems

in remote sensing4 Processing hyperspectral and multispectral

data5 Anomaly detection methods on hyper-

spectral and multispectral digital imagesofa mine suspected area

6 Results and discussion7 Conclusion

DOKTORI I MAGISTRI ZNANOSTI

KiG Br. 33, Vol. 1 9, 20201 01

Ivan Racetin rođen je 30. siječnja 1990. u Šibeniku,gdje je pohađao osnovnu i srednju školu. Po završetkuobrazovanja u Prirodoslovno-matematičkoj gimnazijiAntuna Vrančića, 2008. godine upisao se na Geodetskifakultet Sveučilišta u Zagrebu. Za vrijeme studija na-građen je stipendijama za posebno nadarene studente istipendijom Sveučilišta u Zagrebu za izvrsnost za aka-demsku godinu 2012/2013. Kao najboljem studentu spostignutim odličnim uspjehom na svim godinamapreddiplomskog i diplomskog studija, uručeno mu jepet Nagrada Geodetskog fakulteta. Godine 2012. nagra-đen je Rektorovom nagradom Sveučilišta u Zagrebu zarad Globalni geopotencijalni modeli i njihova vizualizacija.

Na posljednjoj godini studija započeo je rad na is-traživačkom projektu FP7 Europske komisije naziva To-olbox Implementation for Removal of Anti-personnel Mines,Submunitions and UXO (TIRAMISU). Od 2014. godine za-poslen je na Fakultetu građevinarstva, arhitekture i ge-odezije Sveučilišta u Splitu, gdje održava vježbe iz Da-ljinskih istraživanja, Državne izmjere, Fotogrametrije,Geodetskih instrumenata, Geodetskih planova, Karto-grafskih projekcija i Primjene GIS-a u upravljanju vod-nim resursima. Iste godine upisao je poslijediplomskidoktorski studij geodezije i geoinformatike na Geodet-skom fakultetu Sveučilišta u Zagrebu. Tijekom 2015. i2016. godine, kao stručni suradnik sudjelovao je naprojektu Protuminsko djelovanje nakon poplava, regionalniodziv u krizi, razvoj tehnologija i izgradnja kapaciteta. Od2019. godine sudjeluje na Interreg projektu Monitoringprodora slane vode u obalne vodonosnike i testiranje pilotprojekata za smanjenje štetnog utjecaja od zaslanjivanja(MoST). Kao autor ili koautor objavio je više od 20znanstvenih publikacija, od kojih je pet indeksirano ubibliografskim bazama CC ili SCIE.

Doktorski rad sastoji se od 236 stranica formata A4,a uključuje sažetak na hrvatskom jeziku, prošireni sa-žetak na engleskom jeziku, 82 slike, 5 tablica, popis lite-rature sa 159 naslova i 9 internetskih izvora, 5 priloga,popis korištenih kratica i životopis autora.

U uvodu navedeni su uzroci, motivacija za izradu radai svrha provedenih istraživanja. Pregledom dostupne li-terature o humanitarnom razminiranju doktorand uoča-va nedovoljnu istraženost primjene metoda detekcijeanomalija na višedimenzionalnim podatcima prikuplje-nim metodama daljinskih istraživanja. Nadalje, iznesenaje činjenica kako se u većini znanstvenih publikacija tes-tiranje metoda detekcije anomalija obavlja na elementar-nim i aplikativno nerelevantnim primjerima. Tu se uvode

Ivan Racetin,doktor tehničkihznanosti

Ivan Racetin obranio je 19. lipnja 2020. na Ge-odetskom fakultetu Sveučilišta u Zagrebu dok-torski rad Detekcija anomalija na hiperspektralnim ivišespektralnim digitalnim snimkama minski sum-njivog područja. Doktorski rad je obranjen predpovjerenstvom u sastavu: prof. dr. sc. Mario Br-kić, prof. dr. sc. Tomislav Bašić, prof. dr. sc. Hr-voje Gold s Fakulteta prometnih znanosti Sveu-čilišta u Zagrebu, prof. dr. sc. Renata Pernar saŠumarskog fakulteta Sveučilišta u Zagrebu, iprof. dr. sc. Sven Lončarić s Fakulteta elektrote-hnike i računarstva Sveučilišta u Zagrebu. Men-tor je bio doc. dr. sc. Andrija Krtalić.

Detekcija anomalijana hiperspektralnm ivišespektralnimdigitalnim snimkamaminski sumnjivogpodručja

Doktorski rad je izrađen u sedam poglavlja:

1. Uvod2. Problem eksplozivnih naprava i humani-

tarno razminiranje3. Hiperspektralni i višespektralni sustavi u

daljinskim istraživanjima4. Obrada hiperspektralnih i višespektralnih

podataka5. Metode detekcije anomalija na hiperspek-

tralnim i višespektralnim digitalnim snim-kama minski sumnjivog područja

6. Rezultati i diskusija7. Zaključak

DOCTORS AND MASTERS OF SCIENCE

KiG No. 33, Vol. 1 9, 20201 02

introduced: hierarchical and partition approaches andanomaly detection methods on digital images. By parti-cipating in humanitarian demining projects as an activeresearcher, the candidate gained critical experiences,identified several problems and created the conditions forhis scientific research, which he presents through hypo-theses and scientific contributions in the first chapter thatends with the structure ofthe thesis.

The second chapter presents the achievements ofpre-vious scientific research in the field in which the appliedscientific contribution of this paper has been achieved.The significant problem of explosive devices throughoutthe world is presented, with particular reference to thesituation in the Republic ofCroatia, alongwith the ways inwhich humanitarian demining has been approached sofar. The basic concepts and procedures in humanitariandemining within a broader concept - mine action - aredefined, and a comparison is made with conventional

military demining. This is followed by an overview ofthe current state of detection methods and technologyin humanitarian demining, with special reference toremote sensing methods. The content of this chapterdefines the framework of the field in which the appliedscientific contribution of this paper has been made.

The third chapter contains a detailed description ofthe concepts ofmultispectral and hyperspectral data col-lection in remote sensing. In addition, the properties andcharacteristics of the air and satellite systems whose im-ages were used in this study are listed and explained. Aftera description ofthe physical foundations and principles ofhyperspectral and multispectral systems, there follow anoverview and description ofthe sensors used in this study.

An overview of state-of-the-art research in the field inwhich the methodological scientific contribution of thispaper has been made is presented in the fourth chapter.The mathematical framework of anomaly detection is

DOKTORI I MAGISTRI ZNANOSTI

KiG Br. 33, Vol. 1 9, 20201 03

pojmovi koji se u nastavku detaljnije analiziraju i istražuju:hijerarhijski i particijski pristupi i metode detekcije ano-malija na digitalnim snimkama. Sudjelujući u projektimahumanitarnog razminiranja kao aktivan istraživač, pris-tupnik je prikupio kritička iskustva, identificirao više pro-blema i stvorio uvjete za vlastito znanstveno istraživanje,koje najavljuje kroz hipoteze i znanstvene doprinose u pr-vom poglavlju koje završava strukturom rada.

U drugom poglavlju navedena su postignuća dosadaš-njih znanstvenih istraživanja u području u kojem je ostva-ren aplikativni znanstveni doprinos ovog rada. Prikazan jeznačaj problema eksplozivnih naprava u svijetu s poseb-nim osvrtomna situaciju u Republici Hrvatskoj te načini nakoje je humanitarno razminiranje pristupalo i pristuparješavanju minskog problema do sada. Definirani su os-novni pojmovi i postupci u humanitarnom razminiranju uokviru šireg pojma – protuminsko djelovanje, te je prove-dena usporedba s konvencionalnim vojnim razminira-njem. Nakon toga slijedi prikaz suvremenog stanja metodai tehnologije za detekciju u humanitarnom razminiranju sposebnim osvrtom na metode daljinske detekcije. Sadržajovog poglavlja definira okvir područja u kojem je ostvarenaplikativni znanstveni doprinos ovog rada.

Treće poglavlje sadrži detaljan opis koncepata vi-šespektralnog i hiperspektralnog prikupljanja podata-ka u daljinskim istraživanjima. Pored toga, navedena sui objašnjena svojstva i karakteristike zračnih i satelit-skih sustava čije su snimke korištene u ovom istraživa-nju. Nakon opisa fizikalnih temelja i principa rada hi-perspektralnih i višespektralnih sustava te isticanjanjihovih razlika, slijedi pregled i opis senzora koji suprimijenjeni u ovom istraživanju.

Pregled dosadašnjih istraživanja u području u kojem jeostvaren metodološki znanstveni doprinos ovog rada pri-kazan je u četvrtom poglavlju. U tom je poglavlju definiranmatematički okvir detekcije anomalija, a detaljno je opisa-no i trenutno stanje metoda detekcije anomalija na hipers-pektralnim i višespektralnim digitalnim snimkama. Tako-đer su opisane i metode klasifikacije, segmentacije i reduk-cije dimenzija podataka, kao i mjere kvalitete detekcije ko-je su primijenjene u ovom radu. U ovom poglavlju se opi-suje i definira pojam krivulje ROC (Receiver OperatingCharacteristics – ROC) i eksperimentalne krivulje ROC kojese koriste u analizi rezultata ovog rada kao neki od pokaza-telja kvalitete detektora, tj. metoda detekcije anomalije nadigitalnim hiperspektralnim i višespektralnim snimkama.

U petom poglavlju detaljno su opisani koncepti novihmetoda detekcije anomalija koje se temelje na hijerar-hijskoj klasifikaciji i segmentaciji, te njihove unaprijeđe-ne inačice. Na osnovi svega navedenog u prethodnimpoglavljima, navedena su poželjna svojstva koja trebajuzadovoljavati metode detekcije anomalija. U ovom po-glavlju su detaljno opisane i prikazane dvije kategorijeizvornih metoda detekcije anomalija: metode temeljenena hijerarhijskoj klasifikaciji i metode temeljene na hije-rarhijskoj segmentaciji. Definirane su osnovne metode, azatim unaprijeđene verzije u kojima je primijenjen modul

za redukciju dimenzija podataka. Predstavljene metodedetekcije anomalija i postupak ocjene njihove kvaliteteprogramirane su u jeziku Python.

U šestom poglavlju prikazani su rezultati primjene ra-zvijenih metoda detekcije anomalija na hiperspektralnim ivišespektralnim digitalnim snimkama minski sumnjivogpodručja. Definirani su ciljevi (referentni spektralni potpisiubojnih sredstava i mina) na digitalnim snimkama i opisannačin na koji su primijenjeni u hiperspektralne i višespek-tralne snimke minski sumnjivog područja. Za analizu me-toda detekcije anomalija na digitalnim hiperspektralnim ivišespektralnim snimkama minski sumnjivog područjaodabrane su snimke prikupljene s više satelitskih i zračnihsenzora, različite prostorne rezolucije, koje pokrivaju ka-rakteristična geomorfološka područja minski sumnjivogpodručja u Republici Hrvatskoj. Geometrijski oblici ubojnihsredstava ili mina te njihov udio u sceni su bili varijacijskiparametri prilikom simulacija. Kako bi se stekao dojam us-pješnosti novih detektora, primijenjene su i ostale suvre-mene metode detekcije anomalija. Poglavlje završavausporedbom performansi i rezultata suvremenih metoda smetodama detekcije anomalija koje su razvijene u sklopuovog doktorskog rada. Prednosti i ograničenja ovog načinaispitivanja metoda detekcije anomalija kritički su obrazlo-ženi i analizirani.

U sedmom poglavlju izvode se zaključci o svim prove-denim istraživanjima, postignutim rezultatima i znans-tvenim doprinosima rada. U ovom doktorskom raduosmišljene su i primijenjene dvije skupine inovativnihmetoda detekcije anomalija na hiperspektralnim i višes-pektralnim digitalnim snimkama minski sumnjivog po-dručja. Jedna skupina metoda temelji se na hijerarhijskojklasifikaciji koja se zasniva na konceptu spektralne gusto-će kao mjere sličnosti. Druga skupinametoda temelji se nahijerarhijskoj segmentaciji koja polazi od efikasne metodesegmentacije na osnovi teorije grafova. Glavni znanstvenidoprinosi ovog doktorskog istraživanja su:

izrada koncepta metode detekcije anomalija teme-ljene na hijerarhijskoj segmentaciji,izrada koncepta metode detekcije anomalija teme-ljene na hijerarhijskoj klasifikaciji,izrada koncepta unaprijeđenih inačica razvijenihmetoda detekcije anomalija koje se oslanjaju nametode redukcije dimenzija podataka,primjena razvijenih metoda na hiperspektralnim ivišespektralnim digitalnim snimkama minski sum-njivog područja.Metodološki znanstveni doprinosi ovog rada su nove

metode detekcije anomalija na hiperspektralnim i višes-pektralnim digitalnim snimkama minski sumnjivog po-dručja, koje su posebno prilagođene višedimenzionalnimpodatcima. S druge strane, aplikativni znanstveni doprinosovog istraživanja ostvaren je u području humanitarnograzminiranja kroz daljinsku detekciju simuliranih mina iubojnih sredstava.

Priredili Andrija Krtalić i Ivan Racetin

DOCTORS AND MASTERS OF SCIENCE

KiG No. 33, Vol. 1 9, 20201 04

defined, and the current state of anomaly detectionmethods on hyperspectral and multispectral digital im-ages is described in detail. The methods of classification,segmentation and data dimensionality reduction are alsodescribed, as well as the detection quality measures thatare applied in the thesis. This chapter describes anddefines the concept of the Receiver Operating Character-istics (ROC) curve and experimental ROC curves to analysethe results ofthis work as one ofthe indicators ofdetectorquality, namely anomaly detection methods on digitalhyperspectral andmultispectral images.

The fifth chapter describes in detail the concepts ofnew methods of anomaly detection methods based onhierarchical classification and segmentation, and theirimproved versions. Based on everything covered in theprevious chapters, the preferred properties of anomalydetection methods are listed. This chapter describes andpresents two new types of anomaly detection methods:those based on hierarchical classification and those basedon hierarchical segmentation. Basic methods are defined,followed by their improved versions in which a modulefor data dimensionality reduction is implemented. Theanomaly detection methods presented and the procedurefor their quality assessment are implemented in Pythonprogramming language.

The sixth chapter presents the results of implement-ing the developed anomaly detection methods on hyper-spectral and multispectral digital images of the minesuspected area. Targets (reference spectral signatures ofmunitions and mines) were defined on digital images andthe method of implementing them in hyperspectral andmultispectral images of the mine suspected area was de-scribed. For the analysis ofanomaly detectionmethods ondigital hyperspectral and multispectral images of themine suspected area, images collected from several satel-lite and air sensors, different spatial resolutions, coveringcharacteristic geomorphological areas of the mine sus-pected area in the Republic ofCroatia, were selected. Thegeometric shapes of unexploded ordnance or mines andthe level oftheir presence in the scene were the variationparameters during simulations. In order to evaluate theperformance of the new detectors, state-of-the-art anom-aly detection methods in the programme code were im-plemented. The chapter concludes with a comparativeanalysis and results of state-of-the-art methods with theanomaly detection methods developed as part of this doc-toral thesis. The advantages and limitations of the imple-mented workflow for testing anomaly detection methodsare critically explained and analysed.

In the seventh chapter, conclusions are drawn aboutthe research conducted, the results achieved and the sci-entific contributions of the work. In this doctoral thesis,two groups of innovative methods for anomaly detectionon hyperspectral and multispectral digital images of amine suspected area were designed and implemented.One group of methods arose from a hierarchical classi-fication based on the concept of spectral density as a

Anomaly detection onhyperspectral andmultispectral digitalimages of a minesuspected area

Detekcija anomalijana hiperspektralnm ivišespektralnimdigitalnim snimkamaminski sumnjivogpodručja

measure of similarity. The second group of methodswas based on hierarchical segmentation, which startedfrom an efficient graph-based segmentation. The mainscientific contributions of this doctoral research are:

Development of the concept of an anomaly detec-tion method based on hierarchical segmentationDevelopment of the concept of an anomaly detec-tion method based on hierarchical classificationDevelopment of the concepts of improved versionsof developed anomaly detection methods that im-plement data dimensionality reduction techniquesImplementation and application of developed anom-aly detection methods on hyperspectral and multis-pectral digital images ofa mine suspected area.The methodological scientific contributions of this

paper include new methods of anomaly detection on hy-perspectral and multispectral digital images of a minesuspected area, which are specially tailored for multidi-mensional data. On the other hand, the applied scientificcontribution of this research was achieved in the field ofhumanitarian demining through remote detection ofsimulated mines and unexploded ordnance.

Compiled by Andrija Krtalić and Ivan Racetin