classificazione statistica di immagini telerilevate del ... › infoterra › docs ›...

Dipartimento diIngegneria B iofis ica

ed E lettronicaUnivers ità di Genova

Dipartimento di Ingegneria Biofisica edElettronica (DIBE), Università di Genova.

Classificazione Statistica di ImmaginiClassificazione Statistica di ImmaginiTelerilevateTelerilevate del Territorio: del Territorio:

Inquadramento e Sviluppi RecentiInquadramento e Sviluppi Recenti

Prof. S. B. Prof. S. B. SerpicoSerpico

ContenutoContenuto



Rappresentazione delle Immagini Telerilevate

Pattern Recognition Statistico: Impostazione

Approccio Bayesiano

Stima delle pdf

Classificazione Non Supervisionata

Selezione e Trasformazione di Parametri

Tecniche Contestuali

I Markov Random Fields per la Classificazione Contestuale

La Fusione Dati: uno Strumento per l’Analisi di Dati Telerilevati

Classificazione di Dati Multisensoriali con i Dependence Trees

Conclusioni

Bibliografia

Rappresentazione delle Immagini Rappresentazione delle Immagini TelerilevateTelerilevate



Montaggio di 3 bande inColor InfraRed (CIR)

Band 1

Band N

F irm a S pe ttrale

0

50100

150

200

Band 1

Band 2

Band 3

Band 4 ,,,,,, ,,

Band N

Vettore di Feature:X=[x1,…,xN]

Conoscenza a priori: firme spettrali dei materiali; informazionigenerali (ad es. dimensione delle strutture) o specifiche sul sito;

Pattern Pattern RecognitionRecognition Statistico Statistico

Si definiscono i campioni da classificare (pattern): ad es. ipixel dell’immagine

Si definiscono gli attributi (feature) che caratterizzano ipattern : ad es. l’intensità nelle diverse bande spettrali

Si definiscono le classi, in numero finito, cui assegnare ipattern: ad es. campi agricoli, zona urbana, foresta, acqua …

Si definisce l’algoritmo di classificazione, che assegnaciascun pattern ad una ed una sola classe (eventualmente nonassegna alcuni pattern):



Approccio Approccio Bayesiano Bayesiano (1)(1)

Ipotesi: Si conoscono le densità di probabilità (pdf) delleclassi p(X|i). Si supponga che =1,…, M sia l’insiemedi classi disponibili.

Regola di Bayes per il Minimo Rischio:

Cij rappresenta il costo di decidere che X∈ ωi quando X∈ ωj.

Regola di Bayes per il Minimo Errore:



X)|R( Min i i ∈ ∑

=

⋅=M

1j

iiji X)|P(CX)|R(dove,

X)|P( Max i i ∈

(criterio MAP: massima probabilità aposteriori)

Approccio Approccio Bayesiano Bayesiano (2)(2)

Regola della Massima Verosimiglianza:

E’ equivalente alla MAP se le P(i) sono tutte uguali. Usataanche quando le P(i) non sono note.

NB: Nell’ambito della classificazione basata sulla solainformazione del vettore di feature del singolo pixel, note lepdf delle classi questo approccio è ottimo. Può essereapplicato a pdf di forma qualsiasi.



)|p(X Max i i ∈

(criterio ML: Maximum Likelihood)

Esempio con Esempio con pdfpdf gaussianegaussiane



P2p(X|&2)P1p(X|&1)

D1 D2

Fig. 1. Regioni di decisione;assegno il pixel ad &1 (D1) o ad &2 (D2)

D1

D2

x1

x2

Isolivello della P2p(X|ω2)

Fig. 2.

Caso con 2 classi, pdf gaussiane, classificazione ad errore minimo:

La regola di classificazione può essere espressa anche mediante:- definizione delle regioni di decisione. Il confine (decision boundary) è definitoda P1p(X|&1)= P2p(X|&2)- criterio della minima distanza; basata su una metrica opportuna: per pdfgaussiana, distanza di Mahalanobis di tipo ellettico (v. isolivello di Fig. 2). Per estensione, vari altri classificatori si basano sui concetti di decisionboundary o di minima distanza senza fare rif.to diretto all’approccio bayesiano.

Problemi e Limitazioni dell’Approccio Problemi e Limitazioni dell’Approccio BayesianoBayesiano In pratica non è possibile rappresentare in forma statisticatutta l’informazione disponibile (conoscenza a priori,contesto,…) ⇒ non e ottimo in senso assoluto! Le feature disponibili potrebbero essere in numero eccessivo(es. sensori iperspettrali con centinaia di bande) ⇒selezione/trasformazione di feature Normalmente non si conoscono le pdf delle classi. Allora sipuò ricorrere all’approccio supervisionato ⇒ stima delle pdfcon approcci parametrici/non-parametrici utilizzando uninsieme di campioni preclassificati (training set) Di solito, le classi non rappresentano in modo esaustivo ilcontenuto dell’immagine ⇒ pattern non classificati (ad es.sulla base della “soglia di reiezione”)



Stima delle Stima delle pdfpdf: Approccio Parametrico Supervisionato: Approccio Parametrico Supervisionato

In questo caso, si assume di conoscere il tipo di distribuzionestatistica delle classi (es. caso gaussiano). E’ quindi necessariostimare i parametri che caratterizzano le pdf delle varie classi(v. tecniche statistiche e teoria della stima).Es. Per ogni classe ωi, nel caso gaussiano:

serve stimare Mi e Σi che rappresentano rispettivamente ilvettore della media e la matrice di covarianza (simmetrica) diωi . Se la dimensione di X è n ⇒ si devono stimare n elementidi Mi e (n2+n)/2 elementi di Σi.NB: Questo è il caso tipico del classificatore ML.



))M(X)M(X2

1exp(

||)(2

1)|P(X i

1-i

Ti1/2

in/2i −−⋅−⋅=

Stima delle Stima delle pdfpdf: Approccio Non-Parametrico Supervisionato (1): Approccio Non-Parametrico Supervisionato (1)

In questo caso, non si ipotizza di conoscere il tipo di distribuzionestatistica delle classi, che può quindi assumere una forma qualsiasi,anche molto complicata. Tra gli approcci più utilizzati:

- Finestre di Parzen (caso monodimensionale):

dove h è la dimensione della finestra di Parzen, Ni il numero dicampioni associati alla classe ωi, Yi,j un campione di training dellaclasse ωi e γ() una delle funzioni “kernel” (rettangolo, triangolo,gaussiana...)

- Funzioni di Specht: derivano da una generalizzazione delle finestredi Parzen al caso multidimensionale. Se γ() e di tipo gaussiano:



∑=

−⋅⋅=iN

1j

ji,i

i ))Y;h

1(

N

1)&|P(X

∑=

−−⋅=

iN

1j2

ji,t

ji,

in/22i )

2

)Y(X)Y(Xexp(-

N)(2

1)&|P(X

σπσ

Stima delle Stima delle pdfpdf: Approccio Non-Parametrico Supervisionato (2): Approccio Non-Parametrico Supervisionato (2)- Reti neurali:

* Probabilistic Neural Networks (PNN): implementano lefunzioni di Specht* Multilayer Perceptron (MLP): allenato opportunamente,fornisce stima delle P(i|X)

- K-nn: è basato sul calcolo del volume V(X|i) nell’intorno di X checontiene i K punti più vicini della classe i:

- Scomposizione in modi gaussiani: è un metodo semi-parametrico che assume che ogni densità p(X|i) è esprimibilecome combinazione lineare di componenti gaussiani.

dove αi,j è il peso della componente j nella classe i.Dipartimento di

Ingegneria B iofis icaed E lettronica

Univers ità di Genova

)&|V(XN

1-K)&|P(X

iii =

∑=

Σ⋅=iN

1j

,,iji,i ),,&|f(X.)&|P(X jijiM

Stima delle Densità/Distribuzioni dal Training SetStima delle Densità/Distribuzioni dal Training Set



Caso parametrico: il numero dicampioni di training deve esseresufficiente rispetto al numero diparametri da stimare. Caso non-parametrico:accuratezza crescente al cresceredel numero di campioni ditraining. Se questi sono in numerofinito, il metodo deve garantirebuona interpolazione (“capacitàdi generalizzazione”). Queste problematichediventano critiche, dato untraining set con un numero dicampioni fissato, al crescere delladimensione dello spazio dellefeature ⇒ Fenomeno di Hugues(v. Figura).

m=25

10

20

50100

200

1000

500

m = •

1 100050020010050201052

MEASUREMENT COMPLEXITY n (Total Discrete Values)

0.50

0.55

0.60

0.65

0.70

0.75

m: number of training samplesFig. 3: Valori stimati medi (su tutti i possibiliclassificatori) dell’accuratezza di classificazionerispetto alla complessità delle misure (proporzionaleal numero di feature). Le curve sono parametrizzaterispetto al numero di campioni di training (m).

Rappresentazione dei DatiRappresentazione dei Dati



Approccio Bayesiano Statistico:Rappresenta una via molto efficace perrappresentare le correlazionimultidimensionali tra i dati con statistiche diqualsiasi ordine. Ad esempio, per unadistribuzione del tipo gaussiane, statistichefino al secondo ordine sono sufficienti permettere in luce la correlazionemultidimensionale. Comunque, alcuneinformazioni difficilmente traducibili intermini statistici non possono esser sfruttati inquest’approccio. Altri Approcci:Approcci quali quelli basati sulla conoscenza o sulla firma spettrale sonopiù flessibili e danno la possibilità di includere altri tipi di informazioni(feature geometriche, dati ancillari…). Con questi approcci è peròdifficile rappresentare bene la correlazione statistica tra i dati(solitamente statistiche di primo ordine).

f1

f2

Statistichedi 2° ordine

Classe AClasse B

Fig. 4.

Classificazione Non SupervisionataClassificazione Non Supervisionata



Nel caso in cui non siano disponibili campioni di training, ènecessario applicare metodi per identificare le classi naturali(clustering) dell’immagine da classificare. I principali approcci diclustering sono:

Approccio basato su un funzionale: Metodo Max-Min Metodo delle K-medie Metodo Isodata

Approccio basato basata sulla Teoria dei Grafi:Il metodo più conosciuto è il MST, acronimo che sta per albero aminima ramificazione.

Approccio basato su Reti Neurali: Kohonen Self-Organizing Maps Gas Neural Networks

Selezione e Trasformazione di ParametriSelezione e Trasformazione di Parametri

Introduzione:Nella progettazione di un classificatore, è generalmentenecessario effettuare una trasformazione e/o riduzione(selezione) dei parametri al fine di ridurre i tempi dicalcolo e di evitare il fenomeno di Hughes che si manifestanei metodi supervisionati quando il numero di campionidel training set è limitato. A parità di numero diparametri, la scelta deve essere tale da massimizzare laseparazione tra le classi.

Esistono due approcci per la riduzione dei parametri: selezione di un sottinsieme dei parametri originali trasformazione dei parametri



Selezione di Parametri (1)Selezione di Parametri (1)Quando la dimensione dello spazio dei parametri è molto elevata (ad es.dati provenenti da sensori iperspettrali), serve un metodo di ricerca delmiglior sotto-insieme dei parametri veloce anche se sub-ottimo.

Metodo della “Sequential Forward Selection” (SFS) :La SFS è un metodo di ricerca basato sulla strategia “bottom-up”.L’algoritmo comincia da un sotto-insieme vuoto di parametri peraggiungere ogni volta un parametro fino a ottenere il numero deiparametri desiderato.

Metodo della “Sequential Backward Selection” (SBS) :

Contrariamente alla SFS, la SBS è basata su una strategia di ricerca“top-down” nella quale, dopo aver considerato l’insieme totale deiparametri, viene scartato un parametro alla volta.



Selezione di Parametri (2)Selezione di Parametri (2)Lo svantaggio dei metodi SFS e SBS è che quando un parametro è statoaggiunto o scartato dal sotto-insieme non può più essere riconsiderato.

Metodi del “Sequential Forward Floating Selection” (SFFS) e del “SequentialBackward Floating Selection” (SBFS):Sono un miglioramento dei metodi sopra citati, SFS e SBS rispettivamente, conun aggiornamento dinamico del numero di feature incluse (SFFS) o scartate(SBFS) ad ogni passo e una riconsiderazione delle feature incluse o scartate aipassi precedenti. Questi metodi sono considerati molto efficaci, dato cheforniscono una soluzione quasi-ottima con un tempo di elaborazione piuttostobreve.

Metodi del “Steepest Ascent search” (SA) e del “Fast Constrained Search”(FCS) :I metodi SA e FCS sono basati su una rappresentazione binaria che indica qualiparametri sono scelti e quali sono scartati. Usando una adeguato criterio diottimizzazione, i metodi SA e FCS esplorano lo spazio binario per cercare unminimo locale a partire da un insieme di feature iniziale della dimensionedesiderata.



Trasformazione di Parametri (1)Trasformazione di Parametri (1) Metodo delle Componenti Principali (Karhunen-Loeve):E’ un metodo di riduzione dei parametri, il cui principale vantaggioè la mancanza di vincoli sulla conoscenza delle varie densità diprobabilità delle classi. Dopo aver effettuato una trasformazionelineare, vengono scelti i parametri trasformati che hanno unamassima dispersione.

Discriminant Analysis e Trasformata di Fisher:Nella Discriminant Analysis, concetti quale la separazione intra-classe e interclassi sono usati per formulare criteri di separazione trale classi utili per sviluppare metodi di selezione di feature. Un casoparticolare è la trasformata di Fisher che, in sostanza, applica unaproiezione dei vettori di feature su una retta, cioè da unarappresentazione ad un problema N dimensioni ad unarappresentazione ad 1 dimensione.



Trasformazione di Parametri (2)Trasformazione di Parametri (2)

Metodo del “Decision Boundary Feature Extraction” (DBFE):Il metodo del DBFE è basato sull’estrazione dei parametri piùsignificativi sul confine delle regione di decisione. Il DBFE ha laproprietà di predire il minimo numero di parametri necessari pernon aver una perdita di accuratezza. Poiché il DBFE richiede unnumero significativo di campioni di training, è necessaria una fasedi preelaborazione basata su una tecnica quale il ParametricProjection Pursuit che consente una riduzione preliminare delladimensione dello spazio dei dati.



Tecniche Contestuali (1)Tecniche Contestuali (1) L’uso dell’informazione contestuale spaziale (e/o temporale) consente diridurre ambiguità, errori e recuperare informazioni mancante. I principaliapprocci basati sull’uso dell’informazione contestuale sono:

Approccio Basato su ModelloL’informazione contestuale è inclusa tramite un modello del segnale-immagine,solitamente con l’ipotesi di una correlazione locale, (ad es. modello stocasticospaziale, modello di autocorrelazione, Markov Random Fields).

Approccio Basato sulla TessituraLa tessitura rappresenta un mezzo utile per mettere in luce regolarità(deterministiche o statistiche) nell’andamento spaziale dell’intensità.Solitamente si calcola un insieme di misure di tessitura da aggiungere iningresso al classificatore per una migliore separazione tra le classi. Alcuniesempi di parametri di tessitura sono la matrice di cooccurrenza di livelli digrigio, il texture spectrum, i coefficienti di Fourier, i parametri frattali.



Tecniche Contestuali (2)Tecniche Contestuali (2) Approccio Basato sulla SegmentazioneLa segmentazione è una tecnica che partiziona l’immagine in gruppi dipixel che presentano omogeneità spettrale. Essa permette di ridurre lasensibilità al rumore e di effettuare una classificazione basata sulleregioni (segmenti) rappresentate con dei descrittori quali la media,descrittori geometrici… Alcuni tra i più diffusi metodi di segmentazionesono:

- il region growing- lo split-and-merge- la segmentazione basata sui contorni

Approccio della Post-ElaborazioneDopo una classificazione effettuata a livello di pixel, viene effettuata unafase di post-elaborazione quale il relaxation labeling o il filtro dimaggioranza (che cerca la classe dominante in una data finestra dicontesto).



Department ofB iophysical and E lectronic

E ngineeringUnivers ity of Genoa

arkov arkov andom andom ieldsields per per

la Classificazione Contestualela Classificazione Contestuale

ultitemporaleultitemporale di Immagini di Immagini Telerilevate Telerilevate

I Gibbs Random Fields (GRF) forniscono un modelloglobale per un immagine (mappa di classificazione) Ωspecificando la funzione di probabilità in termini di funzionidi energia con la seguente legge:

dove Z e T rappresentano rispettivamente la funzione dinormalizzazione e la temperatura. Un GRF può esser usatoper dare una descrizione globale dell’immagine attraverso lesue proprietà.

ibbs ibbs andom andom ieldsields

Ω=Ω

T

)(-Uexp

Z

1)P( T



Un campo aleatorio, rispetto a un dato sistema di vicinanza, è unMarkov Random Field (MRF) se la sua funzione di probabilitàdi massa presenta le seguenti proprietà:

Positività

Per ogni possibile mappa di classificazione Ω dell’immagine,

Proprietà di Markov

Siano ω l’etichetta di un pixel dell’immagine, Ω’ le altreetichette dell’immagine e ΩN un insieme di etichette vicinantedel pixel,

arkov arkov andom andom ieldsields



0)P( >Ω

)|P()'|P( NΩ=Ω

La nozione di vicinanza è centrale ai modelli di MRF.

La definizione di un GRF in termini di “clique” su un sistema di vicinanzapermette di stabilire una relazione fra il GRF (modello globale) e il MRF(modello locale).

Una “clique” è un insieme di pixel in cui tutte le coppie di pixel seguono laproprietà di vicinanza mutua. Per una vicinanza di secondo ordine, i tipi di“clique” sono:

Una funzione potenziale su una “clique” q definisce l’energia associata alla“clique” q, per tutte le possibili “clique” Q nel sistema di vicinanza. Lafunzione di energia totale è semplicemente la somma di funzioni potenziale:

ozione di Vicinanzaozione di Vicinanza



∑∈

=Qq

qT ) (V) (U

Teorema di Hammersley-Clifford:

“Dato un sistema di vicinanza Q, Ω è un MRF rispetto a Q se esoltanto se P(Ω) è una distribuzione di Gibbs rispetto a Q.”

Se la proprietà di Markov è soddisfatta per il campo aleatorio diun’immagine, si può passare da un modello globale (GibbsRandom Field) a un modello locale (Markov Random Field)ridotto alla vicinanza (contesto) del pixel dove è localizzata lamaggior parte della correlazione. Il modello MRF conduce a unaformulazione più semplice e pratica dei problemi.



Il Criterio MAP:Il criterio ottimo per minimizzare la probabilità di errore diclassificazione di un immagine consiste nell’identificare la classeche massimizza la probabilità a posteriori (MAP) :

Dal punto di visto dei MRF, trovare la stima della MAP èequivalente a trovare la soluzione ad energia minima. Perun’immagine di dimensione S1xS2, la stima della MAP richiede laminimizzazione di S1xS2 variabili; questo rappresenta una sfidadal punto di vista computazionale.

Tre classici algoritmi di ottimizzazione:

Simulated Annealing (SA)

Maximizer of Posterior Marginals (MPM)

Iterated Conditional Modes (ICM)

roblema di Ottimizzazioneroblema di Ottimizzazione



I)|P( ΩΩ

Max

Benché converga a un ottimo locale, l’algoritmo di IteratedConditional Modes (ICM) rappresenta un’alternativa efficace esemplice dal punto di vista computazionale.

Con un schema iterativo basato sull’elaborazione a livello dei pixel,l’ICM permette di semplificare il condizionamento sull’interaimmagine osservata I, considerando la stima corrente delle classidell’immagine. Per ogni pixel, l’ICM introduce la seguenteequazione di proporzionalità:

dove x è il vettore di feature del pixel, Ω’ e ΩN si riferiscono allastima corrente delle classe, rispettivamente, per gli altri pixeldell’immagine e per i pixel appartenenti a un sistema predefinitodi vicinanza.

terated terated onditional onditional odesodes



)||P(x)I,|P( N∝

Considerazioni Preliminari- I1 e I2: immagini registrate, multisensoriali, acquisite rispettivamente alle datet1 e t2

- Ω =ω1, ω2,….., ωN1 e ν=ν1, ν2,….., νN2: insiemi di possibili classi per l’interaarea di studio per t1 e t2 rispettivamente

Regola di Bayes per il Minimo ErroreLa classificazione ottima Ω dell’intera immagine alla data t1, data anchel’immagine alla data t2, è fornita da:

(1)

Schema di Classificazione MRF Basato sui PixelIn ipotesi appropriate, il metodo ICM permette di ridurre il problema in (1) a:

(2)

dove Csp e Ctp rappresentano le stime correnti delle classi in un sistemapredefinito di vicinanza, rispettivamente spaziale (data t1) e temporale (data t2).

)I,I|P( 21ΩMax

ormulazione del Problemaormulazione del Problema



)C,C|).P(|P(x tpspii1Max

Secondo il modello basato sui MRF, la massimizzazione di (2) èequivalente alla minimizzazione della funzione di energia:

(3)dove UT rappresenta l’energia totale associata alleinformazioni spettrale e contestuale spazio-temporale.

L’ICM assume la separabilità tra informazioni spettrale econtestuale. In più, per semplicità, supponiamo che anche leinformazioni contestuali spaziale e temporale siano separabili:

(4)



)C,C,x,(U tpsp1iT ωMin

)C,(U)C,(U)x,(U)C,C,x,(U tpiTPspiSP1iXtpsp1iT ωωωω ++=

Energia SpettraleInvece di usare la densità di probabilità condizionata P(x1|ωi), facciamouso del rapporto tra le probabilità a posteriori e a priori delle classi peresprimere l’energia spettrale del pixel:

(5)

Energia Contestuale SpazialeConsideriamo:

(6)

dove I(.,.) è la “Indicator Function” che conta il numero di occorrenze diωi in Csp:

(7)

mentre βsp è il parametro spaziale.

),I()C,(Uspk C

ispspiSP ∑∈

−=ω

ωωω k

=

=altrimenti 0,

se 1,),I( ik

ki



pettrale e pettrale e pazialepaziale

)])/P(x|P(log[)x,(U i1ix1iX ωωω −=

)|P()C,(UtpC

itptpiTP ∑∈

−=j

jν

νωω



!" !"

T

T

T

T

TT

T

S

S

S

S

S

S

SSq-1

q

q-1

k+1kk-1

Time t1

Time t2

Energia Contestuale TemporaleE’ definita come:

(8)

dove P(ωi|νj) rappresenta la probabilità di transizione dalla classe νj

(t2) alla classe ωi (t1).Può essere calcolata automaticamente (ad es. con l’algoritmodell’Expectation-Maximization) o derivata da interviste con esperti.βtp è il parametro temporale.

Contesti Spaziali e TemporaliQuesta figura mostra i contesti spaziale (Csp

alla data t1) e temporale (Ctp alla data t2) perun dato pixel nella posizione ( k,q) dell’immagine.

# # ontestuale Basata sui MRFontestuale Basata sui MRF



Sensori

Sensori

Mappa diClassific. (t2)

Mappa di

Classific. (t1)

RetiNeurali(data t1)

RetiNeurali(data t2)

Modello MRF

(t2)

Modello MRF

(t1)

Energia Spettrale

Energia Spettrale

EnergiaSpaziale

EnergiaSpaziale

Energia Temporale

K= 0

K > 0

K= 0

K > 0

ultisensor/ultisensor/ultitemporal ultitemporal ##ataata



Immagini Ottici e SAR(Aprile 1994)

Immagini Ottici e SAR(Maggio 1994)

Area agricola nel bacino del fiume del Po Acquisite con i sensori Landsat TM e ERS-1 SAR Numero di feature: 11 (6 intensità TM, 1 intensità SAR, 4 feature tessitura

SAR (matrice GLC))

Immagine di Aprile: CLASSE TRAINING TESTWET 606 743BARE 2315 1702CEREALS 248 190WOOD 3131 1463TOTALE 6300 4098

Immagine di Maggio: CLASSE TRAINING TESTCORN 466 428WET 418 338DRY 2037 1679CEREALS 248 190WOOD 3131 1463TOTALE 6300 4098

$$ % $ $$ % $ Immagine di Aprile:

METODO OA[%]

AA[%]

WET[%]

BARE[%]

CER[%]

WOOD[%]

RetiNeurali

94.75 80.22 97.71 97.70 26.84 98.63

Classif. diRiferim. (*)

97.71 91.04 95.96 99.76 68.42 100

Classif. MRFMutuo

98.22 95.70 97.04 98.47 87.37 99.93

Immagine di Maggio METODO OA

[%]AA[%]

CORN[%]

WET[%]

DRY[%]

CER[%]

WOOD[%]

RetiNeurali

92.75 83.31 81.30 69.82 97.97 68.94 98.49

Classif. diRiferim. (*)

93.27 82.03 79.91 66.57 99.52 64.21 99.93

Classif. MRFMutuo

94.95 88.00 81.54 69.82 99.82 88.95 99.86



(*) Basato sull’approccio MRF in cascata (A. H. S. Solberg, T. Taxt and A. K.Jain,IEEE TGRS, January 1996)

L’obiettivo della fusione di dati è fornire informazionirelative ad una scena non ottenibile con un unicosensore, o ridurre l’incertezza associata ai datiprovenienti da un singolo sensore.

Essa promette un miglioramento nell’analisi ecomprensione dei dati telerilevati dal punto di vistadell’accuratezza e/o dell’affidabilità.

L’analisi dei dati delle prossime missioni perl’Osservazione della Terra, come COSMO- SkyMed,richiedono lo sviluppo di metodologie di fusione datiadatte alle loro caratteristiche multisensore,multitemporali e multirisoluzione .

La La usione Dati: uno Strumento per l’usione Dati: uno Strumento per l’nalisinalisidi Dati di Dati TelerilevatiTelerilevati



Fusione Dati Multisensori

Un aspetto chiave nella fusione dati è lo sfruttamento dellacomplementarietà tra differenti tipi di sensore (ottici, radar esensori iperspettrali). L’uso sinergico dei numerosi sensoridisponibili permette di unire i loro vantaggi al fine di ricavareinformazioni più ricche allargando lo spettro visivo, migliorando larisoluzione spaziale e/o ottenendo un minor tempo di rivisitazionedi una data area di studio.

Fusione Dati Multitemporali

L’utilizzo di informazioni temporali è fondamentale nellarilevazione dei cambiamenti ma può essere anche prezioso nellaclassificazione di immagine per migliorare l’accuratezza dellaclassificazione stessa.

spetti della Fusionespetti della Fusione##ati (1)ati (1)



Fusione Dati Multirisoluzione

Un vantaggio importante, in questo caso, è il superamento delladifficoltà di ottenere alta risoluzione spaziale e spettrale allo stessotempo. L’integrazione di dati ad alta risoluzione spaziale (es. datiSPOT, pancromatici) con dati ad alta risoluzione spettrale (es. datiLANDSAT TM, multi/iperspettrali) permette di fornire immaginicon entrambe le caratteristiche e quindi di qualità migliore.

Fusione Dati Multiparametrici

Per alcuni tipi di sensore con caratteristiche multiparametriche, lafusione di dati multiparametrici dello stesso sensore è di rilevanteimportanza per perfezionare l’analisi di osservazioni correlate. Unesempio è il radar meteorologico a multipolarizzazione,multifrequenza ed effetto Doppler per l’analisi dei fenomeni pluvialie della loro dinamica.

spetti della Fusionespetti della Fusione##ati (2)ati (2)



Esistono tre possibili livelli di elaborazione per la fusionedi dati:

Livello dei DatiImmagini raster provenienti da differenti sorgenti sonocombinate pixel a pixel.

Livello delle CaratteristicheLe caratteristiche (geometriche, strutturali o spettrali) sonoestratte dalle immagini raster e poi integrate.

Livello DecisionaleImmagini provenienti da singola sorgente sono analizzateindipendentemente ed i risultati vengono combinati usando pesidi diversa entità (attendibilità).

Livelli di Fusione DatiLivelli di Fusione Dati



Metodi Statistici (fusione multisorgente)

Campi Markoviani (fusione contestuale di informazioni)

Teoria di Dempster-Shafer (fusione multisorgente)

Reti Neurali (fusione multisensore)

Logica Fuzzy (fusione multisorgente)

Wavelets (fusione multirisoluzione)

Strumenti per la Fusione DatiStrumenti per la Fusione Dati





% $ # % $ #

$ $ #"$!#"$!

X: vettore delle feature, di dimensione N, associato ad un pixel di unascena ripresa da S sensori nella stessa area geografica

Ω =ω1, ω2,….., ωN1: insieme di possibili classi per l’intera area distudio

Viene adottato uno schema di classificazione basato sui pixelapplicando la Regola di Bayes per il Minimo Error (RBME) cheassegna la classe ottima &* , tale che:

dove la probabilità a posteriori P(&k|X) può essere espressa infunzione della densità di probabilità (ddp) condizionata alla classeusando il Teorema di Bayes:

mentre P(&k) è la probabilità a priori della classe &k.Per applicare la RBME, si richiede la stima delle ddp condizionateP(X|&k) per ∀ &k ∈ Ω.

roblemaroblema



X)|P( MaxX)|P( k k&

*

∈= (1)

∑=

⋅

⋅=C

1iii

kkk

)P(&)&|P(X

)P(&)&|P(XX)|P(& (2)

La Chain RulePermette di esprimere le ddp condizionate P(X|&k) come prodotto diprobabilità condizionate di ordini crescenti:

P(X|&k)=P(x1|&k).P(x2|x1,&k).P(x3|x1,x2,&k)…..P(xN|x1,x2,…xN-1,&k) (3)

Il Concetto di Dependence TreeL’idea di base dell’approssimazione basata sul concetto di dependencetree è di ridurre il condizionamento tra le feature a un condizionamentoad una sola feature:

(4)

dove m1,m2,…,mN è una permutazione incognita di interi 1,2,…,N ej(i) rappresenta una corrispondenza tale che 0≤j(i)<i.L’Eq. (4) fornisce un'approssimazione dell'Eq. (3) basata sulle solerelazioni probabilistiche di secondo ordine.

& $& $ "" ""



∏=

=≅N

1ikmj(i)mikk )&,x|P(x)&|(XP)&|P(X

Interpretazione basata sulla Teoria dei GrafiLa corrispondenza sconosciuta j(i) rappresenta un grafo in cui i nodi sono lefeature xn (n=1,2,…,N), gli archi sono le coppie di relazioni probabilistiche (xmi,xmj(i)) e il nodo radice guida l’orientazione degli “edge”. Questo grafico èchiamato “dependence tree” di primo ordine della ddp.

Per semplicità, la notazione xmi sarà abbandonata in favore della notazione xi.L’approssimazione vista sopra (Eq. (4)) diviene:

(5)

##ependence ependence !!ree (1)ree (1)



∏=

=N

1ikj(i)ik )&,x|P(x)&|(XP

Esempio di dependence tree per unaddp di dimensione 4 [x2, x1, x3, x4]

x2

x1

x3x4

(X)= (x1,x2,x3,x4)=P(x2).P(x1|x2).P(x3|x1).P(x4|x1)P P

Ottimalità del Dependence TreeTrovare l’approssimazione ottima è equivalente a trovare il dependence tree ottimo.Un criterio usato per quantificare l’accuratezza dell’approssimazione è la misura didivergenza di Kullback-Leibler definita come segue:

dove .E’ possibile provare che minimizzare la misura di divergenza di Kullback-Leiblerequivale a trovare un dependence tree con peso totale dei rami massimo oppure, inaltri termini, la corrispondenza ottima j*() tale che:

dove MIM() rappresenta la Misura di Informazione Mutua fra le feature (nodi) deldependence tree. La MIM() può esser vista come il peso di ciascun arco (xi,xj(i))dell’albero ed è definita come:




∑

=

X k

kk

)&|(XP

)&|P(X).log&|P(X)PI(P,

0)PI(P, ≥

)&|x,MIM(xMax)&|x,MIM(xN

1ikj(i)i

Mj

N

1ik(i)*ji ∑∑

=∈

=

=

∑

=

j(i)x,ix kj(i)ki

kj(i)ikj(i)ikj(i)i )&|).P(x&|P(x

)&|x,P(x).log&|x,P(x)&|x,MIM(x

(6)

(7)

(8)




La Costruzione del Dependence Tree Ottimo

Viene costruito con l’algoritmo di Kruskal (piuttosto semplice eveloce) che permette di trovare il dependence tree ottimo. E’ utilericordare che per ciascuna classe è necessario produrre il relativodependence tree.

Stima delle ddp condizionate di secondo ordine

Allo scopo di ridurre significativamente il tempo di elaborazioneper produrre il dependence tree ottimo, viene usato una stimagrossolana basata sulle frequenze relative condizionate alle classe.

Una volta ottenuto il dependence tree ottimo, si fa uso di una stimapiù accurata, anche se più complessa, quale quella basata sufunzioni kernel gaussiane (v. funzioni di Specht):

)2h

)x(x)x(xexp(

2

1

T

1)&|x,(xP

kT

1t2

2kt,vv

2kt,uu

2k

kvu ∑=

−+−−=K

(9)

# #



CLASSE TRAINING TESTZucchero 1488 2043Stoppia 1070 1371Suolo Nudo 341 555Patate 1411 884Carote 814 967TOTAL 5124 5820

Tabella 1. Numero di campioni ditraining e di test.

Insieme di DatiOttici

Insieme di DatiRadar

Descrizione

Area agricola vicino a Feltwell, U.K.

Prima immagine acquisita dal Daedalus 1268 ATM (Luglio 1989)

Seconda immagine ripresa dal sensore NASA/JPL SAR (bande PLC, totalmentepolarimetrico; Agosto 1989)

Numero totale di feature: 15 (6 intensità ATM, 9 intensità SAR)

RisultatiRisultati

Ottimo dependence treetrovato per la classe "carote"

x7

x8

x9 x10 x11 x4 x12 x13 x14 x15

x6

x5

x2 x1

x3

Metodo OA [%] AA [%] Zucchero[%]

Stoppia[%]

Suolonudo [%]

Patate[%]

Carote[%]

DTC 88.8 87.0 97.0 88.8 79.6 78.5 91.3MLP * 89.6 86.4 98.0 84.6 80.9 80.1 88.2K-nn * 89.8 87.0 97.4 88.4 76.0 86.4 87.1

Tabella 3. Confronto dei risultati ottenuti per i campioni di test

DTC: Classificatore basato sui Dependence TreeMLP: Classificatore basato sul MultiLayer PerceptronK-nn: Classificatore basato sui K-Punti Vicini (K=25)

Varianza h2 OA [%]50 85.0

150 87.8300 88.7350 88.8400 88.5700 87.71200 86.6

Tabella 2. Accuratezza totale (OA) ottenuta per i campioni di test con diversi valori di varianza h2

Nota: solo SAR, OA=74.0%; solo ATM, OA= 80.5% (con il K-nn)

ConclusioniConclusioni

I dati delle missioni recenti e prossime richiedonostrumenti a volte sofisticati per l’estrazionedell’informazione in essi disponibile.

Solo una parte di tali strumenti sono staticonsiderati in questo seminario. Ad es., perbrevità, non sono stati presentati i metodi perl’analisi multitemporale e il “change detection”.

Oltre alla presentazione di alcuni strumentiavanzati per l’analisi di dati telerilevati, questoseminario dovrebbe aver delineato le potenzialitàdella rappresentazione basata sullo spazio dellefeature e del pattern recognition statistico.



Bibliografia (1)Bibliografia (1) Rappresentazione delle Immagini Telerilevate

[1] J. A. Richards, Remote Sensing Digital Image Analysis: An Introduction. Berlin:Springer-Verlag, 1993.[2] R. A. Schowengerdt, Remote Sensing: Models and Methods for ImageProcessing. New York: Academic Press, 1997.[3] D. A. Landgrebe, http://dynamo.ecn.purdue.edu/~biehl/MultiSpec/documentation.html

Approccio Bayesiano[1] R. O. Duda and P. E. Hart, Pattern Classification and Scene Analysis. New York:Wiley , 1973.[2] J. T. Tou and R. C. Gonzalez, Pattern Recognition Principles. Massachusetts:Addison-Wesley, 1974.[3] K. Fukunaga, Introduction to Statistical Pattern Recognition. New York:Academic Press, 1990.

Stima delle pdf[1] E. Parzen, "On estimation of a probability density function and mode", Annals ofMathematical Statistics, vol. 33, pp. 1065-1076, 1962.[2] T. Cacoullos, "Estimation of a multivariate density", Annals of the Institute ofStatistical Mathematics, vol. 18, pp. 178-189, 1966.[3] K. Fukunaga, Introduction to Statistical Pattern Recognition, Academic Press,New York, 2nd edition, 1990.[4] A. J. Izenman, "Recent developments in nonparametric density estimation",Journal of the American Statistical Association, vol. 86, pp. 205-224, 1991.



Bibliografia (2)Bibliografia (2) Classificazione Non Supervisionata

[1] J. T. Tou and R. C. Gonzalez, Pattern Recognition Principles. Massachusetts: Addison-Wesley, 1974.[2] K. Fukunaga, Introduction to Statistical Pattern Recognition. New York: Academic Press,1990.[3] J. C. Bezdek, Pattern recognition with fuzzy objective function algorithms. New York:Plenum Press, 1987.[4] L. Fausett, Fundamentals of Neural Networks: Architectures, Algorithms and Applications.New Jersey: Prentice-Hall, 1994.[5] T. Kohonen, Self-Orgnizing Maps. Berlin: Springer-Verlag, 1995.

Selezione e Trasformazione di Parametri[1] P. H. Swain and S. M. Davis, Remote Sensing: The Quantitative Approach. New York:McGraw-Hill, 1978.[2] K. Fukunaga, Introduction to Statistical Pattern Recognition. New York: Academic Press,1990.[3] C. Lee and D. A. Landgrebe, “Analyzing high-dimensional multispectral data”, IEEE Trans.on Geosc. Rem. Sensing, vol. 31, pp. 792-800, 1993.[4] L. Bruzzone, F. Roli and S. B. Serpico, “An extension to multiclass cases of the Jeffreys-Matusita distance”, IEEE Trans. on Geosc. Rem. Sensing, vol. 33, pp. 1318-1321, 1995.[5] P. Pudil, J. Novovicova and J. Kittler, “Floating search methods in feature selection”,Pattern Recognition Letters, vol. 15, pp. 1119-1125, 1994.[6] C. Lee and D. A. Landgrebe, “Feature Extraction Based on Decision Boundaries”, IEEETrans. Pattern Anal. Mach. Intell., vol. 15, pp. 388-400, 1993.[7] S. B. Serpico and L. Bruzzone, “A new search algorithm for feature selection inhyperspectral remote sensing images”, IEEE Trans. on Geosc. Rem. Sensing, under press, 2001.



Bibliografia (3)Bibliografia (3) Tecniche Contestuale

[1] T. S. Yu and K. S. Fu, “Recursive contextual classification using a spatialstochastic model”, Pattern Recognition, vol. 16, pp. 89-108, 1983.[2] N. Khazenie and M. M. Crawford, “Spatial-temporal autocorrelated model forcontextual classification”, IEEE Trans. on Geosc. Rem. Sensing, vol. 28, pp. 529-539, 1990.[3] R. M. Haralick, “Statistical and structural approaches to texture”, Proceedings ofthe IEEE, vol. 67, pp. 786-802, 1979.[4] M. Nagao and T. Matsuyama, A structural analysis of complex aerialphotographs. New York: Plenum Press, 1980.[5] G. T. Toussaint, “The use of context in pattern recognition”, Pattern Recognition,vol. 10, pp. 189-204, 1978.[6] R. M. Haralick, “Decision making in context”, IEEE Trans. Pattern Anal. Mach.Intell., vol. 5, pp. 417-428, 1983.

I Markov Random Fields per la Classificazione Contestuale[1] R. C. Dubes and A. K. Jain, "Random field models in image analysis", J. Appl.Statist., vol. 16, pp. 131-163, 1989.[2] B. Jeon and D. A. Landgrebe, "Classification with spatio-temporal interpixel classdependency contexts", IEEE Trans. Geosc. Rem. Sensing, vol. 30, pp. 663-672, 1992.[3] A. H. S. Solberg, T. Taxt and A. K. Jain, "A Markov Random Field model forclassification of multisource satellite imagery", IEEE Trans. Geosc. Rem. Sensing,vol. 43, pp. 100-113, 1996.



Bibliografia (4)Bibliografia (4) La Fusione Dati: uno Strumento per l’Analisi di Dati Telerilevati

[1] L. A. Klein, Sensor and Data Fusion Concepts and Applications. Washington:SPIE Press, 1999.[2] IEEE Transaction on Geoscience and Remote Sensing: Special Issue on DataFusion, vol. 37, 1999.

Classificazione di Dati Multisensoriali con i Dependence Trees[1] C. K. Chow and C. N. Liu, "Approximating discrete probability distributions withdependence trees", IEEE Trans. on Infor. Theory, vol. 14, pp. 462-467, May 1968.[2] J. B. Kruskal, "On the shortest spanning subtree of a graph and the travelingsalesman problem", Proc. Am. Math. Soc., vol. 7, pp. 48-50, 1956.[3] K. Fukunaga, Introduction to Statistical Pattern Recognition. New York:Academic Press, 1990.[4] J. S. Marron and W. J. Padgett, "Asymptotically optimal bandwidth selection forkernel density estimators from randomly right-censored samples", The Annals ofStatistics, vol. 15, pp. 1520-1535, 1987.[5] A. Piardi, F. Melgani, S. B. Serpico and M. Datcu, "Multisensor dataclassification with dependence trees", in SPIE Proc. Confer. on Image and SignalProcessing for Rem. Sensing VI, Barcelona, vol. 4170, pp. 151-159, 2000.



classificazione statistica di immagini telerilevate del ... › infoterra › docs ›...

Documents