corso di progettazione dei sistemi di controllo prof. luca schenato prof. gianluigi pillonetto
DESCRIPTION
Anno Accademico 2010 – 2011. Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto Gottardo Giuseppe, matr. 621855 Lanzini Andrea, matr. 621860 Zanin Claudia, matr. 626618. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/1.jpg)
Applicazione di tecniche di machine learning per problemi di real-time
tracking in reti di videosorveglianza
Corso di Progettazione dei Sistemi di ControlloProf. Luca SchenatoProf. Gianluigi Pillonetto
Gottardo Giuseppe, matr. 621855Lanzini Andrea, matr. 621860Zanin Claudia, matr. 626618
Anno Accademico 2010 – 2011
![Page 2: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/2.jpg)
2
Introduzione (1/4)
03/03/2011 Corso di Progettazione dei Sistemi di Controllo
Scopo del progetto
Applicazione delle tecniche di Machine Learning ad un
problema di visual-tracking
Sviluppo di un algoritmo in real-time con SVM
Riduzione dell’onere computazionale
![Page 3: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/3.jpg)
Corso di Progettazione dei Sistemi di Controllo 3
Introduzione (2/4)
03/03/2011
Problematiche
Onere computazionale
Metodi di selezione di features e patterns
Adattabilità del classificatore
![Page 4: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/4.jpg)
Corso di Progettazione dei Sistemi di Controllo 4
Introduzione (3/4)
03/03/2011
Stato dell’arte
2 fasi:
Fase iniziale Training
Fasi successive Test (classificazione)
Filtro di Kalman per tracking del soggetto in esame
![Page 5: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/5.jpg)
Corso di Progettazione dei Sistemi di Controllo 5
Introduzione (4/4)Contributo apportato dal progetto
Creazione dell’iperpiano ottimo mediante
approssimazione quadratica di una funzione di costo
03/03/2011
![Page 6: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/6.jpg)
Corso di Progettazione dei Sistemi di Controllo 6
Concetti di base (1/6)Machine Learning
03/03/2011
UnsupervisedLearning
SupervisedLearning
Clustering ClassificazioneBinaria
Multi-classe
Support Vector Machine (SVM)
![Page 7: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/7.jpg)
Corso di Progettazione dei Sistemi di Controllo 8
Concetti di base (2/6)Support Vector Machine
03/03/2011
Caso linearmenteseparabile
Caso NON linearmente separabile
Minimizza il rischio strutturale e non quello empirico Riassume l’informazione del Training Set nei SVs
Minore onere computazionale
![Page 8: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/8.jpg)
Corso di Progettazione dei Sistemi di Controllo 9
SVM – caso linearmente separabile
Training set T linearmente separabile
Iperpiano di separazione
Distanza dei punti dall’iperpiano
Obiettivo: individuare l’OSH lineare Massimizzazione margine Ricerca Support Vectors (SVs)
Concetti di base (3/6)
03/03/2011
0)( 0 xβxf
0
ixβid
![Page 9: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/9.jpg)
Corso di Progettazione dei Sistemi di Controllo 11
SVM – caso non linearmente separabile
Training set T non linearmente separabile
Iperpiano di separazione
Introduzione variabili di slack ξ per le miss-classifications
Obiettivo: individuare l’OSH lineare Massimizzazione margine Ricerca Support Vectors (SVs)
Concetti di base (4/6)
03/03/2011
0)( 0 xβxf
![Page 10: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/10.jpg)
Corso di Progettazione dei Sistemi di Controllo 13
Concetti di base (5/6)Contributo apportato dal progetto
Riformulazione del problema tramite minimizzazione di
Hinge Loss Function +
termine di regolarizzazione:
Approssimazione differenziabile della funzione di costo:
03/03/2011
2
1
)(1
PN
iii xfy
2
1
)(1log
P
ii
N
i
xfye
![Page 11: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/11.jpg)
Corso di Progettazione dei Sistemi di Controllo 14
Concetti di base (6/6)Contributo apportato dal progetto
Inserimento dinamica iperpiano modello random-walk
03/03/2011
t
t
t
t
t
t
w0010
1 wββ
t
t
wVar
Q0var0
0w
Algoritmo Sequential Quadratic Programming (SQP) dinamico
Approssimazione quadratica della funzione di costo Ricerca minimo ad ogni istante di tempo (linearizzazioni)
![Page 12: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/12.jpg)
Corso di Progettazione dei Sistemi di Controllo 15
Implementazione (1/2)Generazione del modello dinamico
Realizzazione in
2 features: x, y
Iperpiano: retta
Moto uniforme
Velocità random
03/03/2011
2
![Page 13: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/13.jpg)
Corso di Progettazione dei Sistemi di Controllo 16
Implementazione (2/2)Algoritmo SQP dinamico
Training iniziale con libSVM iperpiano iniziale
Impostazioni iniziali (Q, N_lin)
Classificazione sul frame successivo
Ricerca nuovo iperpiano ottimo
Linearizzazioni iterate della funzione di costo
Ricerca del minimo
03/03/2011
Nuovo frame
![Page 14: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/14.jpg)
Corso di Progettazione dei Sistemi di Controllo 17
Simulazione SQP dinamico (1/3)
03/03/2011
Impostazione parametri
Scelta della dinamica dei punti (fissa)
Varianza Q del rumore di modello
Numero di linearizzazioni
![Page 15: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/15.jpg)
Corso di Progettazione dei Sistemi di Controllo 18
Simulazione SQP dinamico (2/3)
03/03/2011
30 frames
5, 10, 20 linearizzazioni
Q
1000001.00001.0
Q
100010001
Q
1000100000100
Q
100000001.000001.0
Q
01.000010000001000
Q
![Page 16: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/16.jpg)
Corso di Progettazione dei Sistemi di Controllo 19
Simulazione SQP dinamico (3/3)
03/03/2011
Studio prestazioni Confronto distanze punto-retta
caso ideale/caso reale (errore assoluto)
5 linearizzazioni
10 linearizzazioni
20 linearizzazioniVIDEO
![Page 17: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/17.jpg)
Corso di Progettazione dei Sistemi di Controllo 25
Implementazione (1/2)Generazione del modello statico
Realizzazione in
Dataset di 1000 punti
2 casi:
Dati linearmente separabili
Dati non linearmente separabili
03/03/2011
2
![Page 18: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/18.jpg)
Corso di Progettazione dei Sistemi di Controllo 26
Implementazione (2/2)Algoritmo SQP statico
Dataset pre-creato
Impostazioni iniziali (β_iniz, N_lin)
Training iniziale con algoritmo SQP (Q = 0) eseguito su un gruppo di punti a scelta primo iperpiano
Analisi nuovo sottogruppo del dataset
Ricerca nuovo iperpiano ottimo
03/03/2011
Nuovosottogruppo
![Page 19: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/19.jpg)
Corso di Progettazione dei Sistemi di Controllo 27
Simulazione SQP statico (1/4)
03/03/2011
Studio di 3 differenti casi:
Training totale con svmtrain
Training totale con SQP
Training iniziale + successivi parziali con SQP
Impostazione parametri (nel 3° caso)
Varianza Q = 0 del rumore di modello
100 punti per il Training iniziale
numero variabile di punti per i sottogruppi successivi al primo
20 linearizzazioni
![Page 20: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/20.jpg)
Corso di Progettazione dei Sistemi di Controllo 28
Simulazione SQP statico (2/4)
03/03/2011
Caso dati linearmente separabili (20 linearizzazioni)
svm
train
SQ
P to
tale
– 2
0 lin
.
SQP parziale – 20 lin., 100+50 punti
![Page 21: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/21.jpg)
Corso di Progettazione dei Sistemi di Controllo 29
Simulazione SQP statico (3/4)
03/03/2011
Prestazioni - caso dati linearmente separabili
SQPIDEALE 00
SQPIDEALE )2()2(
SQPIDEALE )1()1(
![Page 22: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/22.jpg)
Corso di Progettazione dei Sistemi di Controllo 30
Simulazione SQP statico (4/4)
03/03/2011
Caso dati linearmente non separabili (20 linearizzazioni)
svm
train
SQ
P to
tale
– 2
0 lin
.
SQP parziale – 20 lin., 100+50 punti
![Page 23: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/23.jpg)
Corso di Progettazione dei Sistemi di Controllo 31
Simulazione 2 SQP dinamico
03/03/2011
Applicazione algoritmo SQP su video
3 features R, G, B
Foreground pallina bianca con variazioni esposizione
Background ambiente molto scuro
![Page 24: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/24.jpg)
Corso di Progettazione dei Sistemi di Controllo 32
Conclusioni
03/03/2011
Caso SQP dinamico
Capacità di adattamento alla variazione di features
Generalità del modello utilizzato
Assenza di controllo
Caso SQP statico
Algoritmo distribuito minore onere computazionale
Efficienza buona rispetto allo stato dell’arte
![Page 25: Corso di Progettazione dei Sistemi di Controllo Prof. Luca Schenato Prof. Gianluigi Pillonetto](https://reader036.vdocuments.site/reader036/viewer/2022062315/568164e5550346895dd74c27/html5/thumbnails/25.jpg)
Corso di Progettazione dei Sistemi di Controllo 33
Possibili sviluppi futuri
03/03/2011
Controllo adeguato correzione dinamica iperpiano
Miglioramento sensibilità della funzione di costo
Implementazione algoritmo con filtro di Kalman iterato
Utilizzo nell’algoritmo SQP dinamico del Training creato
con SQP statico