s.taraglio. reti neurali per la percezione dellambiente in robotica autonoma 1 reti neurali per la...
TRANSCRIPT
![Page 1: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/1.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 1
Reti neurali per la percezione dell’ambiente in robotica
autonoma
Sergio TaraglioSergio Taraglio
ENEA, Sezione di Robotica, C.R. Casaccia, [email protected]
![Page 2: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/2.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 2
Sommario
• Motivazione all’uso di reti neurali in robotica
• Teoria: reti neurali per la stereoscopia• Esempi di applicazioni:
– Stereoscopia – Navigazione reattiva– Riconoscimento di marker artificiali
• Conclusioni
![Page 3: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/3.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 3
Motivazione all’uso di NN in robotica
• La robotica: una scienza che studia la connessione intelligente tra percezione e azione
• Per costruire un robot occorrono le conoscenze e la pratica di tante altre scienze, meccanica, informatica, intelligenza artificiale, neuroscienze, psicologia, logica, linguistica, matematica, biologia, fisiologia, e anche, più indirettamente, filosofia, etica, arti espressive, design
![Page 4: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/4.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 4
Motivazione • Un robot (autonomo) deve:
– Misurare l’ambiente (sensoristica)– Farsi un’idea dell’ambiente (modellistica)– Decidere cosa e come fare (pianificazione)– Metterlo in pratica (attuazione)– Controllare lo stato del sistema (supervisione)
• Il fattore tempo:deve fare tutto ciò in tempo reale
![Page 5: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/5.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 5
Motivazione • Soluzione:
– Mezzi di calcolo più potenti– Algoritmi di calcolo più furbi
• Reti neurali:– Robuste rispetto al rumore– Affidabili (graceful degradation)– Alcune imparano da sole a partire da esempi
(!)– Molto veloci una volta programmate
![Page 6: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/6.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 6
NN per la stereoscopia
• La stereoscopia:
![Page 7: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/7.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 7
NN per la stereoscopia
Point of view
![Page 8: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/8.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 8
NN per la stereoscopia
• Il “matching”: problema matematicamente mal posto, non si ha la certezza dell’esistenza e della unicità della soluzione.
• Richiede l’applicazione di alcune ipotesi restrittive in grado di regolarizzare la soluzione.
• Gli algoritmi di stereo matching sono computing intensive
![Page 9: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/9.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 9
NN per la stereoscopia
Lo stereo matching è esprimibile in termini di estremizzazione di un opportuno funzionale
r c
ksjikji
r c
kji
N
i
N
j
K
k Ssyy
N
i
N
j
K
kyRL tvtvtvbkjiPjiP
ctE
1 1
1
0
2
1 1
1
0
2 )()(2
)(,,1
)(,),(,,,,
1
Fotometrico Smoothness
![Page 10: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/10.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 10
NN per la stereoscopia
• Reti Neurali Cellulari (CNN):– Riuniscono alcune caratteristiche di due classi di sistemi:– Reti Neurali:
Circuiti analogici non lineari che processano parallelamente i segnali in tempo reale (tempo di convergenza 10 µs).
– Automi Cellulari:Formate da una massiccia aggregazione di cloni che
comunicano direttamente soltanto con i primi vicini
– Conservano alcuni pregi delle altre reti neurali (processing parallelo asincrono, ottima tolleranza al rumore, etc).
– Data la topologia di interconnessione locale, sono realizzabili su chip anche reti di grandi dimensioni
![Page 11: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/11.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 11
NN per la stereoscopia
• Equazione di input:
• Equazione di stato:
• Equazione di output:
jiu Evji ,,
v (t)= v t v ty x xi j i j i j, , ,
1
21 1
C
dv t
dt Rv t A(i,j;l m)v t + B(i,j;l m)v +I
x
xx y
(l m) N (i,j)u
(l m) N (i,j)
i j
i j l m
r
l m
r
,
, , ,, ,
, ,
1
.
controlloretroazione
![Page 12: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/12.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 12
NN per la stereoscopia
. )()(),,;,,(
)(2
1)()(),,;,,(
2
1)(
1 1
1
01 1 1 1
1
0
1
0
1 1
1
0
2
1 1 1 1
1
0
1
0
,,,,,,
,,,,,,
r c
kji
r r c c
nmlkji
r c
kji
r r c c
nmlkji
N
i
N
j
K
ky
N
i
N
l
N
j
N
m
K
k
K
nuy
N
i
N
j
K
ky
x
N
i
N
l
N
j
N
m
K
k
K
nyy
tIvvtvnmlkjiB
tvR
tvtvnmlkjiAtE
• Estremizzano un funzionale energia interna, possono quindi essere utilizzate per risolvere problemi di ottimizzazione
• Si può trovare una rete CNN in grado di risolvere lo stereo matching?
![Page 13: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/13.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 13
NN per la stereoscopia• Scrivere un funzionale per la visione
stereoscopica• Mappare questo funzionale all’interno
della CNN, agendo sulle interconnessioni e le polarizzazioni delle celle
• Si ottiene così una Stereo-CNN capace di risolvere il problema espresso nel funzionale originario
• Nessuna connessione fisica intrastrato!
• I piani hanno una connessione “logica”
![Page 14: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/14.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 14
Applicazione: Navigazione Autonoma in un
Corridoio
![Page 15: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/15.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 15
Navigazione Autonomain un Corridoio
Immagine AcquisitaMappa Disparità Vista in Pianta
![Page 16: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/16.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 16
1
Navigazione Autonomain un Corridoio
![Page 17: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/17.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 17
Applicazione: Navigazione Autonoma
in un Corridoio con Ostacoli
![Page 18: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/18.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 18
Navigazione autonomain un Corridoio
![Page 19: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/19.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 19
Obstacle detection and avoidance
The external view
![Page 20: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/20.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 20
Obstacle detection and avoidance
The input images (R)
The disparity map
Interface view
![Page 21: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/21.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 21
Applicazioni: navigazione reattiva
• Navigazione autonoma in un corridoio: mantenere la mediana e non urtare le pareti
• Trattamento di dati sensoriali: immagini video• Necessità di prendere decisioni in tempi brevissimi (real-
time)• Reattività: risposta immediata
Immagine di ingressoAngolo di sterzata
![Page 22: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/22.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 22
Navigazione reattiva
immagine
elaborazione neurale
periodo = 4 s angolo di sterzo
![Page 23: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/23.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 23
Navigazione reattivaandata
ritorno
Il punto di vista del robot
Il punto di vista del robot
![Page 24: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/24.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 24
Riconoscimento marker
• Scopo: auto-localizzazione di un robot
Campione di
colore
Immagine
sorgente
Ricerca del colore
Bordi & colore
Bordi dell’immagin
e
Marker individuato
![Page 25: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/25.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 25
Riconoscimento markerParte
letteraleestratta
Trasformazione dell’immaginein forma “binaria”
Parte numericaestratta
Riduzione a 20X20 pixel
Porzione dell’immagine sorgente
che racchiude il marker
![Page 26: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/26.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 26
Conclusioni
• Le NN in robotica sono di grande aiuto:– Imparano per esempi– Sono “robuste” rispetto al rumore– Permettono un’elaborazione dati veloce
compatibile con i vincoli temporali– Ottime per la percezione sensoriale
![Page 27: S.Taraglio. Reti neurali per la percezione dellambiente in robotica autonoma 1 Reti neurali per la percezione dellambiente in robotica autonoma Sergio](https://reader033.vdocuments.site/reader033/viewer/2022051515/5542eb4e497959361e8bd7fa/html5/thumbnails/27.jpg)
S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 27
Domande ?