veículos robotizados: sistemas avançados de assistência ao ... · 1. introdução o trânsito é...
TRANSCRIPT
![Page 1: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/1.jpg)
Veículos Robotizados: Sistemas Avançados de
Assistência ao Motorista (ADAS) baseados em
inteligência Artificial
1
MSc. Diego Renan Bruno
USP - Instituto de Ciências Matemáticas e de
Computação
![Page 2: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/2.jpg)
2
➢ Trabalhos Realizados
➢ Sistemas Avançados de Auxílio ao Condutor
➢ Veículos Robóticos Inteligentes
Aprendizado de Máquina
Inteligência Artificial
Visão Computacional
Navegação de Veículos Robóticos
Roteiro
![Page 3: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/3.jpg)
3
Trabalhos Realizados
![Page 4: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/4.jpg)
1. Introdução
➢ O trânsito é um dos principais causadores de acidentes fatais em todo o mundo,
gerando um valor acima de 90% para falhas humanas;
➢ 1.24 milhões de mortes ocorrem em acidentes de trânsito a cada ano ao redor do
mundo.
4
Gráfico 1: Número de óbitos em acidentes de trânsito registrados pelo Ministério da Saúde (VIA SEGURAS, 2016)
![Page 5: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/5.jpg)
5
Tomada de decisão com sentimentos e falhas...
O que buscamos na robotização de veículos??
![Page 6: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/6.jpg)
6
• Tomada de decisão com
suporte de base de regras bem
definidas;
• Não toma decisão com base na
emoção;
• Automação para correção de
falhas humanas.
Máquinas que pensam...
![Page 7: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/7.jpg)
Como a IA é vista hoje?
IA Geral
IA Restrita
Aprendizado de Máquina
Steven Spielberg
![Page 8: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/8.jpg)
8
Aprendizado de Máquina
O objetivo do aprendizado de
máquina (ou "machine
learning") é programar
computadores para aprender
um determinado
comportamento ou padrão
automaticamente a partir de
exemplos ou observações.
DATASETS
Dependente de uma base de conhecimento
![Page 9: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/9.jpg)
9
Baseadas em RNAs
IA restrita
![Page 10: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/10.jpg)
Desafios...
10
Trafegar com outros veículos
Cruzamentos
Tartan Racing
Stanford Racing
➢ Ambiente controlado com regras de trânsito (2007)
![Page 11: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/11.jpg)
Sistemas comerciais
Robotização Veicular: veículos comerciais atualmente:
➢ Sistemas Avançados de Assistência ao Condutor (ADAS)
11
BMW – LIDAR FORD – Estacionamento Automático
![Page 12: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/12.jpg)
•
12
Serviço
![Page 13: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/13.jpg)
2. Objetivo
Por meio da robotização de veículos é possível:
➢ Reduzir falhas de controle e imprudências humanas com sistemas que utilizam:
Visão Computacional, Inteligência Artificial, Automação e outras tecnologias
para auxiliar um veículo a navegar de maneira segura.
13
Veículos Autônomos
ou semi-autônomos
![Page 14: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/14.jpg)
14
3. Contextualização e motivação
Motivação
➢ Auxílio na tarefa de dirigir;
➢ Piloto automático para viagens de longa duração;
➢ Rotinas automáticas para prevenção de acidentes;
➢ Auxílio para navegação de veículos autônomos;
![Page 15: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/15.jpg)
15
Trabalhos Realizados
CARINA 1 CARINA 2
![Page 16: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/16.jpg)
16
Trabalhos Realizados
![Page 17: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/17.jpg)
17
Trabalhos Realizados
![Page 18: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/18.jpg)
18
PESQUISA - Veículos Autônomos Trabalho de doutorado:
Diego Renan Bruno
![Page 19: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/19.jpg)
4. Sensoriamento
Fusão de Sensores para Visão Computacional:
➢ Câmera estéreo 3D:
Imagem 3D – (para detecção)
Imagem 2D – (para reconhecimento)
➢ LIDAR - Velodyne HDL- 32E:
Nuvem de pontos 3D – (para detecção)
Fator de refletância dos objetos placas
19
![Page 20: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/20.jpg)
4. Sensoriamento
Fusão de Sensores para Visão Computacional:
20
2D Data
3D Data
![Page 21: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/21.jpg)
3. Sensoriamento
Fusão de Sensores:
➢ GPS de alta precisão:
Posicionamento preciso do veículo
➢ Encoder para esterçamento da direção:
Verificar como o veículo está sendo manobrado
➢ Unidade de medição inercial – (IMU):
Orientação do veículo
21
![Page 22: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/22.jpg)
22
Detecção de placas e semáforos de trânsito
➢ Advanced Driver Assistance Systems (ADAS);
Detecção e classificação de placas de trânsito;
4. Contextualização e motivação
![Page 23: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/23.jpg)
23
Detecção de placas e semáforos de trânsito
4. Contextualização e motivação
![Page 24: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/24.jpg)
5. IA Restrita – Deep Learning
Extração de features 2D:
➢ CNN: Aprendem automaticamente a extrair features em imagens 2D
24
Figura 2: DCNN – [Mendes, 2017]
![Page 25: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/25.jpg)
5. IA Restrita – Deep Learning
Transfer Learning
25
Figura 2: Transfer Learning
YOLO - VGG + Inception V3
![Page 26: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/26.jpg)
6. Arquitetura
26
Diagrama de blocos do sistema
Figura 3: Diagrama de blocos
![Page 27: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/27.jpg)
27
8. Seguidores de linha (GPS)
Planejamento de rotas - GPS
![Page 28: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/28.jpg)
9. Problemas
Detecção de placas móveis – (rotas não mapeadas):
➢ Atenção Visual: Desvios, trechos em obras, perigo na pista;
➢ Detecção de cones e placas de advertência devem ter maior prioridade.
28
Desvios: Rota auxiliar Trecho em obras: Velocidade reduzida
O mapeamento dos sinais de
trânsito não seria eficiente
neste tipo de situação
![Page 29: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/29.jpg)
29
10. Planejamento de rotas
![Page 30: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/30.jpg)
30
11. Aplicação: Detecção de sinais de trânsito
1. Suporte para auxiliar um humano na tarefa de dirigir;
2. Suporte para veículos autônomos (futuro);
![Page 31: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/31.jpg)
31
12. Atenção visual
Análise do ambiente de navegação com regras de trânsito
em conjunto com o comportamento do condutor
![Page 32: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/32.jpg)
13. Sistema em funcionamento
ADAS proposto:
32
Percepção externa + percepção interna
![Page 33: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/33.jpg)
7. ADAS
Classificação dos problemas de desrespeito as leis de trânsito
➢ Suporte ao controle autônomo ou semi-autônomo;
➢ Neuro-FSM: Suporte a detecção e correção de falhas.
33
Figura 28: Mapa utilizado Figura 29: Neuro-FSM
Máquina de Estados + RNA
![Page 34: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/34.jpg)
14. ADAS – Automação com base de regras
Rotinas automáticas para suporte a tomada de decisão:
➢ Detecção de falhas humanas;
➢ Detecção de falhas de controle autônomo.
34
![Page 35: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/35.jpg)
35
15. Resolução de problemas
• Detecção automática de placas de trânsito com fusão de dados 2D e 3D;
• Auxílio automatizado para tomada de decisão com base nas regras de
trânsito (ADAS);
![Page 36: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/36.jpg)
36
Artigo para o LARS (Latin American Robotics Symposium) - 2017
16. Resultados obtidos
![Page 37: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/37.jpg)
16. Resultados obtidos
37
Algoritmo de Slide Window
• Poder do Deep Learning X Modelos de detecção 3D
Figure 5: Slide window algorithm execution [4]
![Page 38: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/38.jpg)
16. Resultados obtidos
38
Resultados para oclusão de imagens
Figure 6: Severe problem of occlusion of traffic signs [6]
(a) 80km (b) 70kmand (c) problem of occlusion [4]
![Page 39: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/39.jpg)
16. Resultados obtidos
39
Gráfico 3: Comparação dos testes de classificação
![Page 40: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/40.jpg)
40
Visão 2D – CNN Segnet
• Detecção em dados (imagens) 2D – Estado da arte em visão 2D
![Page 41: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/41.jpg)
41
Deep Learning - YOLO
![Page 42: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/42.jpg)
42
https://www.facebook.com/playgroundenglish/videos/538920679774600/
http://jacobsschool.ucsd.edu/news/news_releases/release.sfe?id=1883
https://pjreddie.com/darknet/yolo/
Deep Learning Intelligent Robotic Applications2D Computer Vision + ML / DL
![Page 43: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/43.jpg)
43
MASK-RCNN Deep Learning
![Page 44: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/44.jpg)
44
DeepLAB - Deep Learning
Detecção + Segmentação de objetos
![Page 45: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/45.jpg)
45
Problemas de visão 2DAI System – Real Problem
https://www.technologyreview.com/s/608321/this-image-is-why-self-driving-cars-come-loaded-with-many-types-of-sensors/
But also… Researchers hack a self-driving car by putting stickers on street signshttps://www.autoblog.com/2017/08/04/self-driving-car-sign-hack-stickers/
![Page 46: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/46.jpg)
46
Veículos inteligentes: Problemas de visão 2D
Veículo Autônomo:
“Pare” para sempre...
Fotos de pessoas,
Semáforos, Placas de Trânsito, etc.
![Page 47: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/47.jpg)
47
Problemas de visão 2D
![Page 48: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/48.jpg)
48
Problemas de visão 2D – Reconhecimento
Facial
Smartphones
Face
Unlock
Fail
https://www.youtube.com/watch?v=lU_kbxpjQww
https://www.youtube.com/watch?v=QS8NerjNJSc
![Page 49: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/49.jpg)
Analysis and fusion of 2D and 3D images applied for detection
and recognition of traffic signs using a new method of features
extraction in conjunction with Deep Learning
Diego Renan Bruno and Fernando Santos Osório
![Page 50: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/50.jpg)
Methodology
Visual attention and recognition
➢ Computer vision system and artificial intelligence
Visual attention 2D recognition – Artificial Intelligence
Our knowledge base
is formed by a set of
objects
![Page 51: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/51.jpg)
Methodology
2D and 3D data fusion
(notion of depth and colors /
textures)
Extraction of 3D + ANN features
Object
detected
2 classes of
objects
2D 3D
![Page 52: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/52.jpg)
Methodology
Imagem 2D
(RGB)
Deep Learning
(Inception V3)
Traffic sign
detected and
recognized
Detection representation in 2D (x, y)
We apply Deep Learning to classify the bounding
boxes that represent the vertical traffic signals
![Page 53: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/53.jpg)
53
Atenção Visual Fuzzy
Atenção visual fuzzy com suporte a tomada de decisão
Figura: Atenção visual fuzzy
![Page 54: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/54.jpg)
Comunicação entre veículos
![Page 55: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/55.jpg)
Comunicação V2V
![Page 56: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/56.jpg)
As leis de trânsito estão sendo obedecidas?
• Acompanhamento em tempo real
![Page 57: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/57.jpg)
57
![Page 58: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/58.jpg)
Eu, robô - Asimov
As três leis de Asimov funcionam?
![Page 59: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/59.jpg)
59
Proteger o seu dono
ou a criança...?
Tomada de atitude sem sentimentos
![Page 60: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/60.jpg)
60
Proteger o idoso ou a
criança?
Tomada de atitude sem sentimentos
Um carro autônomo deve matar o bebê ou a avó?
Depende de onde você é.
![Page 61: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/61.jpg)
61
Acidentes também nos autônomos...
![Page 62: Veículos Robotizados: Sistemas Avançados de Assistência ao ... · 1. Introdução O trânsito é um dos principais causadores de acidentes fatais em todo o mundo, gerando um valor](https://reader034.vdocuments.site/reader034/viewer/2022042218/5ec367ba460ac350b55d81d6/html5/thumbnails/62.jpg)
62
Acidentes também nos autônomos...→ Tracking!