la “recette” du véhicule autonome et son évolution future...la “recette” du véhicule...
TRANSCRIPT
![Page 1: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/1.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 1
La “recette” du Véhicule Autonome
et son évolution future
Pr. Fabien MoutardeCentre de Robotique
MINES ParisTechPSL Research University
http://people.mines-paristech.fr/fabien.moutarde
![Page 2: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/2.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 2
• ~ 45 personnes (dont ~20 doctorants)• ~ 1500 k€/an de contrats de recherche
• Robotique Mobile, Véhicules Intelligents & ITSCompréhension temps-reel de scène (par vision 2D/3D et machine-learning), Localisation visuelle et SLAM visuel/laser, ADAS et Véhicules Autonomes, Intersections Automatisées,Conduite&Manoeuvres cooperatives, Prévision traffic routier
EU projects (REACT/COM2REACT/AutoNet2030) + nombreux contrats industriels et Chaires (PSA, Valeo, …)
• Interactions Humains-Machines et Réalité VirtuelleRobotique collaborative & reconnaiss. de gestes (Chaire PSA “RRV”)
Immersion, Transférabilité virtuel/réel, …
• Numérisation 3D et analyse nuages de points
Mobile Mapping System, numérisation environnement urbain, …
• Commande non-linéaire (platitude) et filtrage avancé (IKF)
• Logistique Urbaine
Centre de Robotiquede MINES ParisTech
![Page 3: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/3.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 3
Un Véhicule Autonome est un robot mobile !
Perception
Action
Raisonnement
BOUCLE ROBOTIQUE
Démo de conduite automatisée par le
centre de Robotique de MINES_Paris durant…
IV’2002 !
![Page 4: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/4.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 4
Les « ingrédients » du Véhicule Autonome
Il faut donc au Véhicule Autonome :
• Des capteurs
• Des algorithmes « intelligents »– pour la perception
– pour la planification de trajectoire
– pour la commande
• Un/des calculateur(s) embarqué(s)
• Des actionneurs (« drive by wire »)
• …et aussi une interface ergonomique Humain-Machine! [pour transitions autopilot/manuel]
Robot percevoir + raisonner + agir
![Page 5: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/5.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 5
Capteurs pour un Véhicule Autonome
• Caméras « classiques » [portée ~500m, champ large]
• Radar(s) [portée ~200m, champ étroit]
• LIDAR [portée ~100m, champ jusque 360°]
• Ultrasons etc…
![Page 6: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/6.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 6
Quelles IntelligenceS ArtificielleSpour le Véhicule Autonome ?
Interprétation « sémantique » environnement véhicule :
– Détection et catégorisation/reconnaissance d’objets (voitures, piétons, vélos, panneaux, feux, …)
– Prévision des mouvements des autres usagers
– Inférence intentions conducteurs/piétons (ou policier !) d’après leurs regards/gestes
Planification de trajectoire (y compris vitesse)dans environnement dynamique incertain
• Pour ADAS et automatisation niveaux 2-3 :‒ Analyse et compréhension attention et activités ou
gestes du « conducteur-superviseur »
• A + grande échelle spatio-temporelle :‒ Prévision évolution trafic pour optimiser itinéraires
![Page 7: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/7.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 7
Perception « Intelligente » pour Véhicule Autonome
Composant-clef pour Aides à conduite (ADAS)
et la conduite automatisée
• Forte contrainte temps-réel : traiter au moins ~10 frames/second
voiturepiéton
vélo
motopanneau routierfeu tricolore
Besoin avant tout de
« compréhension » temps-réel de scène
![Page 8: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/8.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 8
Catégorisation visuelle d’objets : apprentissage-machine
Apprentissage classifieur (e.g. par « boosting »), appliqué
Piétons « non-piétons »
Voitures « non-voitures»
ALGORITHME
D’APPRENTISSAGE
STATISTIQUE
(souvent fondé sur
technique
d’optimisation)
CLASSIFIEUR
Imagette à
catégoriser
Type d’objet (et probabilité)
En temps-réel embarqué
Hors-ligne dans centre de R&D
![Page 9: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/9.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 9
Où en était la perception visuelle pour véhicules « intelligents » vers 2012 ?
Algo des MINES pour TSR vers 2011
~95% OK
[HoG features + SVM pour détection
+ RDF pour reconnaissance]
Algo des MINES pour ADAS vers 2009 ~95% OK (voitures) et ~80% OK (piétons)
[ControlPoints features + adaBoost]
• Features « sur mesure »• Classif par adaBoost, SVM, RDF• Combinaisons différentes, optimisées pour chaque
catégorie (panneaux, véhicules, piétons, …)
![Page 10: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/10.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 10
Quels apport récents par apprentissage profond (convNet) ?
• Plus grande robustesse car appris sur base ENORME
• Unification algos détection/reco pour toutes catégories
[C. Farabet, C. Couprie,
L. Najman & Yann LeCun:
Learning Hierarchical
Features for Scene Labeling,
IEEE Trans. PAMI, Aug.2013.
Principe : apprendre FEATURES en + de classification
![Page 11: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/11.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 11
Perception avec un LIDAR ?
Le GoogleCar utilise INTENTIVEMENT un LIDAR 360° multi-couches Velodyne
avec segmentation 3D + catégorisation 3D
![Page 12: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/12.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 12
Evolution future du Véhicule Autonome
Véhicule Autonome ET CONNECTÉ• Platooning
• Intersections automatisées
• Manœuvres coopératives
• Perception collaborative
Apprendre aussi planification+commande ?
Apprentissage en continu (tout au long de vie du véhicule) ??
De la voiture au « Service de Mobilité »(taxis autonomes à la demande)
![Page 13: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/13.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 13
Intersections Automatisées
• Nécessité de garantir à la fois :• Sécurité = NON-COLLISION• Disponibilité = NON-BLOCAGE (pas de deadlock »)
Besoin algo intelligent de COORDINATION LOCALECommunications Véhicule-Infrastructure (V2I)
• Feux tricolores = TRES SOUS-OPTIMAL en débit !• Traversée d’intersection = partie critique et délicate
pour les véhicules autonomes
![Page 14: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/14.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 14
Intersections Intelligentes (automatisées)
Formalisme conçu et prototypé au centre de robotique de MINES ParisTech, avec garantie de non-collision et de non-deadlock
par ordonnancement centralisé des « droits de passage »
![Page 15: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/15.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 15
Principe Intersection Automatiséeproposé par MINES ParisTech
• Véhicules supposés suivre chemins prédéfinis déplacements = abscisses curvilignes xi sur chemins
• Non-collision rester hors de zones dans esp. xi,xj• Solution = choix et respect de priorités (ordre) de passage
• Chaque véhicule avance en « brake-safe » le long de son
chemin, et en respectant priorité
[Thèse de Jean GREGOIRE, dirigée par Pr. Arnaud de La Fortelle, soutenue en sept.2014]
https://pastel.archives-ouvertes.fr/tel-01081216
![Page 16: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/16.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 16
Manœuvres coopératives
• Intérêt du platooning, notamment pour les
camions
• Mais besoin coordination V2V pour insertion &
extraction de véhicule du peloton
• Possibilité de généralisation du peloton à
« convoi » de géométrie non-linéaire et adaptable
• Besoin de coordination aussi pour insertion sur
voies rapides
![Page 17: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/17.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 17
Conduite/Manœuvres coopératives
Algorithmes pour Conduite/Manœuvres coopératives (« convoys », merging, …), conçus et prototypés au centre de Robotique de MINES ParisTech
dans le cadre du projet européen AutoNet2030
![Page 18: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/18.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 18
Apprendre aussi planification+commande ?
• Approche « classique » :
• Sémantisation image par ConvNet (Deep-Learning) :
• End-to-end Deep-Learning (nVidia, Berkeley) :
Short-
term
Motion
Planning
![Page 19: La “recette” du Véhicule Autonome et son évolution future...La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech,](https://reader034.vdocuments.site/reader034/viewer/2022051908/5ffb8f4e51e075242e4ba023/html5/thumbnails/19.jpg)
La “recette” du Véhicule Autonome et évolution future, Pr. F. Moutarde, Centre de Robotique, MINES ParisTech, PSL 19/10/2017 19
Perspectives
Points encore « durs » pour conduite automatisée :– Collecte MASSIVE de données réelles (image/radar/lidar/…)
– Validation quantifiée de la fiabilité des algos !
– Ego-localisation précise
– Manœuvres d’urgence
– Suivi attention/activité conducteur-superviseur
– Prévision mouvements/trajectoires des autres usagers
– Inférence intentions conducteurs/piétons (ou policier !) d’après regards/gestes (et aussi infos VA autres usagers)
– Apprendre la planification/commande ?
Points « durs » pour conduite automatisée et coopérative :• Interactions entre véhicules autonomes, et avec les autres• Perception collaborative• Intersections automatisées
Chaire DriveForAll, financée par Safran+Valeo+PSA, labos = CAOR/Mines_ParisTech (leader)+Berkeley +EPFL+SJTU