Perception och Maskininärning iInteraktiva Autonoma System

Michael Felsberg

Institutionen för systemteknikLinköpings universitet

Vad är WASP?

• Wallenberg Autonomous Systems Program

• Sveriges största individuella forskningsprogram genom tiderna

• http://wasp-sweden.se/

• Initialt 6 olika projekt

• Fokus: perceptionsprojektet

• Inom perception: datorseende

Vad är datorseende?

• delområde av datalogin

• "seende” datorer• automatiskt bearbetar digitala bilder

• extraherar specifika typer av information ur bilder beroende på den uppgift som ska lösas, e.g.• konstruktion av 3D objektmodeller från 2D bilddata

• igenkänning av 3D eller 2D objekt i bilder

• styrning av robotar och fordon med hjälp av kameror

• starkt tvärvetenskapligt• biologiskt seende, neurovetenskap & visuell perception

• matematik, numerisk analys & datorgrafik

• datorteknik, mjukvaruteknik & AI

Vilka skolämnen är relevanta för datorseende?

• matematik• geometri

• algebra

• sannolikhetsteori och statistik

• analys

• kombinatorik

• fysik

• teknik

• programmering

• dator- och kommunikationsteknik

Var är svårt med bilder?

Vad ser du?

Facit

Tillbaka till WASP … Autonomasystem är mer än självkörandebilar ...

http://autodato.com/wp-content/gallery/benz-patent-motorwagen/Benz-Patent-Motorwagen-DRP-37435-02.jpg

Case Study: 125 Anniversary Bertha Mannheim - Pforzheim

http://autodato.com/wp-content/gallery/benz-patent-motorwagen/Benz-Patent-Motorwagen-DRP-37435-02.jpg

Autonomous Driving is Easy?

• According to some experts: Google and Apple have failed with their autonomous car projects [New York Times 9/9, Bloomberg 9/12]

• Tesla’s fatal accidentcould have been avoided by Lidar instead of computervision-based perception (Mobileye)? [New York Times 7/12, ArsTechnica 9/16]https://static01.nyt.com/newsgraphics/2016/07/01/tesla-accident/10c347b26e2d2fb936647182b6b92923cb914729/crash-720.png

Integrating Perception, Learning and Verification in Interactive Autonomous Systems

The project will study perception methods based on fusion of multi-modal sensory information in combination with learning, and formal verification of autonomous systems.

Researchers:

• Danica Kragic (project coordinator), KTH

• Michael Felsberg, Linköping University

• Laura Kovacs/Bengt Lennartsson, Chalmers

• Alexandre Proutiere, KTH

• Kalle Åström, Lund University

Some students in the project

DanielKTH

ShahbazKTH/ABB

FredrikChalmers

MiaKTH

GustavLIU

SamuelChalmers/Autoliv

DavidLTH

BertilLIU/Saab Dynamics

JohanKTH/ABB

Modes of Perception

• multitude of sensor modalities• selection problem – what sensor to focus on?• fusion problem – how to combine them?

• human-compatible sensing• visualization – acquisition of relevant (visual) data• interaction – shared percept space• adaptation to environment – most systems will be

placed in environments shaped for humans

• semantic gap / symbol grounding• fused sensor readings need to be mapped to

semantic models• top-down feedback modulates perception

Ex: Sensors and Semantics

Ex: Fusion and Feedback

Ex: Interactionand Visualization

Methods

• machine learning• deep learning – lots of data

• online learning – from demonstration

• optimization• offline – hard problems

• on-the-fly – adaptation

• latent probabilistic models• enforce consistency of parts

• avoid local minima

AlexNet [Krizhevsky et al. 2012]

Deep Learning Revolution

• ImageNet Large Scale Visual Recognition Challenge [Deng et al. 2009]

• Today: • more than 14 million images

• more than 10 million images annotated

• more than 1 million images with bounding box

• Classification error rate 2011: 25%

• Using CNNs in 2012: 16% (!)

14 million images

Visual object

• detection

• tracking

• recognition

Danelljan et al. ICCV 2015, CVPR 2016

Visual features learned from ImageNet

Learning of association to actions

Öfjäll et al., IV 2016

Probabilistic geometric models

Danelljan et al., CVPR 2016

LARA

Relevanta Program vid LiU

• Y – teknisk fysik

• D – datateknik

• U – mjukvaruteknik

• M – medieteknik

• MT – medicinsk teknik

• TB – teknisk biologi

• IT – informationsteknologi

• I – industriell ekonomi

Frågor?

• michael.felsberg@liu.se

• http://users.isy.liu.se/cvl/mfe/

• http://www.cvl.isy.liu.se/

• https://beta.liu.se/employees/micfe03