10/06/2020

1

Biometrics and

e-Health Applications

Prof. Julian FIERREZ

http://biometrics.eps.uam.es/

Universidad Autonoma de Madrid - SPAIN

USER INTERACTION WITH MOBILE DEVICES

Summary of the different sensors/signals of smartphone and example applications.

In blue, applications that reveal neuromotor skills, in red, cognitive functions, and

in green, applications revealing behaviors/routines.

1

2

10/06/2020

2

MULTIMODAL HUMAN-COMPUTER INTERACTION

Facial

Ritmo cardiaco 72

Estrés Medio

Emoción Neutra

Dilatación pupila 36%

Gesticulación Normal

Mov. Sacádico 42%

Habla

Intensidad 93

Tono Medio

Emoción Neutra

Alteraciones Normal

Contacto

Ritmo cardiaco 74

Saturación 93%

Sudoración Normal

Temperatura 37.4º

Normal

Sistema multimodalMultimodal

System

Input Input

Input

Output

J. Hernandez-Ortega, R. Daza, A. Morales, J. Fierrez and J. Ortega-Garcia, “edBB: Biometrics and Behavior forAssessing Remote Education”. Proc. of AAAI Workshop on Artificial Intelligence for Education (AI4EDU), New York, NY, USA, February 2020.

MULTIMODAL HUMAN-COMPUTER INTERACTION

3

4

10/06/2020

3

J. Hernandez-Ortega, R. Daza, A. Morales, Julian Fierrez and R. Tolosana, "Heart Rate Estimation from Face Videos forStudent Assessment: Experiments on edBB", in IEEE Conf. on Computers, Software, and Applications (COMPSAC), Madrid, Spain, July 2020.

J. Hernandez-Ortega, J. Fierrez, A. Morales and D. Diaz, "A Comparative Evaluation of Heart Rate Estimation Methodsusing Face Videos", in IEEE Intl. Workshop on Medical Computing (MediComp), Madrid, Spain, July 2020.

VIDEO-BASED HEART RATE ESTIMATION

Modelado

Informe médico (app móvil)

Aprendizaje supervisado

Digitalización de la escritura

Secuencias dinámicas

Sensor

Extracción de características

Globales y locales

MONITORING OF NEURODEGENERATIVE DISORDERS

5

6

10/06/2020

4

Modelado

Informe médico (app móvil)

Aprendizaje supervisado

Digitalización de la escritura

Secuencias dinámicas

Sensor

Extracción de características

Globales y locales

0 200 400 600 800 1000 12000

10

20

30

40

Vel

ocid

ad V

ertic

al

Tiempo

0 500 1000 1500 2000 2500 3000 35000

20

40

60

80

Vel

ocid

ad V

ertic

al

Tiempo

Usuario control:Tiempo total en realizar la prueba: 6.1 segundos.Número de trazos: 12.Velocidad de activación muscular promedio: 300 ms (SD=31).Velocidad de desactivación muscular promedio: 275 ms (SD=27).

Parkinson (grado 19):Tiempo total en realizar la prueba: 16.6 segundos.Número de trazos: 26.Velocidad de activación muscular promedio: 150 ms (SD=61).Velocidad de desactivación muscular promedio: 163 ms (SD=68).

R. Castrillon, A. Acien, et al., "Characterization of the Handwriting Skills as a Biomarker for Parkinson Disease", in IEEE Intl. Conf. on

Automatic Face & Gesture Recognition, Workshop on Human Health Monitoring based on Computer Vision, Lille, France, April 2019.

MONITORING OF NEURODEGENERATIVE DISORDERS

IDEA-FAST

También con otros sensores biométricos: vídeo facial, interacción táctil, teclado, smartwatch, wearables, etc. +40 other EU partners

Call 15 T6: Digital endpoints in neurodegenerative diseases

+20M€+20M€

IDEA-FAST: Proyecto Europeo (>40 Mill.) a desarrollar entre 2020-2025 en el que el grupo BiDA es el único grupo de investigación español participante.

7

8

10/06/2020

5

IDEA-FAST: Sensors

Activities of

Daily Living

IDEA-FAST: Timeline (2020-2025)

9

10