computacion afectiva, aplicacion educativa para tvdi - sandra baldassarri
Post on 15-Jun-2015
306 Views
Preview:
TRANSCRIPT
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Dra. Sandra Baldassarri sandra@unizar.es
Computación Afectiva.
Aplicación educativa para TVDi
“There can be no knowledge without emotion. We may be aware of
a truth, yet until we have felt its force, it is not ours. To the cognition
of the brain must be added the experience of the soul.”
Arnold Bennett (1867-1931)
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Resumen
La computación afectiva es el área que se centra
en investigar cómo se usan las emociones en los
sistemas informáticos. Para ello abordaremos los
siguientes temas:
– ¿Qué son las emociones?
– ¿Qué papel tienen las emociones? ¿son importantes?
¿para qué?
– ¿Qué es la computación afectiva?
– ¿Es útil la computación afectiva? Algunos ejemplos...
– Uso de la Computación afectiva en una aplicación
educativa en TVDi.
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
¿Qué son las emociones?
• Emociones comunes: alegría, tristeza, miedo,
enfado, sorpresa, disgusto
• Las emociones son reacciones psicofisiológicas
que representan modos de adaptación a ciertos
estímulos: – Sentimientos subjetivos (la emoción a la que nos referimos)
– Tendencia a hacer algo (preparación de una acción)
– Expresión de la emoción (facial, corporal,…)
– Evaluación de la situación (evaluación congitiva, pensada)
– Activación fisiológica (ritmo cardíaco, ritmo respiratorio)
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
¿Qué son las emociones?
• Sin embargo, no hay consenso sobre muchas
de las cuestiones relacionadas con las
emociones:
– ¿Es la sorpresa una emoción?
• Algunos piensan que siempre, otros que sólo a veces
– ¿Se puede sentir una emoción sin ser consciente de ella?
• Ej: celos, encaprichamiento
– ¿Debe tener una emoción, para serlo, alguna manifestación
fisiológica medible?
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
¿Qué son las emociones?
Expresión de las emociones:
• A pesar de la diversidad de teorías sobre las emociones,
en lo que hay consenso es en las propiedades
observables de las emociones.
Evidentes para los demás:
• Expresión facial
• Entonación de voz
• Gestos
• Movimientos
• Postura
• Dilatación de pupilas
• Color de la piel
No tan evidentes para los demás:
• Respiración
• Latidos, pulso
• Temperatura
• Sudoración
• Potenciales de acción de músculos
• Presión sanguínea
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
¿Son importantes las emociones?
• Emociones e Inteligencia:
Frente a la contraposición tradicional entre emoción e intelecto, las teorías más recientes indican la importante influencia de las emociones en los mecanismos del pensamiento racional.
• En particular las emociones parecen jugar un esencial en: • El aprendizaje
• La memoria a largo plazo
• La toma de decisiones
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Computación Afectiva
• “If we want computers to be genuinely intelligent and to interact naturally with us, we must give computers the ability to recognize, understand and even to have and express emotions”
Rosalind Picard (MIT)
Affective Computing
MIT Press 1997
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Computación Afectiva
La Computación Afectiva es un campo emergente cuyo objetivo es
el desarrollo de sistemas inteligentes capaces de dotar a un
ordenador con la habilidad de reconocer, interpretar, procesar y
expresar emociones.
Expresión de las emociones a
través diferentes canales, visibles
o no visibles: expresiones faciales,
gestos, voz, señales biológicas…
Computación afectiva: capturar la
información afectiva y analizarla
para mejorar la interacción con el
usuario.
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Computación Afectiva
Concretamente, un ordenador con capacidades afectivas debería ser capaz de:
• Reconocer emociones
• Expresar emociones
• Sentir emociones
• Poseer inteligencia emocional
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Reconocer emociones
La captura y reconocimiento de las emociones se suele basar en:
– La voz (modulación, tono, volumen)
– Las expresiones faciales o corporales
– Señales biológicas:
– resistencia galvánica de la piel
– electromiogramas
– temperatura
– pulso
– …
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Reconocer emociones
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Reconocer emociones
• Captura y reconocimiento del estado afectivo del usuario
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Reconocer emociones
• Captura y reconocimiento del estado afectivo del usuario
en tiempo real
Clasificación emocional facial
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Reconocer emociones
• Aplicación a los videojuegos: Proyecto NeuroGame
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Expresar emociones
¿Cómo demostramos las emociones?
– El requerimiento básico es tener canales de comunicación que permitan comunicar las emociones a través de ellos: • voz (entonación, velocidad)
• imagen (cuerpo, cara, movimiento)
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Expresar emociones
• La forma más usual de expresar (y reconocer) emociones es a través de las expresiones faciales.
Expresión de emociones en actores virtuales
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Kismet
Sentir emociones
• R. Picard propuso un modelo de cinco componentes,
todas ellas necesarias en un sistema que “tenga”
emociones:
– Emociones emergentes (Mac sonriendo al arrancar)
– Emociones primarias (innatas, reactivas)
– Emociones cognitivas (satisfacción por un logro)
– Experiencia emocional
– Consciencia de las propias emociones
– Manifestaciones fisiológicas
– Interacciones cuerpo-mente
– Las emociones afectan a la cognición
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Inteligencia emocional
• Un ordenador con inteligencia emocional
debería ser capaz de:
• Entender y expresar sus emociones
• Regular sus emociones
• Reconocer las emociones en otros (cuáles son sus
motivaciones, preferencias, etc..)
• Utilizar las emociones con uno mismo y con los demás
para generar comportamientos adaptativos y plantear
objetivos cognitivos avanzados (aprendizaje,
creatividad, motivación, etc.)
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Aplicaciones
• Tutores “afectivos” (MIT, USA)
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Aplicaciones
• Aplicaciones adaptables para personas
con autismo
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Aplicaciones
Kismet (C. Breazel)
• Uso de una cabeza robótica humanoide que expresa
emociones para estudiar:
– El efecto de las emociones en la IPO
– Aprendizaje de comportamientos sociales de los robots durante
juegos entre humanos y robots
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Aplicaciones
Robots de compañía
• Aibo (Sony, Japón)
• I-Cat (Philips, NL)
• Paro (Wanda et al, Japón)
• Huggable (MIT, USA)
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Aplicaciones
SIMS 2
• Entretenimiento: las emociones se utilizan para dar más
realismo a los videojuegos
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Intérprete virtual de Español a LSE Tutores virtuales
Presentadores virtuales
http://giga.cps.unizar.es/affectivelab
Aplicaciones
Juegos para niños
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Computación Afectiva.
Aplicación educativa para TVDi
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Aplicación educativa para TVDi
• “T-learning”: Aprendizaje interactivo basado en TV
– Ventajas: medio masivo, conocido por todos los usuarios, fácil
acceso por parte de los usuarios.
– Desventaja: STBs tienen menor potencia que los PCs.
• En la mayor parte de las aplicaciones existentes, el
aprendizaje via TVDi se centra más en entretenimiento
que en enseñanza formal.
• Para lograr un aprendizaje eficiente, es necesario
desarrollar aplicaciones de t–learning “inteligentes”.
Introduction
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Aplicación educativa para TVDi: T-EDUCO
Introduction
Internet
Router
IDTV set-top-box
BROADCASTER
USER
· Feedback from the user
· Personalized learning contents
El sistema permite que un tutor a
distancia pueda obtener información
académica y emocional de los
estudiantes.
En la aplicación se integra un método
novedoso de reconocimiento de
expresiones faciales.
La interacción tutor/estudiante es
similar a la enseñanza tradicional:
El tutor puede adaptar los contenidos
de aprendizaje dependiendo del
progreso académico y del estado
emocional del usuario.
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
T-EDUCO. Arquitectura general
• ESTUDIANTE:
– Accede a la aplicación broadcast de
aprendizaje a través de un STB con
capacidad de comunicación IP .
– La aplicación controla a una cámara
IP.
– Los videos del estudiante se guardan
para procesarlos posteriomente en un
servidor de video externo y extraer el
estado emocional.
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
T-EDUCO. Arquitectura general
• TUTOR:
– Accede a la información del
estudiante a través de la
plataforma Moodle.
– Puede ver el progreso del
estudiante en el curso (nº de
lecciones que ha completado,
módulos y ejercicios
realizados, etc.) y la
información emocional
capturada por medio de los
videos.
A t-learning tutoring tool that cares
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
T-EDUCO: Procesamiento de la información
emocional
• Paso 1: Las entradas de video grabadas de los
estudiantes se analizan, frame a frame, por un
sistema automático de reconocimiento emocional
continuo.
• Paso 2: La salida del sistema representa emociones
en una localización específica (x;y) en el espacio
emocional (espacio de Whissell).
• Paso 3: Se construye un log emocional relacionando
las emociones experimentadas y las tareas
realizadas en el sistema.
A method for continuous facial affect recognition
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
T-EDUCO: Procesamiento de la información
emocional
2D EMOTIONAL RECOGNITION
tk
VIDEO
SERVER
Video
stream
“EMOTIONAL KINEMATICS” FILTERING
Emotional log for the tutor
t
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
T-EDUCO: Evaluación
• La aplicación se ha evaluado con usuarios reales en un
estudio piloto emitido en Sevilla por la RTVA (Radio
Televisión de Andalucía).
• Curso de “Asistencia en el hogar” de 28 horas.
• Participaron 30 estudiantes, trabajadores en el sector de
la salud (que accedían desde sus hogares) y 5 tutores.
• Los resultados del uso de la aplicación, y en particular,
del seguimiento afectivo, fueron altamente satisfactorios.
A method for continuous facial affect recognition
jAUTI 2012:
I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
Dra. Sandra Baldassarri sandra@unizar.es
¡Gracias por vuestra atención!
top related