michael arbib - el... · brain project michael arbib: el sistema neuronal espejo para la prensión...
TRANSCRIPT
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 1
Michael Arbib
El Sistema Neuronal Espejo para la Prensión de Objetos
en colaboración conErhan Oztop (Modelado)
Giacomo Rizzolatti (Neurofisiología)
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 2
Conceptos Clásicos del Control de la Prensión de Objetos
Jeannerod & Biguer 1979
Preconfiguración de la mano durante la extensióndel brazo para asir un objeto
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 3
Programa clásico de Control Coordinado para la prensiónde objetos
entradavisual, cinemáticay táctil
Ubicación Visual
Extensión de la mano
Fase deMovimiento rápido
Preconfig-uración de la mano
Rotaciónde la mano
Prensióndel objeto
Reconocimiento del Tamaño
Reconocimientode la Orientación
tamaño
Prensión
orientación
Activación de býsqueda visual
Entrada visualy cinemática
Posición delobjetivo
Entradavisual
Entradavisual
Fase de Movimientolento
Entradavisual
Criterio dereconocimiento
Activación de la extensión
(Arbib 1981)
EsquemasPerceptivos
EsquemasMotores
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 4
Espacios de Oposición y Dedos Virtuales
El éxito de la extensión, preconfiguración y prensión de un objetoestriba en ajustar el eje de oposición definido por los dedos virtualescon el eje de oposición definido por lapermisibilidad(“affordance”) del objeto
(Iberall and Arbib 1990)
oposición lateral ("side opposition”)
oposición dactilar("pad opposition")
oposición palmar ("palm opposition") o
asimiento fuerte ("power grip")
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 5
Estado de la Mano
Nuestra representación del estado de la mano define una trayectoria hepta-dimensional F(t) con las siguientes componentes a tiempo t
F(t) = (d(t), v(t), a(t), o1(t), o2(t), o3(t), o4(t)):
d(t): Distancia al objetivov(t): Velocidad tangencial de la muñeca. a(t): Apertura de los dedos virtuales involucrados en la prensión
o1(t): Angulo entre el eje del objeto y el vector que une la punta del dedo pulgar con la punta del índice [relevante para las oposiciones dactilar y palmar]
o2(t): Angulo entre el eje del objeto y el vector que une el nudillo del dedo índice con la punta del pulgar [relevante para la oposición lateral]
o3(t), o4(t): Los dos ángulos que definen cuán próximo el dedo pulgar está del resto de la mano, medido relativo al lateral de la mano y a la palma.
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 6
Mecanismos Neuronales Básicos en el Control de la Prensión de Objetos
F5 - órdenes de asiren la cortezapremotora GiacomoRizzolatti
AIP -permisibilidades(“affordances”) de asir, codificadas en la corteza parietal Hideo Sakata
Un aspectofundamental en la coordinación visuo-motora:permisibilidades parietales (AIP) rigen losesquemas motrices frontales (F5)
Control Visual de la Prensión del Objetos en el Mono Macaco
cIPS
cIPS Hideo Sakata
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 7
Especialización de neuronas de F5 en distintasformas de asir
agarre tipo pinza
Asimiento fuerte
(Datos de Rizzolatti et al.)
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 8
FARS (Fagg-Arbib-Rizzolatti-Sakata)Visión General del Modelo
AIP
F5
dorsal/ventral streams
Task Constraints (F6)
Working Memory (46)
Instruction Stimuli (F2)
Restricciones de laTarea (F6)Memoria de Trabajo(46?)Estímulos Instructores(F2)
AIP
Flujo Dorsal:Permisibilidades
IT
Flujo Ventral:Reconocimiento
Formas de asir esta ‘cosa’
“Es una taza”CPF
AIP extrae permisibilidades =Propiedades del objeto relevantes para la interacción física con él.Corteza Prefrontal proporciona el ‘contexto’ que permite a F5 determinar la opción adecuada
F5
Fagg and Arbib,1998
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 9
Neuronas Espejo
Rizzolatti, Fadiga, Gallese, and Fogassi, 1995:Premotor cortex and the recognition of motor actions
Las neuronas espejo constituyen el subconjunto de neuronas premotorasde F5 relacionadas con la acción de asir, que descargan cuando el mono observa un movimiento significativode la mano realizado por él
experimentador u otro mono.F5 está provista de un sistema que casa observación con ejecución [Las neuronas de F5 relacionadas con la acción de asir que no tienen uncomportamiento espejo, son conocidascomo neuronas canónicas de F5.]
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 10
Computación de la Respuesta del Sistema Espejo
Modelo FARS:Reconocer las permisibilidades de un objeto y determinar la forma correcta de asirlo.
Modelo del Sistema Neuronal Espejo (SNE):Debemos incorporar el reconocimiento de:
� la trayectoria� la preconfiguración de la mano� las permisibilidades del objeto
y asegurar que los tres son congruentes entre sí.
¿Existen otros sistemas parietales además de AIP adaptados a estatarea?
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 11
Otras Regiones Cerebrales Involucradas
cIP
AIP →→→→ F5 canónicoHipótesis: STS →→→→ PF →→→→ F5 espejo
STS PF (7b)
PG (7a)
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 12
Criterio fundamental para la Activación de una NeuronaEspejo cuando se observa una acción de asir
a) ¿Corresponde la preconfiguración adoptada por la mano con el tipo de prensión codificada por la neurona espejo?
b) ¿Se ajusta esta preconfiguración con una forma permisible de asir elobjeto deseado?
c) ¿Las distintas imágenes de la mano percibidas indican una trayectoriaque permitirá a la mano asir el objeto?
Desafíos enfrentados en el modelado:i) Lograr que las neuronas espejo se auto-organicen para aprender a reconocer las distintas formas de asir en el repertorio del mono.
ii) Aprender a activar las neuronas espejo a partir de un número cada vezmenor de imágenes a lo largo de una trayectoria.
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 13
STS 7a
Reconoci-mientoconfiguración
de la mano
Análisis de laRelación espacial
Mano- Objeto
de
del
AsociaciónPermisibilidad
objeto con Estado de la mano
Extracción de laspermisibilidadesdel objeto
Recono-cimientode la acción
Programasmotoresdel mano
Ejecuciónmotora
Integraciónde asociación
temporal
7bF5canónico
AIP
M1
F5espejo
Característicasdel Objeto
Ubicacióndel objeto
ProgramaMotordel brazo
F4
MIP/LIP/VIP
Cor
teza
Vis
ual
cIPS
Deteccióndelmovimientode la mano
Modelo del Sistema Neuronal Espejo (SNE)
PF
PG
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 14
Estado de la Mano
Nuestra representación del estado de la mano define una trayectoria hepta-dimensional F(t) con las siguientes componentes a tiempo t
F(t) = (d(t), v(t), a(t), o1(t), o2(t), o3(t), o4(t)):
d(t): Distancia al objetivov(t): Velocidad tangencial de la muñeca. a(t): Apertura de los dedos virtuales involucrados en la prensión
o1(t): Angulo entre el eje del objeto y el vector que une la punta del dedo pulgar con la punta del índice [relevante para las oposiciones dactilar y palmar]
o2(t): Angulo entre el eje del objeto y el vector que une el nudillo del dedo índice con la punta del pulgar [relevante para la oposición lateral]
o3(t), o4(t): Los dos ángulos que definen cuán próximo el dedo pulgar está del resto de la mano, medido relativo al lateral de la mano y a la palma.
Trabajo realizado por Erhan Oztop
STS 7a
Reconoci-mientoconfiguración
de la mano
Análisis de larelación espacial
Mano- Objeto
de
del
AsociaciónPermisibilidad
objeto con Estado de la mano
Extracción de laspermisibilidadesdel objeto
Recono-cimientode la acción
Programasmotoresdel mano
Ejecuciónmotora
Integraciónde asociación
temporal
7b
F5canónico
AIP
M1
F5espejo
Característicasdel Objeto
Ubicacióndel objeto
ProgramaMotordel brazo
F4
MIP/LIP/VIP
Cor
teza
Vis
ual
cIPS
Deteccióndelmovimientode la mano
1. Análisis de la Entrada Visual
3. El Núcleo del Circuito Espejo
PF
PG
2. Generación de Alcance y Asimiento
Tres Esquemas Grandes del Modelo: Sistema Neuronal Espejo (SNE) Implementación con Redes de Neuronales Artificiales
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 16
Reconocimiento de la configuración de la mano 1
Mano Codificadapor Colores
Extracción de características
Primer Paso: El sistema � procesa la mano previamente marcada con colores y � genera un conjunto de características útiles para el
segundo paso.
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 17
Modelado de la Mano
Esquema realista de los huesos de la mano.
La mano es modelada con 14 grados de libertad.
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 18
Reconocimiento de la Configuración de la Mano 2Ajuste del Modelo tridimensional de la Mano
Resultado de la exctracción de características
Vector de Características
Minimización del error
El algoritmo ajuste del modelo de la mano por minimiza el error entre las características extraídas y el modelo
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 19
Brazo y Mano Virtuales y Simulación de Extensión y Prensión
Asimiento fuerte Oposición lateral
agarre tipo pinza
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 20
Datos de series temporales del asimiento fuerte
+: apertura; *: ángulo 1; x: ángulo 2; •: 1-despeje1; �:1-despeje2; �: velocidad; �: distancia.
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 21
Núcleo del Circuito Espejo
Neuronas Espejo(F5 Espejo)
Neuronas AsociativasPF (7b)
Realimentación espejo
Permisibilidad del objeto
Salida de las neuronas Espejo
Programamotor (F5 canónico)
Hand shape recognition & Hand motion detection
Hand-Object spatial relation analysis
Object affordance -hand state association
Object Affordances
Action recognition (Mirror Neurons)
Motor program
Motor execution
Mirror Feedback
Integrate temporal association
Motor program
F5canonical
F5mirror
Estado de la mano
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 22
Código Distribuido (”Coarse Coding")
7b
Realimentación espejo
Permisibilidad del objeto (AIP)
7a
STS
F5 Espejo
Programa Motor (F5 canónico)
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 23
Clasificación de una trayectoria
Las trayectorias dibujadas porla muñeca mientras se ase un objeto se muestran mediante trazos cuadrados, donde marcasconsecutivas indican la distancia recorrida a intervalos de tiempo constantes.
Modo en el cual la red clasificala acción como asimiento fuerte
Trayectoria vista desde tres ángulos diferentes →→→→
→→→→
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 24
Resolución de un asimiento fuerte y un agarre tipo pinza
(a)
(b)
asimiento fuerte
agarre tipo pinza
Brain Project
Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 25
Quo Vadis?
1) Tecnología: Aumentar la robustez y las tasas de aprendizaje de los esquemas, mediante la utilización de mejores algoritmos de aprendizaje pararedes de neuronas artificiales.
2) Neurociencia: Implementación de esquemas con redes de neuronas biológicamente plausiblescon el fin de replicar datos neurofisiológicos.
3) Aprender a reconocer variaciones de, y ensamblajes de, acciones familiares.
4) Imitación5) ¡Lenguaje!