transparents des présentations

Laboratoire d'InfoRmatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon

http://liris.cnrs.fr

Quelques exemples de projets de recherche impliquant chercheurs en sciences cognitives

et chercheurs en informatique

Journée Sciences Cognitives et Informatique – 10 mai 2011

Nathalie Guin - Projet CASES

!  Connaissances Abstraites et/ou Spatialement Evoquées en Situation !  Contexte :

�  Financement : ACI "Cognitique" �  Durée du projet : 3 ans �  Partenaires :

�  LIRIS �  Laboratoire de psychologie cognitive de l’Université

de Provence

2 Journée Sciences Cognitives et Informatique – 10 mai 2011

Question(s) de recherche

!  Pour résoudre un problème, est-il préférable d'évoquer et d'adapter une connaissance qui elle-même contient des informations liées au contexte ou est-il préférable d'avoir recours à une connaissance dégagée de ces aspects ? !  Modélisation de l’expertise de résolution de

problèmes �  Raisonnement à partir de classes de problèmes �  Raisonnement à partir de cas


Quels apports des chercheurs en informatique et en psychologie cognitive ? (1)

!  Psycho : état de l’art sur l’expertise �  capacité du système cognitif à avoir recours

simultanément à des stratégies différentes !  Info et psycho : formulation d’hypothèses sur

l’utilisation conjointe de connaissances abstraites et de connaissances contextualisées !  Psycho : expérimentation pour tester ces

hypothèses dans le contexte de la résolution de problèmes d’échecs, fondée sur le temps de résolution



!  Info : conception et implémentation d’un modèle de raisonnement utilisant conjointement classes de problèmes et cas, appliqué aux échecs !  Psycho : expérimentation pour valider le modèle en

comparant les temps de résolution du système et des sujets humains, toujours sur le domaine des échecs


Quels résultats ?

!  Un nouveau modèle de raisonnement en résolution de problèmes, combinant connaissances contextualisés et connaissances abstraites !  Avantages de la collaboration :

�  Pour les chercheurs en psychologie cognitive : �  des questions plus précises permettant de nouvelles

expérimentations �  Pour les chercheurs en informatique :

�  un modèle fondé sur la connaissance du raisonnement humain, et validé par des expérimentations


Nathalie Guin - Projet AMBRE

!  Apprentissage de Méthodes Basé sur le Raisonnement à partir de l'Expérience !  Contexte :

�  Financement : programme interdisciplinaire STIC-SHS "Société de l'information" du CNRS

�  Durée du projet : 3 ans �  Partenaires :

�  LIRIS �  Laboratoire de psychologie cognitive de l’Université

de Provence �  Thèse de Sandra Nogry



!  Comment faire apprendre des connaissances abstraites (classes de problèmes) à partir d’un processus de résolution de problèmes utilisant des cas (problèmes prototypes) ? !  Objectif : conception d’un EIAH permettant

l’enseignement de méthodes



!  Info : proposition du « cycle AMBRE » fondé sur le raisonnement par analogie pour l’apprentissage d’une méthode de résolution basée sur des classes de problèmes !  Psycho : résultats sur l’apprentissage à partir

d ’ e x e m p l e s i s s u s d e l ’ é t a t d e l ’ a r t e t d’expérimentations complémentaires �  Appropriation des exemples

�  Pour des novices, il vaut mieux faire analyser que faire résoudre �  Choix des exemples : plus proche contraste

�  Choix des problèmes à résoudre : d’abord un problème proche, puis un problème transfert



!  Info : conception et implémentation d’un EIAH AMBRE appliqué au domaine des problèmes arithmétiques (CE1-CE2) !  Psycho : évaluation du logiciel

�  évaluation de l’utilisabilité en laboratoire �  évaluation de son utilité (impact sur l’apprentissage)

�  une méthode comparative �  en situation réelle d’utilisation


Quels résultats ?

!  Un principe d’apprentissage : le cycle AMBRE !  Un EIAH AMBRE appl iqué aux problèmes

arithmétiques (CE1-CE2) très apprécié des élèves et des enseignants !  Avantages de la collaboration :

�  Pour les chercheurs en psychologie cognitive : � des questions plus précises permettant de nouvelles

expérimentations � une méthode pour évaluer l’utilité des EIAH

�  Pour les chercheurs en informatique : � Un EIAH fondé sur des études en didactique des mathématiques

et favorisant le déclenchement de processus d’apprentissage � Un principe d’apprentissage validé par l’expérimentation


Audrey Serna – Projet AILISA

!  Contexte : � Projet AILISA : Ingénierie du Lien Social et Médical,

de l’Autonomie et de la Sécurité des Personnes Âgées � Financement : Allocation doctorale Région Rhône-

Alpes � Thèse en sciences cognitives et informatique � Laboratoire TIMC-IMAG (Grenoble) et laboratoire

DOMUS, Université de Sherbrooke (Canada) � Collaboration :

� Institut de Réadaptation de Montréal (Canada), collaboration avec des ergothérapeutes

� Service de gérontologie de l’hôpital Broca à Paris



!  Problématique de recherche


Modélisation de

l’utilisateur

Interaction avec

l’utilisateur

FAVORISER L’AUTONOMIE DE L’UTILISATEUR DANS LES ENVIRONNEMENTS INTERACTIFS

Comprendre et modéliser l’utilisateur: -‐  ses comportements -‐ ses caractéristiques cognitives -‐ ses handicaps

Interagir pertinemment : -‐  Adapter le système au contexte -‐  Intégrer les modèles utilisateurs -‐  Privilégier l’ergonomie

EIS

➡ Perte d’autonomie / besoin d’assistance

ne confronte pas ses résultats avec les objectifs fixés

pas de conscience des erreurs ou absence de correction

Environnements intelligents pour la santé et l’autonomie (EIS): Aides technologiques destinées à améliorer la sécurité et le confort

des personnes


Vieillissement réussi ou aggravé par une maladie (MCI, maladie d’Alzheimer)

!  Atteintes des fonctions cognitives principales: � Mémoire, Perception, Langage

!   Troubles de l’attention !  Dégradation des fonctions exécutives:

� Prise de décision, Planification, Initiation, Exécution, Contrôle de l’action

CONTEXTE: LA PERTE D’AUTONOMIE

l Environnements intelligents pour la santé à système d’assistance à la tâche pour les personnes en perte d’autonomie

15

•  Développer des modèles computationnels des processus cognitifs

•  Simuler et prédire le comportement humain

➡  Besoin de modèles «profonds»

modélisation cognitive =

(Cooper, 2002)

Apports des chercheurs en informatique

!  Approfondissement d’un modèle cognitif théorique !  Implémentation informatique du modèle


(Cooper, 2002)

Contributions

!  Protocole expérimental : observation et analyse des difficultés des personnes vieillissantes dans le quotidien (problèmes de planification et de contrôle) !  Cadre théorique : modélisation des processus cognitifs !  Modèles computationnels : simulation des activités

quotidiennes et reproduction des erreurs typiques : � Modèle des processus mnésiques et attentionnels (ACT-R) � Modèle des processus de contrôle exécutif


scénarios normaux et anormaux

Phase d’apprentissage HIS

Phase d’aide à la tâche

comportement attendu

HIS comportement

réel

assistance adaptée

Magali Ollagnier-Beldame Questions de recherche


Comment des sujets construisent-ils du

sens ensemble lorsqu’ils sont confrontés

à leurs traces numériques ?

Comment concevoir des systèmes à base

de traces soutenant la construction

du sens ?

M. Ollagnier-Beldame – Questions de recherche


« Com-prendre » l’information

Collaborer S’approprier le support numérique

USAGES

Concevoir des systèmes ouverts et adaptatifs

Spécifier

Observer

Cognition distribuée

[Hutchins]

Cognition située

[Suchman]

Comment des sujets construisent-ils du

sens ensemble lorsqu’ils sont confrontés

à leurs traces numériques ?

Comment concevoir des systèmes à base

de traces soutenant la construction

du sens ?

M. Ollagnier-Beldame - Projets transdiciplinaires choisis


Thèse en sciences cognitives mention informatique (2002-2006) « Traces d’interactions et processus cognitifs en activité conjointe » Co-encadrement A.Mille (PR en 27ème section CNU au LIRIS) C.Brassac (MC HDR en 16ème section CNU au LabPsyLor) + encadrement expé.: S.Metz (MC 16ème), ICAR-ENS Lyon Séjours (8 + 5 mois) à TECFA – Univ. de Genève. Sc. Éducation / Informatique Soutenance, 3 rapporteurs : 27ème, 16ème et 70ème sections du CNU

Post doctorat en ergonomie cognitive (2008-2009) « Activité collaborative médiée et traces d'interactions » Projet PROCOGEC (2007-2010) Knowings : éditeur logiciels collaboratifs LIRIS, G-Scop, Syscom : informatique ESC Chambéry : KM, ergonomie GdF : partenaire utilisateur

Apports des chercheurs en informatique

!  Théorie de la « trace informatique » !  Méthodologie pour la spécification des systèmes

� Exigences fonctionnelles � Interfaçage


Apports des chercheurs en sciences cognitives

!  Théories de l’activité humaine !  Méthodologie d’analyse des usages


Situations réelles de co-conception

Recueil de données qualitatives !   Enregistrements vidéo et audio !   Transcriptions

Analyse !   De l’activité en « 3ème personne »

� Ex. Clinique de l’activité [Brassac]

!   De l’expérience subjective en « 1ère personne » � Ex. Cours d’action [Theureau]

Co-rédaction asynchrone - GdF

Résultats Doctorat

• Classification des « systèmes traçants » • Formalisation des traces brutes

• Propriétés des traces Ex. : Appartenance, persistance

• Construction du sens

• Activité productive / constructive [Revue Activités, 2008], [Journal of Human Mediated Interactions, to appear]

• Appropriation du système [Revue du Management Technologique, 2008], [International Journal of KM, 2010]


Résultats Post-doctorat

• Formalisation des traces brutes

• Schèmes d’usage Ex. : Partage, modelage [International Journal on Computer Science and Information Systems, accepted]

•  Visualisation de traces •  Spécification d’un nouvel outil

Développement logiciel par Knowings


Olivier Georgeon – Projet ABSTRACT �  Financement :

(Réseau d’excellence HumanIST)

�  Durée du projet : 3 ans

�  Partenaires : �  IFSTARR (Institut français des sciences et

t e c h n o l o g i e s d e s t r a n s p o r t s , d e l'aménagement et des réseaux) LESCOT (Laboratoire d’Ergonomie et de Sciences Cognitives pour les Transports).

�  Université Lumière Lyon 2. Laboratoire LEACM.


Question de recherche

!  Modélisation du conducteur automobile à partir de traces d’activité


Angle volant, Position pédales, Vitesse, Clignotant, regards (Oculomètre), distance de suivi (Télémètre), Cartographie (GPS), Bouton actionnable, Vidéos

Quels apports des chercheurs en informatique ?

!  Notion de traces d’activité � Mille (2006). From case-based reasoning to traces-based

reasoning. Annual Reviews in Control, 30(2), 223-232.

!  Outils d’ingénierie des connaissances � Outils de visualisation interactive. � Outil de gestion des connaissances (ontologies). � Outils de calcul et d’inférence symbolique.

!  Notions épistémologiques � Jean Charlet (2005). L’ingénierie des connaissances, entre

science de l’information et science de gestion.


Quels apports des chercheurs en Sc Co ?

!  Notions épistémologiques �  Le Moigne, (1995). Les épistémologies constructivistes :

Presse Universitaire de France.

! Méthologie expérimentale !  Expertise d’analyse


Méthodologie


Données brutes

Trace collectée

Trace modélisée

Modèles d'activité

Analyse

Activité

Quels résultats ? � Méthodolgie

�  Georgeon, Mille, Bellet, Mathern, & Ritter, (2011). Supporting activity modelling from activity traces. Expert Systems.

� Prototype logiciel �  http://liris.cnrs.fr/abstract/

� Résultats d’analyse �  Henning, Georgeon, & Krems, (2007). The quality of behavioral

and environmental indicators used to infer the intention to change lanes. International Driving Symposium on Human Factors in Driver Assessment, 231-237. Stevenson, Washington.

�  Georgeon, Morgan, Horgan, & Braddock, (2010). Process Modeling for the Study of Non-State Political Violence. Annual Conference on Behavior Representation in Modeling Simulation. Charleston, NC.

� Résultats qui auraient pu être obtenus sans cette collaboration ? Aucun.


Olivier Georgeon – Projet IDEAL �  Financement :

(Programme retour Post-Doc)

�  Durée du projet : 3 ans

�  Partenaires : �  Pennstate.

Department of information sciences and technology.

�  Sahra Lawrence College. New York (USA) Department of computer sciences and robotics.

�  Ouvert à propositions de collaborations…


Question de recherche

!  Implémenter un mécanisme artificiel d’apprentissage DEveloppementAL (IDEAL).

�  Etayer les hypothèses émergentiste … �  Gibson (1979). The ecological approach to visual perception. �  Varela, Thompson, & Rosch, (1991). The Embodied Mind:

Cognitive Science and Human Experience. �  … et constructiviste de la cognition.

�  Piaget (1937). La construction du réel chez l'enfant. �  Norman, J. (2002). Two visual systems and two theories of

perception: An attempt to reconcile the constructivist and ecological approaches.


Quels apports des chercheurs en informatique ?

!   Notion de traces d’activité �  Mille (2006). From case-based reasoning to traces-based reasoning.

Annual Reviews in Control, 30(2), 223-232.

!   Implémentations de référence �  Drescher, (1991). Made-up minds, a constructivist approach to

artificial intelligence. Cambridge: MIT Press. �  Oudeyer, & Kaplan (2007). Intrinsic motivation systems for

autonomous mental development. IEEE Transactions on Evolutionary Computation, 11(2), 265-286.

!   En contraste par rapport à : �  Newell, (1990). Unified Theories of Cognition. Cambridge, MA:

Harvard University Press. �  Brooks, (1991). Intelligence without representation. Artificial

Intelligence Journal, 47, 139–159.


Quels apports des chercheurs en Sc Co ?

! Neuro-anatomie fonctionnelle. �  Cotterill, R. (2001). Cooperation of basal ganglia, cerebellum,

sensory cerebrum and hippocampus: Possible implications for cognition, consciousness, intelligence and creativity. Progress in Neurobiology, 64, 1-33.


INTERACTON TIMELINE

Activity at hand

Past activity

SENSORIMOTOR SYSTEM

CHEMICAL RECEPTORS

TOUCH RECEPTORS

VISUAL RECEPTORS

MOTION EFFECTORS

MANIPULATION EFFECTORS

SEQUENTIAL SYSTEM

HIERARCHICAL SEQUENTIAL SENSORIMOTOR MEMORY

PREMOTOR FOLLOWUP

SENSORIMOTOR SEQUENTIAL INTEGRATION R

efle

x

Dyn

amic

fe

atur

es

Record Activate

Upd

ate

Act

ivat

e

STATIC SYSTEM

STATIC FEATURE MEMORY

MOTIVATIONAL ASSOCIATIVE SYSTEM

Static features

Rec

ord

/ Ref

resh

Inhibit

MOTIVATIONAL STATE

Update

Pro

pose

A

ssoc

iate

x o

+

EYE SACCADE EFFECTORS

… …

Implémentation !   Algorithme d’apprentissage séquentiel intrinsèquement motivé :

Intrinsically motivated Schema Mechanism (http://e-ernest.blogspot.com/)


Alain Mille : présentation de la thèse de Luc Damas !  Etude théorique et pratique de

la production d'effets d'amorçage de la mémoire Application à l'assistance à la remémoration chez l'utilisateur d'un système informatique pour une tâche d'apprentissage

! Thèse de doctorat, spécialité informatique, Université Claude Bernard, Lyon 1, 15/12/2003 !  Direction : Alain Mille, Rémy Versace


Problématique

!  Cadre : assistance à l'utilisateur ! Constat : la mémoire est omniprésente. !  La remémoration permet la poursuite de la

tâche. !  Idée : Assister une tâche en assistant la

remémoration � 1er effet bénéfique : utile à court terme � 2ème effet bénéfique : renforcement à long

terme ! Problématique : Est-il possible d’assister la

remémoration d’un utilisateur ?

Idée

Utilisateur

Outil informatique utilisé

Système informatique

Alter-ego de l'tilisateur

transmet

interactions observe

Assistant

1 amorce

2

remémoration 3

4

simulateur de

mémoire

Validation et évaluation

!  Validation du simulateur de mémoire � Expérimentations � Simulations

!  PUIS ! Évaluation de l'assistance basée sur ce

principe � Mise en oeuvre de l’alter-ego � Expérimentation

! Approche incrémentale

Modélisation de la mémoire

! Modèle épisodique à traces multiples � Conteneur d'expériences

� Succession de traces � Processus

� Ecphorie synergique [Tulving, 1973]

! Modèle choisi : � Minerva 2 [Hintzman, 1986]

Minerva 2

sonde

écho

activations

trace

tem

ps

mémoire

intensité

Exemple : catégorisation Codage de

l’item Codage de la catégorie

C2X1

F9B4

F1G4

A9B4

C3X2

C5X8

V3E1

Sonde C7R1

Proto 1 C3X1

Proto 2 F9G4

J. Lallouette, H. Berry

EPI Combining/Beagle INRIA Rhône-Alpes LIRIS – UMR 5205 CNRS INSA UCBL 69603 Villeurbanne France

Sch. Physics & Astronomy / Sch. Electrical Engineering Tel Aviv University, 69978 Tel Aviv - Israel

Wave propagation in glial cell networks : the other network of the brain

Y. Hanein, E. Ben Jacob

Glial cells : the other cells in the brain !   Neurons are only 50% of the cells in our

brain !   Other half = coined ‘glial cells’ (to glue) late

19th – early 20th century !   Until 1990’s glial cells are only support for

neurons (nutrients, oxygen, immunology)

!   Recently, all this started to change � Glial cells form interconnected networks with

c h e m i c a l w a v e s a s i n t e r c e l l u l a r communications

� Glial cells interact with neurons at “tripartite synapses” where

� Glia regulates neuronal information transfer �  Neuronal information transfer triggers glia-glia

communication

neuron

glia

Glial cells : the other cells in the brain neuron

glia

presyn. neuron

postsyn. neuron

glia

!   Neurons are only 50% of the cells in our brain

!   Other half = coined ‘glial cells’ (to glue) late 19th – early 20th century

!   Until 1990’s glial cells are only support for neurons (nutrients, oxygen, immunology)





communication

Glial cells : the other cells in the brain neuron

glia ≈10 m/sec

≈10 m/sec

≈10 µm/sec

!   Neurons are only 50% of the cells in our brain

!   Other half = coined ‘glial cells’ (to glue) late 19th – early 20th century

!   Until 1990’s glial cells are only support for neurons (nutrients, oxygen, immunology)





communication

!   The issue : experiments only yield hypotheses on these phenomena where each element is disconnected from the other

!   Our goal : combine computer simulations (Berry / Ben Jacob) with experimental investigations (Hanein) in order to � test experimental-based hypothesis (predict new ones) � glue all these separate elements into a coherent picture

!   Already achieved � neuron è glia communications [De Pittá et al. J Biol Phys, 2009] � glia è neuron regulation [De Pittá et al. submitted] � glia è glia communication in 1d [Goldberg et al. PLoS Comp Biol,

2010]

!   Current work : � glia è glia communication in 3d : Effect of the topology of the

connectivity network - P(k) , x - on the glia-glia communication (Jules Lallouette, Master 2 CODE)

Our research

presyn. neuron

postsyn. neuron

glia

Funding

!  Collaboration is 5 years old !  No funding up to now !  Under review : application to a Research Networks

Program in Computational Neurosciences and Computational Cognitive Sciences (High Council for Scientific and Technological Cooperation between France-Israel) : only travels / equipment (no salary) !  Jules Lallouette application for PhD at ED InfoMath

this year.

transparents des présentations

Documents