modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche...
TRANSCRIPT
Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information
Myriam Chanceaux
24 novembre 2009
Mme Anne Guérin-DuguéM. Benoît Lemaire
Mme Mireille Bétrancourt Mme Karine Doré-Mazars M. Frédéric Alexandre
M. Thierry BaccinoM. Jean Caelen
Directeurs :
Rapporteurs :
Examinateurs :
Application à un environnement
complexe
Contexte et Problématique
Modélisation
Conclusions et Perspectives
Application à un environnement
simple
Plan
Soutenance Myriam Chanceaux 2 / 4224/11/2009
Soutenance Myriam Chanceaux 3 / 4224/11/2009
Processus ascendants
Processus descendants
Proche-Orient
Tâche de recherche d’information
Soutenance Myriam Chanceaux 4 / 4224/11/2009
Modélisation cognitive
Modéliser pour comprendre les processus cognitifs impliqués
Modéliser pour prédire le comportement des utilisateurs
Simulation de trajets oculomoteurs Recherche guidée par un but
Soutenance Myriam Chanceaux 5 / 4224/11/2009
Contexte
Image Saillance visuelle
(Treisman & Gelade, 1980) (Itti & Koch, 2000)
Recherche visuelle Guided search 4.0 (Wolfe,
2007) Area activation model
(Pomplun, 2007) (Navalpakkam & Itti,
2007)
Texte Lecture
EZ-Reader (Reichle et al, 1998)
SWIFT (Engbert et al., 2002)
LSA (Landauer, 2007)
Navigation CoLiDeS (Kitajima et al,
2000) Snif-Act (Pirolli & Fu, 2003)
EZ-Reader SWIFT Exemple de tâche : trouver un site avec
la date d'une pièce de théâtre Simulation des actions
Liens cliqués Pages abandonnées
Chaque lien a une valeur informative (Information Scent)
Chaque page a une valeur informative moyenne
Analyse de la sémantique latente (LSA) Landauer, 2007
Modèle cognitif computationnel de représentation des connaissances sémantiques en mémoire à long terme
A partir de grand corpus de texte 24 Millions de mots issus des articles du Monde de
l’année 1999 Matrice de co-occurrence entre les termes et les
documents et décomposition en valeurs singulières Représentation vectorielle des mots dans un espace
d’environ 300 dimensions Similarité entre mots ou groupes de mots mesurée par le
cosinus entre les vecteurs Proximité sémantique calculée avec LSA proche du
jugement humain
Soutenance Myriam Chanceaux 6 / 4224/11/2009
soupe
citron
chocolat
pharmacie
apport
plante
vigne
gibier
saveur
extrait
litre
poison
marmite
tonneau
floraison
jardinier
mouchecruchefeuillage
sueur
jardin
chasse
lingeréserve
sommeil
faiblesse
prairie
militaire
chagrin
commerce
jument
merveille
Corpus de
textes
Corpus de
textes
LSA
Soutenance Myriam Chanceaux 7 / 4224/11/2009
Contexte et Problématique
Modélisation
Conclusions et Perspectives
Application à un environnement
simple
Application à un environnement
complexe
Expérimentations
Ajustement des paramètres et
validation
Expérimentations
Ajustement des paramètres et
validation
Soutenance Myriam Chanceaux 8 / 4224/11/2009
Interaction des processus
Soutenance Myriam Chanceaux 9 / 4224/11/2009
Contexte et Problématique
Modélisation
Conclusions et Perspectives
Application à un environnement
simple
Application à un environnement
complexe
Expérimentations
Ajustement des paramètres et
validation
Expérimentations
Ajustement des paramètres et
validation
Soutenance Myriam Chanceaux 10 / 4224/11/2009
Exemple de page
Objectif : Trouver l’instrument de musique le plus petit
Objectif : Trouver le poisson le plus dangereux
Fixation courante sur baleine
Soutenance Myriam Chanceaux 11 / 4224/11/2009
Processus modélisés
Visuel Acuité Saillance
Sémantique Plus les éléments sont
proches spatialement plus ils le sont sémantiquement
Mémoire Mécanisme d’oubli
Intégration Somme pondérée
+ + =
Soutenance Myriam Chanceaux 12 / 4224/11/2009
Variable Memory Model Arani, 1984 ; Horowitz, 2006
2 paramètres Encodage θ Récupération φ À la ième époque le modèle “se
souvient” de l’item vu à la kième époque avec la probabilité
Pi,k= θ φi-k
Tâche de recherche visuelle θ=0.82 φ=0.86
Soutenance Myriam Chanceaux 13 / 4224/11/2009
Contexte et Problématique
Modélisation
Conclusions et Perspectives
Application à un environnement
simple
Application à un environnement
complexe
Expérimentations
Ajustement des paramètres et
validation
Expérimentations
Ajustement des paramètres et
validation
Soutenance Myriam Chanceaux 14 / 4224/11/2009
Expérimentations
Méthode 18 pages (recherches) par participant 3 conditions visuelles (intra-sujet) 2 conditions sémantiques (inter-sujet)
Deux versions Mots de taille variable (de 13 à 19)
43 participants Mots de couleur variable (rouge et noir)
29 participants
Soutenance Myriam Chanceaux 15 / 4224/11/2009
Processus expérimental
Soutenance Myriam Chanceaux 16 / 4224/11/2009
Contexte et Problématique
Modélisation
Conclusions et Perspectives
Application à un environnement
simple
Application à un environnement
complexe
Expérimentations
Ajustement des paramètres et
validation
Expérimentations
Ajustement des paramètres et
validation
Soutenance Myriam Chanceaux 17 / 4224/11/2009
Besoin de variables « haut-niveau » pour comparer les données et ajuster les paramètres du modèle Nombre de mots vus
avant d’atteindre la cible Taux de saccades
progressives (saccades se rapprochant de la cible)
Exemple Quelle est la plante la
plus piquante? Cible : Cactus
7 mots
Tx : 0.75
7 mots
Tx : 0.625
5 mots
Tx : 0.71
Soutenance Myriam Chanceaux 18 / 4224/11/2009
Ajustement des paramètres
Pondération des processus αV (visuel), αM (mémoire) et αS
(sémantique) tels que αV + αM + αS =1
Paramétrisation de la mémoire θ (encodage) et Ф (récupération)
24/11/2009 Soutenance Myriam Chanceaux 19 / 42
Résultats des comparaisonsExpé Taille
Expé Couleur
Soutenance Myriam Chanceaux 20 / 4224/11/2009
Contexte et Problématique
Modélisation
Conclusions et Perspectives
Application à un environnement
simple
Application à un environnement
complexe
Expérimentations
Ajustement des paramètres et
validation
Expérimentations
Ajustement des paramètres et
validation
Soutenance Myriam Chanceaux 21 / 4224/11/2009
Matériel expérimental
Paragraphes de texte
Deux organisations des blocs En lignes et en
colonnes En pêle-mêle
Avec titre Sans titre
Soutenance Myriam Chanceaux 22 / 4224/11/2009
Modélisation à deux niveaux
Au niveau des blocs Quel sera le prochain bloc?
Premières visites Revisites
Au niveau des mots Quand quitte-t-on le bloc? Lecture du texte
Soutenance Myriam Chanceaux 23 / 4224/11/2009
Niveau des blocs : 1ères visites
Parcours planifié Gist Visite séquentielle de tous les blocs 2 paramètres pour simuler les préférences
culturelles Préférence vers le bas Préférence vers la droite
Soutenance Myriam Chanceaux 24 / 4224/11/2009
Niveau des blocs : revisites
Plusieurs processus en compétition à intégrer Processus sémantico-mnésique - SMem
Mécanisme d’oubli (IOR, VMM) Tendance à retourner vers les blocs
oubliés Intérêt des blocs (LSA)
Tendance à retourner vers les blocs intéressants
Processus visuel - Vis Acuité visuelle
Tendance à aller vers les blocs proches spatialement
Soutenance Myriam Chanceaux 25 / 4224/11/2009
Niveau des mots
Modèle simple de lecture mot à mot du bloc Étiquetage morpho-syntaxique des mots avec Tree-Tagger : omission des
mots-outils Continuer ou arrêter la lecture? Similarité LSA entre la séquence de mots traités et le thème de la recherche Abandon du paragraphe s’il est très proche du thème ou pas pertinent du
tout
Thème : Victoire des footballeurs
Niveau des mots : Titre
Organisateur paratextuel Oriente la lecture
Prise en compte du titre dans le modèle en doublant son poids
Calcul de similarité entre le thème « Hausse de la bourse » et
« Finance Finance bourse tokyo, etc »
Soutenance Myriam Chanceaux 26 /4224/11/2009
Soutenance Myriam Chanceaux 27 / 4224/11/2009
Exemple de trajet simulé
Thème de recherche : Observation des planètes
Soutenance Myriam Chanceaux 28 / 4224/11/2009
Contexte et Problématique
Modélisation
Conclusions et Perspectives
Application à un environnement
simple
Application à un environnement
complexe
Expérimentations
Ajustement des paramètres et
validation
Expérimentations
Ajustement des paramètres et
validation
Soutenance Myriam Chanceaux 29 / 4224/11/2009
Matériel expérimental
Sélection de 20 thèmes de recherche Observation des planètes, aide aux réfugiés, réchauffement
climatique, conflit en Irak, réforme de la justice, etc. 7 paragraphes par page
2 paragraphes fortement associés au thème (Association Forte, AF) 2 paragraphes moyennement associés (Association Faible, Afa) 3 paragraphes sans lien (Aucune Association, AA)
Une photographie (reliée à un AF ou AA) 2 organisations :
Lignes et colonnes (3 blocs avec un fond coloré) 38 participants
Pêle-mêle 27 participants (15 Avec Titre et 12 Sans Titre)
Soutenance Myriam Chanceaux 30 / 4224/11/2009
Processus expérimental
Premières analyses
Soutenance Myriam Chanceaux 31 / 4224/11/2009
Soutenance Myriam Chanceaux 32 / 4224/11/2009
Contexte et Problématique
Modélisation
Conclusions et Perspectives
Application à un environnement
simple
Application à un environnement
complexe
Expérimentations
Ajustement des paramètres et
validation
Expérimentations
Ajustement des paramètres et
validation
Soutenance Myriam Chanceaux 33 / 4224/11/2009
Optimisation des intervalles de variation des paramètres à partir de calculs de distance de Levenshtein Préférence vers le bas Préférence vers la droite
Ajustement des paramètres (1)
N
U
Z
N2
U2
Z2
Soutenance Myriam Chanceaux 34 / 4224/11/2009
Ajustement des paramètres (2)
Prise en compte du titre 2 paramètres : 1ère fixation 2nde fixation
Soutenance Myriam Chanceaux 35 / 4224/11/2009
Matrices de transition
Participants Modèle
Comparaisons données empiriques et simulées
Au niveau des blocs : Lignes & colonnes
Soutenance Myriam Chanceaux 36 / 4224/11/2009
Comparaisons données empiriques et simulées
Au niveau des blocs : Pêle-mêle
Directions des transitions
Soutenance Myriam Chanceaux 37 / 4224/11/2009
En lignes et en colonnes Pêle-mêle
Comparaisons données empiriques et simulées
Au niveau des blocs : Revisites
Taux de blocs revisités selon le type de bloc (Association Forte, Association Faible ou Aucune Association)
Soutenance Myriam Chanceaux 38 / 4224/11/2009
Sans Titre Avec Titre
10 fixations, 31 mots → tx = 0.32
Comparaisons données empiriques et simulées
Au niveau des mots
Taux de lecture (nombre de
fixations / nombre de mots) selon le type de bloc (Association Forte, Association Faible ou Aucune Association)
Soutenance Myriam Chanceaux 39 / 4224/11/2009
Contexte et Problématique
Modélisation
Conclusions et Perspectives
Application à un environnement
simple
Application à un environnement
complexe
Expérimentations
Ajustement des paramètres et
validation
Expérimentations
Ajustement des paramètres et
validation
Soutenance Myriam Chanceaux 40 / 4224/11/2009
Conclusions
Modèle qui permet de simuler la scrutation d’une page lors d’une tâche de recherche d’information
Prise en compte de différents types d’information
Travail pluridisciplinaire Premières simulations permettant une
base solide pour de futurs travaux
Soutenance Myriam Chanceaux 41 / 4224/11/2009
Modélisation des durées des fixations Saccades exploratoires Prise en compte de processus décisionnels,
permettant l’arrêt de la recherche Intégration des différences inter-individuelles Ajout d’un système de saillance visuelle plus
complexe et traitement de la photo Application à des environnements encore plus
complexes et plus proches de réelles pages Web
Perspectives
Merci de votre attention