1
Concepts liés au son,usage du son dans les IHM, mon projet de recherche
Sylvain DaudéEquipe IIHM7 mars 2002
2
Plan de l ’exposé
Concepts sur le son
Usage de sons dans les IHM
Mon projet de recherche
3
De la vibration acoustiqueau signal sonore
• Son = sensation auditive engendrée par une vibration acoustique
• Enregistrement de la vibration par un capteur de pression
=> pression en fonction du temps = signal sonoreassimilé à la vibration acoustique
pression
temps
4
Mécanismes de la « sensation auditive » (1/3)
• Mécanismes mis en jeu dans la sensation auditive :
• localisation de la source du son
• azimut = direction dans un plan horizontal• élévation = direction dans un plan vertical• distance• diffusion, orientation, occlusion, dynamique des sources …
=> séparation de sources provenant d’endroits différents
• processus actif : mouvements de la tête, « effet cocktail »
5
Mécanismes de la « sensation auditive » (2/3)
• Mécanismes mis en jeu dans la sensation auditive :
• identification de la source
• comparaison du son à des archétypes de sources sonores + recherche de corrélation entre les sources
=> séparation des sources provenant du même endroit(« effet cocktail »)
=> classification des sources en catégories => assignation d’une sémantique aux sources
• intervention des autres sens
6
Mécanismes de la « sensation auditive » (3/3)
• Mécanismes mis en jeu dans la sensation auditive :
• analyse qualitative du son
• hauteur (fréquence du signal sonore)
• timbre = texture sonore• couleur (composition en fréquences)• aspects dynamiques (attaque, extinction, évolution fréq.)
• intensité sonore (amplitude du signal sonore)
• composition des sons (enchaînement temporel, consonance)
7
Apport du sonpar rapport à la vision (1/2)
• Canal supplémentaire :
• plus d’informations à la fois• décharge cognitive lorsque plusieurs canaux sensoriels sont utilisés• média d ’ambiance :
• disponible en permanence• ne nécessite pas d ’action physique• zone de perception plus étendue que devant un écran par ex.
• utile lorsque les autres canaux sont saturés ou indisponibles(ex : canal visuel : petits écrans, temps de brouillard, cockpits)
8
Apport du sonpar rapport à la vision (2/2)
• Outil d ’analyse
• Timbre + localisation = information multidimensionnelle
=> analyse de données multidimensionnelles
• Analyse de corrélations temporelles
9
Les limites du son
• Pas de possibilité d’arrêt sur image (par ex, difficile de comparer deux sons longs)
• Imprécision de l’analyse du son pour les sons non parlés (en général, nécessité de revenir à l ’information première)
• Fatigue pour les sons fréquents ou répétitifs
=> à utiliser avec modération et à propos
10
Représentationsdu son (1/3)
• Représentation temporelle = signal sonore
+ représentation utilisable pour l’enregistrement et la synthèseaccès à l’intensité et au temps
- pas d ’accès à la hauteur ni au timbre
Solution : faire intervenir la fréquences
amplitude
temps
11
Représentationsdu son (2/3)
• Représentation fréquentielle
+ Représentation fidèle et réversibleOpérations mathématiques facilitéesAccès à la hauteur (= fréquence)
- Disparition du tempsInstabilité par rapport à la représentation temporelleInadaptation au temps réel
Solution : Faire intervenir à la fois le temps et la fréquence
amplitude (complexe)
fréquence
12
Représentationsdu son (3/3)
• Représentation temps-fréquence
+ « Visualisation » du son(hauteur, timbre, intensité, temps)
- Représentations spécialisées :
• en visualisation (non linéaires : WignerVille…)• en traitement du signal (linéaires : ondelettes…)
Nécessité d ’un compromis dans les échellestemps-fréquence (Heisenberg)
fréquence
temps
13
Ex 1 : représentation temps-fréquence de sons périodiques
Son de clarinette La fondamentale de ce son
Fondamentale
Deux processus perceptifs concurrents pour la hauteur :
• la fréquence de la fondamentale (ex : son de la fondamentale)• l’intervalle entre les harmoniques (ex : transistors)
Harmoniques= fréquencesmultiples de lafondamentale
14
Ex 2 : représentation temps-fréquence de sons voisés
i é è
Fondamentale = hauteur duson (partie voisée)
Formants déterminent lavoyelle (leur répartitiondépend du sexe et du registre)
Partie bruitée instable,étalée en fréquences=> hauteur ambiguë
p t k
Voyelles :
Consonnes :
15
Ex 3 : représentation temps-fréquence d’autres sons
Son de percussion : étalé en fréquence, pas de sensation nette de hauteur
Illusion de Shepard-Risset : ambiguïté dans la perception de la hauteur
16
Plan de l ’exposé
Concepts sur le son
Usage de sons dans les IHM
Mon projet de recherche
17
Usage du sondans les IHM
Son en entrée : information ou bruit
• traitement de signaux sonores
Son en sortie : [Pressing, 1997]
• artistique (informatique musicale)• environnemental (jeux, réalité virtuelle)• informatif (monitoring, feedback, auralisation)
Hors IHM : stockage d ’enregistrements, psycho-acoustique...
18
Classification des sonsinformatifs (1/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information = sonification
• Synthèse de parole
19
Classification des sonsinformatifs (2/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information = sonification
• Auditory Icons (Gaver) : sons analogiques
+ intuitif
- difficile à réaliser techniquement, design
20
Classification des sonsinformatifs (3/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information = sonification
• Earcons (Blattner) : sons arbitraires organisés selon une grammaire arbitraire
+ simple à réaliser
- nécessité d’apprentissage, grammaire limitée
21
Classification des sonsinformatifs (4/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information= sonification
• Fonction de correspondance de paramètres :transfert de la structure de l’information vers la structure du son
+ sonification la plus proche de l ’information
- paramètres structurels significatifs dans l ’infoet dans le son difficiles à trouver, au cas par cas
22
Le son 3Ddans les IHM
La spatialisation de sons en IHM peut avoir pour but :
• de présenter plusieurs sources grâce à l ’effet cocktail
• de définir des sons réalistes (ex : réalité virtuelle)
• de permettre une métaphore (ex : métaphore de l’horloge, Brewster)
• de prolonger virtuellement le monde réel(ex : RA, systèmes pour aveugles)
23
Plan de l ’exposé
Concepts sur le son
Usage de sons dans les IHM
Mon projet de recherche
24
Projet de recherche
• Earcons + Phicons = Phearcons
• Définitions :
• Earcons (Ear Icons, Blattner) :
messages audio non parlés utilisés dans l’interface machine-homme pour donner à l’utilisateur des informations sur des objets, des interactions ou des opérations de l’ordinateur
• Phicons (Physical Icons) :
objets physiques permettant la manipulation d ’objets virtuels
25
Projet de recherche : objectifs
• Concevoir et développer une plate-forme qui permet :
• L’association entre un concept du domaine et un objet physique• Lien dynamique et explicite entre le monde numérique et le monde réel
• L’association entre un concept du domaine et une “sonification”• Conception de l’interface en sortie
• L’association entre un objet physique et une “sonification”= modification du rendu sonore par manipulation d’objets physiques
• Conception de l ’interface en entrée
26
Exemples d’application
Queue d’impression
Niveau sonore chez Maman
Trafic sur l’A7
Niveau sonore cafet
• Tâches de “monitoring”
• Média d’ambiance
27
Exemples d’application
• Tâches de “monitoring”
• Media d’ambiance + effet cocktail
28
Exemples d’application
• Tâches de “monitoring”
• Intérêts :
• Manipulation des sources : mise en avant d’une source quand nécessaire (exemple de la tasse à café)
• Mémorisation accrue car l’association est faite par l’utilisateur
29
Exemples d’application
• Jeu augmenté
• Réalité augmentée
• Spatialisation du son traduisantle déplacement effectué par l ’enfant
30
Exemples d’application
• Musique
Objet physique= instrument de musique paramétrable
31
Plate-forme à concevoir
• Flexibilité
• Choix des objets physiques • Reconnaissance de la position des objets dans l ’espace
• Choix des sources d’informations• Liens avec des applications existantes
• Choix des sonifications
32
Plate-forme à concevoir
• Définition des liens entre objets physiques, sonificationet concept du domaine :
• Lien (objet physique, concept du domaine)
• Multimodalité : paradigme du mets çà là• Définition par parole = « cet objet est le niveau sonoredans la cafet » + geste de désignation de l ’objet
• Lien (concept du domaine, sonification) : ???
• Lien (objet physique, sonification) : ???
33
Projet de recherche :étapes de travail
• Etat de l’art : applications, sonification etc.
• Expérimentations fréquentes magicien d’Oz dans le playground
• Espace de conception : caractéristiques pertinentes
• Lien avec le processus de visualisation (thèse Fred)
• Conception et développement de la plate-forme
34
Projet de recherche : exemples de problèmes (1/2)
• Identifier des applications candidates
• (e-mail, activité distante, cubes de jeu etc.)
• Critères de correspondance entre source et sonification :
• trouver les métaphores possibles par application• quelles caractéristiques ?
35
Projet de recherche : exemples de problèmes (2/2)
• Conception de la plate-forme
• Comment spécifier une sonification ?• Comment présenter une sonification ?• Proposer un ensemble d ’objets prédéfinis
36
MERCI !
37
Annexe 1 :Vibration acoustique
Vibration acoustique = succession rapide d ’ondes de compression et de dépression
Source sonore Milieu ambiant(air, eau…)
Zone compriméeNouvelle zone comprimée
Décompression
Propagation de l’ondede compression
...
Dépression Nouvelle zone en dépressionRecompression
...
Propagation de l ’ondede dépression
38
Annexe 2 :Perception d ’une source en 3D
azimut
source
élévation
direction depropagation
orientation
distance
Azimut :• déphasage interaural• intensité interaurale
Élévation :• timbre (source connueou en mouvement)
Distance :• atténuation intensité, BF, HF• taux son direct / réverbéré
Autres propriétés : orientation (sources directives),diffusion (sources réparties), occlusion ;
Autres indices : dynamique de la source, mouvements de tête,couplage avec le visuel
39
Annexe 3 :Son 3D : dispositifs de sortie
• 1 canal : distance, élévation ; ex : hauts-parleurs directifs
• 2 canaux : azimut• sur hauts-parleurs :
• stéréo : son entre les hauts-parleurs• « décorrélation croisée » : son venant des côtés
• sur écouteurs :• stéréo : son à l’intérieur de la tête• HRTF : filtrage des oreilles• BRIR : propriétés acoustiques de la salle
• Autres systèmes « pseudo-3D » (quadriphonie, 5.1, THX) :meilleure précision, meilleur réalisme,agrandissement de la zone de bonne écoute
• Rares systèmes de vraie 3D (CNMAT)