as modélisation sémantique et indexation multimédia journée scientifique - 7 juillet 2003 - lyon...
TRANSCRIPT
![Page 1: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/1.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéoIndexation multimédia
AnalyseExtraction Structuration
Représentation
RechercheFiltrage
InterrogationRequêtes
IndexDocuments
VisualisationExploration
![Page 2: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/2.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
Moteurd'instanciationautomatique
Base de Données
![Page 3: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/3.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Analyse audio
Jérôme Fariñas, Julien Pinquier, Jean-Luc Rouas
silencemusic speechspeech
French English
Speech transcription Speech transcription
![Page 4: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/4.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo– Quantification de couleurs– Etiquetage des régions– Heuristiques sur les dimensions et les
positions des zones de texte– Heuristiques sur l’alignement des zones
de texte
Hae-Kwang Kim – Bassem Haidar
![Page 5: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/5.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo
MILLIONSde francs
AIAMER
![Page 6: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/6.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo
![Page 7: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/7.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo– Chaînage
• Filtrage• Transcription (OCR)• Analyse statistique • Analyse linguistique
![Page 8: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/8.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Trajectoire• Mean Shift maximisant le coefficient de Battacharyya
Gaël Jaffré
![Page 9: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/9.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéo
• Paramètres de la production audiovisuelle
Projet ITEA KLIMT
– Costume• Identification• Fonction
– Cadrage– Décors– Eclairage
Gaël Jaffré
![Page 10: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/10.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Mouvement du corps humain– Différence et filtrage– Localisation– Distance– Appariement
Thomas Fourès
![Page 11: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/11.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
• Mouvements du corps humain
Projets ITEA KLIMT – ROBEA GdansC
– Appariement d’un modèle hiérarchique
– Contraintes– Description XML
SAMoVA
![Page 12: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/12.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
![Page 13: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/13.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéo
• Mouvements du corps humain
<Motion Id = "1"><Start_Time>0.5</Start_time><End_Time>1</End_time><Left_Arm vertical="Down"/><Left_Weight vertical = "Center"><Right_Weight vertical="Center"><Right_Arm vertical="Down"/>
</Motion><Motion Id="2">
<LeftArm vertical = "Center" horizontal = "Front"/><RightArm vertical = "Center" horizontal = "Front"/>
</Motion>
![Page 14: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/14.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Formalismes descriptifs– Pour la production audiovisuelle
• Indexation =
• Costume, éclairage, cadrage, décors, objet sonore
Segmentation
Caractérisation
Interprétation
Minh Phung Bui Thi
![Page 15: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/15.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
• Formalismes descriptifs– Pour la production audiovisuelle
• Indexation =
• Costume, éclairage, cadrage, décors, objet sonore
Interprétation
Indexation multimédia
Segmentation
Caractérisation
Minh Phung Bui Thi
![Page 16: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/16.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Signe (Pierce)
• Formalismes descriptifs
Objetsémantique
Indexation multimédia
InterpretantPragmatique
RepresentamenSyntaxe
Types (costume, décor, montage, …)
Formes possibles, caractérisations
Différentes points de vueDifférentes méthodes d’analyseDifférents niveaux sémantiques{
![Page 17: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/17.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Formalismes descriptifs : XML +– Expression de relations conceptuelles– Explicitation des mécanismes d’héritage
XML-Schema pour désambiguïser l’interprétation
– Compactage des descriptions (Bin-XML)
Claude Seyrat
![Page 18: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/18.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
Siba Haidar
![Page 19: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/19.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Macrosegmentation
– Typologie de l’évolution des caractéristiques bas-niveau AV
– Identification d’invariants de production– Distances de similarité
Siba Haidar
![Page 20: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/20.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation transmédia
• Interventions
– Segmentation en locuteurs
– Détection/identification des visages
Jean-Pierre Desmoulins
![Page 21: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/21.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation transmédia
• Leitmotivs
– Détection des jingles
– Détection des logos
Jérôme Louradour
![Page 22: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/22.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
Projet ITEA KLIMT
– Service d’indexation – externalisation des applications
– Chaînage dynamique – typage des échanges (MPEG-7)
– Gestion dynamique des ressources – déclaration + contrôle de cohérenceBassem Haidar
![Page 23: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/23.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
Indexer.exe
Component control
ConfiguratorInterface
ControlInteface
Specification.xml
Component 1
Component 2
Component n
server
annuaire
Relationship service
Service 2
Service 3
Primary server
Application
![Page 24: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/24.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
![Page 25: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/25.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique (Chaînage KLIMT)
Speech/Music segmentation
(IRIT)
Language identification(TRT & IRIT)
english LVCSR (TRT)
french LVCSR (IRIT)
Topic detection and tracking
(TRT)
![Page 26: AS Modélisation Sémantique et Indexation Multimédia Journée Scientifique - 7 juillet 2003 - Lyon Indexation vidéo Indexation multimédia Analyse Extraction](https://reader035.vdocuments.site/reader035/viewer/2022062404/551d9d84497959293b8bfc0c/html5/thumbnails/26.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Projets en cours
• Recherche Automatique d’Informations Verbales Et Sonores : vers l’extraction et la structuration de données radiophoniques sur Internet (programme Interdisciplinaire « Société de l’information » CNRS)
• KnowLedge InterMediation Technology(projet Information Technology for European Advancement)
• Framework d’Expérimentations et de Réalisation Industrielle d’Applications multimédia (projet RIAM, Equipe SIG )
• GdansC (Projet Robea CNRS)• AS STIC Indexation Multimédia – transmodalité et gestion
des connaissances• AS «Question du geste dépendant des pratiques
artistiques» du RTP ArtiStic