LSIIT (UMR 7005) Laboratory of Computer Sciences, Image and Remote Sensing

Director : Fabrice HEITZVice Director : J.-M. DISCHLER 150 people 75 faculty members since 1994

7 TeamsIGG : Computer graphics & programming D. Bechmann

MIV : Models, images and vision E. Hirsch AVR : Automatic, vision and robotic M. de Mathelin

RP : Networks and protocols J.-J. Pansiot ICPS : Image and parallel computing P. Clauss

FDBT : Data mining and Bioinformatics C. Collet

TRIO : Remote sensing, radiometry and optical imagery F.Nerry

Common interest: image

4 transverse programs IRMC : Surgical and medical imaging and robotics Globally-oriented competitiveness cluster Therapeutic innovationsEPML (2002-2004), PPF (2005-2008), CPER (2007-2013)

REVA : Virtual and augmented reality, simulation and scientific computing Globally-oriented competitiveness cluster Therapeutic innovationsCPER (2000-2007) and CPER (2007-2013)

EME : Mobile embedded environments

IPM : Multivariate Physical Imagery EPML (2002-2003)

2 competitiveness clusters + 1 regional clusterGobally-oriented competitiveness cluster Innovations thrapeutiques, with HUS, IRCAD, LINC (UMR 7191), IMFS (UMR 7507), LEGCO (INSA).

Competitiveness cluster Vhicules du futur, modelling and simulation for design with HOLO3, IMFS, CECPV (ULP).

Ple Image Alsace IconovalVirtual reality platform (HOLO3)Audiovisual, multimedia, high speed networks

Computer Graphics and Programming IGG Team - LSIIT Laboratory

16 faculty members : 4 Professors Dominique BechmannJean-Michel DischlerJean-Franois DufourdPascal Schreck10 Assistant Professors2 Research Engineers

10 PhD students and post-doctoral fellows

IGGin brief Topic 1: modeling, constructions and proofs in geometry,Topic 2: visualization, interaction and simulation

Scientific papers in the past 4 years: 70 international publications, International relationships,Equipment: Workbench, Phantom devices, Spidar, gloves, tracking, goniometer, 3D scaner, etc.Medical applications

Geometric and Topologic ModelingTowards new models of representation for manifold or complex objects, adaptive multi-resolution meshes, quad-triangle mixing, embedding by subdivision surfaces Geometric modeling platform

Geometric and Topologic ModelingConversion between different geometric representations:Reconstruction of multi-colored voxel images,Reconstruction of objects acquired by scanner

Geometric constraints solvingRule and compass constructions,Geometric constraints solvers,Planning of percutaneous tumoral thermo-ablations in radiology

Specifications and proofs in geometryClassification of combinatorial surfaces,Gender theorem and Euler formula,Hypermaps, planarity criteria,Hypermaps and certification of images segmentation

Simulation, Visualization and RenderingAcquisition, analysis, synthesis and representation of textures, Visualization of scientific volumetric data and coupling

3D InteractionApplications control:Spin Menu, Selection and manipulation Visual clues,Constrained manipulations,

Gestual control:Bi-manual interaction,Force-feedback

Development of applications in immersive environmentsImmersive geological pilot, Percutaneous radiofrequency planning,3D deformations

Web / e-mailhttp://lsiit.u-strasbg.frhttp://lsiit.u-strasbg.fr/igg-fr

Contact:Dominique Bechmann: bechmann@lsiit.u-strasbg.frJean-Michel Dischler: dischler@lsiit.u-strasbg.frCaroline Villard: villard@lsiit.u-strasbg.fr

Dans lquipe IGG, l'objectif est de couvrir l'ensemble de la chane de traitement du modle vers l'image fixe ou anime avec des oprations de construction, de dformation, d'animation et de simulation, de visualisation et d'interaction,de fournir un cadre conceptuel et des outils de description, de preuves de proprits et de construction d'objets topologiques et gomtriques, et galement de dvelopper du logiciel zro-dfaut en algorithmique et modlisation gomtrique.

Lquipe IGG est la premire quipe de recherche en informatique associe au CNRS avoir t cre Strasbourg, sous limpulsion de Jean-Franois Dufourd et Jean Franon, il y a plus de vingt ans (JE CNRS : annes 80, 84 arrive JFD, 85 arrive JF). Depuis une bonne quinzaine dannes, cette quipe est constitue dune dizaine de permanents.

En 10 ans, depuis que Dominique Bechmann en a pris la responsabilit, lquipe a connu un renouvellement quasi-complet: seuls Dominique Bechmann, Jean-Franois Dufourd et Pascal Schreck, alors matre de confrences, taient dj dans lquipe en 1997. Diffrents vnements, savoir le dpart de nombreux chercheurs pour des laboratoires de Poitiers (Eric Andrs PR, Yves Bertrand PR, Laurent Fuchs MC, Pascal Lienhardt PR), Limoges (Djamchid Ghanzanfarpour PR) et Clermont-Ferrand (Jean-Pierre Rveilles PR), lintgration de la gomtrie discrte et de la morphologie mathmatique dans lquipe MIV du cot du passif, et le retour de Jean-Michel Dischler de Limoges sur un poste de professeur en 2001 et lintgration de huit nouveaux matres de confrences au cours du quadriennal du cot des apports, ont considrablement recompos cette quipe et redessin ses contours scientifiques. Depuis la prcdente valuation en 2003, lquipe IGG a recentr ses activits de recherche autour de son cur de mtier: la modlisation gomtrique, quelle conjugue dsormais sous tous ses aspects. Cest plus prcisment lobjet du thme 1, modlisation, construction et preuves en gomtrie, auquel participent les quatre professeurs de lquipe ainsi que cinq matres de confrences.

Par ailleurs, le programme mobilisateur RVA a permis lquipe de consolider son expertise dans les domaines de la ralit virtuelle et de la simulation. Le thme 2, visualisation, interaction et simulation, fdre ces activits plus rcentes qui mobilisent trois des quatre professeurs de lquipe ainsi que cinq matres de confrence. Un dispositif matriel de ralit virtuelle de type workbench accueille les diffrents dveloppements des participants ce thme.

Production scientifique: 70 publications dans des revues internationales ou nationales comit de lecture et communications internationales comit de lecture durant le quadriennal.

An example of an home-made non-manifold objects. Since the beginning, our team has been studying topology-based models such as combinatorial maps.Nowadays we extend those combinatorial maps to propose new data structures, new models of representation, with an enhanced afficiency in terms of memory cost and usability.

We propose multi-rsolutions maps to represent objects at different scales. This model is also adaptive. They are embedded with subdivision surfaces, with various cells like triangle, quads, or a mix of these 2. We are building a platform based on these representations.We are also working on methods to convert objects from a representation to another. People are working now with data types from various acquisition modes, and often we need various representation models for different applications.

Fig.fusion de maillages dans le domaine de la transforme en distance vectorielle: 1.a) montre lacquisition de la surface dun objet laide dun scanner 3D portable qui fonctionne par triangulation laser. 1.b) illustre les donnes brutes acquises suite plusieurs scans avec redondance dans les zones de recouvrements. 1.c) correspond au rsultat final triangul suite la fusion des donnes brutes dans le domaine de la transforme en distance vectorielle (TDV). 2.a) montre un agrandissement du modle qui contient deux scans horizontaux avec recouvrement au centre. 2.b) est le rsultat de la fusion dans le domaine de la TDV et triangul avec lalgorithme du Marching Square.La question gnrale qui sous-tend cette opration consiste en la production automatique d'objets gomtriques dfinis par une spcification exprime dans un langage adquat. Cette question est videmment trs gnrale(trop!). Nous l'avons, quant nous, spcialise la gomtrie et, comme le domaine est encore trs vaste, nous l'avons dcline en plusieurs problmatiques distinctes. C'est ainsi que partant de la rsolution automatique des problmes de constructions gomtriques la rgle et au compas, o les noncs rsoudre sont donns de manire littrale, sans donnes numriques, et o le rsultat prend la forme d'un programme de construction, nous avons tudi deux autres problmatiques trs diffrentes: la rsolution de contraintes gomtriques dans le cadre de la CAO o le problme est pos sous la forme d'une esquisse cote, et la solution est la figure gomtrique numrique qui, d'une part satisfait les contraintes imposes par le systme de cote et, d'autre part, ressemble le plus l'esquisse; la planification de trajectoire d'une aiguille (ou plus gnralement, d'un systme supportant un mcanisme ncrosant) permettant l'ablation d'une tumeur hpatique par radiofrquence; le problme est pos sous la forme d'une reconstruction 3D des organes d'un patient, de donnes provenant du patient et, ventuellement du praticien et la solution un ensemble de positions de l'aiguille.Fig. Calcul de dformation de la zone de lsion de radiofrquence proximit des vaisseaux sanguins.

Fig. Planification d'ablations par radiofrquence: ( gauche) calcul automatique du placement optimal d'aiguille de radiofrquence, affichage avec transparence de la peau et du foie et ( droite) zones candidates pour l'insertion d'aiguille de radiofrquence, avec coloration des zones selon les contraintes souples.Fournir un cadre conceptuel et des outils de description, de preuves de proprits et de construction d'objets topologiques et gomtriques, et galement de dvelopper du logiciel zro-dfaut en algorithmique et modlisation gomtrique :

Voulant montrer le caractre effectif de nos propositions et leur gnralit, nous nous sommes attaqus aux surfaces combinatoires et un grand thorme de topologie Fig. The figure illustrates a normal map with the minimum number of ear, bridge, twisted ear. 1 ear, 1 bridge, 1 twist ear1 anse, 1 poigne, 1 bande de mobiusCarte normal = normal mapClassification surface theorem : le thorme de classification est dcompos en 2 thormes: le thorme dchange qui dit quune carte normale dfinie par le triplet (p, q, r) est quivalente une carte normale dfinie par le triplet (p, q+1, r-2) et le thorme de normalisation qui dit que pour toute surface ouverte reprsente par une carte gnralise, il est existe une carte normale quivalente reprsente par un triplet (p, q, r).

Hypercartes : Par ailleurs, nous avons voulu faire une premire incursion dans le domaine de la conception et de la certification d'algorithmes. Nous avons choisi comme benchmark un classique de l'imagerie: la segmentation d'images colores 2D par fusion de cellules.

Lobjectif de cette opration consiste proposer des algorithmes de visualisation d'entits gomtriques, en cherchant d'une part amliorer la qualit visuelle des rendus en images de synthse (par textures et simulations physiques) et d'autre part amliorer l'exploration et la manipulation visuelle de donnes scientifiques (issues d'outils de mesure, comme l'IRM ou de simulations numriques).

On entend par texture les motifs colors que lon voit apparatre sur les surfaces (bois, granite, tissu organique, etc.). Nous proposons des mthodes danalyse et synthse qui permettent de reproduire des motifs colors sur des surfaces partir dimages dexemples. Ces mthodes, contrairement des techniques classiques n'utilisant que des ensemble de pixels, cherchent reconstruire une information smantique gomtrique de la texture. Ceci permet alors d'augmenter les vitesses de traitement et le degr d'interactivit. Les textures ralistes obtenues par ce biais peuvent servir par exemple des applications de type simulations chirurgicales Lobjectif de la visualisation de donnes volumiques scientifiques consiste augmenter linteractivit de la visualisation de donnes 3D de grande taille par rendu volumique direct en utilisant les fonctionnalits des GPU.

Fig. Acquisition, analyse, synthse et reprsentation de textures: La restitution de copies numriques fidles aux originaux en termes de ralisme passe par la capture de la forme et de l'apparence de ces objets. Nous avons propos une mthode permettant d'automatiser certaines des tapes ncessaires l'acquisition de ces deux informations. A gauche, une photographie de l'objet original. A droite: deux vues synthtises partir de la copie numrique de ce mme objet.

Fig. Visualisation raliste: Le phnomne de rfraction est ici assimil un champ de distortion qui dpend du point de vue. Ce champ est pr-calcul sur toute la surface de l'objet par un lanc de rayons et compress l'aide d'harmoniques sphriques. Au moment du rendu, les fonctions harmoniques sont directement values par le matriel graphique et permettent de retrouver le rayon sortant de l'objet pour n'importe quel point de la surface et sous n'importe quel point de vue, permettant ainsi une visualisation temps rel.

Fig. Visualisation volumique directe de donnes scientifiques.Paralllement la modlisation des objets, nous souhaitons pouvoir interagir avec ces modles tous les niveaux. Nous souhaitons manipuler, dformer, diter, aussi bien leur topologie que leur plongement, aussi bien les contraintes et les descriptions de haut niveau que les solutions proposes. Cela nous conduit nous intresser la problmatique de l'interaction en ralit virtuelle. Notre approche repose sur le retour visuel, l'utilisation des deux mains et le retour d'effort pour interagir avec les objets modliss.

Conception d'un nouveau menu, adapt aux dispositifs immersifs. Ce menu, de la famille des menus circulaires, appel menu Spin, se contrle par une simple rotation de la main: une rotation vers la droite impliquant soit une rotation du menu (dcalant ainsi l'lment slectionn vers la gauche), soit une rotation de l'lment slectionn. Les deux options correspondent des schmas cognitifs, diffrents selon l'utilisateur, qui sont, peu prs, aussi frquent l'un que l'autre. Une correction des mouvements de l'utilisateur a t mise en place afin de diminuer les erreurs de saisie. Une version hirarchique du menu Spin a t conue, permettant ainsi de crer des menus de contrle contenant autant d'lment que ncessaire. Enfin, ce menu a l'avantage d'tre efficace pour une large gamme d'utilisateurs allant des dbutants aux utilisateurs confirms. Contrairement aux espoirs que la ralit virtuelle a suscits ses dbuts, la slection et la manipulation d'objets virtuels dans un environnement immersif posent, pour le moment, plus de problmes qu'elles n'en rsolvent. Rapidement la ncessit d'apporter des aides la manipulation, via des indices visuels et/ou des manipulations contraintes, est apparue. Ces aides n'ont de sens que dans un contexte applicatif donn, c'est pourquoi nous avons considr un certain nombre d'aides pour diverses applications immersives (transparent suivant),Un des atouts des environnements immersifs rside dans la possibilit d'imaginer et de concevoir un contrle efficace du geste. Une premire tude portant sur l'amlioration du geste en environnement immersif a t men autour de la pose de contraintes gomtriques en 3D du type: distance, angle, etc. Une seconde, plus pousse, dans le cadre d'une application de dformations de formes gomtriques, permet de spcifier des contraintes de dformation sur des volumes virtuels, simplement en reproduisant un geste intuitif de dformation. Nous nous sommes attachs proposer plusieurs amliorations au paradigme de dformation de base en environnement immersif. La premire application immersive sur laquelle nous avons travaill en collaboration avec l'Institut Franais du Ptrole et l'Ecole des Mines de Paris, offrait la possibilit de labelliser interactivement des surfaces, reprsentant des couches gologiques ou des failles, afin de construire un graphe d'volution gologique du sous-sol reprsent par les surfaces.

La seconde application est mdicale: elle permet de planifier une opration de brlure d'une tumeur par chauffement thermique (la radiofrquence). L'environnement immersif permet de placer interactivement l'aiguille sur l'abdomen. Loutil de localisation 3D et de retour d'effort est trs utile pour la simulation raliste du geste chirurgical.

La troisime application immersive, DogmeRV tente de tirer parti de l'environnement immersif pour le contrle de dformations de formes gomtriques.

Manipulations : spcification des contraintes de dformation sur des volumes virtuels, simplement en reproduisant un geste intuitif de dformation: saisie du point dapplication de la contrainte, saisie directe de la trajectoire de dformation par mouvement de la main, contrle de la taille de la zone dforme par dplacement de poignes.

Amlioration du geste de dformation pour spcifier la dformation : un mode dinteraction bi-manuelle qui permet daugmenter la libert de lutilisateur dans son interaction avec le systme: il peut choisir dexprimer des contraintes alternativement avec lune et lautre main, de raliser des dformations simultanes (permettant dobtenir des rsultats complexes difficiles obtenir avec des dformations successives), ou encore il devient possible de saisir/dplacer lobjet dans le monde virtuel dune main, en imposant une dformation de lautre. L'introduction d'un repre physique dans l'environnement, par le biais de l'utilisation de la main non-dominante, permet d'envisager un meilleur contrle du geste de dformation ralis, grce l'ajout d'informations proprioceptives. Pour permettre d'effectuer des mouvements prcis selon des axes ou des directions privilgies de lespace trois dimensions, l'amlioration de l'interaction gestuelle galement vise consiste contraindre physiquement les mouvements de la main ou dun outil tenu en main, grce un dispositif retour d'effort.

Les applications bases sur la synthse et l'analyse d'images fixes ou animes en 2, 3 ou n > 3 dimensions seront de plus en plus nombreuses. Toutes ncessitent de construire, manipuler, parcourir et visualiser des objets complexes dont la topologie, la gomtrie et l'apparence doivent pouvoir tre modliss de diffrentes manires avec rigueur et souplesse.

Concernant la modlisation gomtrique proprement dite, le foisonnement htroclite de modles de reprsentation des objets virtuels provenant de sources varies de donnes relles (images voxels provenant de l'imagerie mdicale ou nuages de points provenant des scanners) et des nombreuses utilisations de ces modles (visualisation ou simulation entre autres) pose des problmes notamment de compatibilit ou d'utilisation conjointe. Une importante problmatique actuelle tourne donc autour de la transformation automatique d'une reprsentation l'autre sans perte d'informations, de la gnration automatique de modles partir de contraintes, ou encore de gnricit de modles diffrentes chelles.

Paralllement, le besoin d'interagir en temps rel avec ces modles tous les niveaux vient de diverses applications. Ainsi, il faut pouvoir manipuler, dformer, diter les modles non seulement au niveau de leur topologie mais aussi de leur plongement, non seulement leurs descriptions en terme contraintes, mais aussi les solutions proposes. L'inadaptation actuelle des outils 2D usuels conduit naturellement s'intresser la problmatique de l'interaction en ralit virtuelle. Les pistes les plus prometteuses visent introduire des modes d'interaction intuitifs en environnements immersifs, dont l'interaction deux mains, le retour visuel et le retour d'effort pour interagir avec les objets modliss en amliorant le contrle gestuel.

La visualisation sest beaucoup dveloppe ces deux dernires dcennies en se structurant plus clairement en sous thmes. La visualisation dinformation, la visualisation scientifique, le rendu photo raliste et le rendu expressif reprsentent des grands thmes distincts ayant un objectif commun : la cration dimages partir de donnes gomtriques, voire quelconques pour le cas de la visualisation dinformation. La visualisation est aujourdhui tributaire la fois du matriel graphique ddi (processeurs graphiques) et des dispositifs daffichage trs varis qui vont du PDA aux grands crans des stations de ralit virtuelle. Lvolution des cartes graphiques en matire de programmation a engendr des mutations profondes ces dernires annes comme par exemple la migration de la seule primitive triangulaire vers des reprsentations gomtriques plus complexes. La poursuite de cette volution du matriel permettra dintgrer des traitements toujours plus importants notamment en matire de prtraitement des donnes et de calcul dapparence des objets, eux mme de complexit fortement croissante.

Lintgration des techniques de modlisation et des outils de visualisation dans une chane plus complte de traitement de donnes gomtriques, allant de lacquisition ou de la simulation jusqu linteraction avec lutilisateur, la gestion de volumes de donnes de taille extrmement importante, linteractivit accrue, ainsi que lamlioration de lapparence des objets rendus en conformit avec lvolution du matriel ddi sont des lments cl de la recherche future et reprsentent les grands dfis de la prochaine dcennie.

Par ailleurs, en informatique, un mouvement profond pousse ce que la rationalisation, la gnricit et la correspondance entre les modles passe par une formalisation obissant aux mmes grands principes. Les techniques de spcification axiomatiques ou algbriques, les constructions et les preuves formelles y joueront un rle de plus en plus grand. Dans tous les domaines d'application, et en particulier en gomtrie, elles seront le garant de la correction, de la compltude, de la scurit et de la prennit du logiciel qui en drivera. Ceci est vrai pour les modles et pour l'algorithmique en topologie et en gomtrie, qui devront bnficier des progrs accomplis en gnie logiciel, notamment travers le dveloppement des assistants de spcification formelle et de preuve. Il en va de la scurit des applications dans des domaines sensibles comme l'imagerie mdicale ou la robotique chirurgicale.