my grid: une vision globale
DESCRIPTION
my Grid: Une Vision globale. Franck Tanoh http://www.mygrid.org.uk. Rencontre autour de la plate-forme bioinformatiques Rennes, 2008-04-10. my Grid. Le projet my Grid a un ensemble de composants destinés à soutenir la réalisation d’expériences in silico en biologie . - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/1.jpg)
myGrid: Une Vision globale
Rencontre autour de la plate-forme bioinformatiquesRennes, 2008-04-10
Franck Tanohhttp://www.mygrid.org.uk
![Page 2: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/2.jpg)
myGrid
Le projet myGrid a un ensemble de composants destinés
à soutenir la réalisation d’expériences in silico en biologie.
Taverna workbench = Un système de gestion de workflows
Feta = découverte des services web myExperiment = collaboration + réutilisation des
workflows
open source
![Page 3: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/3.jpg)
Partenaires
Première étape du projet fiancée par l’EPSRC
![Page 4: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/4.jpg)
Soutenir la communauté ‘e-Science’ aux Royaumes Unis et ses collaborateurs internationaux.
OMII-UK
![Page 5: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/5.jpg)
Motivations
NAR 2007 – 968 base de données
EMBL database growth
![Page 6: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/6.jpg)
Problèmes
Tout est distribuées: Données Ressources Scientifiques
Ressources hétérogènes Très peu de standards
formats d’entrée et de sortie représentation annotation des données
L’intégration des données, l’interopérabilité des ressources très difficile.
![Page 7: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/7.jpg)
Intégration des données bioinformatiques
12181 acatttctac caacagtgga tgaggttgtt ggtctatgtt ctcaccaaat ttggtgttgt 12241 cagtctttta aattttaacc tttagagaag agtcatacag tcaatagcct tttttagctt 12301 gaccatccta atagatacac agtggtgtct cactgtgatt ttaatttgca ttttcctgct 12361 gactaattat gttgagcttg ttaccattta gacaacttca ttagagaagt gtctaatatt 12421 taggtgactt gcctgttttt ttttaattgg gatcttaatt tttttaaatt attgatttgt 12481 aggagctatt tatatattct ggatacaagt tctttatcag atacacagtt tgtgactatt 12541 ttcttataag tctgtggttt ttatattaat gtttttattg atgactgttt tttacaattg 12601 tggttaagta tacatgacat aaaacggatt atcttaacca ttttaaaatg taaaattcga 12661 tggcattaag tacatccaca atattgtgca actatcacca ctatcatact ccaaaagggc 12721 atccaatacc cattaagctg tcactcccca atctcccatt ttcccacccc tgacaatcaa 12781 taacccattt tctgtctcta tggatttgcc tgttctggat attcatatta atagaatcaa
Couper-coller
![Page 8: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/8.jpg)
Couper-coller Avantages:
Technologie très simple Analyse des résultats pendant l’intégration
Inconvénients: Demande beaucoup de temps Répétition difficile Limitée aux petites données Exposés aux erreurs
Impossible d’appliquer cette technologie au génome/protéome/métabolome
Intégration des données bioinformatiques
![Page 9: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/9.jpg)
Pipeline programmation Avantages
Reproductible Automatique Rapide, fiable, efficace
Inconvénients Exige des compétences en programmation Difficile a modifier Nécessite outils et maintenance des bases de
données !!!
Intégration des données bioinformatiques
![Page 10: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/10.jpg)
Meilleurs solutions ??
Un système qui: Permet d’automatiser l’intégration des données Fonctionne sur des ressources distribuées Facilite la répétition, la vérification et le partage des
expériences scientifiques Nécessite peu ou pas de compétences en
programmation Fonctionne à partir d’un ordinateur de
bureau/portable
![Page 11: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/11.jpg)
La solution myGrid
myGrid permit d’automatiser l’exécution d'expériences in
silico sur des ressources distribuées à partir d’un simple
ordinateur de bureau.
Technologie basée sur: Services web Workflows Web sémantique
![Page 12: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/12.jpg)
Services web
Un Service Web est un programme informatique permettant la
communication et l'échange de données entre applications et
systèmes hétérogènes dans des environnements distribués (Wikipedia).
Avantages: Interopérabilité entre divers logiciels fonctionne sur diverses plate-forme Utilise des standards et protocoles ouverts
European Bioinformatics Institute API submissions has risen to 3,166,901 for 2007 (Sarah Hunter)
![Page 13: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/13.jpg)
Workflows
Workflow = chaîne de traitement Automatisation d'un processus au cours duquel des ressourcesPassent d'un participant à un autre.
sequenceDNA
GenScanService web
BlastService web
Décrivez ce que vous voulez faire
Pas besoin d’êtres programmeur
![Page 14: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/14.jpg)
Moteur de workflows
Différents langages, accès, domaines
![Page 15: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/15.jpg)
Taverna est : Un moteur de workflow basé sur le flot des données. Un environnement pour la construction et l’édition de
workflows. Un système d'exécution des workflows sur des données
fournies par l’utilisateur Un système de visualisation des résultats (3d, html…)
Taverna
Le tout en un logiciel exécutable à partir de votre ordinateur
![Page 16: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/16.jpg)
http://taverna.sf.net
![Page 17: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/17.jpg)
>45000 téléchargements International: US, Singapore, UK, Europe, Australie Parmi les 200 logiciels sur sourceforge en Juin 2007
Taverna
![Page 18: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/18.jpg)
Par défaut, Taverna interopère avec: SOAP services web Biomart Entrepôts de données Soaplab outils de ligne de commande BioMoby services web Interprète script Beanshell (proche de Java)
Taverna
![Page 19: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/19.jpg)
Taverna dans la recherche
Biologie des systèmes Biologie moléculaire Annotation Gene/protéine Analyse des données
microarray Analyse d’images
médicales Simulation cardiaque Etude des
Génotypes/Phénotypes Informatique médicale Astronomie Chimie informatique Intégration de données
![Page 20: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/20.jpg)
http://www.genomics.liv.ac.uk/tryps/trypsindex.html
An
dy Brass
Steve
Ke
mp
Pa
ul Fishe
r
La trypanosomiase chez les bovins
![Page 21: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/21.jpg)
Trypanosomiase chez les bovins
Une forme de la maladie du sommeil chez les bovins connue sous
le nom n’gana causée par Trypanosoma brucei.
Les bovins en Afrique (Kenya) résistent a cette forme, ce qui n’est
pas le cas des bovins Anglais.
Quelles sont les causes des différences?
![Page 22: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/22.jpg)
Trypanosomiase chez les bovins
Comprendre le phénotype Comparaison des souches sensibles vs résistants – Microarrays
Comprendre le génotype Analyse de QTL (Loci de Caractères Quantitatifs )
![Page 23: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/23.jpg)
A – Trouver les gènes dans les régions QTL
B – Annotation des gènes avec des bases de données externes
C – Faire correspondre KEGG ids et gène ids
D – Récupérer les données microarray
E – pour chaque KEGG gène retrouver sa voie métabolique
F – obtenir la description de chaque voie métabolique
G – obtenir l’annotation de chaque KEGG gène
Etude de la Trypanosomiase
![Page 24: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/24.jpg)
Résultats
Identification du gène (Daxx) qui semblerait jouer un rôle
dans la résistance à la trypanosomiase.
Au préalable, l’analyse manuelle des même données n’a pas
réussi à identifier ce gène comme un candidat.
![Page 25: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/25.jpg)
Succès du workflow?
Chaque donnée est systématiquement analysée Pas besoin de filtrer les données ou émettre des
hypothèses en vu de réduire le volume de données. Enregistrement de la ‘provenance’ des données Volume de données réduit a l’issue de l’expérience
![Page 26: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/26.jpg)
Gestion des erreurs
La plupart des services web n’appartiennent pas à myGrid .
Impossible donc de vérifier leur fiabilité. Taverna a plusieurs mécanismes pour y remédier: Encourager l’utilisation des services fournis par de
grands organismes come EMBL, NCBI, DDBJ … Informer l’utilisateur lorsqu'un service ne fonctionne
pas Ré-exécuter les services Remplacement des services
![Page 27: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/27.jpg)
Découverte des services web
Plus de 24 000 services web (seekda 03/08)
Difficile de trouver un service particulier?
Majorité des services sans descriptions
WSDL: input0:string, Output0:string
Nom des services
fonction des services. e.g serachsimple, seqret
On ne peut donc pas uniquement ‘Google’ les services web
![Page 28: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/28.jpg)
La solution myGrid
Découverte des services en fonction de leurs: Noms Fonctions Paramètres (entrées et sorties) Ressources utilisées
Annotation Sémantique: Annotation manuelle ou automatique des services web
à partir
de vocabulaires contrôlés (ontologies).
![Page 29: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/29.jpg)
Annotation des services web
Ontologie bioinformatiqueWSDL
Marquer chaque description avec des termes dans l’ontologie.
![Page 30: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/30.jpg)
Plus de 600 services dans le catalogue de myGrid . Annotation faite par des experts en
bioinformatique. En démontrant l‘importance de l’annotation dans
l’utilisation des services, myGrid vise à encourager les développeurs de services à fournir les annotations à l'avenir.
Annotation des services web
![Page 31: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/31.jpg)
Feta découverte sémantique
Feta, composant de myGrid interroge le catalogue des services web .
Exemple de questions:Trouve-moi tous les services qui effectuent un
alignement des séquences et acceptent pour input des
séquences de protéines avec le format FASTA
![Page 32: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/32.jpg)
Interface utilisateur de Feta
![Page 33: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/33.jpg)
Provenance et Origine
Workflows peuvent générer beaucoup d’informations: Données Métadonnées origine de l’expérience
Scientifiques ont besoin de revenir ou réutiliser les résultats passés, de comparer, partager les workflows avec des collègues
Comment gérer de telles donnes?
![Page 34: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/34.jpg)
Le Logbook de myGrid
qui, quoi, ou, quand, pourquoi?, comment?
Contexte Interprétation Reproductibilité Vérification Crédibilité
Smart Tea
BioMOBY
Bonnes pratiques scientifiques
![Page 35: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/35.jpg)
Interface utilisateur du Logbook
![Page 36: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/36.jpg)
myExperiment
![Page 37: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/37.jpg)
Motivations
Workflows = nouvelles rock and roll
“L'ère” des Services web en bioinformatiques
![Page 38: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/38.jpg)
Motivations
Recyclage, Réutilisation, Réorientation des workflows
![Page 39: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/39.jpg)
Motivations
Communauté scientifique distribuée et sous équipée
![Page 40: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/40.jpg)
myExperiment est…
Réseau social pour le scientifique
![Page 41: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/41.jpg)
Demo
myExperiment
http://www.myexperiment.org
![Page 42: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/42.jpg)
![Page 43: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/43.jpg)
![Page 44: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/44.jpg)
![Page 45: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/45.jpg)
![Page 46: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/46.jpg)
La communauté de myGrid
![Page 47: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/47.jpg)
Taverna2 ou T2 Moteur workflow (enactor) totalement
réécrit avec plus de points d'extensions Adresser les problèmes de sécurité des
données Taverna sur le grid Glisser-déposer (Drag and drop )
myGrid: nouvelle direction
![Page 48: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/48.jpg)
T2: un avant-goût
Les erreurs sont également des données
![Page 49: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/49.jpg)
T2: un avant-goût
![Page 50: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/50.jpg)
T2: un avant-goût
Data Manager: plusieurs gestionnaires de données Mémoire Fichiers Disque dur Serveurs
![Page 51: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/51.jpg)
Taverna 1.7… Contient un plugin pour T2 Plusieurs mise à jour à suivre courant 2008
http://taverna.sourceforge.net/download
T2: un avant-goût
![Page 52: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/52.jpg)
Biocatalogue
Un catalogue de services web
![Page 53: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/53.jpg)
Workflow Warehouse
Service Catalogue
ProvenanceWarehouse
Client Applications
Service Ontology
Provenance Ontology
Une vision globale de myGrid
myExperimentmyExperimentWeb portalWeb portal
Taverna Taverna WorkbenchWorkbench
GUIGUI
Feta Feta InformationInformation
ServicesServices
LogbookLogbookProvenanceProvenance
ManagementManagement
TavernaTavernaWorkflowWorkflowEnactorEnactor
Middleware(Web Services, Grid Services)
![Page 54: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/54.jpg)
Please see http://www.mygrid.org.uk/wiki/Mygrid/Acknowledgements for most up to date list
http://www.mygrid.org.uk
![Page 55: my Grid: Une Vision globale](https://reader038.vdocuments.site/reader038/viewer/2022110101/56812b35550346895d8f4394/html5/thumbnails/55.jpg)