plateforme bioinformatique migale –bilan...

59
Plateforme bioinformatique Migale – Bilan 2017 Conseil Scientifique des Utilisateurs http://migale.jouy.inra.fr 05/02/2018

Upload: others

Post on 27-Feb-2021

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

Plateforme bioinformatique Migale – Bilan 2017Conseil Scientifique des Utilisateurs

http://migale.jouy.inra.fr 05/02/2018

Page 2: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.02

Rôle du Conseil Scientifique des Utilisateurs

http://migale.jouy.inra.fr

• Représentatif des utilisateurs de la PF• Rôle d’intermédiaire entre la PF et les utilisateurs• Descendant : transmettre aux utilisateurs de leur labo

les informations de la PF• Montant : faire remonter à la PF les suggestions,

remarques, critiques pour améliorer le service offert, proposer la création de nouveaux services

Page 3: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.03

Ordre du Jour

• Bilan 2017 de l’activité de Migale & Perspectives• Focus sur trois activités :

• Développement• Packaging• Analyse de données

• Labellisation Infrastructure Scientifique Collective / Infrastructure de Recherche

• Projet Institut Français de Bioinformatique v2• Perspectives

• Discussions avec le CSU

http://migale.jouy.inra.fr

Page 4: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.04

Missions

Ø Mettre à disposition une infrastructure de calcul scientifique pourla génomiqueØ Calcul / Stockage / Outils / Données

Ø Diffuser un savoir-faire en bioinformatique et biostatistiqueØ Formations / Assistance / Conseil

Ø Concevoir et développer des applicationsØ Interfaces innovantes / Mise à disposition d’outils / Promotion

des outils MaIAGE

Ø Analyser des données génomiquesØ Métagénomique / Métatranscriptomique / Service /

Accompagnement

http://migale.jouy.inra.fr

Page 5: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.05

Caractéristiques

Ø 854 utilisateurs identifiés (+ 22%) :Ø Répartition 80/20 INRA / exterieur (stable)

Ø 416 utilisateurs actifs en 2017

• Certifiée ISO9001 depuis avril 2011– Démarche d’amélioration continue – 2 audits par an (interne / externe)

– Audit de renouvellement de la certification (incluant le processus Analyse) en 2017, passage à ISO9001:2015 en cours

• Plateforme Stratégique INRA depuis 2011

• PIA Institut Français de Bioinformatique, France Génomique

http://migale.jouy.inra.fr

Page 6: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.06

Infrastructure de calcul et de stockage

Ø 15 serveurs physiques Ø 17 serveurs virtualisésØ Cluster de calcul

Ø 600 processeursØ 1 nœud highmem.q avec 768Go de

RAM

Ø Plus de 270To d’espace de stockage centralisé

Ø Plus de 620 000 jobs par mois sur le cluster.

http://migale.jouy.inra.fr

Page 7: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.07

Utilisation des ressourcesØ Statistiques d’utilisation du

cluster : Ø Près de 7.5 millions de jobs en

2017Ø Utilisation moyenne

annuelle du cluster: 20,63% Ø En baisse par rapport à 2016Ø 130 utilisateurs (+ 18%)

Ø Répartition par queue

Ø short.q = 38.9 % Ø long.q = 28.1 % Ø infinit.q = 16 %Ø web.q = <0.5%

http://migale.jouy.inra.fr

user cpu_user Temps de calcul %gbeaunee 1511957076 47 a - 344 j - 12 h - 4 mn - 36 s 8,15vmartin 717460124 22 a - 273 j - 22 h - 28 mn - 44 s 3,87jlao 317982242 10 a - 30 j - 8 h - 24 mn - 2 s 1,71textemig 309591283 9 a - 298 j - 5 h - 34 mn - 43 s 1,67scastano 255410714 8 a - 36 j - 3 h - 25 mn - 14 s 1,38jbleger 155986853 4 a - 345 j - 9 h - 40 mn - 53 s 0,84jwang 117521105 3 a - 265 j - 4 h - 45 mn - 5 s 0,63pgladieux 108744273 3 a - 163 j - 14 h - 44 mn - 33 s 0,59dpleydell 95111189 3 a - 5 j - 19 h - 46 mn - 29 s 0,51banko 94755472 3 a - 1 j - 16 h - 57 mn - 52 s 0,51rleblois 61322375 1 a - 344 j - 17 h - 59 mn - 35 s 0,33fdebellis 54484883 1 a - 265 j - 14 h - 41 mn - 23 s 0,29fdebarre 52864228 1 a - 246 j - 20 h - 30 mn - 28 s 0,29mmariadasso 40232646 1 a - 100 j - 15 h - 44 mn - 6 s 0,22tloiseau 39866557 1 a - 96 j - 10 h - 2 mn - 37 s 0,21orue 39301675 1 a - 89 j - 21 h - 7 mn - 55 s 0,21cmidoux 30623323 0 a - 354 j - 10 h - 28 mn - 43 s 0,17wajnberg 27511686 0 a - 318 j - 10 h - 8 mn - 6 s 0,15agmial 25057542 0 a - 290 j - 0 h - 25 mn - 42 s 0,14

galaxyprod 14022174 0 a - 162 j - 7 h - 2 mn 54 s 0,08

Page 8: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.08

Utilisation des ressources

http://migale.jouy.inra.fr

010000002000000300000040000005000000600000070000008000000

2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017

Nombre de jobs total

0

1E+09

2E+09

3E+09

4E+09

5E+09

6E+09

7E+09

2013,5 2014 2014,5 2015 2015,5 2016 2016,5 2017 2017,5

Temps CPU total (s)

Page 9: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.09

Utilisation des ressources

Ø Reconfiguration du cluster : Ø rééquilibrage slots longs/courtsØ Suppression de la sur-reservation (janvier 2018)

Ø Nombre d’utilisateurs directs du cluster en légère hausseØ Utilisation globale (temps CPU) en baisse depuis 2016, stable par

rapport à 2015Ø Remplacement de certains nœuds

Page 10: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.010

Disponibilité des services

ØInterruptions planifiées (mises à jour, migration,…) :Ø Web/Drupal/Redmine : 6Ø Galaxy : 2Ø Banques : 1ØTravaux & interruption réglementaire DC :

Ø7 + 3 jours ØInterruption NON planifiées :

Ø Ralentissements / Interruptions partielles: 2 Ø Réseau (DC) : 1

Baisse significative des incidents et interruptions (DC , migration stockages sur le NetApp, changement Migale, maj système).

Page 11: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.011

Renouvellement du matériel – Maj systeme

ØCluster :ØNœud maitre d2r2 (M630, 24 cœurs, 64 Go RAM)Ø 4 nœuds de calculs (M630, 20 cœurs, 256 Go de RAM)

Ø2 nœuds dédiés MaIAGEØRenouvellement du frontal Migale

ØM630 20 cœurs, 256 Go de RAM ØServeur de virtualisation (Proxmox2)ØRenouvellement des serveurs de bases de données (bdd / bddev)Ø Investissement matériel 2017 : 49 k€

Ø Mises à jour des systèmes en centos 7Ø Migration des espaces disques MaiAGE sur le NetApp

Page 12: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.012

Outils et banques de donnéesPlus de 150 outils bioinformatiques mis à disposition

Ø 47 installations de nouveaux outils en 2017 (en augmentation)Ø 16 intégrations sous GalaxyØ Généralisation des virtual_env pour l’installation des outils complexes

Ø Ré-installation de l’ensemble des outils pour la maj de migale

Ø 77 banques en lignes Ø Passage à le dernière version de BioMajØ 45 Mises à jour de façon hebdomadaire (Biomaj)Ø 32 banques « à façon »Ø Utilisables à travers la ligne de commande ou les interfaces webØ Arrêt de la synchronisation de gb_bacteria

Ø 126 bases de données relationnelles (78privées, 48 publiques ou liées à des outils)

Demandes de nouveaux outils ou banques par formulaire sur le site

http://migale.jouy.inra.fr/?q=referentielhttp://migale.jouy.inra.fr/biomaj

http://migale.jouy.inra.fr

Page 13: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.013

Galaxy

http://migale.jouy.inra.fr

Page 14: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.014

Galaxy

http://migale.jouy.inra.fr

Ø Cadre privilégié de mise à disposition d’outils bioinformatiques à destination de public non expert

Ø Projets de développement autour de Galaxy :Ø Proteore

Ø Intégration et déploiement de composant de bioinformatique en protéomique (financement IFB).

Ø Galaxy For Life ScienceØ Intégration et déploiement de composant de bioinformatique en

science de la vie (financement IFB).Ø FoodMicrobiomeTransfert :

Ø Exploration par approche métagénomique de la composition d’écosystèmes fromagers. Exécution des analyses sous Galaxy.

Demande d’intégration d’outils par formulaire sur le sitehttp://migale.jouy.inra.fr/?q=demande-galaxy

Ø279 comptes utilisateurs (+59%, 207 actifs)Ø12742 jobs (<1 an de calcul)Ø Pus de 20 utilisateurs formés via le cycle « Bioinformatique par la pratique »

ØTemps de maintenance et support évalué à ~1/3 ETP

Page 15: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.015

Formations

http://migale.jouy.inra.fr

• 14 modules différents en 2017 (26jours cumulés) :– Informatique– Statistiques– Traitement de données NGS, RNASeq

(ligne de commande et Galaxy)– Annotation de génomes microbiens– …

• 14 formateurs• 131 personnes formées (59% INRA)

http://migale.jouy.inra.fr/?q=formations

Page 16: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.016

Formations

http://migale.jouy.inra.fr

Ø Le cycle de formation rencontre toujours son publicØ Mise en place d’une formation à l’utilisation des ressources de la plateforme

Ø 2 éditions en interneØ Tests des solutions à distance (classe virtuelle) non satisfaisant

Ø Encadrement de l’école genopole Summer School « Bioinformatics and biostatisticstools in medical genomics »

Page 17: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.017

Service de développement

http://migale.jouy.inra.fr

http://migale.jouy.inra.frhttp://migale.jouy.inra.fr/?q=fr/projets

Page 18: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.018

Service de développement en 2017

Ø 6 projets

http://migale.jouy.inra.fr

Mission d’encadrement

Ø Galaxy For Life Science etProteoRE (mise à disposition decomposants sous Galaxy) - Projets IFB

Ø FoodMicrobiome Transfert (outild’exploration de la composition desécosystèmes fromagers) -StatInfOmics, MICALIS, CNIEL

Ø MOSAICv2 (pipeline d’alignement degénomes complets bactériens) -StatInfOmics

Mission de développement

Ø Aureus Expression Browser(Genome Browser pour des donnéestranscriptomiques) - StatInfOmics

Ø MetaFoldScan (recherche destructures protéiques dans les donnéesmétagénomiques) - StatInfOmics

Ø Florilège (base de données etinterface de phénotypes bactériens) -Métaprogramme MEM & Bibliome

Page 19: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.019

Aureus Expression Browser

http://migale.jouy.inra.fr

Page 20: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.020

Aureus Expression Browser

http://migale.jouy.inra.fr

Sandra

Page 21: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.021

Aureus Expression Browser

http://migale.jouy.inra.fr

Page 22: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.022

Aureus Expression Browser

http://migale.jouy.inra.fr

Page 23: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.023

Aureus Expression Browser

http://migale.jouy.inra.fr

Page 24: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.024

Aureus Expression Browser

http://migale.jouy.inra.fr

Page 25: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.025

Florilège

http://migale.jouy.inra.fr

Page 26: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.026

Florilège

http://migale.jouy.inra.fr

Page 27: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.027

Florilège

http://migale.jouy.inra.fr

Page 28: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.028

Florilège

http://migale.jouy.inra.fr

Page 29: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.029

Service de développement en 2018

Ø 4 projets supplémentaires (mission de développement)

Ø JBrowse Truite : interface web de type JBrowse pour la mise àdisposition de données génomiques et de variants structuraux pour latruite arc-en-ciel - Unité GABI

Ø R’MES : interface web de mise à disposition du logiciel R’MES -StatInfOmics

Ø miRDeep2 : intégration de composants sous Galaxy (use case duprojet Galaxy For Life Science) - Unité GABI

Ø Subtilis Expression Browser : interface web de mise à dispositionde données génomiques et transcriptomiques pour Bacillus subtilis -StatInfOmics

http://migale.jouy.inra.fr

Page 30: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.030

Packaging d'outils

http://migale.jouy.inra.fr

• L’installation des outils n’est jamais gagnée d’avance (VM de test v.s. Cluster).

• Nous souhaitons que les outils que nous développons s’installent facilement.

• => ces constats ont déjà été effectués dans la communauté bioinformatique et sont reliés à la notion d’accessibilité.

2 constats

Page 31: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.031

Accessibilité du point de vue technique

• Pour utiliser un outil (ou une suite d’outils) on peut distinguer:– L’installation des dépendances.– La création d’un environnement d’exécution spécifique.

• Bonne nouvelle ! la communauté informatique adresse ces 2 aspects depuis un moment:– Dépendances sous forme de paquets (linux):

automatiser le travail de compilation, d’édition de lien et de déploiement.

– Environnements d’exécution spécifiques: la virtualisation.

Page 32: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.032

Quelques technologies …

Page 33: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.033

Le foisonnement techno: toujours la même histoire …

● Usually a wall between dev teams and operationnal(netsys) teams

=> un travail de validation des techno pour les envrionnements de production

creativity

reactivity

stability

securityDEV OPS

Page 34: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.034

La bonne nouvelle …• On peut s’appuyer sur des communautés pour débuter ce

travail de validation• Ex1 - gestion de dépendances:

– tool-dependencies.xml => homebrew => (bio) conda• Ex2 – conteneurs

– docker => singularity• Ex3 – developpement de wrappers*:

– « à la main » => intégration des bonnes pratiques de dev à travers un framework

Page 35: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.035

Se baser sur les choix d’une communauté c’est bien mais …

• Il faut qu’une PF dans son contexte évalue les solutions prônées par la communauté.

• Pour Migale nous sommes intéressé par:

– (bio)conda car il combine l’isolement de l’environnent d’exécution ET la gestion de dépendance;

– les bonnes pratiques de développement pour les wrappers Galaxy.

• Evaluation à travers la mise en place d’un projet pilote.

Page 36: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.036

• FROGS …• Représentatif des outils bioinfo:

– C’est un workflow: enchainement d’outils – 20 dépendances– Installation manuelle des dépendances et des

wrappers• Objectif du projet pilote:

– La suite FROGS dans la dépôt de wrappers du projet Galaxy

– FROGS s’installe en quelques clicks …– => améliorer l’accessiblité des nos outils

Le projet pilote

Page 37: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.037

Mise en place• Laure Quintric et Patrick Durand ont le même objectif.

• Opportunité de mettre en place un « vrai » travail collaboratif.

• Le couteau suisse du travail collaboratif: une machine sur le

cloud IFB, screen, Renavisio et … des calendriers qui

coïncident.

• Accompagnement: Valentin Loux, Maria Bernard et Géraldine

Pascal.

• Expert Planemo: Valentin Marcon.

Page 38: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.038

Livrables du projet pilote• Livrable 1: un paquet FROGS « ligne de commande » sous

conda• Livrable 2: un paquet FROGS « ligne de commande » sous

bioconda• Livrable 3: les wrappers FROGS sur le Toolshed Galaxy.• Remarques:

– Bioconda ajoute une couche à conda. C’est entrepôt spécialisé bioinfo qui standardise les codes des paquets hébergés.

– Le choix de conda puis bioconda: pour comprendre et apprendre.

Page 39: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.039

Premiers résultats

• FROGS est sous bioconda: – conda install –c bioconda frogs

• 4 tests:– Test case 0: VM centos sur Cloud IFB (LQ, PD, OI, VM) – Test case 1: Abims (Philippe Bordron)– Test case 2: VM Xubuntu (Maria)– Test case 3: VM centos Minimal (Olivier)

=> Test Case 0,1 & 2: OK• Tests sur la VM centos Minimal (TestCase 3) : il manque des

librairies graphiques => à ajouter dans la future version du paquet bioconda (version 3 suite à la version 3 de FROGS)

Page 40: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.040

En cours: développement de

wrappers• Mise en place d’un environnement

de développement Planemo(cloud IFB)

• Modifiaction du wrapper« preprocess.xml »:– Ajout de la dépendance au

paquet bioconda– Ajout de tests fonctionnels

• => A priori les mêmes modifications sur tous les wrappers

Page 41: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.041

Premier bilan

• Evaluation bioconda:– Côté développement (construire le package) l’expérience

est concluante• A noter que bioconda est aussi adapté aux suites

d’outils– Côté production: les premiers tests sont concluants MAIS à

poursuivre (installation sur d’autres PFs …)• Evaluation développement de wrappers:

– Planemo est un framework difficilie à manipuler.– Ex: lancer les tests prend du temps. (car tests

supplémentaires d’outils embarqué dans Galaxy par défaut).

Page 42: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.042

Perspectives

• Si l’évaluation bioconda est positive (dev + prod), l’étendre à d’autre outils.

• Ce projet pilote s’insère dans le WP1 du projet IFB V2: normaliser l’installation des outils pour les PFs du projet.

Page 43: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.043

Analyse de données génomiques

http://migale.jouy.inra.fr

• Domaine d’expertise :– Génomique bactérienne (QC, assemblage, annotation de génomes)– Génomique comparée– Métagénomique (barcoding / shotgun)– Métatranscriptomique

• Périmètres des services :– Collaboration

• On s’occupe de traiter vos données– Accompagnement :

• On se tient à votre disposition pour (à definir) :– Conseils pour le plan d’expérience, le séquençage, les analyses à effectuer, les outils à privilégier…– Vous débugger et vous aider à interpréter les résultats que vous obtenez

– Tutoriels• Contrôle qualité des données de séquençage (Galaxy et Cluster)• FROGS ligne de commande (bientôt)

– Formations• Catalogue de la plateforme Migale (Cycle Bioinformatique par la pratique bientôt disponible)

Page 44: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.044

Un an après l’ouverture du service

http://migale.jouy.inra.fr

Ø Accueil d’Erwin Sentausa (post-doc UMR IAM Nancy)Ø Accueil Simon Poirier (post-doc MICALIS Jouy-en-Josas)Ø Accompagnement Sabrina Macé (post-doc SECALIM

Nantes)Ø Accompagnement Bénédicte Goustard (UMR DMeM

Montpellier)Ø « Service après-vente » formations (Véronique Douard,

Pascale Serror, Magalie Monnoye, Claire Cherbuy, Gaëlle Boudry...)

Page 45: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.045

Projets d'analyse à venir

http://migale.jouy.inra.fr

Projets d’envergure

REDLOSSES (ANR 2017, coordination INRA SECALIM) : Réduction des pertes alimentaires par la prévision, tôt dans le procédé de production, du

risque d’altération du produit lors de sa conservation, de manière à proposer des outils d’aide à la décision pour réorienter les process.

MetaPDO-Cheese (financement CNIEL et France Génomique, coordination INRA GMPA et URF) : Exploration de la diversité microbienne des 45

laits et fromages AOP français.

VIRAME (ANR 2017 - Jeunes Chercheurs, coordination IRSTEA-HBAN) : Caractérisation de la communauté virale des archées méthanogènes

impliquées dans les bioprocédés de digestion anaérobie des déchets organiques.

Digestomic (ANR 2016, coordination IRSTEA-HBAN) : Utilisation d'approches méta-omiques pour étudier le comportement des communautés

microbiennes lors du fonctionnement optimal ou perturbé de digesteurs afin de lever les verrous de la méthanisation et élargir ses domaines

d'applications.

BIOTUBA (ANR 2017, coordination IRSTEA-HBAN) : Mise en place d'un tuba électro-microbien pour l'optimisation des bioprocédés impliqués

dans le traitement des eaux usées.

LowNitrate (ANR 2017, coordination CNRS-LCPME) : Développement d'un système électro-chimique microbien permettant l'élimination de

l'azote des zones humides artificielles limitrophes aux zones d'agriculture intensive.

Thématiques

Metabarcoding (16S – ITS – gyrB – RPBO)

MetagenomicsMetatranscriptomicsViromicsLong read metagenomics ( IRSTEA )

Long read assembly

Page 46: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.046

Animation – communication - Valorisation

http://migale.jouy.inra.fr

• PEPI IBIS « Bioinformatique et biostatistiques pour les données omiques »:– entrée au bureau de S. Derozier

• Réseau des bioinformaticiens de Jouy-en-Josas– 9 réunions en 2017– ½ journées des bioinformaticiens ouverte au centre (décembre 2017)

• Migazette trimestrielle

• 35 Citations (dont 10 en co-auteur) +105% par rapport à 2016– We are grateful to the INRA MIGALE bioinformatics platform

(http://migale.jouy.inra.fr) for providing help and supporthttp://migale.jouy.inra.fr/?q=citations

Page 47: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.047

Ecosystème national

ØCampagne INRA de labellisation des InfrastructuresNationales Collectives (ISC) puis Infrastructure deRecherche (IR)

ØRéflexions autour de la mise en place d’une IR enbioinformatique à l’INRA

ØProjet Institut Français de Bioinformatique v2

Page 48: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

48Séminaire PreLab, 02 & 05/02/2018

q Offrir aux communautés scientifiques et aux partenaires de l’Inra des dispositifs modernes aux fronts de science et de technologie les plus compétitifs ;

q Donner des perspectives de lisibilité des dispositifs de l’Inra au niveau national et européen notamment par les communautés scientifiques et les décideurs ;

q Mettre en accord l’organisation des dispositifs de l’Inra avec les différentes chartes des IR développées à différents niveaux nationaux et européen ;

q Positionner les infrastructures dans un cadre général d’orientations technologiques quand cela est possible ;

q Définir un cadre de soutenabilité économique soit entité par entité, soit plus globalement au niveau de tout ou partie de l’Inra ;

q Articuler la production de données avec le traitement, l’accès voire l’usage des données ;

q Clarifier, simplifier la gouvernance, définir de nouveaux mécanismes d’allocation des moyens aux entités labellisées ;

q Construire un système d’information spécifique aux dispositifs collectifs de production de données intégré autant que de possible à celui de l’Inra.

Présentation Gilles Aumont

Page 49: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

49Séminaire PreLab, 02 & 05/02/2018

q L’inscription dans la FR nationale et européenne d’un nombre significatif dans la feuille de route nationale et la RoadMapeuropéenne

q Des gouvernances renouvelées des Infrastructures et au niveau institutionnel

q De nouveaux modes d’allocation de ressourcesMeilleure soutenabilité économique

q Un nombre plus restreint de dispositifs identifiés comme stratégiques, importants emblématiques, …. pour l’Inra

q Des e-infrastructures de recherche si possible

Présentation Gilles Aumont

Page 50: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

50Séminaire PreLab, 02 & 05/02/2018

q Pour les dispositifs labellisés = ISC ou IRè Dotations privilégiéesè Animations métiers, et accompagnement personnaliséè Appui à l’organisation d’IR distribuéesè Aide à la labellisation nationale le cas échéant

q Pour les dispositifs non labellisésè Les départements et/ou les communautés scientifiques soutiennentè Accès aux animations métiers, potentiel de progrès et opportunités d’émergenceè Les UE conservent leur numéros codiquesè Accompagnement pour la re-soumission le cas échéant

q Les Infrastructures partagées avec les autres partenaires publics ou privésè Labellisation des nœuds principalement Inra le cas échéant è Convergence des orientationsè Gouvernance adaptée è Sur la base des coûts complets

Présentation Gilles Aumont

Page 51: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

51Séminaire PreLab, 02 & 05/02/2018

Présentation Gilles Aumont

Page 52: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.052

2017-2Sep Oct Nov Dec

2018-1Jan Fev Mar Avr Mai Juin

2018-2Juil Aou Sep Oct Nov Dec

2019-1Jan Fev Mar Avr Mai Juin

Form

atio

n

LI 1

6/10

Clo

ture

16-1

2

Aud

itio

n, 1

3-2

BurIr

19-3

Form

atio

n

LI 0

8-1

Clo

ture

18-3

Aud

itio

n, 1

4-5

BurIr

4-6

Form

atio

n

LI

Clo

ture

Aud

itio

n

BurIr

Présentation Gilles Aumont

Page 53: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.053

IR bioinformatique

ØLettre de mission des CD MIA / MICA / BAP / SA

Page 54: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.054

Projet IFB v2

ØSuite à la mauvaise évaluation de l’IFB (novembre 2016)ØDémission de Jean-François Gibrat (mars 2017)ØEchanges avec les tutelles (mars – juin 2017)

ØProposition de projet IFB v2 (aout 2017)ØAcceptation par le ministère 17 janvier 2018

Page 55: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

Redéfinition des missions de l’IFB

■ Fournir une infrastructure physique et logicielle de services en bioinformatique.

■ Appui aux programmes de recherche en biologie, santé, agronomie

et environnement, via une expertise et des compétences mutualisées.

■ Formations en bioinformatique pour biologistes et bioinformaticiens.

■ Développer une vision stratégique pour maintenir la France au plus

haut niveau d’expertise pour l’analyse des données biologiques, et

donner accès aux technologies de pointe dans le domaine

bioinformatique.

■ Servir de levier pour la conception et la mise en œuvre de projets de recherche nationaux ambitieux.

■ Assurer la représentation internationale de la communauté

bioinformatique française, en particulier au sein du réseau européen ELIXIR (https://www.elixir-europe.org/).

55Présentation J. Van Helden & C. Médigue – 01/18

Page 56: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

Plan d’action en un clin d’œil

56

WP1. Un environnement distribué de services en bioinformatiqueChristophe Blanchet & Christophe CaronA1.1 Réseau national de ressources informatiques (NNCR)Christophe Caron & Christophe Blanchet

A1.2 Software and data environmentGildas Le Corguillé & Jacques. van Helden

A1.3 Support aux bases de donnéesClaudine Médigue & Guy Perrière

A1.4 Catalogue des ressourcesJacques van Helden & Hervé Ménager

A1.5 Accès aux usagersChristine Gaspin & Christophe CaronA1.6 Mutualisation des services inter-infra

Christophe Caron & Christophe Bruley

A1.7 Guichet d’orientation et de consultationJacques van Helden & Ivan Moszer

WP2. Innovation: bioinformatique intégrativeClaudine Médigue & Jacques van HeldenA2.1 Projets pilotes inter-infrastructuresClaudine Médigue & Etienne Thévenot

A2.2 Appel à défis: lever les verrous scientifiques et technologiquesIvan Moszer & Jacques van Helden

A2.3 Interopérabilité entre ressourcesSarah Cohen-Boulakia & Jacques van Helden

WP3. Ouverture internationale + industrieAnne-Françoise Adam-Blondin & Claudine MédigueA3.1 IFB, nœud français d’ELIXIRAnne-Françoise Adam-Blondon, Sarah Cohen-Boulakia & C. Médigue

A3.2 Partenariat avec l’industriePatrick Durand et Victoria Dominguez Del Angel

WP4. Formation et diffusionJacques van Helden & Morgane Thomas-ChollierA4.1 FormationJacques van Helden & Hélène Chiapello

A4.2 Actions jointes avec SFBI + GDR BIMMorgane Thomas-Chollier (SFBI) & Hélène Touzet (GDR BIM)

A4.3 CommunicationClaudine Médigue & Victoria Dominguez Del Angel

A4.4 ValorisationClaudine Médigue & Victoria Dominguez Del Angel

WP5. GouvernanceClaudine Médigue, Jacques van HeldenA5.1 Structures de gouvernance et de coordinationClaudine Médigue & Jacques van Helden

A5.2 Système de gestion de qualitéPatricia Laplagne & Claudine Médigue

A5.3 Modèle économiqueChristine Gaspin & Patricia Laplagne

Présentation J. Van Helden & C. Médigue – 01/18

Page 57: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.057

Conclusions 2017• Année de stabilisation de l’infrastructure :

– Dernières étapes des travaux au DataCenter– Moins de problèmes matériels

• RenouvellementMigale• Centralisation espace disques MaIAGE sur le NetApp• Passage Centos7

• Renforcement de l’équipe :– Arrivée d’Olivier Inizan– Accueil à 40% de son temps de Cédric Midoux

• Mise à disposition des banques et des outils :– Mise à jour de Biomaj– Arrêt du mirroring de certaines banques trop volumineuses (gb_bact,…)– Tests de Bioconda pour le packaging d’outils

• Formation :– Mise en place de la formation à l’utilisation des ressources de la plateforme

• Développement :– Accueil d’une apprentie– Projet collaboratifs (SIO, Bibliome, …)

• Activité analyse de données– Service visible et utilisé– Migale identifié comme pôle d’expertise en métagénomique (MEM, IRSTEA, …)

Page 58: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.058

Perspectives 2018Ø Ressources Humaines :

Ø Départ d’Eric Montaudon (juillet 2018)Ø Poste IE emploi avenir MICA arbitré favorablement (février 2019)

Ø Infrastructure – Outils - Données:Ø Demande d’équipement lourd ( 180 k€) pour le renouvellement du stockage et -partiel- des moyens de calculØ Participation au National Network of Computational Ressources de l’IFBv2 (outils , Galaxy)

Ø FormationØ Pérenniser la formation « utilisation des ressources de la plateforme »Ø Nouvelle formation « analyse de variants »

Ø Développement :Ø (Re)lance des mini-projetsØ Finalisation AEB,Ø Poursuite de la collaboration avec Bibliome pour l’intégration de comoosants Text Mining dans des workflwos d’analyse bioinformatiques

(Florilege, FMT)

Ø Analyse :Ø Poursuite de l’acquisition d’expertise enMetaG / MetaT à travers des projets de collaboration : Redlosses, MeatPDO-CheeseØ Assemblages génomique / metaG de données long readsØ Viromique

Ø Infrastructure Scientifique Collective / Infrastructure de Recherche :Ø Dépôt d’un dossier de labellisation d’ISC (mars 2018)Ø Réflexions autour de la mise en place d’une Infrastructure de Recherche en Bioinformatique INRA avec l’URGI et GenoToul Bioinfo

Page 59: Plateforme bioinformatique Migale –Bilan 2017migale.jouy.inra.fr/sites/migale.jouy.inra.fr.drupal7... · 2018. 3. 29. · – Audit de renouvellement de la certification ... Demande

.059

[email protected]://migale.jouy.inra.fr

Sophie SCHBATHResponsable scientifiqueValentin LOUXResponsable opérationnelEric MONTAUDONAdministrateur systèmeVéronique MARTINOutils et banques de donnéesValérie VIDALBases de donnéesSandra DEROZIERConception et développementOlivier RUÉAnalyse de donnéesCédric MIDOUX (IRSTEA)Analyse de donnéesOlivier InizanImplémentation et déploiement automatique depipelines

Sam AH-LONEApprentie Master2 – Projet MosaicThi-Phuong-Lien NGUYENIntégration d’outils sous Galaxy - ProteoreValentin MARCONIntégration d’outils sous Galaxy – GFLSQuentin CAVAILLÉDéveloppement web - FMT