cloud ifb pour les sciences du vivant · 2018-03-20 · diﬀeren@al analysis of rna-seq data,...

GwendolineAndresJocelynBrayetChristopheBlanchetChristopheCaronLoraineGuéguenOlivierInizan

29février–3mars2016

Développementetintégra9ond’applica9onsousGalaxyCloudIFBpourlessciencesduvivant

Forma9onCloudetGalaxy

GildasLeCorguille

AlbanLermine

ValenAnLouxFabienMareuilSandrinePerrinMathieuValade

Présenta9ondelaforma9on

1

2

•  Bonnespra9quesd’intégra9ond’ou9ls

•  dansGalaxy•  SurlecloudIFB

•  Deuxsessionsdeforma9onscomplémentairespourpromouvoirlamiseàdisposi9ond’ou9lsetdepipelinesdéveloppésdanslePIAFranceGénomiqueavecGalaxyetsurlecloudIFB•  12+pipelinesannoncéscommeétantdéveloppésouàdéveloppersousGalaxy

•  Importancedelamiseàdisposi9ond’unpubliclargeàtraversGalaxyetlecloudIFB

Objec9fsdelaforma9on

Formation Galaxy IFB/FG 2016

3

SessionGalaxy

Programme Forma9onCloudetGalaxyIFBpourFranceGénomique-2016 Lundi29-févr Mardi01-mars Mercredi02-mars

08:30 Intégration d’outils / Planemo / Bonnes

pratiques Intégration de son pipeline

10:30 Pause Pause 11:00

Déploiement sur le ToolShed IFB et sur le

Toolshed Main

Bilan de l'intégration des pipelines : partage des problèmes, solutions

11h45 Bilan : Tour de table / Formulaire de satisfaction

12:30 Repas 14:00

Introduction à l'école : Tour de table Présentation générale de

Galaxy Intégration de son pipeline

16:00 Pause Pause

16:30 Installation et intégration d'outils / Planemo Intégration de son pipeline

18:30 Fin de la journée


4

•  Tourdetable

•  AQentesvisàvisdelaforma9on•  Brèveprésenta9ondevotrepipeline

•  Présenta9onduGTGalaxydel’IFBetdesrela9onsavecFranceGénomique

•  Introduc9ongénéraleàGalaxy

•  PremièreincursiondansGalaxy

Introduc9onàlaforma9on


Tour de table

Vosencadrants:GwendolineAndresJocelynBrayetChristopheBlanchetChristopheCaronLoraineGuéguenOlivierInizanGildasLeCorguilleAlbanLermineValenAnLouxFabienMareuilSandrinePerrinMathieuValade


7

•  IFB et al.

•  Since2013!•  3missions:

–  Anima9on–  R&D–  Training

GalaxyTaskForce


8

•  Galaxy Day 2013, 2014, 2015 : 300 people –  Organized with Curie and Pasteur institutes –  Usersession:NGS,metabolomics,chemistry..–  Devsession:«Docker»,Planemo…

•  Hackathon 2015 : 30 developers

•  Galaxy Community Conference –  Oslo 2013, Baltimore 2014 –  and Norwich 2015

•  Representation of the french community (talks…) •  First contacts for GCC 2017

•  Interest of a minimal structuration of community

Anima9on


9

•  IntegraAonToolShed–  50packages–  Laboratory for best practices –  A step before committing to central Tool Shed –  Used for training schools

• 3 best practice guides : quick start, advanced, toolshed •  Tools & workflow examples:

R/&D: IFB/FG collab

SarTools(PasteurInsAtute)H.Varet,J.-Y.CoppeeandM.-A.Dillies,SARTools:aDESeq2-andedgeR-basedRpipelineforcomprehensivedifferen@alanalysisofRNA-seqdata,bioRxiv,2015

→repositorysurToolShedIFB →UsedinAVIESANschool2015

BisulfiteSeq.datapipeline(CCRT)-  DevelopedforSLURM-  CPU/memoryneeds

→Galaxyworkflow:1/mul9-threading2/collecAons


10

•  Galaxy4Bioinforma9cs(3/4days)–  V1(Roscoff),V2(Nantes),V3(Montauban)– Architecture, Tools Integration, Toolshed, API

– ~75students /12 teachers– Highsa9sfac9onrate!

•  NGSwinterschool-AVIESANRoscoff–  Galaxy4Learning:130Students–  Fiqhedi9on:20-25Nov.2016–  GalaxyWG:dedicated(++)taskforce“GalaxyInfrastructureGalaxy”

•  Bestprac9ces&usersguideline•  HighAvailabilityInfrastructure

Training


11

•  MiniG4B(29/02):Galaxy/Cloud/IFB/FG– FranceGénomiquebioinforma9cians–  Toolsintegra9on

•  Best practices •  Using the IFB Integration Tool Shed

–  Bindtothecloudmodule

• Galaxy4Bioinformatics V4 – Lyon (October 2016) – Registration fee – Organized with IFB-CORE training team

Training


12

GalaxyWG


13

Galaxy


14

http://www.genome.gov/sequencingcosts/

Stein Genome Biology 2010, 11:207

« Big Data »


15

Accessibilitédesou9lsdesworkflows

Problèmes

ReproducAbilitédesanalyse

Transparencedesanalyses


16

• Exemple:Projetpilote«1000genomesproject»:– Sériederecommanda9onssurlaprocédured’analyse– 299 ar9cles publiés en 2011 citent le papier « bestprac9ces », 19 sont des projets de re-séquençage avec desdesignexpérimentauxsimilaires.

• 10 u9lisent les ou9ls recommandés de mapping et dedécouvertedevariants.• 4u9lisentleworkflowcomplet.

Malgrél’effortdedescrip9on,chacunsonpipeline!

Pourquoi?• Les«NGS»évoluent:séquenceurs,ou9lsd’analyse• Complexitédesanalysesetdesworkflows• Accessibilitédesworkflows

Reproduc9bilité


17

• Scripts«maison»nondistribués,malexpliqués:

• Ou9lsprécisés,sans laversionni lesparamètres.Sur50papiersu9lisant bwa en 2011, 31 ne citent pas sa version et sesparamètres(et26nedonnentpasaccèsauxdonnées).

• Moinsde50%desanalysesdemicro-arrayspubliéesdansNatureGene@csen2009sontrépétables.

Mat & Met Reproduc9bilité


18

• Données,méta-données.CommentréuAliserlesdonnées?

Mat&Met

Transparence


19

Pourtant la reproducAbilité est à la base de ladémarchescien9fique…

Nature 496, 398 (25 April 2013)

ProblèmecriAquedereproducAbilité


20

Ou9lsdeconstruc9onetd’exécu9ondeworkflowsquipermeQentderejoueruneanalyse:

– Mobyle– Taverna– Kepler– …– Galaxy

QuellessoluAons?

• Développédepuis2005par– Penstateuniversity– Emoryuniversity

• Reprendlesbonnesidéesdesou9lsprécédents• Orientécommunauté,partageetreproduc9bilité

Accessibilité Reproductibilité Transparence


21

ObjecAfs:– «democraAzaAonofbiomedical computa9on so thateven the smallest research unitswithmodest budgetsare capable of carrying out analyses using appropriatetoolsinareproduciblefashion»

Environnement pour réaliser et enregistrer desanalyses.

Permet l’u9lisa9on ou l’inclusion des ces analysesdansdespublica9ons.

ReproducAbilité


22

Pas besoin de programmer ou d’apprendre àmanier la lignedecommande,deconnaître lesdétailsd’implémentaAond’unou9l

Interface unifiée d’obten9on et d’analyse dedonnéesgénomiques(ouautres)

Accessibilité


23

PortailGalaxy


24

Portail Galaxy


25

• Capturerautoma9quementlesméta-données:– provenancedesdonnées– paramètresetenchainementsdesou9ls

• Enregistrer les jeux de données et les résultatsintermédiaires• Fournir les ou9ls dedocumentaAon (annota9ons, tags)etdepartagedesanalyses

– métadonnées:«cequiaétéfait»– annota9ons:«pourquoicelaaétéfait»

ReproducAbilité


26

Chaque analyse peut être rejouée,extraite sous forme de workflow etpartagée

Les workflows peuvent et doiventégalementêtreannotés

ReproducAbilité


27

Les jeux de données, historiques d’analyses etworkflowspeuventêtrepartagés:

– import/exportdel’ensembledel’analyse– partageentreu9lisateurs– mise à disposiAon publique sur uneinstancedeGalaxy

Une analyse peut êtredocumentée sous formede«Galaxypage»

Transparence


28

Page Galaxy : page web permeQant ladocumenta9oncomplèted’uneanalyse

– Textelibre(avecéventuellementdesfigures)– Inclusion des jeux de données, historiqued’analyseetworkflows– Mécanismed’import permeQant de rejouerl’ensemble de l’analyse sur les donnéesfournies

Transparence


29

Pages Galaxy


30 Formation Galaxy IFB/FG 2016

•  Donnéesbrutesmisesàdisposi9onssurSRA

•  Donnéesprimairesmisesàdisposi9onsurGigaDB,avecunDOIassocié.

GigaDB

31

Galaxyoffreunesolu9oncomplèteetaccessiblepourfavoriserl’accessibilitédesanalysesbioinforma9quesàunpublicnonexpert.LatransparenceetlareproducAbilitésontégalementfavorisées,maisilrestedesproblèmes:• Ges9onfineethomogénéiséedesversionsdelogiciels• Conserva9ondesdonnéeslorsdesmisesàjour• …

Conclusion


32

PagewebdeGalaxy:hQp://galaxyproject.org/– Usegalaxy:galaxy-central– Getgalaxy:distribu9on(installlocale,cloud)– Learngalaxy:tutorials,screencast– Getinvolved:mailinglistsandwiki

HowtociteGalaxy:hQps://wiki.galaxyproject.org/Ci9ngGalaxyPublicaAons:NekrutenkoA,TaylorJ:Next-genera9onsequencingdatainterpreta9on:enhancingreproducibilityandaccessibility.NatRevGenet2012,13:667–672.GoecksJ,NekrutenkoA,TaylorJetal:Galaxy:acomprehensiveapproachforsuppor9ngaccessible,reproducible,andtransparentcomputa9onalresearchinthelifesciences.GenomeBiol2010,11:R86.

Références


Environnement de travail


34

Laforma9onsedéroulerasurunemachinevirtuelleprévupourfonc9onneravecVirtualBox.Pré-requispourvotrepostedetravail:•  VirtualBox4.3.28minimum•  ConnexionInternet

Lamachinevirtuelleaétépré-configuréepourlaforma9on:• EnvironnementLinuxCentOS6.6• Guestaddi9oninstallée

MachineVirtuelle


35

Unensembled’ou9lsontétépré-installéssous/usr/local:• Python2.7.2

–  iPython2.3.0–  Bioblend0.6.1

• Ou9lsBioinfo–  BLAST+2.2.28–  MEME7–  SAMTOOLS–  Phylip

• R3.1.1+modules

Environnementlogiciel


36

Uncompteunique:

• Iden9fiant:galaxy(adminGalaxy:[email protected])• Motdepasse:azerty• Homedir:/usr/local/galaxy• Disposedesdroitsadministrateurs(sudo)

Session


37

• ImportezlaVMdansVirtualBoxàl’aidedel’ou9lFile>ImportAppliance

•  DémarrezlaVM•  Ouvrezunesessionavecl’iden9fiantgalaxyMotdepasse:azerty

• OuvrezunTerminalencliquantsurl’icône

• Lancezlacommandesudo whoami Résultat:root

PremierlancementdelaVM


Installation


39

VousêtesprêtàlancervotreinstanceGalaxy!LancezleserviceGalaxyLefichierrun.shréaliseplusieursopéra9onspermeQantd’ini9aliservotreenvironnementGalaxyavecdesparamètrespardéfaut:1.  Ilsourcevotreenvironnementvirtuelpython(pardéfault.venv)2.  Ilrécupèrelespackagespythonnécessairesaufonc9onnementdeGalaxy(eggs)3.  Ilini9aliselesfichiersdeconfigura9onspardéfaut4.  Ilini9aliselabasededonnées(pardéfautSQLlite)Aprèsuneoudeuxminutesd’iniAalisaAon,vouspouveztesterl’applicaAonvial’URL:hdp://localhost:8080/

PremierdémarragedeGalaxy

[galaxy]$ sh run.sh


40

Chargezdansvotrehistoriquelefichier/usr/local/galaxy/galaxy/test-data/1.tabular 1.  Cliquezsurl’ou9lGetData/UploadFile2.  CliquezsurChooselocalfile3.  Sélec9onnezlefichier/usr/local/galaxy/galaxy/test-data/1.tabular 4.  CliquezsurStart5.  Lorsquelechargementestterminé,cliquezsurCloseUAlisezunouAldemanipulaAondetextepourchangerlacassedelatroisièmecolonnedecedataset1.  Cliquezsurl’ou9lTextManipulaAon/Changecase2.  VérifierquelachampFrompointeversledatasetquevousvenezdecharger3.  Indiquezlavaleurc3pourlechampChangecaseofcolumns4.  CliquezsurExecuteUnnouveaudatasetaétécréédansvotrehistorique

Lancerunjob


Configuration Organisation générale des fichiers


42

-  config:Con9entlesdifférentsfichiersdeconfigura9ons-  tools:Con9entlesou9lsetwrappers-  tool-data:Con9entlesdescripteursdedonnées(fichier.loc(“loca9on”)).

Lalistedesgénomesdisponiblesestàrenseignerdansshared/ucsc/builds.txt-  staAc:Con9entlestyleetlespagesHTML.

Pourpersonnaliserlapaged’accueil,onpeutmodifierlescriptstaAc/welcome.html

-  database:Con9entlesdonnéesdesu9lisateurs-  logs:Con9entlesfichiersdelogscréésàchaquestop/start/restartdel’instance.

Organisa9ongénéraledesrépertoires


43

-  Lesprincipauxfichiersdeconfigura9onsetrouventdanslerépertoireconfig.

galaxy.ini:configura9ongénéraledel’instancetool_conf.xml:configura9ondesou9lsdisponiblestool_sheds_conf.xml:configura9ondestoolshedaccessibledepuisvotreinstanceshed_tool_conf.xml:config.desou9lsdéployéssurl’instanceviauntoolsheddatatypes_conf.xml:déclara9ondesdifférentstypesdedonnéesjob_conf.xml:déclara9ondesressourcesdecalcul(queue,mémoire…)

Lesfichiersdeconfigura9on


44

Fichierdeconfigura9on.iniorganiséensec9ons:

•  [server:main]:configura9onduserveurdedéploiement(hostetport)•  [app:main]:configura9ondel’applica9onGalaxy•  Répertoiresdetravail:filesetdirectories,loggingetdebugging,users,securité.

•  Basededonnées:..Nousvouslaisseronsdécouvrircefichier.

galaxy.ini


Configuration Interface d’administration


46

-  Ges9ondesu9lisateurs,groupesetrôles

-  Ges9ondesdonnéeset

deslibrairiespartagées-  Ges9ondesquotasd’espace

disque

-  Visualisa9ondesdatatypesetdatatables

-  Relanced’unou9lindividuelaprèsmodifica9onduwrapperXMLd’unou9l

-  Ges9ondesjobsencours

-  Ges9ondestoolsheds:

installa9ond’ou9lviatoolshed

Galaxy:Modeadmin


Configuration Tracer les erreurs


48

Visualiser le chemin exact de chaque dataset depuis l’interface web Les administrateurs de la plate-forme peuvent visualiser le chemin exact d’un dataset directement depuis l’interface web de Galaxy

Tracerleserreurs


49

Consulter le debug d’un outil depuis l’interface web Relancer l’outil Change case en indiquant une valeur incorrecte pour le champ Change case of columns (par exemple 0.5)

Tracerleserreurs

Visualiser le log d’erreur de l’outil Consulter les informations détaillées concernant l’execution du job


50

Consulter le debug d’un outil depuis l’interface web

Tracerleserreurs

Log de la sortie standard de la commande exécutée

Log de la sortie d’erreur de la commande exécutée

Code de sortie de la commande exécutée

Commande exécutée


51

Consulterleslogsdel’instanceUnfichierdelogestgénérépourchaquehandlerdevotreinstancedansvotrerépertoiregalaxy.Vouspouvezsuivreentempsréelleslogsdevotreinstancegraceàlacommandetail -f Lamiseenplaced’unhandlerdédiéàl’exécu9ondesou9lspermetdetracerplusfacilementleserreursliéesàl’exécu9ond’unou9l.

Galaxy:Installa9on

[galaxy]$ tail -f main.log

[galaxy]$ tail -f job.log


52

Conserverlestracesd’exécuAond’unjobPardéfaut,Galaxysupprimetouteslestracesd’exécu9ond’unjob,quecelui-ciaitréussiounon.Lesinforma9onsconsultabledepuisl’interfacewebsontstockéesenbasededonnées,maistouslesfichiersintermédiairesgénérésparlejobsontsupprimés.Pourconserverlesfichierscréésparl’exécu9ondujobdansvotredossierjob_working_directorylorsqu’unjobs’estterminéenerreur,vouspouvezmodifierl’op9oncleanup_jobdansvotrefichiergalaxy.ini.

Galaxy:Installa9on

# Clean up various bits of jobs left on the filesystem after completion. These # bits include the job working directory, external metadata temporary files, # and DRM stdout and stderr files (if using a DRM). Possible values are: # always, onsuccess, never

cleanup_job = onsuccess


53

Mercipourvotreécoute.

FIN


cloud ifb pour les sciences du vivant · 2018-03-20 · diﬀeren@al analysis of rna-seq data,...

Documents