CCTP AMO – équipe production MGP version 0.2

CCTP Assistance à Maitrise d’œuvre informatique pour MGP

Le présent marché porte sur une prestation d’accompagnement de l’équipe de production de MGP dans la mise en œuvre d’une plateforme de calcul GPU et de stockage capacitif. Cette plateforme est constituée de n-nœuds (10≤n≤60), interconnectés en gigabit, constitués de d’unité de stockage et traitement associés à un GPU. Ces unités de stockage supportent un OS de type Debian et Linux. Chaque nœud dispose entre 16 et 32Go de RAM, un processeur de type x86, un GPU de type Kepler basse consommation, un espace de stockage brut entre 12 et 20To.

Pour faciliter la rédaction du document, le nom ‘zoomy’ sera associé à cette plateforme.

Un certain nombre de choix techniques sont déjà validés : l’orchestration se fera avec ProActive d’Activeon. Le système de fichier intégré sera dCache (www.dcache.org) et/ou celui de MAPR/M3 (http://www.mapr.com/products/mapr-editions/m3-edition).

L’équipe de production informatique de MGP privilégie le langage de scripting ruby. Elle dispose de serveur Apache, PHP et de serveurs de base de données (Mysql, Postgresql).

Le présent marché est à bon de commande et porte sur 1 seul lot subdivisé en 4 délivrables (qui pourront donc être commandés via un total de 4 bons de commandes). Il n’y a pas de montant minimum d’achat. Le montant maximal du marché est de 30 000 euros HT. La durée du marché est de 1 an. Les frais de mission et les frais de d’hébergement sont à la charge du fournisseur. Les prix proposés pourront faire l’objet d’une remise complémentaire lors de l’exécution du marché.

Delivrable A : ‘Services de stockage et d’accès aux données’Cette prestation recouvre : la validation de l’utilisation de dCache sur un ensemble de nœuds depuis un poste client sous windows 7 x64. Cette validation sera faite avec un POC (Proof of Concept).

Le POC démontrera l’interconnexion de dCache avec une administration des droits Active Directory. Le poste client Windows 7-x64, intégré à un AD, devra pouvoir accéder à une portion du filesystem dCache. L’équipe infrastructure de MGP mettra à disposition du titulaire un annuaire LDAP/AD pour interconnexion avec dCache. L’interconnexion du POC se fera avec pNFS4.1. Un second POC sera réalisé sur la base d’une instance MapR/M3 pour préparer le délivrable B/ livrable 1. La problématique de l’authentification depuis le poste client pour le POC MAPR sera laissée à l’appréciation du fournisseur (l’authentification et la gestion des droits sera proposé par le fournisseur lors de la réalisation du délivrable).

L’installation de dCache et MapR pour les POC demandés seront à la charge du titulaire en concertation avec l’équipe de production.

Après validation des POC de la part de l’équipe de production, le titulaire proposera un plan de mise en production et participera à la mise en production. Cette participation à la mise en production se fera à travers un accompagnement de l’équipe de production. L’accompagnement peut se faire à distance sans nécessité d’être sur le site de production. Dans le cadre d’un accompagnement à distance, le titulaire devra s’engager à répondre dans les 2h aux questions de l’équipe de production.

Livrable 1) – un cahier décrivant les POC, les tests de connexions, les tests de performances (sur la base d’un transfert en lecteur et en écriture). Le document fournit sera un fichier de type Ms-word éditable par le client.

CCTP AMO – équipe production MGP version 0.2

Livrable 2) – un cahier décrivant les étapes de la mise en production et du paramétrage pour les serveurs et les clients de la solution du POC retenue par MGP. Le document fournit sera un fichier de type Ms-Word éditable par le client.

Livrable 3) – un bilan sous forme de rapport d’accompagnement. Ce bilan décrit toutes les étapes de la mise en production dans un fichier de type Excel éditable par le client. Ce livrable clôture la réalisation du délivrable ‘ A’.

Delivrable B : ‘Orchestration des traitements avec ProActive’L’orchestration des traitements à réaliser sur les nœuds se fera avec l’outil ProActive d’ActiveEon. Cet orchestrateur bénéficie d’un contrat de support de MGP vers ActiveEon. Le prestataire prendra les dispositions nécessaires pour ce délivrable auprès d’ActiveEon indépendamment du contrat de support de MGP.

MGP met en œuvre dans JRuby l’orchestrateur ProActive. L’accompagnement demandé portera sur la définition de plusieurs use-case et de leur implémentation sur la machine ‘zoomy’ avec débordement dans un cloud (Azure par exemple, ActiveEon a la capacité fournir une prestation d’accès vers Azure). Ces use-cases porteront sur la mise en œuvre de code de traitements windows (actuellement en production sur une plateforme HPC/Windows 2008R2 de 16 nœuds) de code de traitements en ‘R’ dans un environnement linux et/ou windows.

En complément à l’utilisation de l’orchestrateur ProActive, l’équipe de production souhaite avoir une capacité de traitement Hadoop.

Livrable 1) Rédaction d’un cahier de définition des use-case soumis à approbation du client. Ce cahier décrira un minimum de 2 use-cases (un pour un nœud windows, un pour l’emploi de ‘R’). Ces use-cases décriront la mise en œuvre sur la machine ‘zoomy’ et le débordement vers un cloud Azure. Une déclinaison de ces 2 use-cases sera proposée sur Hadoop (implémentation MapR/M3). Au total 4 use-case seront présentés.

Livrable 2) Implémentation de 2 use-cases ProActive décrits dans le livrable 1 en concertation avec le client, sur la machine ‘zoomy’. Le client prendra en charge les frais opérationnelles liés à la démonstration du débordement sur le cloud Azure. Les 2 use-cases Hadoop seront implémentés sur ‘zoomy’. La démonstration de débordement ne sera pas requise pour Hadoop.

Livrable 3) Benchmarking des use-cases. Un cahier de benchmark sera livré. Ce benchmarking présentera un abaque liant le coût d’exploitation (électricité, amortissement, débordement azure), la vitesse de réalisation des traitements et la localisation des données (locale, dans le cloud azure) dans le cas d’utilisation de l’orchestrateur ProActive.

Livrable 4) Optimisation des traitements proposés et localisation dans la machine ‘zoomy’, dans le cloud, dans un espace de stockage HSM. Une phase d’optimisation sur les transferts de données sera réalisée avec un rapport concis présentant les critères d’optimisation, leur application et le gain mesuré dans le cas d’utilisation ProActive.

Delivrable C : ‘Gestion du stockage et sauvegarde’Le stockage des données sur la machine ‘zoomy’ et leur déplacement sur une solution HSM nécessite une étude de faisabilité. Cette étude de faisabilité donnera lieu à une prestation d’intégration et de validation.

CCTP AMO – équipe production MGP version 0.2

Livrable 1) Etude de faisabilité. La solution de stockage mise en production dans le delivrable ‘A’ nécessite un stockage HSM (Hiérarchique) sur bande LTO (LTO5). Ce livrable sera un cahier présentant l’état des éléments existants pouvant être mise dans le stockage HSM, les éléments à acquérir et un exemple de mise en œuvre d’un stockage HSM sur la technologie proposée.

Livrable 2) Intégration et mise en production. En accompagnant l’équipe de production, le titulaire participera à l’intégration. Cette mise en production sera décrite dans un document technique dans un format type Ms-Word.

Livrable 3) Validation de la solution mise en production. En accompagnant l’équipe de production, le titulaire vérifiera le bon déroulement d’une sauvegarde et d’une restauration. Il réalisera un document présentant un abaque mettant en relation la volumétrie sauvegardée, le temps de sauvegarde et le cout de maintien en fonction de la localisation HSM.

Delivrable D : ‘Packaging d’une distribution, Outils de déploiement, Monitoring’ Il s’agit de réaliser la création et l’intégration d’une distribution dédiée (intégration de l’OS, du filesystem, des outils de traitements, d’orchestration et de monitoring). Les outils de déploiement doivent permettre de mettre en œuvre sur la machine ‘zoomy’ les ressources de nœuds windows, de nœuds linux. Cette prestation s’accompagne d’une mise en œuvre d’une solution de supervision et monitoring associée à l’ensemble des prestations (delivrable A, B, C, D). Le titulaire proposera et implémentera une solution de supervision parmi les 3 suivantes : shinken, zabbix ou opennms. La justification du choix sera laissée à l’appréciation du titulaire.

Livrable 1) Définition du besoin. Le titulaire réalisera la collecte des besoins et la rédaction d’un cahier de spécifications fonctionnelles. Cette collecte portera sur la réalisation d’un serveur de boot PXE destiné à déployer des images Windows et Linux. Les méthodes de déploiement (choix de l’outil) seront à l’appréciation du titulaire. L’outil de déploiement devra permettre de faire des configurations scriptées.

Livrable 2) Maquette. Le titulaire réalisera une maquette de l’outil de distribution. En accord avec l’équipe de production, le matériel nécessaire lui sera fourni. Un rapport de réalisation sera présenté par le titulaire à l’équipe de production.

Livrable 3) Mise en production. Associé à l’équipe de production, le titulaire va faire la mise en production sur les matériels fournis. A l’issu de l’opération de mise en production, un cahier de livraison qui documente les étapes de la livraison sera remis à l’équipe de production.

Livrable 4) Supervision. Les delivrables A, B, C, D permettent la mise en production de nouvelles ressources (calcul, stockage, HSM, sauvegarde, déploiement, état de l’orchestrateur). La supervision de ces ressources sera réalisée par le titulaire sur du matériel (ainsi que la base de données nécessaires et les services web) fourni par l’équipe de production. Cette supervision pourra se faire avec un outil tel que shinken, néanmoins des alternatives existent (zabbix ou opennms) et le titulaire fera la proposition de l’outil le plus adaptés. Le livrable qui clôture cette prestation est le cahier de livraison de l’outil de supervision.

Critères de sélection :L’offre sera évaluée selon les critères suivants :

CCTP AMO – équipe production MGP version 0.2

1. Prix total : 45%2. Expériences significatives notamment en langage Ruby, Hadoop, R, Azure, et Déploiement

d'infrastructures de type Cloud : 30%3. CV du ou des participants : 10%4. Expérience en suivi de projet (plan, livrable, organisation) : 10%5. Mémoire méthodologique sur le plan d’action, d’organisation et de conduite du projet

associé à ce marché : 5%

L’offre devra indiquer un bordereau de prix comprenant une référence fournisseur, une charge estimative pour chaque délivrable ainsi qu’un court résumé des actions à mener reprenant la liste des livrables par délivrable. Cette offre sera au format PDF et permettra l’édition d’un bon de commande de la part de MGP.

L’offre devra comporter le ou les CV des participants, une présentation des expériences significatives et une présentation de l’expérience en suivi de projet.

L’offre devra exposer un court mémoire méthodologique sur le plan d’action, d’organisation et de conduite de projet associé à ce marché. Un calendrier indicatif (précision calendaire à la quinzaine) sera proposé. Ce mémoire méthodologique pourra faire fonction de plan d’assurance qualité. Son format sera un document PDF, limité à 5 pages.

Contacts : Pierre Léonard /JM Batto