jftl 2015 : choix et déploiement d’un outil de test : retours d’expérience sur les...
TRANSCRIPT
Choix et déploiement d’un outil de test : Retours d’expérience sur les spécificités de l’open source
Auteurs : Jérôme Honnorat – EuronextVincent Rodziewicz – VallourecLaurent Stuhlsatz – MMAMichaël Belkasmi – Henix
14/04/2015
Journée Française du Test Logiciel 2015
JFTL 2015 2Choix et déploiement d’un outil de test : REX sur les outils OSS
Introduction
• L’open source, bien que largement adopté dans les activités de développement depuis des années, s’implante timidement dans les autres activités ALM.
• L’open source suscite des interrogations : – Manque de maturité– Pérennité– Coûts cachés– Support/maintenance communautaire sans garantie de réactivité– ...
• Cette présentation a pour objectif de faire partager le REX de 3 Grands Comptes qui ont fait le choix d’une solution open source pour la gestion de leur tests fonctionnels
• Ces retours d’expérience sont articulés autour de 3 problématiques :– Le choix (MMA)– L’intégration (Euronext)– Le déploiement (Vallourec)
14/04/2015
3Choix et déploiement d’un outil de test : REX sur les outils OSSJFTL 2015
Laurent STUHLSATZ
Une démarche de choix impliquant les futurs utilisateurs
REX
n°1
14/04/2015
JFTL 2015 4Choix et déploiement d’un outil de test : REX sur les outils OSS
Contexte
LA SOCIÉTÉ MMA
• 1er réseau social d’assurances
• Assureur mutualiste, multispécialiste (IARD, assurance vie,...)
• 1500 agents / 2000 points de vente, un réseau de distribution implanté sur l’ensemble du territoire français
• +3 millions de clients
• CA : >6 500 M€ (2011)
• Effectifs : 13 000 collaborateurs
14/04/2015
JFTL 2015 5Choix et déploiement d’un outil de test : REX sur les outils OSS
Contexte
L’ORGANISATION DE LA VALIDATION AUX MMA
• Plusieurs équipes impliquées dans la validation :
• Un département transverse « PVQL*» :– gestion du cycle de vie des applications– validation MOE et validation de Non Régression– mise à disposition des environnements de validation
• ~10 000 tests, manuels et automatisés
• >50 testeurs impliqués dans les processus de validation
14/04/2015
DEV ASS VMOE VMOA
(*) Pilotage de Versions et Qualification Logiciels
JFTL 2015 6Choix et déploiement d’un outil de test : REX sur les outils OSS
La problématique
• En 2012, MMA lance un appel d’offres pour l’acquisition d’une solution progicielle de gestion des activités de validation
• La solution doit remplacer à terme les outils "maison" historiques
14/04/2015
LESBESOINS
Apporter une vision consolidée des activités de test d’un projet
Avoir en temps réel la photo de la qualité d’une application et de son évolution au cours du cycle de vie
Améliorer la qualité de service et optimiser les activités de test
Un outillage qui s’intègre dans le processus de professionnalisation des équipes
JFTL 2015 7Choix et déploiement d’un outil de test : REX sur les outils OSS
Associer les futurs utilisateurs dans le choix de l’outil :
Impliquer les utilisateurs dans la démarche de sélection= Faciliter l’appropriation future
Permettre aux utilisateurs d’expérimenter les outils= Choisir l’outil qui leur convient
Des utilisateurs au cœur de la démarche de choix
14/04/2015
Garantir l’adoption de l’outil pour accompagner l’harmonisation des pratiques de validation
ENJEUX
JFTL 2015 8Choix et déploiement d’un outil de test : REX sur les outils OSS
• Un groupe de travail de 20 personnes :– en majorité composé de représentants des futurs utilisateurs : MOE,
MOA, pilotes de projets, développeurs
– + production, achats, responsable PVQL
La démarche mise en œuvre
14/04/2015
Préparationde l’appel d’offre
Dépouillementdes offres
POCsur les deux outils
shortlistés
Contractualisation & Déploiement
Consultation des éditeurs / intégrateurs Shortlist Comité de direction
Groupe de travail
JFTL 2015 9Choix et déploiement d’un outil de test : REX sur les outils OSS
• Recensement des besoins et formalisation d’une grille de110 exigences fonctionnelles et techniques
• Choix d’un panel représentatif des outils du marché :– "Gros" leaders du marché propriétaire– Autres éditeurs d’outils propriétaires alternatifs– Challenger open source
14/04/2015
6 éditeurs sollicités 5 offres reçues (dont 1 open source)
PRÉPARATION DE L’APPEL D’OFFRE
JFTL 2015 10Choix et déploiement d’un outil de test : REX sur les outils OSS
• Évaluation des offres par chaque membre du groupe de travail :– 7 domaines fonctionnels + 1 technique 80 critères pondérés– Pertinence/clarté de l’offre– Intérêt pour la solution proposée
• 1 soutenance par éditeur
• Evaluation des coûts liés à chaque outil par les Achats :
14/04/2015
2 outils sont shortlistés : HP ALM et Squash TM
– acquisition / adaptation– maintenance annuelle
– installation/paramétrage– formation
DÉPOUILLEMENT DES OFFRES
JFTL 2015 11Choix et déploiement d’un outil de test : REX sur les outils OSS
• Deux objectifs à vérifier :– Capacité du produit à couvrir le socle minimum des besoins 90 fonctionnalités
à évaluer sur une échelle subjective (Ne plait pas Plait beaucoup)– Facilité d’appropriation
• 1 cahier des charges détaillé du POC en amont
• 7 utilisateurs MOE + MOA participent au POC durant 19 jours :– 7 jours/outil avec accompagnement sur site de l’éditeur– 5 jours de « zapping » entre deux outils
• 1 soutenance « Bilan de POC » avec les éditeurs
14/04/2015
LE PROOF OF CONCEPT (POC)sur les deux outils shortlistés
17 projets, 300 exigences, 550 cas de test, 1200 étapes de test, 40 campagnes… ont été saisis et manipulés durant le POC
RÉSULTATS
JFTL 2015 12Choix et déploiement d’un outil de test : REX sur les outils OSS
Bilan
• L’outil open source a finalement été choisi par les utilisateurs suite au POC.
• L’outil est aujourd’hui utilisé par l’ensemble des équipes de test :– Une adoption très rapide : 6 mois pour basculer 95% des projets– Une adoption totale : 100% des utilisateurs soit 285 utilisateurs– Un outil également utilisé par d’autres acteurs projet, non testeurs
• « L’open source ne coule pas de source »
• MMA a rejoint la communauté des contributeurs du produit en finançant des développements pour enrichir la solution
• Les coûts :– Tous les coûts ont été identifiés et valorisés pendant la phase de consultation– Sur 5 ans, le rapport est de 1 à 10 entre la solution open source retenue et une
solution propriétaire concurrente
14/04/2015
13JFTL 2015
Jérôme Honnorat
Intégration d’un outil open source au sein d’un écosystème complexe
REX
n°2
Choix et déploiement d’un outil de test : REX sur les outils OSS
14/04/2015
JFTL 2015 14Choix et déploiement d’un outil de test : REX sur les outils OSS
Euronext, principal opérateur de la zone euro
• 1 300 émetteurs pour une capitalisation boursière totale de 2 600 milliards d’euros
• Clientèle solide et variée en France et à l’international
• Euronext comprend :- Ses marchés réglementés- Alternext, son Marché libre- EnterNext, filiale dédiée au financement des PME-ETI par les marchés de
capitaux.
• L’offre d’Euronext recouvre des produits financiers variés : actions, bonds d’états, warrants, Exchange Tradded Funds (ETF), ...
• Euronext propose des solutions technologiques et des services administrés à des tiers (Qatar SE, Philippine SE, ...)
14/04/2015
JFTL 2015 15Choix et déploiement d’un outil de test : REX sur les outils OSS
La qualité applicative chez Euronext
14/04/2015
• Le Pôle QA, une équipe à forte technicité : • 33 personnes • 2 sites : Paris et Belfast
• Typologie de test :- + de 80 000 cas de test : 60 % manuels, 40 % automatisés- Tests de flux, d’IHM, et Tests techniques,- Intégration et qualification continue : en cours de mise en place- Tests multi-environnements
• Outillage : Outils Maisons + Opensources + Propriétaires
JFTL 2015 16Choix et déploiement d’un outil de test : REX sur les outils OSS
Juin 2014 :
• IPO d’Euronext, (Séparation du groupe ICE - Nyse Euronext)
• Le Pôle QA Euronext recherche des outils alternatifs aux outils historiques
La problématique
14/04/2015
ENJEUX
•Rationaliser le parc applicatif en fonction de la nouvelle dimension du groupe
• Industrialiser l’activité de développement et de qualification autour d’une plateforme d’intégration/qualification continue
•Mettre en place une suite d’outils adaptables et flexibles en fonction de l’Etat de l’art méthodologique et du contexte métier d’Euronext
JFTL 2015 17Choix et déploiement d’un outil de test : REX sur les outils OSS
La problématique
14/04/2015
• Les outils historiques
NAVIGATORGestion des cas
de test
QALCOrdonnancement
des tests
MARKET TESTSimulation des ordres d’achat
• Difficulté de garantir l’indépendance vis-à-vis des équipes US
Coût d’appropriation technique très important Besoins d’accompagnement par les US Besoin de formation pour les équipes Euronext
• Intimement liés à MarketTest• Trop de ressources nécessaires pour maintenir le système (environ 10 personnes)
• Fonctionnellement trop riche• Très cher• Support/Maintenance inefficace
Cette suite d’outils doit être remplacée car surdimensionnée et/ou obsolète dans le nouveau contexte d’Euronext
Outils “maison” (Dév. internes)
Outil propriétaire
JFTL 2015 18Choix et déploiement d’un outil de test : REX sur les outils OSS
Le choix de l’open source
14/04/2015
• Outils accessibles avec un budget < au budget alloué sous Nyse Euronext
• Adaptables aux besoins spécifiques et aux besoins d’intégration dans la plateforme cible Euronext
Le Pôle QA s’oriente vers l’écosystème Open Source et retient 1 solution, dont les éléments différenciants sont :
• Les garanties proposées par un éditeur impliqué dans la gouvernance de la solution
• Des technologies et langages maîtrisés par les équipes QA
• Une architecture modulaire facilitant une intégration à moindre coût dans le contexte Euronext
Les besoins d’Euronext pour l’outillage cible :
JFTL 2015 19Choix et déploiement d’un outil de test : REX sur les outils OSS
La plateforme de qualification cible
14/04/2015
SUT
Environnement 1
Environnement 2
Environnement n
Outils de test
User storiesAnomalies
ExigencesCas de testCampagnes
Automatisation des tests
Redmine
Squash TM
Minos Web
Squash TA
Master
Slave 1
Slave 2
Slave n
Minos injection
Instance 1
Instance 2
Instance n
Squash DB CSV
Use
r sto
ries
Ano
mal
ies
...
...
JFTL 2015 20Choix et déploiement d’un outil de test : REX sur les outils OSS
• Les développements et l’intégration autour de Minos ont duré 8 mois par 4 personnes : 3 Développeurs, 1 Expert en QL
• Accompagnement de l’éditeur sur les développements et sur de l’expertise technique sur la solution open source
• Participation à l’enrichissement de la solution open source grâce au reversement des développements au cœur open source
Intégration de la solution open source
14/04/2015
JFTL 2015 21Choix et déploiement d’un outil de test : REX sur les outils OSS
Un SUT complexe
14/04/2015
SUT(System Under Test)
Environnement 1
Environnement 2
Environnement n
...
...
• Multi clients :– Marchés internes Euronext : actions, warrant, produits dérivés, ...– Clients externes : bourses tierces (Qatar, Philippines, Varsovie, ... )
• Multiples environnements– Par composants du SI pour chaque Marché et clients– Entièrement intégrés – Techniques
• Traçabilité des campagnes par release
• Exécutions parallèles de suites de test sur différents environnements
• Des contraintes régulateurs sur l’engagement de haute disponibilité
• Des contraintes de compétitivité sur les temps de réponse (microsecondes)
• Des contraintes de volumétrie : – Actions : 100 M ordres et 1000 accès concurrents / jour– Dérivés : 300 M ordres et 10 000 accès concurrents / jour
JFTL 2015 22Choix et déploiement d’un outil de test : REX sur les outils OSS 14/04/2015
Bilan
• Une plateforme opérationnelle répondant aux exigences budgétaires d’Euronext :– 2 personnes contre 10 auparavant sur la maintenance des développements internes– Le budget outillage a été drastiquement réduit par la réduction des coûts de support/maintenance et du
nombre des licences– Retour sur investissement attendu dès 2015
• Enjeux de la séparation atteint :– Des équipes indépendantes sur les technologies et impliquées dans l’amélioration continue– Appropriation des outils réussie : de 30 users à 200 users fin 2015 incluant les équipes IT et métiers
• Industrialisation de l’activité de test réussie :– 70 % des tests automatisés repris sur la nouvelle plateforme– Reporting industrialisé sur l’ensemble des tests manuels, automatisés, techniques– Activité structurée autour de la plateforme : Best practices, règles de nommage et conventions
d’utilisation
• Vigilance et perspectives : – Amélioration de la productivité grâce à la nouvelle plateforme– Mise en place de méthodologies innovantes : Model Based Testing, ATDD ...
23JFTL 2015
Vincent Rodziewicz
Déploiement dans un contexte multi-site international
REX
n°3
Choix et déploiement d’un outil de test : REX sur les outils OSS
14/04/2015
JFTL 2015 24Choix et déploiement d’un outil de test : REX sur les outils OSS
Vallourec Leader Mondial des solutions tubulaires
• Multinationale implantée sur 4 continents : Europe, Amériques, Asie et Pacifique.
• CA : 5 578M€
• Unités de production présentes dans 20 pays
• Produits : solutions tubulaires et connexions
• Marché de l’énergie et de l’industrie : Pétrole et Gaz, électricité, automobile, construction,...
14/04/2015
JFTL 2015 25Choix et déploiement d’un outil de test : REX sur les outils OSS
• Organisation autour de pôles IT régionaux et coordonnés par une Equipe IT Corp de 21 personnes :
- IT Europe : 300 personnes- IT Amérique du Nord : 50 personnes- IT Brésil : 89 personnes- IT Asie Pacifique : 14 personnes
• Parc applicatif hétérogène organisé autour d’une suite de progiciels SAP
• Des outils de test disparates (propriétaires, open source ou non spécialisés test) en fonction des régions IT, des SUT et des activités de test :
La qualité logicielle chez Vallourec
14/04/2015
Brazil IT Corp ITE ITNA
RequirementsSAP SM (for list) TFS
(for new requirement in Vallourec inside & new
projects)
Salomé (for project in new techno, .Net)
MS OfficeMS Office (for detail) MS Office
ConfigurationSAP SM (SAP & docs) TFS/OVS
(for Vallourec insiderepository)
SCCM (for IT-T) HyenaSAP TMS
(for SAP ERP, APO, BI…)SAP TMS (for SAP)
SAP TMS (for SAP)SVN (for new tech)CVS (for no SAP)
Testing
SAP CI (for SAP ERP code check)
TFS(for Vallourec inside
repository)
MS Office
MS OfficeSalomé (For new techno, PSI, industrial Applicaion)
MS Office (as template)SAP CI (for SAP Code
check) SAP CI (for SAP Code check)
Sonar (for new technocode check)
Documents SAP SM Inside ShadocInside
Doc Shares
Ticketing
SAP SM (for new req) TFS(for Vallourec inside
repository support level2-3)
Web SRM (Level 1 + IT-T level2-3) CASD (Techteam tool)
JIRA (for level 2-3 applications)
Atos tool (for Incident & level 1) JIRA (for SAP Template
when changes required)Office (For project ) VUP (for habilitation)
IT BRESIL IT CORP IT EUROPE IT NA
JFTL 2015 26Choix et déploiement d’un outil de test : REX sur les outils OSS
Recherche d’un outil de test groupe
14/04/2015
• 3ème trimestre 2013 : Vallourec initie une démarche d’industrialisation des différents types de test et d’harmonisation du parc applicatif dédiée à la qualité logicielle
• Les enjeux de cette recherche sont multiples :- Améliorer la qualité des développements et des applications- Réduire les efforts de test- Disposer d’un outil de test unique pour toutes les équipes impliquées dans le test- Faciliter la collaboration entre les équipes IT- Permettre aux équipes IT de capitaliser sur les compétences, les méthodes utilisées
Vallourec crée une cellule Corporate dédiée pour instruire la recherche et déployer l’outil choisi auprès des différentes équipes IT
JFTL 2015 27Choix et déploiement d’un outil de test : REX sur les outils OSS
Le choix de l’outil
14/04/2015
• Les outils propriétaires sont écartés car : trop chers, trop complexes, et/ou trop adhérents à SAP.
• Les éléments différenciants ayant contribué à ce choix :- La technologie et l’offre tarifaire adaptées aux contraintes de déploiement multi-sites
internationaux- Les possibilités d’évolution et d’enrichissement- La proximité de l’éditeur (France)- La garantie de pérennité offerte par la disponibilité des sources
La cellule Corporate choisit une solution open source développée par un éditeur
JFTL 2015 28Choix et déploiement d’un outil de test : REX sur les outils OSS
Les enjeux du déploiement
• Des équipes distantes réparties sur 5 continents
• Une conduite du changement devant prendre en compte :– Des besoins et des attentes différentes en fonction des cultures et compétences– Des outils historiques aux philosophies très différentes
14/04/2015
EMEANorth
America
Brazil
Asia Pac
BOBW.NetJava
SharepointSAP
BO.NetJava
SharepointSAP
BOBW.Net
Java, C, C++…
PSISharepoint
SAPBO.NetJava
SharepointSAP
SharepointSAP
Group
JFTL 2015 29Choix et déploiement d’un outil de test : REX sur les outils OSS
Démarche de déploiement
• 3 POC en Europe/Brésil/Etats-Unis pour faire connaître l’outil aux équipes IT
• Déploiement progressif sans obligation/incitation, à la demande des projets
• Pas de formation utilisateur : l’outil s’est révélé instinctif pour une prise en main individuelle autonome
• La cellule Corporate propose les services suivants aux projets :– Accompagnement des utilisateurs sur demande– Diffusion des bonnes pratiques de test, règles de nommage et
convention d’utilisation– Mise à disposition, administration et exploitation de l’instance unique
pour l’ensemble des équipes
14/04/2015
JFTL 2015 30Choix et déploiement d’un outil de test : REX sur les outils OSS
Bilan
• Déploiement technique rapide et sans contraintes
• Déploiement fonctionnel progressif :– 120 utilisateurs actifs en cible 500 utilisateurs déclarés / 50 accès concurrents– 200 projets actifs en Europe en cible 500 projets – Rapidité d’adoption inégale selon les pôles IT :
o Brésil : adoption rapide sur applications hors SAPo Europe : adoption au cas par cas en fonction de la criticité/importance des projetso Amérique :adoption timide, dans l’attente de la réussite des autres pôles
• Emergence d’une culture du test commune
• Budget alloué à la qualité logicielle contenu et maîtrisé
14/04/2015
JFTL 2015 32Choix et déploiement d’un outil de test : REX sur les outils OSS
Les particularités d’un outillage open source
• Pérennité :– la disponibilité des sources est la meilleure garantie de pérennité
• Coûts :– généralement moindre que les solutions éditeurs (pas de licence à l’utilisateur notamment)
• Déploiement facilité :– pas de jetons à gérer– pas de locking géographique– architecture technique « légère »
• Contributions, enrichissements et adaptation :– possibilité de contribuer à l’évolution du cœur open source et de bénéficier des
contributions des autres– capacité d’adapter l’outil à ses besoins spécifiques (dans le cadre de plugins spécifiques
indépendants du cœur par exemple)
• S’attendre à devoir combattre les idées reçues
14/04/2015
JFTL 2015 33Choix et déploiement d’un outil de test : REX sur les outils OSS
Des spécificités ? Non !
Open source = gratuit La démarche de choix et de déploiement d’un outil open source
est identique à celle d’un outil propriétaire
• Adéquation fonctionnelle :– bien définir et prioriser ses attentes et exigences,– associer les futurs utilisateurs à l’évaluation,– évaluer le rapport fonctionnalités/coûts.
• Coûts Chiffrer les coûts...– ... du build = achat, développements complémentaires, formations, installation/paramétrage, ...– ... du run = support/maintenance annuel...
• Garantie de support/maintenance avec SLA :– se réassurer auprès de l’éditeur ou d’un intégrateur ayant un droit de commit
• Robustesse :– Préciser la volumétrie cible : nombre d’utilisateurs cibles, volumétrie de données, etc...– Évaluer la robustesse/performance pendant la phase de choix (tests formels, POC, témoignages clients,
engagements contractuels de l’éditeur, ...)
14/04/2015