appréhender tous les enjeux de la qualité

Optimiser sa stratégie de tests applicatifs

Matinée 01 – jeudi 15 mars 2012

Par Philippe Riaux, Directeur QA & Test Cognizant France

Introduction

3

Groupe international de conseil & services IT

Créé en 1994, entité IT de Dun&BradSreet, Côté au NASDAQ depuis 1996

Groupe international de conseil et de services IT/métier incluant: TMA/TRA, BPO, DWBI, CRM/MDM…

+137.700 associés + 58 centres de services

+785 clients (+90% de la croissance)

CA: 6,12 milliards de dollars en 2011 (+33%)

En France depuis 2005 – Paris, Lyon, Grenoble

Un des plus grands acteurs indépendants de Test

Pionnier de la professionnalisation des Tests

En France: Acquisition de Galileo en 2010,

Ouverture d’un Centre de Services de Test

à Grenoble en 2012

4

Notre positionnement n’est pas le test mais la qualité totale. Le test est notre état vers la cible

Notre cible : mettre en œuvre et améliorer la chainede production de la qualité (Quality Supply Chain) dansle but d’accroître la qualité des SERVICES (et non desapplications) rendus à l’utilisateur tout en diminuant lescoûts d’obtention de cette qualité.

Coûts

Time To Market

Qualité

QA & Test

Indépendance IV&V

75% test de code non développé par Cognizant

+350 clients QA&Test dans le monde

Mutualisation des ressources et centres d’excellence

100% de couverture des besoins QA&Test

Modèle BA/QA – réduction de 20% des efforts pour le transfert de connaissance

Solutions /Frameworks/Accélérateurs pouvant réduire jusqu’à 25% des coûts et 33% du time to market

Alliances stratégiques globales, dont: HP

www.cognizant.com

E. [email protected]

T. 01 70 36 56 57

1-3, rue du Château, 92200 Neuilly-sur-Seine

09h00 - 09h10 : Introduction09h00 - 09h10 : Introduction

Introduction

Par

Philippe Riaux, Head of QA & Test Cognizant France

09h10 - 09h40 : Point de vue analyste09h10 - 09h40 : Point de vue analyste

Présentation du marché, des tendances et des forces en

présence sur le marché QA & test

Par

Dominique Raviart, Analyste, NelsonHall

© 2012 by NelsonHall.

[email protected]

QA & Test Logiciel:Tendances du Marché et Modèles de Sourcing


[email protected]

NelsonHall-Proprietary – Not for distribution without permission 9

1 Etat du marché

2 Outsourcing et contrats pluriannuels

3 Innovation et offres de services

4 Conclusion

Agenda


[email protected]

Etat du marché


[email protected]

État du marché :Coexistence de deux formes de test applicatif


Test traditionnel Test spécialisé

But Oui / non Méthodologies, processus, et recherche de la qualité logicielle

Équipe Développeurs et utilisateurs clef

Spécialistes du test et des projets de test

Avantages Connaissance de l’applicatif, flexibilité des équipes, test intuitif

Testeurs de professionMéthodologies et stratégies de test

Contraintes Test non exhaustif.Test dit « héroïque »

Couverture de test implique la délocalisation des tests.Processus = rigidité.

TT75%

TS25%

Dépenses en 2010


[email protected]

État du marché :Les coûts deviennent visibles… mais pas les gains


Test traditionnel Test

spécialisé

• La forte croissante de dépenses en test spécialisé provient d’un déplacement du test traditionnel vers le test spécialisé

• Le coût du test apparait de manière visible et devient une charge

• D’autant plus que le test spécialisé peut conduire à une inflation des dépenses

• Comment quantifier la qualité des applications ?


[email protected]

État du marché : Le test fonctionnel représente 75% des dépenses en test

• Les dépenses en test fonctionnel toujours importantes et constantes en %

• Une part d’automatisation qui reste limitée

• Des dépenses limites en offres de support, en consulting.


Consulting

6%

Test

fonctionnel

74%

Non-

fonctionnel

7%

Offres

nouvelles

11%

Offres de

support

2%


[email protected]

État du marché : Quatre grands profils de clients avec des objectifs différents

• “Efficiency clients” cherchent à centraliser, standardiser les outils et les processus, et surtout à baisser les coûts

• ”Transformation-focused clients” sont focalisés sur la mise en place d’un applicatif à vocation interne

• “Revenue seekers” sont focalisés sur un applicatif à usage externe, pour une offre de service par ex.

• “Quality-driven clients” sont des vendeurs de produits technologiques.


Efficiency

clients,

55%Transform.-

focused

clients

20%

Revenues

seekers

15%

Quality-

driven

clients

10%


[email protected]

État du marché :Déjà 165.000 testeurs de profession…


• Le nombre de testeurs de profession continue d’augmenter

»Plus de 60.000 testeurs en plus en 30 mois

• L’Inde représente déjà 75% de ce nombre (50% il y a 30 mois)

• Le nombre des testeurs onshorereprésente ~20% du total.

-

50 000

100 000

150 000

200 000

250 000

2009 2011 2013 F

Nombre de testeurs de

profession


[email protected]

État du marché2012 : année de réduction des coûts


Impacts attendus sur les dépenses logicielles

• Gel des dépenses

• Gel des grand projets en intégration et en outsourcing

MAIS aussi

• Adoption de l’offshore (budgets offshore attendus en légère progression.

-0,1%

+6.7%

-8,0%-3,0%

-10,0%

-8,0%

-6,0%

-4,0%

-2,0%

0,0%

2,0%

4,0%

6,0%

8,0%

2010 2011 F 2012F 2013F

Croissance des dépenses attendues en intégration de systèmes


[email protected]

Outsourcing et contrats pluriannuels


[email protected]

Contrats pluriannuels :Emergence dans un marché traditionnellement marqué ressources


Forme de service Durée typique En dépenses STS

Projets 3 à 6 mois 65%

Contrats pluriannuels 2 à 3 ans 35%

Au total 1 an ½


[email protected]

Contrats pluriannuels :Les principaux avantages


Un modèle qui convient particulièrement aux applications en mode maintenance +, avec plusieurs versions par an :

• Il permet d’envisager l’investissement en licences de logiciel de test et surtout le développement de scripts automatisés, ainsi que de tests de performance

• Le volume de test justifie les coûts de transition, l’investissement humain ainsi que tous les changements autour de la documentation/langue de travail

• Le « flex team » : garder une base de personnel dédiée sur les applications client.


[email protected]

Contrats pluriannuels:Les contrats d’outsourcing


Les formes de contrats pluriannuels sont très variées . On y trouve :

• Des contrat cadres: panels de fournisseurs garantissant volumes contre prix. Le modèle est fonctionne avec des engagements variées: AT, forfait, sur site, hors site, offshore

• Outsourcing ou la responsabilité du travail est en partie transférée à la SSII

• Entre les deux extrêmes, toutes les déclinaisons sont possibles comme en TMA et infogérance.


[email protected]

Contrats pluriannuels :Les « SLAs » sont basés sur la RH, et de manière croissante sur la productivité


Les deux types de SLA les plus communs sont des engagements basés :

• Sur un nombre de personnes à une date donnée

• Sur la productivité ex. nombre de cas conçus, automatisés ou réalisée par employé et par jour.

Des SLA moins courantes :

• Basées sur la qualité du développement / amélioration ex. nombre de défauts trouvés en production

• Les unités d’œuvre business ex. rémunération de la SSII pour ses activités de test en app store indexées sur le CA du appstore.


[email protected]

Innovation et offres de services


[email protected]

Innovation et offres de services : Les critères humains


RH :les critères de sélection d’une SSII

• Dépenses en formation en RH en connaissances métier et applicatives

• Taux de rotation des effectifs en nearshore / offshore

• Inflation des salaires en nearshore / offshore et leur indexation dans les contrats

• Taille critique en Inde : un sujet compliqué

• Partenariats universitaires.


[email protected]

Innovation et offres de services : Les offres non RH


Portails de commande d’offres standardisées :

• Environnements de test

• Certification WiFi ou bluetooth.

Offres forfaitaires :

• Tests de non-régression pour applications en mode maintenance et versions

• Tests de performance : basé sur des unités d’œuvre IT

• SAP : tests de non-régression sur des unités d’œuvre IT

• Pay-per-bug

• Assurance qualité.


[email protected]

Innovation et offres de services :Au-delà des contrats pluriannuels : l’innovation en matière d’offres est présente à de nombreux niveaux


Quelques exemples d’innovation :

• Sur la partie exécution des test fonctionnels :

� Des répertoires de cas de tests, de scripts, propres à un applicatif ou à un processus métier

� Des outils propriétaires ex. test de mobiles et d’applications nomades, sur les protocoles financiers

� Des outils sur des activités spécifiques : création de cas de test en « reverse engineering »

• Sur les activités dites de support de test : données de test, masquage de données de test, environnements de test et administration

• Agile et scrum

• Au-delà de l’exécution des tests

� La méthodologie TPI et TMMi

� L’intelligence applicative.


[email protected]

Conclusion


[email protected]

Conclusion : attention


• A la langue

• A la ressource humaine

• A la connaissance métier

• A l’innovation contractuelle

• A l’investissement en outils.


[email protected]

• Activités d’études de marchés et de consulting

• Concurrence est Gartner et Forrester

• Connu pour expertise en BPO

• Base client inclut les utilisateurs et les SSII

• Nous sommes les spécialistes du détail.

NelsonHall …


09h40 - 10h00 : Avis d’expert09h40 - 10h00 : Avis d’expert

Les grandes tendances de la Qualité et de la nouvelle

génération de services

Par

Andreas Golze, AVP Head of Testing Europe Cognizant

| ©2011, Cognizant | ©2011, Cognizant

Enabling Business Readiness

through Software Quality

Transformation

| ©2011, Cognizant 31

Trends Impacting QA

Adoption of alternate lifecycle methodologies, test design automation and script less testing

• Mergers & Acquisitions• Business consolidation &

footprint reduction• Alternate pricing & delivery

models • Increasing emphasis on

application longevity & immunity• Focus towards governance, risk

& compliance • Increased COTS adoption

• Web-based applications & SOA• Frameworks for end-to-end

automation• Mobile & Surface Technologies• Cloud models for Testing• Infrastructure globalisation &

virtualisation techniques

Major push across large enterprise to drive greater standardisation and automation into test processes

Increasing emphasis on migrating to Test COE model to drive quality into front end of SDLC

Preference towards adoption of virtualised& Scalable delivery models

Support for testing in complex infrastructure(compatibility, interoperatabilityetc.)

Demand for expertise to enable business readiness of applications built for SOA, mobile applications etc

Business

Technology

Impact


The Business Value of Testing

InnovationBusiness Liaison

End-to-End AutomationSolution Accelerators

Lean ModelsRisk based Testing

BA/QA ModelScientific Models

Defect Prediction ModelsTool Versatility

User ExperienceQuality EngineeringBusiness Process Validation

Cloud Based ModelsTesting-as-a-Service

TEMS/Tools ManagementTesting IPs

EfficiencyOptimise Unit Cost of Testing

VirtualisationReduce Capex Spends

EffectivenessHigher Quality & Better

Predictability


Testing Maturity Framework

Maturity

Scope o

f Te

sting

Gate Keepers

� Independent –influencing Go-No Go Decisions

� Optimised Quality

Efficiency

Effectiveness

Virtualisation

Innovation

Order Takers

� Labor Arbitrage� Automation Benefits

Efficiency

Effectiveness

Virtualisation

Innovation

Testing Partners

� End-to-End Service� Reduce Capital Expenditure

Efficiency

Effectiveness

Virtualisation

Innovation

Value Enhancers

� Better Alignment and Driving value to Business

� Improved Customer Experience

Efficiency

Effectiveness

Virtualisation

Innovation

What is the Role of QA?


� From ‘requirements’ validation to ‘experience’ validation

� Will be mandated to use automation & virtualisation options

ENTERPRISE QUALITY MANAGEMENT JUST ENOUGH

PROCESS

PAY PER SERVICE PRICING

� Value based models (Cost per consumption)

� Crowd-on-Cloud models

� Flexible options for plug & play execution

� Shift left methods to help seed quality while building applications

� Quality frameworks will encompass QA, infrastructure, data and support elements

� Adoption of methods to dissect the surface to reengineer the architecture

� Code re-engineering for improved reliability and business agility

Testers wear the hat of users

More Componentised& Virtual

Engineering as a Quality discipline

� End-to-End automation (Design, execution, data and environment provisioning)

� Human effort will be restricted to validating inputs and monitoring execution

Automated QA

Reshaping the Future – NextGen QA


What?

How?

�Standardised process model with predictable and reliableoutcomes

�Complete demand management from workload simulation, integration, provisioning, execution and management

�Flexible options for test tools on a multi-tenancy basis

�High environment availability and instant environment provision cycle

�Ability to reuse and recycle resources/environments.

What does TaaS mean to enterprises?

TaaS – Next Gen Testing Delivery Platform

| ©2011, Cognizant | ©2011, Cognizant

Thank you

10h00 - 10h30 : Interview10h00 - 10h30 : Interview

Cloud, mobilité, services innovants ... la qualité au cœur de la

stratégie d'entreprise

Par

Jean-Baptiste Preziosi, Strategy and Applications Sales Leader , HP

© Copyright 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

JEAN-BAPTISTE PREZIOSIStrategy and Applications HP Software

[email protected]

Perform Better with HP Software

HP Software, aujourd’hui

2,200 nouveaux clientssur l’année passée…~50,000 clients

4 milliards de $de chiffre d’affaires licences…

+ de 10 Milliards $ d’investissements dans l’offre Software

100% focused

on helping IT perform

better

#5 Editeur Mondial#1 logiciel Infra#1 logiciel du Test- App dev/lifecycle software

- Distributed systems management

14 000 personnespour vous servir

• En 1996 : Peregrine, #1 ITSM• En 1997 : Mercury, #1 TEST et Performance• En 1999 : Opsware, #1 DC Automation• En 2012 : Rachat de Stratavia, Fortify & ArcSight• En 2011 : Rachat d’Autonomy• En 2012 : ….

40

L’INFORMATIQUE PEUT MIEUX FAIRE

2/3 des projets dérivent

34% ne sont pas alignés avec la stratégie

> 80% des exigences mal documentées

2-8 semaines pour faire une mise à jour

Dans + de 75% des cas les utilisateurs détectent les premiers les incidents

10+ heures pour restaurer un service

Des cyber-attaques de plus en plus couteuses

Augmentation des contraintes de conformités

Explosion des données

41

LES DIRECTIONS METIERS…

…ont un système de gestion de la performance

Mais pas l’informatique!

SupplyVentes Finance HR

42

Exhaustif, intégré et modulaire

HP SOFTWARE: IT PERFORMANCE SUITE

EXECUTE SYSTEMATICALLYStrategy, Planning, and Governance

SECURE PROACTIVELYSecurity Intelligence and Risk Management

BUILD FASTER

Application Lifecycle Management

OPERATE SIMPLY

Automation and Assurance

STORE EFFICIENTLY

Information Lifecycle Management

IT PERFORMANCE SUITE FOUNDATIONCollaboration, Orchestration, Analytics

UN NOUVEAU MONDE

Hybride Consumérisation

Agilité

44

MobileEverywhere connected

En réseauSocial worker

SynchroneAlways on

Technophile IT Consumer

Clients

Employés

Partenaires

FournisseursF

aits

saill

ants

2010 |

2011 |

2011 |

2011 |

2012 |

L’internet mobile dépasse le fixe

Plus de 100 millions d’applications Facebook downloadées

Croissance à 3 chiffres de l’usage mobile de twitter et Facebook

Croissance de 300% du mobile commerce

400 millions de smartphones > livraisons de PC

45

Clients

Employés

Partenaires

Fournisseurs

Vote & Milite

Produit

Vend

Compare

Fai

ts s

ailla

nts

46

Sup

ply

Cha

in IT

Sup

ply

Cha

in IT Processus

Infra--structures

Applications

Clients

Employés

Partenaires

Fournisseurs

DSI fait face à

� Exigence des métiers

� Applications plus exposées

Challenge DSI

1. Fluidifier et maximiser les échanges entre équipes

2. Délivrer vite et de qualité

3. Délivrer pour tout usage

BUILD FASTER HP ALM 11 - Application Lifecycle Management

Requirements Management


Requirements Definition

QualityManagement

Functional Performance Security

DevelopmentManagement

IDE, SCM, Build

Integrations

Defect Mgmt

Secure Develop-

ment

Foundation

Traceability ReportingProcess Standardization

(i.e. Waterfall, Agile)Extensibility

(Open APIs)Inte

grat

ions

into

Str

ateg

y an

d P

lann

ing

(PP

M, G

ov)

Integrations into Run

(Deploym

ent, AP

M, IT

SM

)

Unified for the Core App Lifecycle, Integrated with the Complete App Lifecycle


Project Planning & Tracking Enterprise Release ManagementApp Lifecycle Intelligence

47

BUILD FASTER HP ALM 11 - Application Lifecycle Management



Requirements Definition

QualityManagement

Functional Performance Security

DevelopmentManagement

IDE, SCM, Build

Integrations

Defect Mgmt

Secure Develop-

ment

Foundation

Traceability ReportingProcess Standardization

(i.e. Waterfall, Agile)Extensibility

(Open APIs)Inte

grat

ions

into

Str

ateg

y an

d P

lann

ing

(PP

M, G

ov)

Integrations into Run

(Deploym

ent, AP

M, IT

SM

)

Unified for the Core App Lifecycle, Integrated with the Complete App Lifecycle


Project Planning & Tracking Enterprise Release ManagementApp Lifecycle Intelligence

48

New

NewNew

New

New

New


Challenge DSI - Fluidifier les échanges

Collaborative platform for design and development of composite applications, lifecycle management and functionality, performance and security validation.

Independent of development environment.

Application LifecycleIntelligence



Agile ProjectManagement Agile ProjectManagement Agile ProjectManagement

Enterprise Collaboration




Challenge DSI – Délivrer vite !

ServiceVirtualization

ServiceVirtualization

ServiceVirtualization SprinterSprinterSprinter



Challenges pour tester une application composite

Existing Infrastructure

3rd party

Application Under Test

2am-4am

Pay-per-transaction

3s response

• Indisponibilité

• Accès restreint

• Dépend d’un tiers

• Usage limité

• Execution lente

This is a (rolling three-year) Statement of Direction and is subject to change without notice.

51

HP Restricted and for HP & Channel Partner internal use. Document not for distribution. Content may be presented to customers upon request.

Service Virtualization

Les services virtualisés = bouchons “intelligents”

Existing Infrastructure

3rd party

2am-4am

Pay-per-transaction

3s response

Application Under Test

Services disponiblesimmédiatement

Couvertureélargie des tests

Faible coût demaintenance

Gestion de donnéessimplifiée

Data

Perf.

Config

APPRENDET

SIMULE

This is a (rolling three-year) Statement of Direction and is subject to change without notice.

52


Performance Center (Tru Client / Mobility)Performance Center (Tru Client / Mobility)Performance Center (Tru Client / Mobility)


Challenge DSI – Délivrer pour tous les usages !

Test AutomationAny Device



��

Security (Fortify)Security (Fortify)Security (Fortify)



Setup Labs Faster Reduce time in setup, reduces time and cost of test.

Improve Deployment Accuracy

Deploy the AUT & testing tools correctly the first time. Don’t

waste test cycles.

Public & Private Clouds

Setup the AUT & testing tools where resources exist and is

more cost effective.

Deploy On Demand

Reuse lab assets when not in use. Only use them when

needed.


Test as a service = OUI !!!Et encore plus - Lab Management Roadmap

54

Comprehensive, Connected and Flexible

The HP IT Performance Suite

55

Strategy, Planning and Governance

EXECUTE SYSTEMATICALLYEXECUTE SYSTEMATICALLY


BUILD FASTERBUILD FASTER

Operations Management

OPERATE SIMPLYOPERATE SIMPLY

Information Lifecycle Management

STORE EFFICIENTLYSTORE EFFICIENTLY

Security Intelligence and Risk Management

SECURE PROACTIVELYSECURE PROACTIVELY

Pause / Networking

10h30 - 11h00 : Pause 10h30 - 11h00 : Pause

11h00 - 11h45 : Table ronde 11h00 - 11h45 : Table ronde

« Le Test et la qualité des applications, des gisements de

productivité pour l'entreprise »

Avec

Philippe Riaux, Cognizant, Jean-Baptiste Preziosi, HP ,

Dominique Raviart, NelsonHall ,

Et nos témoins: Catherine Lepesqueur, responsable qualification de la DSI de la

banque de détail France de la Société Générale

Et Amal Sud, Directeur Internationalisation, BNP Paribas Cardif

Cocktail / Networking

MERCI DE VOTRE PARTICIPATION !

11h45 – 13h00 11h45 – 13h00

appréhender tous les enjeux de la qualité

Documents