12-10-25
1
S Y L V I E T R U D E L , P H . D .
C O N F É R E N C E D U L A T E C E 2 4 O C T O B R E 2 0 1 2
© Sylvie Trudel
1
Mesure de la taille fonctionnelle avec la méthode COSMIC (ISO 19761):
recherches récentes et applications industrielles
Mon parcours
© Sylvie Trudel
2
1985-1986: premier travail en informatique, avant la fin du bacc 1986-1996: développement, analyse et implantation (ERP) 1996-2001: amélioration de processus de développement logiciel 2001-2009: conseillère senior en amélioration des processus logiciels
(CRIM, nombreux mandats) + MGL à l’ÉTS et début du PhD à l’ÉTS
2009-2012: conseillère principale en amélioration des processus logiciels et transition à l’Agilité (Pyxis, nombreux mandats) + avoir complété le PhD
2011: publication du livre “Choisir l’Agilité” avec Mathieu Boisvert
2012-…: Professeure de génie logiciel à l’UQAM
Séminaire du LATECE
12-10-25
2
Mes créneaux professionnels
© Sylvie Trudel
3
Génie logiciel
Meilleures pratiques
Agilité
Gestion du logiciel
Qualité du logiciel
Mesures et estimation
Séminaire du LATECE
H I S T O R I Q U E , C O N C E P T S E T U S A G E S
© Sylvie Trudel La taille fonctionnelle
4
La mesure de la taille fonctionnelle
12-10-25
3
Historique de la taille fonctionnelle 5
1980 1985 1990 1995 2000 20081979
SLOC
IFPUG: International Function Point Users Group COSMIC: Common Software Measurement International Consortium
Avant 1979, mesure de
la taille physique
Source: © Alain Abran, Notes de cours COSMIC – ISO 19761
Albrecht FPA
IFPUG 4.0
IFPUG 4.1
IFPUG 4.2
NESMA 2.1
Mark II FPA
Full FP v1.1
Mark II FPA 1.3
Feature Points
Use Case Points
User Story Points
3-D FP’s
COSMIC ISO 19761
ISO ‘FSM’ Standards
V3.0
© Sylvie Trudel
Productivité de projet logiciel 6
� Forte corrélation entre: ¡ Taille et effort ¡ Taille et temps écoulé
� Coût unitaire = Effort / Taille à heures/point � Productivité = Taille / Effort à points/mois-personne � Taux de livraison = Taille / Temps à points/mois
Effort
Taille
Temps
Taille
© Sylvie Trudel Séminaire du LATECE
12-10-25
4
Normes ISO liées à la mesure
© Sylvie Trudel
7
Cadre normatif de base des mesures de taille fonctionnelle
14143-1 Définition des
concepts
14143-2 Évaluation de la conformité avec
14143-1
14143-3 Vérification des
méthodes
14143-4 Modèles de référence
14143-5 Détermination des
domaines fonctionnels
14143-6 Guide de sélection
de méthode
Processus de mesure 15939
Processus de mesure en génie logiciel
Méthodes de mesure de taille fonctionnelles
19761
COSMIC
20926 IFPUG
4.1
20968
Mark II
24570
NESMA
29881
FiSMA
Légende: 1ère génération 2ème génération
Séminaire du LATECE
Définition de « taille fonctionnelle » 8
� Selon ISO 14143-1, Taille fonctionnelle = ¡ Taille du logiciel dérivée en quantifiant les
Fonctionnalités Utilisateur Requises (FUR)* ÷ *Exigences fonctionnelles des utilisateurs
� Mesure de la quantité d’information traitée [ou à être traitée] par le logiciel ¡ Ce que l’utilisateur veut que le logiciel fasse
÷ quoi vs comment
� Se mesure tôt dans le cycle logiciel ¡ Mais peut aussi se mesurer dans n’importe
laquelle des phases
© Sylvie Trudel Séminaire du LATECE
12-10-25
5
Indicateurs usuels de performance 9
Date de livraison
Coûts/effort
Coût unitaire
Contenu de qualité
La taille du contenu se
mesure!
© Sylvie Trudel Séminaire du LATECE
Pourquoi mesurer la taille d’un projet logiciel? 10
Quatre besoins usuels: 1. Productivité du processus 2. Estimation de projets 3. Étalonnage (benchmarking) 4. Gouvernance
§ Besoin d’objectivité, de répétitivité et de reproductibilité
§ Comment mesurer une taille indépendante de la technologie?
à Solution:
mesurer la taille fonctionnelle avec la norme ISO 19761
Combien est-ce gros?
© Sylvie Trudel
12-10-25
6
La méthode COSMIC
© Sylvie Trudel
11
� 2ème génération de mesure de taille fonctionnelle ¡ Permet de mesurer des logiciels MIS, services et composantes SOA,
embarqués, temps-réel, entrepôts de données, projets agiles
� Cofondée par des québécois (UQÀM et ÉTS) ¡ Initiative internationale dont le noyau de l’équipe est composée de 12
experts originaires de 6 pays d’Europe, d’Amérique et d’Asie-Pacifique
� Norme nationale du Japon depuis 2003 � Traduit ou en voie de l’être dans 12 langues � Guide de mesure gratuit en français (v3.0)
http://www.cosmicon.com/ � Unité de mesure: pfc (point de fonction COSMIC)
Méthode COSMIC: un aperçu
Soutenance de thèse © Sylvie Trudel
12
Adapté de (Abran et al. 2003)
Autres systèmes
Données
Processus fonctionnel 1
Logiciel à mesurer Matériel de stockage
Écritures (W)
Lectures (R)
Processus fonctionnel 2
Processus fonctionnel n
…
Utilisateurs ou
Matériel d’entrée/
sortie
Entrées (E)
Sorties (X)
Entrées (E)
Fron
tière
‘Interfaces’ ‘Infrastructure’
ou
Utilisateurs fonctionnels
Sorties (X) ou
12-10-25
7
Mesurons ce processus fonctionnel, pas à pas
Un utilisateur fait une requête dans une base de données des RH pour extraire une liste de noms de tous les salariés âgés de plus de 35 ans.
Critères de recherche (E)
Départements (S)
Résultats de recherche
(S)
Messages [d’erreur]
(S)
13
4 Lectures
(L)
Déclencheur (E)
Statut d’emploi (S)
SOUTENANCE DE THÈSE DE SYLVIE TRUDEL VENDREDI 24 FÉVRIER 2012
14
Utilisation de la méthode de mesure de la taille fonctionnelle COSMIC
comme mécanisme d’amélioration de la qualité des exigences fonctionnelles des logiciels
12-10-25
8
Plan de la présentation
Soutenance de thèse © Sylvie Trudel
15
1. Qualité et taille des exigences fonctionnelles 2. Problématique et objectifs de recherche 3. Phase 1: Méthodologie de recherche 4. Phase 2: Comparer COSMIC et inspections 5. Phases 3 et 4: Influence des défauts sur la taille
fonctionnelle 6. Discussion 7. Recommandations et impacts pour l’industrie
R E V U E D E L I T T É R A T U R E
© Sylvie Trudel Soutenance de thèse
16
Qualité et taille des exigences fonctionnelles
12-10-25
9
Usage des exigences de logiciels
Soutenance de thèse © Sylvie Trudel
17
Concept opérationnel Exigences
Architecture
Conception
Programmation
Tests
Documentation de l’utilisateur
Gestion de projet
Fonctionnelles
Non-Fonctionnelles
Mécanismes de rédaction des exigences
Soutenance de thèse © Sylvie Trudel
18
� Langage naturel (Weigers, 2003)
� Cas d’utilisation (Jacobson, Booch and Rumbaugh, 1999)
� Scénarios utilisateurs (User stories) (Beck, 2000)
� Interfaces graphiques personne-machine et prototypes de rapports (Ducharme and Trudel, 2004)
� Diagrammes d’états (aussi appelés ‘finite state machines’) (Leffingwell and Widrig, 2003)
� Diagrammes d’entités-relations (Chen, 1977)
12-10-25
10
Normes de documentation et attributs de qualité
Soutenance de thèse © Sylvie Trudel
19
� Normes de documentation ¡ IEEE Std 1362: Concepts opérationnels ¡ IEEE Std 830: Spécification des exigences de logiciels
� Attributs de qualité (extraits de IEEE Std-830): ¡ “An SRS should be:
a) Correct; b) Unambiguous; c) Complete; d) Consistent; e) Ranked for importance and/or stability; f) Verifiable; g) Modifiable; h) Traceable.”
Synthèse de l’état de l’art
Soutenance de thèse © Sylvie Trudel
20
� Intégration de FPA (IFPUG) et du processus de description des exigences fonctionnelles (Nishiyama & Furuyama, 1994)
� Contexte empirique où COSMIC est utilisé en sus des revues
par les pairs sur des cas d’utilisation (Baraby, 2006)
� Aspect cognitif de l’expertise du mesureur traitant de la cohérence des résultats de la mesure entre divers mesureurs (Desharnais, 2003)
� Utilisation de COSMIC pour améliorer le modèle d’analyse issu des spécifications (Nagano & Ajisaka, 2005)
12-10-25
11
R É S U M É D E L A P R O B L É M A T I Q U E H Y P O T H È S E S E T O B J E C T I F S
© Sylvie Trudel Soutenance de thèse
21
Problématique et objectifs de recherche
Résumé de la problématique
Soutenance de thèse © Sylvie Trudel
22
� Qualité inconnue des exigences fonctionnelles au départ ¡ Jusqu’à ce que qu’une ou plusieurs revues soient appliquées
� Efficience et efficacité inégales et instables des revues appliquées aux exigences ¡ Résultats dépendants de la compétence des réviseurs
� Effort et qualité de la mesure de taille fonctionnelle dépendantes de la qualité des exigences ¡ On doit poser des questions pour clarifier quand les exigences
sont ambiguës ou incomplètes � Efficacité et efficience inconnues de la méthode COSMIC
pour améliorer la qualité des exigences ¡ La revue de littérature n’a pas trouvé de références soutenues par des
données
12-10-25
12
But de la recherche
Soutenance de thèse © Sylvie Trudel
23
Contribuer à améliorer la qualité des exigences fonctionnelles en investiguant l’efficacité et
l’efficience d’appliquer la méthode COSMIC comme moyen pour identifier les défauts et de comparer les résultats avec l’application d’une approche de revue
par les pairs.
Objectifs de recherche
Soutenance de thèse © Sylvie Trudel
24
1. Déterminer expérimentalement l’efficience (coût unitaire) d’appliquer la méthode COSMIC dans l’amélioration de la qualité des exigences fonctionnelles au regard d’une approche de revue par les pairs, dans un délai limité
2. Déterminer expérimentalement l’efficacité d’appliquer la méthode COSMIC dans l’amélioration de la qualité des exigences fonctionnelles au regard d’une approche de revue par les pairs
3. Déterminer s'il est avantageux d'inclure un rôle de mesureur dans une méthode de revue par les pairs
4. Déterminer l’influence des défauts sur la taille fonctionnelle
12-10-25
13
Mesures dérivées des revues par les pairs
Soutenance de thèse © Sylvie Trudel
25
� Efficience (coût unitaire) = Effort (en minutes/défaut) nb défauts trouvés
� Efficacité = nb défauts trouvés (exprimé en pourcentage) nb total de défauts
� Ne considérer que les défauts critiques et mineurs ¡ Laisser tomber les fautes d’orthographe et de syntaxe et les autres
points (améliorations et questions)
(Weigers 2002)
26
Aperçu de la méthodologie de recherche
Soutenance de thèse © Sylvie Trudel
Phase 1: Refine research methodology
Select and prepare experimental material
Phase 2: Compare efficiency and effectiveness (unit cost) of COSMIC
and an inspection approach
Experiments with experts and practitioners with limited
experience
Process/Phases
(3.3)
Phase 3: Prepare next phase experimental material
Update uObserve SRS from v1.0 to v2.0
(5.2)
Phase 4: Determine influence of defects on functional size
Inputs Outputs
·∙ COSMIC method·∙ Inspection approach·∙ uObserve SRS v1.0
·∙ Experimental material:- uObserve SRS v1.0- Inspection approach- COSMIC method
(3.4)(3.5)(1.4)
·∙ Collected and verified data:- List of defects and issues- Effort (measurement and inspection) - SRS v1.0 functional size
·∙ Efficiency and effectiveness analysis of measurers as part of inspection teams
·∙ Defect analysis
·∙ uObserve SRS v1.0·∙ List of defects from participants
List of defects and issues
·∙ COSMIC method·∙ uObserve SRS v2.0
·∙ uObserve SRS v2.0·∙ Defects list (status updated)
·∙ Collected and verified data:- List of defects and issues- SRS v2.0 functional size- Effort (measurement)
·∙ Influence of defects on functional size·∙ COSMIC training improvement
opportunities
(4.2 & 4.3)
(4.5)
(5.3.5 & 5.4.5)
(App.I)
(App.III to VIII)
(App.II)
(4.4)
Pilot project experiment
·∙ Pilot project data·∙ Lessons learned from pilot project·∙ Refined research methodology·∙ Selected inspection approach·∙ List of inspection approaches
·∙ List of FSM methods (3.2.4)
(3.1)
(5.1)
Experiments with experts and measurers with limited experience
(5.3 & 5.4)
App.IX
(3.1.5)
(4.6)
(5.5)
(6.4)
12-10-25
14
P H A S E D E R A F F I N E M E N T D E L A M É T H O D O L O G I E D E R E C H E R C H E
© Sylvie Trudel Soutenance de thèse
27
Phase 1: Méthodologie de recherche
Projet pilote : leçons apprises et besoins
1. Indépendance du chercheur sur les données 2. Assurer la qualité des données saisies pour
analyse par un tiers indépendant 3. Limiter le nombre de documents comme
intrants aux expérimentations 4. Nombre de participants le plus grand
possible 5. Atelier sur les inspections pour tous les
participants
28
Soutenance de thèse © Sylvie Trudel
SONIA SRS
SONIA SRS
SONIA SRS
SONIA SRS
10 doc. Chercheur
Professeur
Inspection
Mesure et identification des défauts
Analyse des données
Leçons apprises
20 Étudiants
12-10-25
15
uObserve SRS L’approche d’inspection CRIM
Soutenance de thèse © Sylvie Trudel
29
Sélection du matériel expérimental
1. Plan the inspection
2. Open the inspection
3. Inspect the product
4. Explain issues (logging meeting)
5. Update the inspected product
6. Re-‐check with issues
7. Close the inspection
[Document ready for inspection]
[Commitment obtained from participants]
[Defects found]
[Defects understood by author]
[Defects corrected]
[No new defect introduced]
[Defects corrected and inspection data collected]
La méthode COSMIC E X W
R FPs
F.U.
Data Storage
Sélection et préparation des exigences
Soutenance de thèse © Sylvie Trudel
30
uObserve SRS v0.1
1. Revue par les pairs 2. Défauts corrigés 3. Logiciel développé avec
succès 4. Révision par un expert de
l’industrie 5. Défauts corrigés
uObserve SRS v1.0
2900 mots 10 cas
d’utilisation décrits
Conforme IEEE Std 830
Conforme UML 2.0
2 frontières de logiciels
Système piloté par
événements
App. I
12-10-25
16
E X P É R I M E N T A T I O N S E T R É S U L T A T S
© Sylvie Trudel Soutenance de thèse
31
Phase 2: Comparer COSMIC et inspections
Aperçu des expérimentations de la phase 2
Soutenance de thèse © Sylvie Trudel
32
Phase 2: Compare efficiency and effectiveness (unit cost) of COSMIC and an
inspection approach
Expert practitioners experiment
Practitioners with limited experience experiments
Research objectives
18 Measurers
17 Inspectors
1) Determine experimentally the effectiveness (unit cost) of applying the COSMIC method in improving the quality of functional requirements compared to a peer review approach, when allotted limited effort as applied in the industry 2) Determine experimentally the efficiency of applying the COSMIC method in improving the quality of functional requirements compared to a peer review approach 3) Determine whether it is advantageous to include a measurer role in a peer review
12-10-25
17
Protocole expérimental
Soutenance de thèse © Sylvie Trudel
33
2. Former les participants sur l’approche d’inspection
1. Préparer l’expérimentation uObserve
SRS v1.0
20 Étudiants
3. Appliquer l’approche d’inspection 4. Mesurer la taille fonctionnelle
Participants
20 ÉtudiantsInspecteurs 20 ÉtudiantsMesureurs 5. Compiler les données • Taille fonctionnelle • Défauts et autres
points • Effort
• Défauts et autres points
• Effort
6. Réviser les données compilées avec les participants ou un leader d’inspection
7. Analyser les données
Défauts et autres points: données brutes
Soutenance de thèse © Sylvie Trudel
34
154
39
272
49
0
50
100
150
200
250
300
350
400
450
Défauts Autres points
Mesureurs Inspecteurs
Défauts uniques fonctionnels, critiques et mineurs
426
88
514 commentaires
Défauts 426 -153 Duplicata -30 Rejets -58 Défauts non fonctionnels -31 Défauts de syntaxe ou
orthographe
154
= 100% pour le calcul de l’efficacité
12-10-25
18
Analyse des défauts
Soutenance de thèse © Sylvie Trudel
35
� Les inspecteurs et les mesureurs trouvent des défauts de nature différente
� Les mesureurs trouvent plus de défauts de plus haut niveau que les inspecteurs
� Défauts affectant la taille fonctionnelle: ¡ Descriptions fonctionnelles ambiguës ¡ Processus fonctionnels manquants ¡ Traitement d’erreur manquant ¡ Groupes de données ambigus ¡ Ambiguïtés liées aux occurrences multiples
Simulation d’équipes de 2, 3 et 4 inspecteurs
Soutenance de thèse © Sylvie Trudel
36
Inspecteur C M C+M L 0 0 0 E 1 0 1 J 0 2 2 F 0 3 3 D 3 1 4 K 2 3 5 G 2 3 5 I 5 1 6 P 6 1 7 C 3 5 8 H 5 3 8 B 3 7 10 A 4 6 10 N 6 14 20 M 12 9 21 Q 12 11 23 O 9 18 27
Worst-2
Median-2
Best-2
Worst-3
Median-3
Best-3
Worst-4
Median-4
Best-4
12-10-25
19
Efficacité
Objectif 2:
Déterminer expérimentalement l’efficacité d’appliquer la méthode COSMIC dans l’amélioration de la qualité des exigences fonctionnelles au regard d’une approche de revue par les pairs
Efficacité = nb défauts trouvés nb total de défauts è 100% = 154
37
Soutenance de thèse © Sylvie Trudel
Équipe d’inspecteurs Efficacité
Worst-2 0.6% Worst-3 1.9% Worst-4 3.9%
Median-2 9.7% Median-3 13.0% Median-4 16.9%
Best-2 31.2% Best-3 42.9% Best-4 52.6%
Moyenne 19.2% Écart-type 17.7%
23,6% à +4,4%
22,4% à +3,2%
Avec le prochain
inspecteur
-1,2% (perte)
En moyenne, avec un
mesureur
Efficacité moyenne d’un mesureur: 3,5%
Efficience ou coût unitaire Objectif 1:
Déterminer expérimentalement l’efficience (coût unitaire) d’appliquer la méthode COSMIC dans l’amélioration de la qualité des exigences fonctionnelles au regard d’une approche de revue par les pairs, dans un délai limité
Efficience (coût unitaire) = Effort (en minutes/défaut) nb défauts trouvés
38
Soutenance de thèse © Sylvie Trudel
Équipe d’inspecteurs
Coût unitaire
Worst-2 213.0 Worst-3 97.3 Worst-4 67.2
Median-2 16.5 Median-3 16.6 Median-4 15.8
Best-2 6.4 Best-3 6.8 Best-4 7.0
Moyenne 49.6 Écart-type 65.1
32,4 à +8,7%
28,0 à +9,5%
Avec le prochain
inspecteur
gain moyen 4,4 min/
défaut ou +3,1%
En moyenne, avec un
mesureur
Efficience moyenne d’un mesureur: 29,4 min/défaut
12-10-25
20
Mesureurs et inspection
Objectif 3:
Déterminer s'il est avantageux d'inclure un rôle de mesureur dans une méthode de revue par les pairs
� Lorsqu’un mesureur remplace un inspecteur supplémentaire ¡ Perte moyenne d’efficacité de -1,2% ¡ Amélioration moyenne du coût unitaire de
4,4 min/défaut ÷ Équipes Worst: gain entre 6,2 et 25,6 ÷ Autres équipes: différences de ± 1,5 min/
défaut
� Pour un effort comparable, les mesureurs fournissent ¡ Une mesure de la taille fonctionnelle ¡ Une liste de défauts
÷ Plus grande proportion de défauts de haut niveau que les inspecteurs
� Transfert du coût de la mesure ¡ Coût de gestion à coût direct
39
Soutenance de thèse © Sylvie Trudel
E X P É R I M E N T A T I O N S E T R É S U L T A T S
© Sylvie Trudel Soutenance de thèse
40
Phase 3 et 4: Influence des défauts sur la taille
fonctionnelle
12-10-25
21
Aperçu des phases 3 et 4
Soutenance de thèse © Sylvie Trudel
41
Research objective
4) Determine the influence of defects on functional size
Phase 4: Determine the influence of defects on functional size
Expert measurers
experimental session
Measurers with limited experience
experimental session
5 expert measurers
5 measurers with limited experience
Phase 3: Prepare next phase experimental material
Update uObserve SRS from v1.0 to
v2.0 uObserve SRS v1.0
uObserve SRS v2.0
Defects from the 1st and 2nd experimental sessions
Taille fonctionnelle: experts et inexpérimentés
Soutenance de thèse © Sylvie Trudel
42
62
77
55
37
58 58,6
30
40
50
60
70
80
Experts Inexpérimentés
Taille fonctionnelle (en PFC)
Max
Min
Moyenne
Exigences fonctionnelles
avec 154 défauts trouvés (C+M)
12-10-25
22
Défis des mesureurs inexpérimentés
Soutenance de thèse © Sylvie Trudel
43
1. Identification incorrecte des PF et des mouvements d’entrée déclencheurs
2. Identification incorrecte des groupes de données 3. Groupes de données manquants 4. Mouvements de données erronés 5. Mouvements de données manquants 6. Mouvements de données dupliqués ou superflus
Sommaire des données brutes de la phase 2
44
Soutenance de thèse © Sylvie Trudel
uObserve SRS v1.0
5 experts COSMIC
13 inspecteurs (3 expérimentés)
Taille: 58.0 ± 3.0 CFP Nb PF: 11.8 ± 1.8 FP
Mesureurs: 57,8 ± 10,5 minutes Inspecteurs: 62,3 ± 11,4 minutes
Défauts trouvés par Fonct. Non-
fonct. Total
Inspecteurs 74 34 108
Inspecteurs + mesureurs 8 10 18
Mesureurs 46 22 68
Total 128 66 194
Autres points trouvés par Fonct. Non-
fonct. Total
Inspecteurs 11 12 23
Mesureurs 8 3 11
Total 19 15 34
86
12-10-25
23
Correction des défauts et autres points
© Sylvie Trudel
45
uObserve SRS v1.0
84%
16%
194 Défauts Ouverts
Fermés ou Résolus
34 Autres points
12% 88%
uObserve SRS v2.0
15 cas d’utilisation
10 cas d’utilisation
Ouverts
Fermés ou Résolus
Soutenance de thèse
App. I App. II
Résultats comparatifs: Défauts et autres points 46
Soutenance de thèse © Sylvie Trudel
86
11
11
5
0
20
0
20
40
60
80
100
120
v1.0 v2.0
Hypothèses
Autres points
Défauts
Diminution du nombre de défauts et autres points trouvés
Hypothèses de mesure documentées
12-10-25
24
Résultats comparatifs: Taille fonctionnelle
Soutenance de thèse © Sylvie Trudel
47
62
97
77
130
55
68
37
81
58
79,3
58,6
114,3
30
40
50
60
70
80
90
100
110
120
130
v1.0 v2.0 v1.0 v2.0
Tai
lle
fon
ctio
nn
elle
(en
PF
C)
Experts Inexpérimentés
Max
Min
Moyenne
Augmentation de 36.6%
Les écarts s’expliquent tous par
des hypothèses de mesure
Sommaire des analyses de données
Objectif 4:
Déterminer l’influence des défauts sur la taille fonctionnelle
� Les défauts ont eu un impact important sur la taille fonctionnelle: +39%
� Le nombre de défauts identifiés a été réduit de façon importante: -86% ¡ Certains mesureurs ont rapporté qu’ils
auraient pu trouver plus de défauts s’ils avaient eu plus de temps
� Toutes les différences parmi les résultats individuels s’expliquent par des hypothèses de mesure (20 hypothèses soulevées) ¡ Niveau de décomposition ¡ Frontières identifiées ¡ Utilisateurs fonctionnels identifiés ¡ Processus fonctionnels identifiés ¡ Modèle de données (absent)
48
Soutenance de thèse © Sylvie Trudel
12-10-25
25
E T T R A V A U X F U T U R S
© Sylvie Trudel Soutenance de thèse
49
Discussion
Discussion
� Exploration de la participation d’un mesureur au sein d’une équipe d’inspection
� Relation entre les défauts et la taille fonctionnelle � Formation pratique de l’application de la méthode
COSMIC � Le coût de la mesure de la taille fonctionnelle
50
Soutenance de thèse © Sylvie Trudel
12-10-25
26
Travaux futurs
� Traiter les défauts et autres points résiduels et publier le document uObserve SRS v3.0 ¡ Incluant une mesure fonctionnelle vérifiée en tant que cas
d’étude
� Quantifier plus abondamment l’impact des défauts dans les exigences fonctionnelles sur la mesure de la taille
51
Soutenance de thèse © Sylvie Trudel
C O N T R I B U T I O N S D E L A R E C H E R C H E
© Sylvie Trudel Soutenance de thèse
52
Recommandations et impacts pour l’industrie
12-10-25
27
53
Ce qui ressort de la recherche (outcomes)
Soutenance de thèse © Sylvie Trudel
Phase 1: Refine research methodology
Select and prepare experimental material
Phase 2: Compare efficiency and effectiveness (unit cost) of COSMIC
and an inspection approach
Experiments with experts and practitioners with limited
experience
Process/Phases
(3.3)
Phase 3: Prepare next phase experimental material
Update uObserve SRS from v1.0 to v2.0
(5.2)
Phase 4: Determine influence of defects on functional size
(4.2 & 4.3)
Pilot project experiment(3.1)
Experiments with experts and measurers with limited experience
(5.3 & 5.4)
Outcomes
Improving quality of functional requirements by measuring their functional size
IWSM 2008Best paper award
Functional size measurement quality challenges for inexperienced measurers
IWSM 2009
Functional requirement improvements through size measurement: a case study with inexperienced
measurers
SERA 2010
The contribution of functional size measurers in defects identification: a case study with inexperienced
measurers
Published in IJCIS
Inpu
ts to
Gui
delin
e fo
r as
surin
g th
e ac
cura
cy o
f m
easu
rem
ents
Usage of uObserve SRS v1.0 in Zayed University Competition in IT where students had to find the highest number of defects
App.X
App.XI
App.XII
App.XIII
App.XIV
Improvement suggestion to the COSMIC method
To COSMIC MPC
App.XV
Proposed improvement to COSMIC training materialTo COSMIC MPC
(7.1)
(7.2 & 7.3)
Bidirectional influence of defects and functional size
IWSM 2011
Bidirectional Influence of Defects and Functional Size: A Comparative Study Based on Measurers’ Experience
To be published in IEICE (Japan)
Améliorations proposées à la norme COSMIC
Soutenance de thèse © Sylvie Trudel
54
Version 4.0 Version 3.0
1. Processus de mesure 2. Règle d’étiquetage du
résultat de la mesure 3. Règle de reddition de la
mesure • Liste des défauts identifiés • Liste des hypothèses de
mesure 4. Enregistrement des défauts
et hypothèses de mesure
12-10-25
28
Nouvelle utilisation de la méthode COSMIC
Soutenance de thèse © Sylvie Trudel
55
Ajout d’un rôle de mesureur lors d’une inspection
Équipe d’inspection
Mesureur
Améliorer la formation des nouveaux mesureurs
Soutenance de thèse © Sylvie Trudel
56
Plus d’exercices pratiques
12-10-25
29
Liste de vérification COSMIC 1-Pager
57
Soutenance de thèse © Sylvie Trudel
Contribution au “COSMIC Guideline to ensure measurement verification”
Soutenance de thèse © Sylvie Trudel
58
Liste des erreurs fréquentes de
mesure
12-10-25
30
Évaluer les compétences
Soutenance de thèse © Sylvie Trudel
59
uObserve SRS v1.0
uObserve SRS v2.0
Mesureur expert
uObserve SRS v3.0
Mesureur intermédiaire
Mesureur débutant
Inspecteur
Soutenance de thèse © Sylvie Trudel
60
12-10-25
31
S U C C È S , D É F I S E T A N E C D O T E S
61
Applications industrielles de la méthode COSMIC
Soutenance de thèse © Sylvie Trudel
62
12-10-25
32
Succès
Séminaire du LATECE © Sylvie Trudel
63
� Amélioration de productivité ¡ Principe: on ne peut pas contrôler ce qu’on ne mesure pas ¡ Plusieurs cas où la productivité a doublé, voire triplé
� Amélioration de la qualité des exigences ¡ En mesurant la taille, plusieurs organisations ont décidé de
revoir la façon dont les exigences fonctionnelles sont documentées
� Bons résultats d’étalonnage
Défis
Séminaire du LATECE © Sylvie Trudel
64
� Piètres résultats d’étalonnage ¡ L’industrie québécoise est de 2 à 4 fois moins productive que
ses concurrents internationaux dans le même domaine d’affaires ÷ Modèle d’affaires en sous-traitance du développement à revoir! ÷ Processus lourd et en cascades à remplacer!
12-10-25
33
Période de questions
Soutenance de thèse © Sylvie Trudel
65
?
Modèles de bonnes pratiques
Soutenance de thèse © Sylvie Trudel
66
� CMMI : Modèle d’évolution des capacités ¡ « Requirements development » ¡ « Requirements management » ¡ « Verification »
� ISO/IEC 12207: Processus de développement logiciel
� SWEBOK: Corpus de connaissances en génie logiciel ¡ Chapitre 2: Exigences logicielles
12-10-25
34
Assurer la qualité des exigences
Soutenance de thèse © Sylvie Trudel
67
� Revues ¡ Servent à identifier et corriger les défauts des exigences ¡ Revues d’exigences en groupe ou en comité
(MIL Std 2167A, ISO/IEC 12207) � Revues par les pairs (inspections)
¡ Introduites par Fagan en 1976 ¡ Plusieurs méthodes disponibles, dont Fagan, Gilb &
Graham, CRIM (variante de Gilb & Graham) ¡ Quelques mesures dérivées
÷ Efficience (ou coût unitaire) = effort / défaut ÷ Efficacité = # défauts trouvés et corrigés en inspection
# défauts total
Mesure de taille fonctionnelle
Soutenance de thèse © Sylvie Trudel
68
� Historique des méthodes de mesure � Normes ISO/IEC � Méthode COSMIC-FFP
12-10-25
35
Motivation de la recherche
Soutenance de thèse © Sylvie Trudel
69
� Comprendre et quantifier jusqu’à quel point la méthode COSMIC contribue à l’identification des défauts des exigences fonctionnelles ¡ Origine: observations empiriques du chercheur dans sa
pratique professionnelle
Originalité des travaux envisagés
Soutenance de thèse © Sylvie Trudel
70
� Appliquer la méthode de mesure de taille fonctionnelle COSMIC en tant qu’activité de vérification d’exigences fonctionnelles ¡ Démontrer son efficacité et son efficience avec des données
12-10-25
36
Cadre expérimental
Soutenance de thèse © Sylvie Trudel
71
I. Definition Motivation Object Purpose Perspective Domain Scope Verify the contribution of the COSMIC method to identify defects in functional requirements
Functional requirements
Evaluate quantitatively
Requirements Inspectors
COSMIC Measurers
Requirements engineering (functional requirements) and measurement (sizing)
One requirements specification document
I. Planning Design Criteria Measurement
Pilot project Statistical analysis methods
Defect types and categories Participant types and experience levels
Number of defects per participant Number of unique defects per team Effort Functional size
I. Operations Preparation Execution Data analysis
Select and print material Call for participation Train participants
Collect data Verify data
Preliminary analysis: experts and practitioners with limited experience separately Formal analysis: • combined data from Phase 2 experiments • data from Phase 4 experiments
I. Interpretation Interpretation context Extrapolation Impact
Within one inspection approach, one set of SRS document, multiple inspectors and multiple measurers and one functional sizing method
Identification of defects while measuring
Application of the COSMIC method as a means to identify defects
Basé sur (Basili, Selby et Hutchens, 1986)
Séquence temporelle des expérimentations
Soutenance de thèse © Sylvie Trudel
72
Time
Phase 2
Phase 3 Phase 4
1st
experimental session
2nd
experimental session
3rd
experimental session
Measurers with limited experience
experimental session
Update uObserve
SRS
Expert measurers experimental session
12-10-25
37
Résultats comparatifs: Effort
Effort relatif moyen: 1,5 min/PFC à Était 1,0 min/PFC
73
Soutenance de thèse © Sylvie Trudel
58
117 86,5
0
20
40
60
80
100
120
140
v1.0 v2.0 (tous)
v2.0 (sans le point
extrême)
Eff
ort
(min
ute
s)
Augmentation de l’effort de 49%
Menaces à la validité
� Évolutions de la méthode COSMIC pendant la recherche
� Barrière linguistique du SRS � Document SRS provenant d’un seul système
74
Soutenance de thèse © Sylvie Trudel
12-10-25
38
Amélioration du processus de mesure
Soutenance de thèse © Sylvie Trudel
75
The Measurement Process
Chapter 2 Measurement
strategy
Chapter 3 Mapping Phase
Chapter 4 Measurement
Phase
Functional size interval of the software in units of CFP: • Basic size + • Assumption size
• FUR in the form of the Generic Software Model
• Defect list and related assumptions
• Purpose of the measurement
• Scope of each piece of software to be measured
Goals
Software Context Model
• FUR in the artefacts of the software to be measured
• Generic Software Model
Amélioration à la phase de mesure
Soutenance de thèse © Sylvie Trudel
76
COSMIC Measurement Phase
Identify Data Movements
Section 4.1 Apply
Measurement Function
Section 4.2
All functional processes measured
?
No
Yes
Aggregate Measurement
Results
Section 4.3
Verify Measurement Assumptions and Results
Section 4.4
• FUR in the form of the Generic Software Model
• Defect list and related assumptions
Functional size interval of the software in units of CFP: • Basic size + • Assumption size (if any)
recorded information
12-10-25
39
Avant, v3.0.1 de COSMIC Proposé
Soutenance de thèse © Sylvie Trudel
� A COSMIC measurement result shall be noted as “x CFP (v.y)”, where: ¡ “x” represents the numerical value of
the functional size, ¡ “v.y” represents the identification of
the standard version of the COSMIC method used to obtain the numerical functional size value “x”.
� A COSMIC measurement result shall be noted as “[x - z] CFP (v.y)”, where: ¡ “x” represents the numerical value of
the base functional size, ¡ “z” represents the numerical value of
the assumptions size plus “x”, ¡ “v.y” represents the identification of
the standard version of the COSMIC method used to obtain the numerical functional size value “x”.
EXAMPLE: A result obtained using the rules of this Measurement Manual provides a base functional size of 200 CFP while the size of remaining assumptions is 30. The result is recorded as “[200‑230] CFP (v3.0)”.
77
Amélioration à la règle d’étiquetage
Ce qui ressort de la recherche (outcomes)
Soutenance de thèse © Sylvie Trudel
78
� Publication des résultats intermédiaires 1. Improving quality of functional requirements by measuring their functional size
International Workshop on Software Measurement (IWSM) 2008, Munich (Allemagne) à Best Paper Award
2. Functional size measurement quality challenges for inexperienced measurers, IWSM 2009, Amsterdam (Pays-Bas)
3. Functional Requirement Improvements through Size Measurement: A Case Study with Inexperienced Measurers, Software Engineering Research, Management & Applications (SERA) 2010, Montréal (Canada)
4. The Contribution of Functional Size Measurers in Defects Identification: A Case Study with Inexperienced Measurers, dans le International Journal of Computer and Information System (IJCIS)
5. Bidirectional Influence of Defects and Functional Size, IWSM 2011, Nara (Japon) 6. Bidirectional Influence of Defects and Functional Size: A Comparative Study Based on
Measurers’ Experience, à paraître dans un numéro spécial sur la fiabilité du journal Information & Systems de The Institute of Electronics, Information and Communication Engineers (IEICE) (Japon)
App. X
App. XI
App. XII
App. XIII
App.
XIV
À
paraître