10e benchmark informatiques

29
Benchmarks informatiques 1 AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi - Raffalli

Upload: kaldo-khaled

Post on 16-Apr-2015

28 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 10E Benchmark Informatiques

Benchmarks informatiques

1AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 2: 10E Benchmark Informatiques

Introduction

• Benchmark :

– Plusieurs définitions

• Définition globale

• Définition informatique

• Objectifs

– Analyser les performances

– Minimiser les coûts

2El Bouhy - Lecavelier - Mnémoi -

Raffalli

AL - SI5 - 2012/2013

Page 3: 10E Benchmark Informatiques

Cadre du sujet

• Du benchmarking au benchmark :

– Planification : choix des critères

– Analyse : identification des niveaux de

performances

– Intégration / Action

• Utilité des benchmarks

• Différents types

3El Bouhy - Lecavelier - Mnémoi -

Raffalli

AL - SI5 - 2012/2013

Page 4: 10E Benchmark Informatiques

Les benchmarks systèmes

• Objectif : mesurer performances d’un

système

– Système d’exploitation

– SGBD

• Simule le comportement de l’utilisateur

– Benchmarks applicatifs

4El Bouhy - Lecavelier - Mnémoi -

Raffalli

AL - SI5 - 2012/2013

Page 5: 10E Benchmark Informatiques

Les benchmarks systèmes

• Aspect technique

– Comparaison architecture différentes

– Exploration de nouveaux designs

• Aspect économique

– Rapport prix/performance

AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

5

Page 6: 10E Benchmark Informatiques

Les benchmarks systèmes

• Standard benchmark TPC

– Benchmark pour systèmes transactionnels

– Né d’un conflit

– Début de TPC – A/B

• TPC-C

– Simulation système SGBD (gestion des

stocks)

AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

6

Page 7: 10E Benchmark Informatiques

Les benchmarks composants

• Testent un seul composant

• Réalisent plusieurs tests

• Résultat clair

7El Bouhy - Lecavelier - Mnémoi -

Raffalli

AL - SI5 - 2012/2013

Page 8: 10E Benchmark Informatiques

Les benchmarks composants

• Pour l’architecte :

– Comparer les composants

– Réaliser son système

– Connaître leur points forts et faibles

• Impact économique

8El Bouhy - Lecavelier - Mnémoi -

Raffalli

AL - SI5 - 2012/2013

Page 9: 10E Benchmark Informatiques

Les benchmarks composants

• SPEC (Standard Performance Evaluation Corporation) :

– Organisme de standardisation

– IBM, HP, Oracle…

• SPEC CPU 2006 :

– Benchmark sur les processeurs

– 800$

9El Bouhy - Lecavelier - Mnémoi -

Raffalli

AL - SI5 - 2012/2013

Page 10: 10E Benchmark Informatiques

Les benchmarks composants

• CoreMark (OpenSource) :

– Benchmark sur les processeurs

• Très utilisé dans le monde de l’embarqué

• « Très simple »

• « Indépendant de la plate-forme »

10El Bouhy - Lecavelier - Mnémoi -

Raffalli

AL - SI5 - 2012/2013

Page 11: 10E Benchmark Informatiques

Vérification & Validation

11AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 12: 10E Benchmark Informatiques

Vérification & Validation

Vérification : Le processus qui détermine si

la mise en œuvre d'un modèle représente

exactement la description conceptuelle du

développeur pour le modèle et la solution de

ce modèle.

12AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 13: 10E Benchmark Informatiques

Vérification & Validation

Validation: Le processus qui détermine si

un modèle donné est une représentation

précise du monde réel du point de vue des

utilisations prévues de ce modèle.

13AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 14: 10E Benchmark Informatiques

Vérification & Validation

« La vérification travaille avec les

mathématiques ; la validation avec la

physique »

14AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 15: 10E Benchmark Informatiques

Exemples des Benchmark V&V

15AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 16: 10E Benchmark Informatiques

Benchmarks Comparatifs

• Evalue les performances matérielles ou

logicielles et établit une comparaison avec

les autres.

16

Sum of FPS

Benchmarks

1920x1200 (HQ)

with anti aliasing El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 17: 10E Benchmark Informatiques

Benchmarks Comparatifs

Des benchmarks pour qui ? :

• Les éditeurs de logiciels et les constructeurs de

matériel

• Les développeurs

• Les consommateurs

17AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 18: 10E Benchmark Informatiques

Benchmarks Comparatifs

Des benchmarks pour qui ? :

• Les éditeurs de logiciels et les constructeurs de

matériel

– Met en valeur le produit par rapport aux autres

– Apporte une image de marque

18AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 19: 10E Benchmark Informatiques

Benchmarks Comparatifs

Des benchmarks pour qui ? :

• Les éditeurs de logiciels et les constructeurs de

matériel

• Les développeurs

• Les consommateurs

19AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 20: 10E Benchmark Informatiques

Benchmarks Comparatifs

Des benchmarks pour qui ? :

• Les développeurs

– Permet d’avoir un indice de performance pour

savoir comment évoluer

20AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 21: 10E Benchmark Informatiques

Benchmarks Comparatifs

Des benchmarks pour qui ? :

• Les éditeurs de logiciels

• Les développeurs

• Les consommateurs

21AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 22: 10E Benchmark Informatiques

Benchmarks Comparatifs

Des benchmarks pour qui ? :

• Les consommateurs

– Donne un indice de qualité du produit

– Permet d’orienter ses choix

22AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 23: 10E Benchmark Informatiques

Synthèse

• Avantages :– Benchmarks composants : permettent d’identifier

rapidement les meilleurs composants et leurs limites

– Benchmarks validation et vérification : améliorent la

crédibilité des simulations

– Général : offre des indices de performances en

fonctions de facteurs précis, définis par le

développeur du benchmark.

23AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 24: 10E Benchmark Informatiques

Synthèse

• Inconvénients :– Benchmarks composants : tests réalisés sur un

système entier, résultat dépendant de la plate-forme

– Benchmarks systèmes : très couteux, lourds, pas

adaptés pour les besoins futurs du système.

– Benchmarks Vérification et validation : terminologie

non uniforme dans toutes les discipline d’ingénieurie

24AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 25: 10E Benchmark Informatiques

Synthèse

• Réponse à la problématique :

– Benchmark utile pendant la phase de

conception

– Permet de contrôler le résultat en phase

d’exploitation

– Offre plus de précision à l’architecte dans ses

tests de performance.

25AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 26: 10E Benchmark Informatiques

Synthèse

• Open Source VS Standard (TPC, SPEC) :

– Open source : accessible et développés par

tous.

– Standard : Plus répandus, rassembles les

constructeurs et acteurs les plus connus.

26AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 27: 10E Benchmark Informatiques

Conclusion

• Eléments très importants

• Classés dans des familles

• Utilisés dans beaucoup de domaines

• Très variables

• Très évolutifs

27AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 28: 10E Benchmark Informatiques

Références

• http://fr.wikipedia.org/wiki/Benchmark

• http://en.wikipedia.org/wiki/Benchmark_%28computing%29#Types_of_benchmarks

• http://www.investopedia.com/terms/b/benchmark.asp#axzz2Ay4ltgCS

• http://www.cs.umd.edu/~meesh/cmsc411/website/projects/morebenchmarks/types.html

• http://www.bea.gov/industry/io_benchmark.htm

• http://www.cs.umd.edu/class/fall2001/cmsc411/projects/morebenchmarks/types.html

• http://www.realworldtech.com/meaningful-benchmarks/

• http://www.techradar.com/news/computing/pc/how-to-benchmark-your-pc-954580

• http://www.spec.org/spec/

• http://mrob.com/pub/comp/benchmarks/spec.html#CPU_06

• http://www.coremark.org/faq/index.php?pg=faq

• http://ideasint.blogs.com/ideasinsights/2011/12/ideas-joins-spec.html

• http://laptoport.com/2011/11/12/nvidia-kal-el-tegra-3-and-its-companion-core-on-transformer-

prime/

• http://www.storageperformance.org/results

• http://www.anandtech.com/show/4503/sandy-bridge-memory-scaling-choosing-the-best-ddr3/3

• https://www.agi.com/products/stk/Default.aspx

http://www.osti.gov/bridge• http://www.nec-labs.com/research/system/systems_SAV-website/benchmarks.php• http://www.dantecdynamics.com/Default.aspx?ID=469

• http://www.oecd-nea.org/dbprog/benchmarks.htm

28AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -

Raffalli

Page 29: 10E Benchmark Informatiques

Avez-Vous des questions ?

AL - SI5 - 2012/2013 29