10e benchmark informatiques

Download 10E Benchmark Informatiques

Post on 16-Apr-2015

4 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

Benchmarks informatiquesAL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 1

Introduction Benchmark : Plusieurs dfinitions Dfinition globale Dfinition informatique

Objectifs Analyser les performances Minimiser les cotsAL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 2

Cadre du sujet Du benchmarking au benchmark : Planification : choix des critres Analyse : identification des niveaux de performances Intgration / Action

Utilit des benchmarks Diffrents typesAL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 3

Les benchmarks systmes Objectif : mesurer performances dun systme Systme dexploitation SGBD

Simule le comportement de lutilisateur Benchmarks applicatifs

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

4

Les benchmarks systmes Aspect technique Comparaison architecture diffrentes Exploration de nouveaux designs

Aspect conomique Rapport prix/performance

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

5

Les benchmarks systmes Standard benchmark TPC Benchmark pour systmes transactionnels N dun conflit Dbut de TPC A/B

TPC-C Simulation systme SGBD (gestion des stocks)AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 6

Les benchmarks composants Testent un seul composant

Ralisent plusieurs tests Rsultat clair

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

7

Les benchmarks composants Pour larchitecte : Comparer les composants Raliser son systme Connatre leur points forts et faibles

Impact conomique

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

8

Les benchmarks composants SPEC (Standard Performance Evaluation Corporation) : Organisme de standardisation IBM, HP, Oracle

SPEC CPU 2006 : Benchmark sur les processeurs 800$

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

9

Les benchmarks composants CoreMark (OpenSource) : Benchmark sur les processeurs

Trs utilis dans le monde de lembarqu Trs simple Indpendant de la plate-forme AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 10

Vrification & Validation

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

11

Vrification & ValidationVrification : Le processus qui dtermine si la mise en uvre d'un modle reprsente exactement la description conceptuelle du dveloppeur pour le modle et la solution de ce modle.

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

12

Vrification & ValidationValidation: Le processus qui dtermine si un modle donn est une reprsentation prcise du monde rel du point de vue des utilisations prvues de ce modle.

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

13

Vrification & Validation

La vrification travaille avec les mathmatiques ; la validation avec la physique

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

14

Exemples des Benchmark V&V

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

15

Benchmarks Comparatifs Evalue les performances matrielles ou logicielles et tablit une comparaison avec les autres.

Sum of FPS Benchmarks 1920x1200 (HQ) with anti aliasing

El Bouhy - Lecavelier - Mnmoi Raffalli

16

Benchmarks ComparatifsDes benchmarks pour qui ? : Les diteurs de logiciels et les constructeurs de matriel Les dveloppeurs

Les consommateursAL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 17

Benchmarks ComparatifsDes benchmarks pour qui ? : Les diteurs de logiciels et les constructeurs de matriel Met en valeur le produit par rapport aux autres

Apporte une image de marque

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

18

Benchmarks ComparatifsDes benchmarks pour qui ? : Les diteurs de logiciels et les constructeurs de matriel Les dveloppeurs

Les consommateursAL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 19

Benchmarks ComparatifsDes benchmarks pour qui ? : Les dveloppeurs Permet davoir un indice de performance pour savoir comment voluer

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

20

Benchmarks ComparatifsDes benchmarks pour qui ? : Les diteurs de logiciels Les dveloppeurs

Les consommateurs

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

21

Benchmarks ComparatifsDes benchmarks pour qui ? : Les consommateurs Donne un indice de qualit du produit Permet dorienter ses choix

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

22

Synthse Avantages : Benchmarks composants : permettent didentifier rapidement les meilleurs composants et leurs limites

Benchmarks validation et vrification : amliorent la crdibilit des simulations Gnral : offre des indices de performances en fonctions de facteurs prcis, dfinis par le dveloppeur du benchmark.AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 23

Synthse Inconvnients : Benchmarks composants : tests raliss sur un systme entier, rsultat dpendant de la plate-forme

Benchmarks systmes : trs couteux, lourds, pas adapts pour les besoins futurs du systme. Benchmarks Vrification et validation : terminologie non uniforme dans toutes les discipline dingnieurie

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

24

Synthse Rponse la problmatique : Benchmark utile pendant la phase de conception

Permet de contrler le rsultat en phase dexploitation Offre plus de prcision larchitecte dans ses tests de performance.AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 25

Synthse Open Source VS Standard (TPC, SPEC) : Open source : accessible et dvelopps par tous. Standard : Plus rpandus, rassembles les constructeurs et acteurs les plus connus.

AL - SI5 - 2012/2013

El Bouhy - Lecavelier - Mnmoi Raffalli

26

Conclusion Elments trs importants Classs dans des familles

Utiliss dans beaucoup de domaines Trs variables

Trs volutifsAL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnmoi Raffalli 27

Rfrences http://fr.wikipedia.org/wiki/Benchmark http://en.wikipedia.org/wiki/Benchmark_%28computing%29#Types_of_benchmarks http://www.investopedia.com/terms/b/benchmark.asp#axzz2Ay4ltgCS http://www.cs.umd.edu/~meesh/cmsc411/website/projects/morebenchmarks/types.html http://www.bea.gov/industry/io_benchmark.htm http://www.cs.umd.edu/class/fall2001/cmsc411/projects/morebenchmarks/types.html http://www.realworldtech.com/meaningful-benchmarks/ http://www.techradar.com/news/computing/pc/how-to-benchmark-your-pc-954580 http://www.spec.org/spec/ http://mrob.com/pub/comp/benchmarks/spec.html#CPU_06 http://www.coremark.org/faq/index.php?pg=faq http://ideasint.blogs.com/ideasinsights/2011/12/ideas-joins-spec.html http://laptoport.com/2011/11/12/nvidia-kal-el-tegra-3-and-its-companion-core-on-transformerprime/ http://www.storageperformance.org/results http://www.anandtech.com/show/4503/sandy-bridge-memory-scaling-choosing-the-best-ddr3/3 https://www.agi.com/products/stk/Default.aspx http://www.osti.gov/bridge http://www.nec-labs.com/research/system/systems_SAV-website/benchmarks.php http://www.dantecdynamics.com/Default.aspx?ID=469 http://www.oecd-nea.org/dbprog/benchmarks.htm El Bouhy - Lecavelier - Mnmoi Raffalli 28

AL - SI5 - 2012/2013

Avez-Vous des questions ?

AL - SI5 - 2012/2013

29