opentsdb - air.imag.fr · historique rrd tool anciennement la seule tsdb. whisper similaire à rrd...

OpenTSDB

THIBAUT NOUGUIER

RICM5

2016 - 2017

05

/11/1

6

Thib

aut N

OU

GU

IER

1

Sommaire

Contexte

Historique

Fonctionnement

Conclusion

Démonstration

05/11/16Thibaut NOUGUIER

2

Contexte

Objectifs :

Stocker dans une base de données des informations horodatées de source et nature diverses.

Produire des graphiques grâce à ces données.

Problématique :

Stockage de point : nom + timestamp + valeur + tags.

Stockage de masse de l’ordre de la dizaine de millions par an.

Fonctionnalités mathématiques :

Comptages, moyennes, interpolations, lissages, maximums, minimums…

05/11/16Thibaut NOUGUIER

3

Historique

RRD Tool

Anciennement la seule TSDB.

Whisper

Similaire à RRD Tool mais s’utilise avec le projet Graphite (performances des sites, serveurs).

KairosDB

Similaire à OpenTSDB mais peut être utilisée avec H2 ou Cassandra.

InfluxDB

Capacité de stocker des événements en plus des points.

05/11/16Thibaut NOUGUIER

4

Fonctionnement

Base de données de séries chronologiques

Architecture scalable.

API pour lecture et écriture.

Opérations statistiques et lissage des données.

Capacité de stocker avec une précision à la milliseconde.

Stockage d’un milliard de point par jour.

Time Series Daemon

Hbase

Dialogue par protocole telnet ou HTTP

05/11/16Thibaut NOUGUIER

5

Fonctionnement

Un TSD par cluster HBase, un cluster HBase par datacenter.

Capacité d’écriture :

2000 points par seconde et par cœur.

Capacité de lecture :

Quelques secondes.

Echec :

Sauvegarde dans un buffer si HBase ne fonctionne plus.

Persistance des données :

Les données restent 1 seconde maximum dans le buffer d’un TSD avant d’être enregistrées dans HBase.

Evolutivité

Fiabilité

05/11/16Thibaut NOUGUIER

6

Conclusion

OpenTSDB :

Time series data représentées par des points.

Stockage de masse : 1 milliard de points par jour.

Stockage rapide : de l’ordre de la milliseconde.

Fonctionnalités mathématiques intégrées.

Open Source.

05/11/16Thibaut NOUGUIER

7

Démonstration

05

/11/1

6

Thib

aut N

OU

GU

IER

8