big data paris 2015 - cassandra chez chronopost

Cassandra chez Chronopostpour traiter en temps réel 1,5 milliard d’événements par an

Alexander DEJANOVSKI

Qui suis-je ?

• Ingénieur EAI• Depuis 15 ans chez Chronopost•@alexanderDeja

Leader de la livraison express de colis jusqu’à 30 kg aux entreprises comme aux particuliers partout dans le monde, Chronopost s’appuie sur en France sur un réseau constitué de 75 sites opérationnels et 7 hubs. Chronopost dessert plus de 230 pays en Europe et dans le monde.

Chronopost InternationalNotre métier

En 2014 :

3 500 salariésPlus de 60 000 entreprises clientes4 500 tournées de livraison par jour 114,5 millions de colis livrés230 pays desservis33% des colis livrés en BtoC25% de son CA à l’International

L’EAI chez Chronopost

• TIBCO BusinessWorks• 750 000 échanges/j• 3M d’étapes/j

Flux EAI chez Chronopost

Développement interne : FLUKSBase relationnelle

Suivi des flux EAI

Suivi des flux EAI

Suivi des flux EAI

Suivi des flux EAI

Suivi des flux EAI

• Contentions • Latences • Statistiques

Problèmes

• Portage• Scalabilité• Open Source

Proposition d’un PoC NoSQL sur Fluks

Hadoop

HBase

CassandraHypertable

Accumulo

CloudataCloudera

MonetDB

HPCCApache Flink

Splice Machine

MongoDB

La jungle « NoSQL/Big Data »

#CassandraSummit

Elasticsearch

Couchbase

CouchDBRethinkDB

RavenDB

MarkLogic Server

Clusterpoint Server

NeDBTerrastore

AmisaDB

JasDB

RaptorDB

djondb

EJDBdensodb

SisoDB

SDBThruDB

iBoxDB

DynamoDBRiak

Redis

AerospikeFoundationDB

LevelDB

Berkeley DB

Oracle NOSQLGenieDB

BangDB

ScalarisScalien

Voldemort

DynomiteKAI

MemcacheDB

Spark….

http://nosql-database.org/ liste + de 150 bases NoSQL

• HBase• Cassandra• MongoDB

Notre short list

Cassandra

• Simplicité• Réplication• Tolérance aux pannes• CQL • JDBC • Scalabilité

Pourquoi Cassandra ?

Partition et réplication

Replication Factor = 33 répliques de chaque enregistrement

Requêtes

Scalabilité linéaire

• Cré ation de table : – CREATE TABLE ma_table(

id int, value text, PRIMARY INDEX(id));

• Requêtage des donné es :– SELECT * FROM ma_table WHERE id=?

CQL = Cassandra Query Language

• Pas de relations• Dénormalisation• Clauses WHERE limitées• Requêtes analytiques

Il faut réapprendre certaines choses…

Le PoC Cassandra

• Driver JDBC Cassandra (TIBCO/IHM)• Guava• 2 mois / 1 personne

Portage de Fluks

• Serveurs décommissionnés• Août 2014 : 1ère infrastructure• Avril 2015 : évolution

Passage en production

• Plus de contention• Stats temps réel• RDBMS : 100-120ms / message• Cassandra : 16-20ms / message

Résultats en production

Comparatifs des temps d’intégration

• Dans la version relationnelle :

– Batch– Recalculs à la demande

• Avec la monté e en charge :

– Durée++– Perturbation insertions

Des stats temps réel ?

• Type «  counter  » de Cassandra– Incré mentation/Dé cré mentation :

UPDATE ma_table SET my_counter = my_counter + 10 WHERE ma_cle=1

• Le truc génial ? – UPDATE = INSERT– Enregistrement cré é s’il n’existe pas

Des stats temps réel ?

Attention : – Cassandra < 2.1 = compteurs

approximatifs• rejeux• OK pour des stats

Des stats temps réel ?

Développements en cours sur Cassandra

• Base Cassandra alimentée depuis notre Base Colis– Toutes les Informations colis – Tous les événements

Vision

• 2 nouvelles offres Chronopost à la rentré e • Stockage Cassandra• Accent fort sur le temps réel• Stockage en «  time series  »

Vision

Infrastructureanalytique

• Apache Spark 1.2• Cassandra (via connecteur Spark Datastax)

– Analyse sur profondeur réduite (opérationnel)

• HDFS– Analyse sur profondeur é tendue (archivage)

• Dataiku

Notre stack analytique « Big Data »

Contribution à l’écosystème Cassandra

• Non maintenu• Limité• Cassandra <= 1.2• Datastax Java driver

Le driver JDBC « legacy »

• Cassandra 2.0/2.1• Load balancing• Disponible sur code.google.com• Google : «  cassandra jdbc  »• API Thrift

Mise à jour du driver JDBC « legacy »

• Réécriture• Intégration Driver Java Datastax• Disponible sur github.com/adejanovski

Nouveau driver JDBC

Requêtes asynchrones

Load balancing policies : Token Aware Policy

Load balancing policies : DC Aware Policy

Load balancing policies : DC Aware Policy

• Datastax pour :– Son invitation aujourd’hui– Sa contribution au code source Cassandra

(>80%)– Son animation de la communauté Cassandra

• Vous pour :– M’avoir é couté jusqu’au bout

Remerciements

Merci !