viadeo - cost driven development

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Frédéric d’Alessandro - Data architect

Loïc Dias Da Silva - CTO & VP Engineering

Cost Driven Development chez ViadeoTâches Spark sur EMR optimisées avec des instances SPOT

Viadeo

SUCCESS

Business

Fournisseurs, clients,

collaborateurs,

investisseurs...

Networking

Pairs, associés, collègues,

camarades, rencontres

pro, partenaires ...

Carrière

Premier job, recherche

d’emploi, entreprenariat,

développement, ...

Migration vers le cloud AWS

Nov. 2014

Escape to Amazon thinking

Dec. 2014

First commit Infrastructure as a code

Mar. 2015

First industrialized instance on AWS cloud

Dec. 2015

Our demo environment is on AWS cloud

July 2016

Our live production environment is on AWS cloud

Dec 2016

Datacenter is closed

demo

Cost-Driven Development

- choix des instances Amazon EC2- autoscaling- optimisations Amazon RedShift- cycle de vie des données Amazon S3- utilisation d’instances SPOT

Architecture

L’analytics chez Viadeo

Le Big Data chez Viadeo

Utilisation d’instances SPOT (ex: SnowPlow)- Prix c3.8xlarge à la demande : 1.68$- Prix c3.8xlarge Spot : ~0.40$- Baisse du coût de ~ 1200$ à ~240$ par mois

pop.sh : automatisation du lancement de jobs

Usage

$ ./pop.sh --coreInstanceType=m4.large --coreInstanceCount=2 --ec2spot=true

(...)

# Pricing info = Tue Oct 11 08:00:09 CEST 2016

# Instance type = m4.large

# availabilityZone = us-west-1c

# Aws Spot Price 1 min ago = 0.016700

# Aws Spot Price 1 day ago = 0.016300

# Our max Spot Price max proposal = 0.029

# Aws fixed price = 0.14

# Emr fixed price = 0.030

# Do we take spot = 1

$

Prochaines étapes

- Amélioration de la vitesse de scaling- Passage des stacks applicatives en µ-services- Containerisation & orchestration