toursjug mongodb

Cedric Gatay - c.gatay@code-troopers.com

MongoDBWhat’s up doc ?

Cedric Gatay

• Code-Troopers

• Packt

• github.com/CedricGatay

• @Cedric_Gatay

Clef / Valeur Colonne Graphe Document

Clef / Valeur

• Énormes volumes

• Stockage basique

• Pas de types de données

• Opérations simples

Colonne

• Stockage inverse du relationnel

• Index pour retrouver une donnée

Graphe

• Stocke les noeuds et arcs

• Requêtes évoluées

Document

• Ensemble de champs nommés

• typage optionnel

• Requêtes évoluées

• Opérations plus complètes

MongoDB

Caractéristiques

• Pas de schéma

• Pas de transactions "longues"

• Pas de jointures

Caractéristiques

• Stockage en BSON

• JSON

• Typage

• Compressé

Caractéristiques

• Hautes performances

• C++

• Grosse utilisation mémoire

• Lectures / Écritures rapides

Caractéristiques

• Scalable

• failover automatique

• distribution des lectures

• distribution des données

Populaire

Document

> cg = {name : 'Cedric Gatay', age : 30} > db.troopers.save(cg)

• Enregistrer une entrée

Requêtes

> db.troopers.find() { _id : ObjectId("ef43a2c954236e2d65a81c5e"), name : 'Cedric Gatay', age : 30 }

Requêtes

> db.troopers.find({name: 'Darth Vader'}) { _id : ObjectId("133713371337133713371337"), name : 'Darth Vader', age : 42 }

Opérateurs

# $all, $exists, $mod, $ne, $in, $nin, $nor, # $or, $size, $type, $lt, $lte, $gt, $gte > db.troopers.find({age: {$gte : 30}}).count() 1

• Opérateurs

Documents imbriqués

{ _id : ObjectId("ef43a2c954236e2d65a81c5e"), name : 'Cedric Gatay', age : 30, projects : [{ name : 'Aucard de Tours', stack : 'Android', status : 'Done' },{ name : 'Nowly', stack : 'Android' }] }

Map / Reduce

• Répartition de calcul

• Permet la fusion de données

• Fonctions JavaScript

Utilisation depuis Java

• Morphia

• mapping pseudo JPA

• POJO pour collections

• API pour les queries

Morphia POJO

@Entity("employees") class Employee { @Id ObjectId id; String firstName, lastName; }

Morphia Query

Datastore ds = new Morphia(/*...*/); !ds.save(new Employee("John", "Doe")); !Employee john = ds.find(Employee.class) .field("firstName") .equal("John") .get();

Morphia : résumé

• JPA est adapté au relationnel

• Le modèle document est assez éloigné

• Certains concepts ne sont pas traduits

Utilisation depuis Java

• Jongo

• Jackson pour le marshalling

• Driver Java attaqué directement

Jongo POJO

class Employee { ObjectId id; String firstName, lastName; }

Jongo Query

MongoCollection employees = jongo.getCollection("employees"); !employees.insert("{firstName:’John’, lastName:’Doe’}")); !Employee john = employees .findOne("{firstName:’John’}") .as(Employee.class);

Jongo : résumé

• Attention aux refactors

• Utilise directement le Driver Java

• Le plus rapide !

MongoDBRetour d’expérience

SRMvision

• 10/2008

• 2 développeurs

• 01/2014

• 7 développeurs

Cedric Gatay - c.gatay@code-troopers.com31

Gestion d’incidents

Gestion de projets

Gestion de parc

Technos

Retour aux sources

Besoin initial

• Restitution statistiques décideurs

• Analyse de la qualité de prestations

• Résolution incidents

• Complétude parc

Stats v1

• État de l'art

• Business intelligence

• Intégration Mondrian

Architecture

• Mondrian rempli par un cron

• Activité SQL lourde

• Construction cube CPU bound

• Schéma OLAP dans un XML

• Requêtes SQL en base

• Requêtes MDX en base

Avantages

• Fonctionne bien

• Mise en place rapide

• OLAP est connu

Inconvénients

• Complexe à comprendre et à maintenir

• Apprentissage du MDX

• Mises à jour difficiles

• Synchronisation SQL > OLAP

Pendant ce temps…

Analyse utilisation plateforme

• Google Analytics like

• Collecte info browser / user

• Prétexte d'essai NoSQL

État de l'art NoSQL

• Etudes différents paradigmes

• MongoDB

• approche document évolutive

• communauté active

• le plus proche de notre besoin

Réalisation

• Collecte en JS vers un web service

• Back-office de consultation

• En 2 mois de stage...

En temps réel

Statistiques

Évolution des stats

• Construire d’autres stats

• Permettre au client de construire ses stats

• Alléger le système

Une stat

• Un ensemble d'axes

• Documents adaptés

• Des mesures

• Fonctions mathématiques d’agrégation

Architecture

• Morphia pour un mapping pseudo JPA

• QueryDSL pour des queries typesafe

Problèmes

• Passage SQL vers NoSQL

• Possibilité de resynchronisation

• Not Only NoSQL

Fonctionnement

• Écriture des documents

• Transformation d’entités vers documents

• Trigger JPA pour lancer la copie

Youpi les données sont dans MongoDB

Il ne reste "qu’à" les transformer

Sous le capotComment ça se passe pour les développeurs ?

Décrire les documents

• Un POJO par document

• Annotations

• pour les axes

• pour les mesures

Faire les calculs

• Écrire les fonctions de calcul

• Associer une annotation par fonction

Stocker les statsThe easy part…

Résumé

• Transformation des entités en documents

• Manipulation avec le Map/Reduce

• Complètement générique

• Basée sur les annotations

• Traductions à ajouter

Dynamique

Tableaux de bord

Stats v290 jh

Difficultés

MongoDB

• Appréhender le modèle document

• Comprendre le map/reduce

• Idempotence

• JavaScript

• Debug

Faiblesses du système

• JavaScript dans le Java

• tests importants (> 80% couverture)

• IntelliJ IDEA @Language

• Another point of failure?

• dépendance non critique

• mongodump/mongorestore

• Pré-requis supplémentaire

• Procédure de déploiement

• Tests d’intégration

• Système compréhensible

• Liberté laissée aux clients

• On a mis en prod MongoDB !

Astuces

• GUI

• MongoHub (Mac)

• RoboMongo

Astuces

• Montée en version

• lire le changelog

• tester dans une sandbox

Astuces

• Debug Map/Reduce

• substitution emit

• print

• tojson

Credits• https://www.flickr.com/photos/mongodb/7416213536/sizes/o/

• https://www.flickr.com/photos/jenny-pics/6110974997/sizes/o/

• https://www.flickr.com/photos/artbystevejohnson/8479160301/sizes/o/

• https://www.flickr.com/photos/wbaiv/6268300461/sizes/o/

• https://www.flickr.com/photos/st3f4n/4360212268/sizes/o/

• https://www.flickr.com/photos/afagen/8297146248/sizes/o

• https://www.flickr.com/photos/anubisabyss/9639217548/sizes/o

• https://www.flickr.com/photos/garrettheath/9371876094/sizes/o

• Trademarks belong to their respective owners

toursjug mongodb

Software

nantes jug - traçabilité dans une architecture distribuée...

architecture mean avec angular...

big data paris: etude de cas: kpmg, l’innovation continue...

mongodb et elasticsearch, meilleurs ennemis ?

mongodb day paris 2012

réussir une montée en charge avec mongodb

202007 securesphere function...sybase ase sybase iq teradata...

toutes les raisons d'adopter mongodb

mongodb : la base nosql qui réinvente la gestion de...

utilisation de mongodb dans un site drupal

etude comparative des bases de données nosql : mongodb

python et nosql - afpy · base de données accès bas...

plus de flexibilité et de scalabilité chez bouygues...

le choix mongodb dans l’architecture...- données et...

analyse de twitter en temps réel avec kafka, spark et...

mongodb et c#

tout ce que le getting started mongodb ne vous dira pas

introduction to mongodb

master 1 informatique & miage bases de données...

mongodb : base de donnée orientée documents