mongodb : la base nosql qui réinvente la gestion de données

@dwursteisen

MongoDB

11/28/13 !1

la base NoSQL qui réinvente la gestion de données

MongoDBBig Database

@DWURSTEISEN

http://fr.slideshare.net/soatexpert

http://fr.slideshare.net/soatexpert

WARNING

Il n’y a pas si longtemps que cela, un site internet faisait sensation…

20:00:00

Ce site déboite

Oups ! Database Error

no more space disk available

BIG DATA

Animation Soat

Devoxx France 2013

Caractéristiques(sous le capot)

Orienté document

{! "_id": "e

nigme1", !

"titre": "Enigme du ve

ndredi", !

"activation": true!

}

{! "_id": "e

nigme1", !

"titre": "Enigme du ve

ndredi", !

"activation": true!

}

{! "_id": "enigme1", ! "activation": true, ! "joueurs": [! { "email": "[email protected]", "score": 20 }! ], ! "indices": [! {! "contenu": "je suis ton père",! "flashcode": "111-111-1111", ! "joueurs": [ { "email": "[email protected]" } ]! } ]!}!

Sans schéma

CREATE TABLE example_default_now ( id INT NOT NULL PRIMARY KEY AUTO_INCREMENT, data VARCHAR(100), created TIMESTAMP DEFAULT NOW() );

Sans transaction

Transaction

Sans transaction

Update atomique

Sans jointure


jointure ?

Distribué

Document = 16Mb Hard Limit

Design des structures

des données

Type Exemple

Int / Double / … { a: 1 }

Boolean { b: true }

String { c: ‘hello’ }

Array { d: [1, 2, 3] }

Date {e: ISODate("2012-12-19T06:01:17.171Z")

ObjectId {f: ObjectId(‘123456’)}

Object {g: {a: 1, b: true}}

…

http://docs.mongodb.org/manual/reference/bson-types/

Organiserles données selon leurs

Utilisations

ci gît la 4ème forme

normale

Structure de donnée pour l’affichage d’un message ?

Question :

2

Auteur

2

Auteur Contenu

2

Auteur Contenu

Recouicoui

{ _id: ObjectId(11),

{ _id: ObjectId(11), user: {mail: « user1 », avatar: « http://…. »,

{ _id: ObjectId(11), user: {mail: « user1 », avatar: « http://…. », content: « blabla »,

{ _id: ObjectId(11), user: {mail: « user1 », avatar: « http://…. », content: « blabla », …

{ _id: ObjectId(11), user: {mail: « user1 », avatar: « http://…. », content: « blabla », … recouicoui: [ObjectId(22), ObjectId(33)]

{ _id: ObjectId(11), user: {mail: « user1 », avatar: « http://…. », content: « blabla », … !

recouicoui: 2, // compteur


recouicoui: [{user: {…}, {user: {…}]


recouicoui: [{user: {…} * 789013]


recouicoui: [{user: {…} * 789013]

> 16Mb

2

Information partielle

{ _id: ObjectId(11), user: {mail: « user1 », avatar: « http://…. », content: « blabla », … recouicoui: { users: [{user: {…} * 5], compteur: 789013 }

bonnecomplexe

structure de donnée est

Le design d’une

Parlez-vous

Français ?

Query languageselect * from table

Le shell : mongo

Lecture

Sélection d’un document

db.collection.findOne(…)

Sélection d’un document

db.collection.findOne(…)

Query

Sélection de documents

db.collection.find(…)

Sélection et mise à jour de document

db.collection.findAndModify(…)

Champ unique {_id: ‘azerty’}


{! "_id": "azerty", ! "titre": "Enigme du vendredi", ! "activation": true!}

✓



✓{! "_id": "azerty", ! "activation": true,! "titre": "Enigme du vendredi"!}

✓

{! "_id": "azerty12345", ! "activation": true,! "titre": "Enigme du vendredi"!}

✗



✓{! "_id": "azerty", ! "activation": true,! "titre": "Enigme du vendredi"!}

✓

Sous document spécifique {auteur: {nom: ‘Wursteisen’}}


{! "_id": "azerty", ! "auteur": {"nom":"Wursteisen"}!} ✓


{! "_id": "azerty", ! "auteur": {"nom":"Wursteisen"}!} ✓{! "_id": "azerty", ! "auteur": {"nom":"Wursteisen", "prénom":"David"}!} ✗

Sous document spécifique {auteur: {prénom: ‘David’, nom: ‘Wursteisen’}}


{! "_id": "azerty", ! "auteur": {"prénom":"David", "nom":"Wursteisen"}!} ✓


{! "_id": "azerty", ! "auteur": {"prénom":"David", "nom":"Wursteisen"}!} ✓{! "_id": "azerty", ! "auteur": {"nom":"Wursteisen", "prénom":"David"}!} ✗

Sous champ {‘auteur.nom’: ‘Wursteisen’}

Sous champ {‘auteur.nom’: ‘Wursteisen’}{! "_id": "azerty", ! "auteur": {"nom":"Wursteisen"}!} ✓

Sous champ {‘auteur.nom’: ‘Wursteisen’}{! "_id": "azerty", ! "auteur": {"nom":"Wursteisen"}!} ✓{! "_id": "azerty", ! "auteur": {"nom":"Wursteisen", "prénom":"David"}!} ✓

Sous champ {‘auteur.nom’: ‘Wursteisen’}{! "_id": "azerty", ! "auteur": {"nom":"Wursteisen"}!} ✓{! "_id": "azerty", ! "auteur": {"nom":"Wursteisen", "prénom":"David"}!} ✓{! "_id": "azerty", ! "auteur": {"nom":"Bob", "prénom":"David"}!} ✗

Champ unique {recouicoui: {$gt: 20}}


{! "_id": "azerty", ! "titre": "Enigme du vendredi", ! "recouicoui": 50!}

✓



✓{! "_id": "azerty", ! "titre": "Enigme du vendredi", ! "recouicoui": 10!}

✗



✓{! "_id": "azerty", ! "titre": "Enigme du vendredi", ! "recouicoui": 10!}

✗{! "_id": "azerty", ! "titre": "Enigme du vendredi", ! !}

✗

Écriture

Insertion d’un document

db.collection.insert(…)

Insertion d’un document

db.collection.insert(…)

Document

Update d’un document

db.collection.update(<query>, <update>)

Update d’un document

db.collection.update(<query>, <update>)

modifier

Update de documents

db.collection.update(…, …, {multi: true})

Écrire un document db.collection.update(…, {prénom:’David’})


{! "_id": "azerty", ! "nom": "wursteisen", ! "prénom": "bob"!}



{! "_id": "azerty", ! "prénom": "David"!}

Modifier un champ db.collection.update(…, {$set: {prénom:’David’}})



{! "_id": "azerty", ! "nom": "wursteisen", ! "prénom": "David"!}

Incrémentation db.collection.update(…, {$inc: {recouicoui: 2 }})


{! "_id": "azerty", ! "nom": "wursteisen", ! "recouicoui": 5!}

Ajout dans un tableau db.collection.update(…, {$push: {contact: ‘Robert’ }})


{! "_id": "azerty", ! "contact": ["John", "Bob"] !}


{! "_id": "azerty", ! "contact": ["John", "Bob"] !}

{! "_id": "azerty", ! "contact": ["John", "Bob", "Robert"] !}

db.couicoui.ensureIndex({ name:1 })Index simple

db.couicoui.ensureIndex({ name:1, date:-1 })Index composé

db.couicoui.ensureIndex({ geo: ‘2d‘ })Géo index

db.couicoui.ensureIndex({ name:1 }, {expireAfterSeconds: 3600})Index avec Time To Live

db.find({…}).explain()

{ "cursor" : "<Cursor Type and Index>", "n" : <num>, "nscanned" : <num>, "scanAndOrder" : <boolean>, … }

Replica Set

Driver

Primary

Secondary Secondary

Driver

Primary

Secondary Secondary

Écriture

Driver

Primary

Secondary Secondary

Écriture

Réplication

Driver

Primary

Secondary Secondary

Écriture

Réplication Réplication

Driver

Primary

Secondary Secondary

Écriture


Lecture

Driver

Primary

Secondary Secondary

Écriture


Lecture

Lecture

Primary

Secondary Secondary

Primary

Secondary Secondary

Heartbeats

Primary

Secondary Secondary

Primary

Secondary Secondary

Primary ?

Primary

Primary Secondary

Primary ?

Primary

Primary Secondary

Primary ?

Réplication

Primary

Primary Secondary

Primary ?

RéplicationHeartbeats

Secondary

Primary Secondary

Primary ?

RéplicationHeartbeats

Write Concernnotification d’écriture

collection.insert(…, WriteConcern.ACKNOWLEDGED); !

db.getLastError();

(dépendant du driver)


db.getLastError();


w=1


db.getLastError();


w=1

bloquant

disable acknowledgmentw=0

Driver

Mongod

write

Driver

Mongod

write

Driver

Mongod

getLastErrorw=0

write

Driver

Mongod

getLastError response

getLastErrorw=0

acknowledgmentw=1

Driver

Mongod

write

Driver

Mongod

write

Driver

Mongod

getLastErrorw=1

write

Driver

Mongod

getLastErrorw=1

apply

write

Driver

Mongod


getLastErrorw=1

apply

write

Driver

Mongod


getLastErrorw=1

apply

bloquant

journalj=1

Driver

Mongod

write

Driver

Mongod

write

Driver

MongodgetLastError

w=1,j=1

write

Driver

MongodgetLastError

w=1,j=1

apply

write

Driver

MongodgetLastError

w=1,j=1

apply write to journal

write

Driver

Mongod


getLastErrorw=1,j=1


write

Driver

Mongod


getLastErrorw=1,j=1


bloquant

replica acknowledgmentw=2

Driver

Primary

Secondary

Secondary

write

Driver

Primary

Secondary

Secondary

write

Driver

PrimarygetLastError

w=2

Secondary

Secondary

write

Driver

PrimarygetLastError

w=2apply

Secondary

Secondary

write

Driver

PrimarygetLastError

w=2apply

Secondary

Secondary

replicate

write

Driver

Primary


getLastErrorw=2

apply

Secondary

Secondary

replicate

write

Driver

Primary


getLastErrorw=2

apply

Secondary

Secondary

replicate

bloquant

write

Driver

Primary


getLastErrorw=2

apply

Secondary

Secondary

replicate

replicatebloquant

Sharding

Répartition

collection

Shard2 Shard3Shard1

collection

Shard2 Shard3Shard1

collection

{x: min} {x: max}{x: -11} {x: 50}

Avec une clé de sharding

Mongos

db.collect.find({key: …})

Avec une clé non shardé

Mongos

db.collect.find({other: …})

Clé de sharding pour gérer les messages d’un utilisateur ?

Question :

Cardinalité Répartition en écriture Isolation Fiabilité

_id

ObjectId(« 507f1f77bcf86cd799439011 »)

http://www.mongodb.com/presentations/advanced-sharding-features-mongodb-24




Timestamp




Timestamp

Host




Timestamp

Host

PID




Timestamp

Host Compteur

PID




Timestamp



_id ✓ ✗ ✗ ✗

Mongos

db.collect.insert({…})

Mongos

db.collect.find({…})


_id ✓ ✗ ✗ ✗hash(_id) ✓ ✓ ✗ ✗

Mongos



_id ✓ ✗ ✗ ✗hash(_id) ✓ ✓ ✗ ✗

user ✗ ✓ ✓ ✓

Mongos



_id ✓ ✗ ✗ ✗hash(_id) ✓ ✓ ✗ ✗

user ✗ ✓ ✓ ✓user, time ✓ ✓ ✓ ✓

Mongos


Aller plus loin…

https://education.mongodb.com

https://education.mongodb.com

http://www.meetup.com/Paris-MongoDB-User-Group/

http://www.meetup.com/Paris-MongoDB-User-Group/

https://github.com/dwursteisen/atelier-mongodb

https://github.com/dwursteisen/atelier-mongodb

Questions ?@dwursteisen

Crédits photos

http://bit.ly/HNvkfZ

http://bit.ly/HGb1BO

http://bit.ly/1d5OVTr

http://bit.ly/1awf0XL

http://bit.ly/MMaRr8

http://bit.ly/1hTARzS

http://bit.ly/1hrvZ7z

http://bit.ly/17SGXwC

http://bit.ly/HNvRP4

http://bit.ly/HNvkfZ

http://bit.ly/HGb1BO

http://bit.ly/1d5OVTr

http://bit.ly/1awf0XL

http://bit.ly/MMaRr8

http://bit.ly/1hTARzS

http://bit.ly/1hrvZ7z

http://bit.ly/17SGXwC

http://bit.ly/HNvRP4

http://bit.ly/HGf2Gh

http://bit.ly/1967kv2

http://bit.ly/1c6uCUA

mongodb : la base nosql qui réinvente la gestion de données

Technology