jeudis du libre - mysql comme document store

1 / 90

2 / 90

Safe Harbor StatementThe following is intended to outline our general product direction. It is intended forinformation purpose only, and may not be incorporated into any contract. It is not acommitment to deliver any material, code, or functionality, and should not be relied up inmaking purchasing decisions. The development, release and timing of any features orfunctionality described for Oracle's product remains at the sole discretion of Oracle.

3 / 90

about.me/lefred

Qui suis-je ?

4 / 90

Frédéric Descamps@lefredÉvangéliste MySQLBidouille MySQL depuis la version 3.23devops croyant et praticantMySQL Community Manager depuis mai2016

5 / 90

SGDB & MySQL

Base de données Relationnelles

6 / 90

Bases de données RelationnellesIntégrité des données

7 / 90

normalization

8 / 90

normalizationcontraintes (clés étrangères, ...)

9 / 90

Atomicité, Cohérence, Isolarion et Durabilité - ACID

10 / 90

Atomicité, Cohérence, Isolarion et Durabilité - ACIDtransactions

11 / 90

12 / 90

SQLpuissant language de requêtes

13 / 90

SGDB & MySQL

Base de données NoSQL

14 / 90

NoSQL ou Document StoreSans schéma

15 / 90

pas de design de schémas, pas de normalization, de clés étrangères, decontraintes, de type de données (data types), etc...

16 / 90

pas de design de schémas, pas de normalization, de clés étrangères, decontraintes, de type de données (data types), etc...dévelopement initial très rapide

17 / 90

Structures flexibles des données

18 / 90

Structures flexibles des donnéesobjets et tableaux imbriqués

19 / 90

Structures flexibles des donnéesobjets et tableaux imbriquéscertaines données sont simplement naturellement non structurées et nepeuvent être modélisées de façon optimale dans un modèle relationel

20 / 90

Structures flexibles des donnéesobjets et tableaux imbriquéscertaines données sont simplement naturellement non structurées et nepeuvent être modélisées de façon optimale dans un modèle relationelpersistence des objets sans utilisation d'un ORM (mapping objet-relationnel)

21 / 90

NoSQL ou Document Store (2)JSON

22 / 90

proche du frontend

23 / 90

proche du frontend"natif " en Javascript

24 / 90

proche du frontend"natif " en Javascriptutilisé en Node.js

25 / 90

proche du frontend"natif " en Javascriptutilisé en Node.js

Aprentissage facile, et facile à utiliser

26 / 90

Les challenges actuelsles développeurs veulent avancer plus rapidement

27 / 90

Les challenges actuelsles développeurs veulent avancer plus rapidementle délai de mise en production est un coût supérieur

28 / 90

Les challenges actuelsles développeurs veulent avancer plus rapidementle délai de mise en production est un coût supérieurrapidité de création de prototypes, itérations rapides, ...

29 / 90

Avantages de SQL et de NoSQL

NoSQL SQL

30 / 90

Et donc, Bases de données Relationnelles ou Document Store ??

31 / 90

Et donc, Bases de données Relationnelles ou Document Store ??

Pourquoi pas les deux ?

32 / 90

Quelles sont les étapes ?

NoSQL avec MySQL

33 / 90

Faire de MySQL un Document Store

34 / 90

Faire de MySQL un Document Store1. support de JSON datatype

35 / 90

Faire de MySQL un Document Store1. support de JSON datatype2. CRUD Operations

36 / 90

Faire de MySQL un Document Store1. support de JSON datatype2. CRUD Operations3. X Plugin

37 / 90

Faire de MySQL un Document Store1. support de JSON datatype2. CRUD Operations3. X Plugin4. X protocol & MySQL Shell

38 / 90

MySQL 5.7

Support de JSON

39 / 90

Support JSONType natif de données (native datatype)

40 / 90

Support JSONType natif de données (native datatype)Valeurs en JSON stockées dans des tables MySQL

41 / 90

Support JSONType natif de données (native datatype)Valeurs en JSON stockées dans des tables MySQLFormat de stokage JSON en binaire (UTF8MB4)

42 / 90

Support JSONType natif de données (native datatype)Valeurs en JSON stockées dans des tables MySQLFormat de stokage JSON en binaire (UTF8MB4)Conversion à partir des types SQL "natifs" vers des valeurs JSON

43 / 90

Support JSONType natif de données (native datatype)Valeurs en JSON stockées dans des tables MySQLFormat de stokage JSON en binaire (UTF8MB4)Conversion à partir des types SQL "natifs" vers des valeurs JSONFunctions de manipulation du JSON

44 / 90

extraire (JSON_EXTRACT, JSON_KEYS, ...)

45 / 90

extraire (JSON_EXTRACT, JSON_KEYS, ...)inpecter (JSON_CONTAINS, ...)

46 / 90

extraire (JSON_EXTRACT, JSON_KEYS, ...)inpecter (JSON_CONTAINS, ...)modifier (JSON_SET, JSON_INSERT, JSON_REMOVE, ...)

47 / 90

extraire (JSON_EXTRACT, JSON_KEYS, ...)inpecter (JSON_CONTAINS, ...)modifier (JSON_SET, JSON_INSERT, JSON_REMOVE, ...)création de tableaux et d'objets (JSON_ARRAY, JSON_OBJECT)

48 / 90

extraire (JSON_EXTRACT, JSON_KEYS, ...)inpecter (JSON_CONTAINS, ...)modifier (JSON_SET, JSON_INSERT, JSON_REMOVE, ...)création de tableaux et d'objets (JSON_ARRAY, JSON_OBJECT)recherche d'objets (JSON_SEARCH)

49 / 90

Support JSON (2)Inline SQL JSON path expressions

SELECT doc->'$.object.array[0].item' FROM some_table

50 / 90

Support JSON (2)Inline SQL JSON path expressions

SELECT doc->'$.object.array[0].item' FROM some_table

Opérateurs booléens (comparaison de valeurs JSON, ...)

foo = doc->'$.�eld'

51 / 90

Support JSON (3)

le meilleur pour la fin...

52 / 90

Support JSON (3)

Colonnes Générées/Virtuelles (generated/virtual columns)

53 / 90

Support JSON (3)

Colonnes Générées/Virtuelles (generated/virtual columns)Index de données JSON

54 / 90

Support JSON (3)

Colonnes Générées/Virtuelles (generated/virtual columns)Index de données JSONClés étrangères vers données JSON

55 / 90

Support JSON (3)

Colonnes Générées/Virtuelles (generated/virtual columns)Index de données JSONClés étrangères vers données JSONVues SQL pour des données JSON

56 / 90

Support JSON (3)

Colonnes Générées/Virtuelles (generated/virtual columns)Index de données JSONClés étrangères vers données JSONVues SQL pour des données JSON

ALTER TABLE test_features ADD COLUMN street VARCHAR(30) GENERATED ALWAYS AS (json_unquote(json_extract(`feature`,'$.properties.STREET'))) VIRTUAL;

57 / 90

Document Store

Opérations CRUD

58 / 90

Opérations CRUDCreate, Read, Update et Delete (CRUD) sont les 4 opérations qui peuvent être exécutéessur une collection (Document Store Schema) ou une table.

CREATE - collection.add()

59 / 90

Opérations CRUD (2)

READ - collection.find()

60 / 90

UPDATE - collection.modify()

61 / 90

DELETE - collection.remove()

62 / 90

Document Store

X Plugin

63 / 90

X PluginPlugin du serveur MySQL qui active la communication en utilisant le X Protocol.

Ce pluging:

64 / 90

Ce pluging:

supporte les clients ayant implémenté le X DevAPI

65 / 90

Ce pluging:

supporte les clients ayant implémenté le X DevAPItransforme MySQL en Document Store.

66 / 90

Ce pluging:

supporte les clients ayant implémenté le X DevAPItransforme MySQL en Document Store.

mysql> INSTALL PLUGIN mysqlx SONAME "mysqlx.so"

mysqlsh -u user --classic --dba enableXProtocol

67 / 90

Document Store

X Protocol

68 / 90

X ProtocolProtocole qui permet de communiquer avec un MySQL Server sur lequel X Plugin est activé.

69 / 90

X ProtocolProtocole qui permet de communiquer avec un MySQL Server sur lequel X Plugin est activé.

Et donc le X Protocol permet d´effectuer des opéarations CRUD et SQL, l´authentificationvia SASL, le "streaming" (pipelining) des commandes.

70 / 90

Document Store

The X DevAPI

71 / 90

Opérations orientées Document via SQLTrès puissant

72 / 90

Opérations orientées Document via SQLTrès puissantPermet la construction de requêtes complexes

73 / 90

Opérations orientées Document via SQLTrès puissantPermet la construction de requêtes complexesMais... encore et toujours difficile à utiliser pour les non initiés

74 / 90

Opérations orientées Document via SQLTrès puissantPermet la construction de requêtes complexesMais... encore et toujours difficile à utiliser pour les non initiés

CREATE TABLE product ( id VARCHAR(32) GENERATED ALWAYS AS (JSON_EXTRACT(doc, '$.id')) STORED, doc JSON);INSERT INTO product VALUYES (1, '{...}');SELECT * FROM product WHERE JSON_EXTRACT(doc, '$.�eld') = value;

75 / 90

The X DevAPIAbstraction au-dessus de SQL

76 / 90

The X DevAPIAbstraction au-dessus de SQLAxé sur 4 opérations CRUD de base (Create, Read, Update, Delete)

77 / 90

The X DevAPIAbstraction au-dessus de SQLAxé sur 4 opérations CRUD de base (Create, Read, Update, Delete)Native Language API

78 / 90

The X DevAPIAbstraction au-dessus de SQLAxé sur 4 opérations CRUD de base (Create, Read, Update, Delete)Native Language APIPas nécessaire de connaître le SQL

79 / 90

The X DevAPIAbstraction au-dessus de SQLAxé sur 4 opérations CRUD de base (Create, Read, Update, Delete)Native Language APIPas nécessaire de connaître le SQLX Protocol

80 / 90

The X DevAPIAbstraction au-dessus de SQLAxé sur 4 opérations CRUD de base (Create, Read, Update, Delete)Native Language APIPas nécessaire de connaître le SQLX Protocol

les requêtes CRUD sont encodées au niveau du protocol

81 / 90

Exemplemysql-py> mybooks.�nd("Title LIKE 'Und%'")[ { "Authors": [ "Alexander Sasha Pachev", "Sasha Pachev" ], "ISBN-13": "9780596009571", "Language": "en", "Publisher": ""O'Reilly Media, Inc."", "Title": "Understanding MySQL Internals", "Year": "2007", "_id": "ce9fd5b762ffe6117055685b359e77d5" }]

82 / 90

Exemplemysql-py> mybooks.�nd("Title LIKE 'Und%'")[ { "Authors": [ "Alexander Sasha Pachev", "Sasha Pachev" ], "ISBN-13": "9780596009571", "Language": "en", "Publisher": ""O'Reilly Media, Inc."", "Title": "Understanding MySQL Internals", "Year": "2007", "_id": "ce9fd5b762ffe6117055685b359e77d5" }]

Et MySQL le transforme de manière transparente en:

SELECT doc FROM `books`.`mybooks` WHERE (JSON_UNQUOTE(JSON_EXTRACT(doc,'$.Title')) LIKE 'Und%');

83 / 90

Document Store & X DevAPI & MySQL Shell

petite démo ?

84 / 90

Démo (1)[fred@imac2 ~] $ mysqlsh --py Welcome to MySQL Shell 1.0.8-rc

Oracle is a registered trademark of Oracle Corporation and/or itsaf�liates. Other names may be trademarks of their respectiveowners.

Type '\help', '\h' or '\?' for help, type '\quit' or '\q' to exit.

Currently in Python mode. Use \sql to switch to SQL mode and execute queries.mysql-py> \c root@localhostCreating a Session to 'root@localhost'Enter password: Node Session successfully established. No default schema selected.

85 / 90

Démo (2)mysql-py> db=session.create_schema("books")mysql-py> mybooks=db.create_collection('mybooks')

mysql-py> from isbntools.app import *

mysql-py> isbn=9781449314286mysql-py> doc=meta(str(isbn))mysql-py> doc["Annee"]=doc.pop("Year")mysql-py> mybooks.add(doc)Query OK, 1 item affected (0.10 sec)

mysql-py> isbn=9780596009571mysql-py> doc=meta(str(isbn))mysql-py> doc["Annee"]=doc.pop("Year")mysql-py> mybooks.add(doc)

mysql-py> isbn=9781430230571mysql-py> doc=meta(str(isbn))mysql-py> doc["Annee"]=doc.pop("Year")mysql-py> mybooks.add(doc)

86 / 90

Démo (3)mysql-py> mybooks.�nd()[ { "Authors": [ "Baron Schwartz", "Peter Zaitsev", "Vadim Tkachenko" ], "ISBN-13": "9781449314286", "Language": "en", "Publisher": ""O'Reilly Media, Inc."", "Title": "High Performance MySQL", "Annee": "2012", "_id": "66f01d3762ffe6117055685b359e77d5" }, ...]3 documents in set (0.00 sec)

87 / 90

Démo (4)mysql-py> mybooks.�nd("Title LIKE '%MySQL%'").�elds(["Title","Annee"]).sort("Annee")[ { "Annee": "2007", "Title": "Understanding MySQL Internals" }, { "Annee": "2012", "Title": "High Performance MySQL" }]

mysql-py> mybooks.create_index("Annee_idx").�eld("Annee","TEXT(4)", False).execute();

88 / 90

Démo (5)mysql> show create table books.mybooks\G *************************** 1. row *************************** Table: mybooksCreate Table: CREATE TABLE `mybooks` ( `doc` json DEFAULT NULL, `_id` varchar(32) GENERATED ALWAYS AS (json_unquote(json_extract(`doc`,'$._id'))) STORED NOT NULL, `$ix_t4_589943C550621CA4FF9A742745C76C955B6DDE8E` text GENERATED ALWAYS AS (json_unquote(json_extract(`doc`,'$.Annee'))) VIRTUAL, PRIMARY KEY (`_id`), KEY `Annee_idx` (`$ix_t4_589943C550621CA4FF9A742745C76C955B6DDE8E`(4))) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

89 / 90

Des Questions ?

90 / 90

jeudis du libre - mysql comme document store

Technology

decouverte mysql postgresql oracle

mysql / sql exemples -...

mysql 5€ isbn : 978-2-7460-9018-7 mysql 5.6 performances...

php & mysql #5 : fonctions

mysql cluster cette présentation illustre la solution open...

mysql開発最新動向 oracle mysql cloud...

connexion mysql websphere 6.1

biÈres en fÛt - 4 jeudis

zabbix - les jeudis du libre de...

terminus projet harlequin corps caverneux...jeudis-causeries...

sécurité mysql

php & mysql

introduction functionsh - advantech · 1/12/2018 ·...

manuel mysql 4.1.x - version française -...

compte rendu de tp de mysql -...

jeudis du libre_git

cours mysql[1]

portes de garage - store 62 : le professionnel du store

mysqlreplicaonand* mysqlfabric · mysql* cluster*...

hadoop / big data -...