Salon du Big DataSalon du Big Data

Boostez vos déploiements Big DataCas d’usage MongoDB dans Azure

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

@novenciaTS www.novencia.com

Fabrice Jean-François - Architecte Système d’Information/Big Data - Novencia Technical Leader MongoDB - Microsoft MVP, certifié MCSD - Directeur de Novencia TS

@FjeanFrancois

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure Salon du Big Data

Big Data : la réalité “terrain”Comment booster ses déploiements Big Data ?Déploiement MongoDB dans Azure

Programme

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure Salon du Big Data

Big Data : la réalité « terrain »

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Rappel sur le Big Data

• C’est un buzzword… …. Mais qui répond à de vraies problématiques

• Qui profite de plusieurs principes et solutions …. Mais qui en a créé de nouvelles

• Via un Marketing sauvage de circonstance…. Mais qui peut apporter de la valeur

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Les chiffres

• 40 zétatoctects de data produites en 2020 (Sources IDC)

• 30 milliards d’objects connectés d’ici 2020 (Sources Gartner)

• 82% des dirigeants français croient en l’analytique pour améliorer les processus métiers (Sources IDC)

• 41% veulent utiliser des données non structurées d’ici 2017 (Sources IDC)

• 75% des dirigeants français n’arrivent pas à donner une définition claire du Big Data (Sources Opinion Way)

• 86% estiment la notion « floue » (Sources Opinion Way)

• 4% des personnes ayant intégré le Big Data l’ont fait de manière efficace (Sources Price Waterhouse Coopers)

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure Salon du Big Data

Comment choisit-on sa technologie?

Pléthore de produits sans normesHadoop (Hortonworks, Cloudera, Mapr…), MongoDB, Cassandra/Datastax, Hbase, Neo4J, BigTable, Redis, Voldemort, DynamoDB, Hana, Oracle NoSQL, Elastic Search, Microsoft Elastic Scale, DocumentDB, APS (PDW), etc

Avec des techniques/technologies communesSharding horizontal, NoSQL, Système clé/valeur, Format orienté colonnes, format orienté document, Map/Reduce, Jobs, Stream, Architecture Lambda, Praxos, etc

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Big Data – Paysage 2016 (Source FirstMark)

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

En pratique…

• Les cas Big data « purs » sont rares mais intenses :– En France, 2 530 sociétés de plus de 500 salariés– Mais certaines PME ont un besoin intensif en Big Data– Généralement les BD < 10To

• Plus souvent des besoins analytique, CRM, DMP que du stockage ou 3/5V

• Compréhension du potentiel des technologies Big Data – Interrogations sur la mise en œuvre– Besoin de POC/Tests/Validation rapide

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Quelles contraintes projets?

• Des contraintes classiques :– Infrastructure– Sécurité– CTO– Time To Market– Compliance dans le cas du Cloud

• Interrogations sur le dimensionnement à terme• Besoin de POC / résultats tangibles sur des infras

souvent non existantes

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Le cas MongoDB

• Une vraie base de données• Alternative sérieuse aux SGBDR classiques,

indépendamment de la volumétrie• Tuning impressionnant des bases à grande et petite

échelle• « Don’t shard early » bien que hautement scalable• 4ème base de données dans le monde (sources

db-engines/ranking)

• Des évolutions impressionnantes avec la version 3.2

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure Salon du Big Data

Comment booster ses déploiements ?

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Avoir une ligne de conduite

• Infrastructures modulaires• Prévoir scalable• Savoir ré-architecturer/tester au besoin• En maîtrisant ses coûts• S’informer des évolutions• Intégrer les processus de release des éditeurs• Connaître ses produits !

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure Salon du Big Data

MongoDB : Ops Manager/Cloud Manager

• Booster, maintenir et analyser ses déploiements et performance: – Ops Manager : solution on premise– Cloud Manager : la solution en mode Cloud• Couplage AWS• Couplage Azure

Connaître ses produits – cas MongoDB

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Connaître les containers

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Architecture Docker

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

MongoDB / Docker

Sources MongoDB

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Connaître les avantages/technologies du Cloud

• Amazon, Microsoft, IBM, Google…• Saas, PaaS, Iaas• Vitesse de déploiement• Simplification de la gestion• Scalabilité• Homogénéisation• Architecture Hybride

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Services Microsoft Azure

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Bienvenue dans l’Hyperscale Microsoft

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Containers dans Windows et Azure

• Host Docker dans VM Linux Azure• Docker Registry dans Azure Blob Storage• Client docker pour Windows• Docker Runtime sous Windows Server 2016

(également Core et Nano)• Container Hyper-V (solution multi-tenant).

Non disponible dans Azure

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure Salon du Big Data

Déploiement MongoDB dans Azure

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure Salon du Big Data

« Dockeriser » MongoDB

• MongoDB dans Docker :– Définir son OS de base, release MongoDB et configuration– Build Once, deploy everywhere (dev, uat, pré-prod ou prod)– MongoDB en simple instance, réplicaset ou shards– Isolation des process

• Attention à la configuration– cacheSizeGB < RAM container– --memory –memory-swappiness– --blkio-weight– --net– --cpu-shares et --cpuset-cpus

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Azure Application de Container

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Azure Container Service- En preview- Support de Marathon, Chronos, Mesos ou Swarm

ACS Mesos

ACS Swarm

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Azure Service Fabric- En preview

- Peut être mis à l'échelle de manière à traiter plus de 500 millions d'évaluations par seconde.

- Alimente de nombreux services - Skype Entreprise, - Azure Event Hubs- Azure Data Factory,- DocumentDB,- Base de données SQL Azure - Bing Cortana

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Azure Stack- Du délire en « boîte » jusqu’à chez vous- Profiter des services du cloud Azure dans vos infrastructures- Technical Preview

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure Salon du Big Data

Big Data et Visualisation

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

La DataViz- Dataviz = Data Visualization

- Aide à l’analyse et décisionDes tableaux, graphiques, tendances

- L’interaction

- Le multidimensionnel - Le web analytique

- Les tableaux de bord (dashboard) temps réel

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure

Les apports de la réalité augmentée- L’UX par excellence

- Minory Report

- En mieux

… en attendant la réalité mixée !

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure Salon du Big Data

Démonstration

Salon du Big Data

Boostez vos déploiements Big Data – Cas d’usage MongoDB/Azure Salon du Big Data

www.novencia.com

Questions ?