2014 présentation pour la soutenance du probatoire "big data"de galsungen

CONSERVATOIRE NATIONAL DES ARTS ET METIERSCENTRE REGIONAL DE RHONE-ALPES

---Mémoire présenté en vue d’obtenir

UE « Information et communication pour ingénieur »Spécialité : INFORMATIQUE

---Par

Galsungen---

Big Data en médecine, en smart cities… Principes, utilités, exemples et solutions

Soutenu le 10 juin 2014---

JURY

PRESIDENT [Civilité Prénom NOM Fonction]MEMBRES [Civilité Prénom NOM Fonction]

[Civilité Prénom NOM Fonction]

Plan

• Définition : qu’est ce que le Big Data• Solutions techniques : Hadoop…• Open Data / Données ouvertes• Risques du Big Data• Usages

– En général et en médecine– Smartcities / Villes intelligentes

• Législation et vie privée• Bilan et perspectives

2 / 20

Plan DéfinitionOpen Data

Risques Usages BilanSolutions

techniquesLégislation

3 / 20

Qu’est ce que le Big Data ?

• Grosses données / Données de masse

• Multiplication et démocratisation technologies

• Evolution moyens de stockage

• Nouvelle richesse

• Souvent faible densité information– Données massives mais simples

– Objectif : analyse, statistique, synthèse.

• Expansion des données (3V : volume, variété, vélocité)




4 / 20

Les 3 V (Gartner)

• VolumeQuantité de données produites. En forte expansion.

Exprimé en octets (tera, zetta…)

• VariétéNombreux formats (texte, image, audio, vidéo…).

Données structurées et non structurées.

• VélocitéFréquence de génération, capture et partage des

données




5 / 20

Vers 5 V ?

• ValeurValeur qu’on va donner aux données qu’elle soit

monétaire ou intrinsèque.

• Véracité / ValiditéLes données sont-elles valides ? Sont-elles pertinentes ?

Précises ?

- - ou - -

• Visibilité (à la place de la validité)Vision qu’on a des données. Compréhension de ces

dernières.




6 / 20

Technologies

• Pas une solution précise mais une réflexion

– Que souhaite t’on obtenir ?

– Que souhaite t’on réaliser ?

– Comment y parvenir ?

• Des boites à outils communes




7 / 20

Paysage du Big DataPlan Définition

Open Data



8 / 20

Hadoop




Source : JDN – journaldunet.com

9 / 20

3 catégories de logiciels

• StockageBaies SAN (Storage Area Network), SSD (Solid-State Drive), Clusters

(grappes de serveurs)…

Bases de données NoSQL

• Traitement & calcul– Clusters, Cloud, cartes graphiques (General-purpose

Processing Graphics Processing Units)…

• Analyse– Mahout, MLPACK…




10 / 20

Open Data / Données ouvertes• Donnée numérique

– Diffusion structurée – Méthodologie, licence– Libre accès et réutilisation.

• Des lois pour appuyer cette ouverture– Transparence gouvernements, politiques– Evolution de l’article XV de la déclaration universelle

des droits de l’homme

• Echelles de qualité– Fondation Sunlight– Tim Berners-Lee

• « Open Science data »




11 / 20

Risques

• Identification indirecte– Granularité des données, anonymisation

– MIT : Unique in the crowd

• Sécurité des données– pérennité : durée de vie des stockages ?

Datacenters ?

– Ethique : respect des règles par les administrateurs

• Fraicheur des données




12 / 20

Usages généraux

• SIG (Cartographie)

• Prévisions politiques, sportives, météorologique

• Marketing & publicité

• Segmentation, ciblage de populations, clientèles

• Sciences (astronomie, cosmologie, climatologie…)

• Autres…




13 / 20

Usages en médecine• Epidémiologie & Ecoépidémiologie

• Séquençage génétique

• Analyse imagerie médicale

• Recherche




Source : OpenHealth.fr

Evolution des allergies en France

14 / 20

Usages en Smart Cities (Villes intelligentes)

• Extension Domotique, Ubiquitous computing– Multiplication capteurs, caméras…

• Exploitation données recueillies– Analyser l’existant– Suggestions d’évolutions

• Usages très variés– Optimisation des transports– Optimisation, gestion des réseaux (eau, gaz, communication…)– Gestion des énergies (smartgrid…)– Optimisation de la sécurité (aide aux forces de l’ordre…)– Transparence des données– …




15 / 20

Usages en Smart Cities : Lyon• Portail Smart Data

• Onlymoov : diffusion conditions de circulation en temps réel.

• Onlymod : optimisation des transports avec prévision à une heure.




Source : onlymoov.com

16 / 20

Usages en Smart Cities : Abidjan 1/2

– But : optimisation transports publics

– Données :

• Orange

• 2,5 milliards d’échanges enregistrés entre 5 millions d’utilisateurs (appels – sms) sur 2012

• Etude sur 500 000 téléphones sur 5 mois

• 50 000 utilisateurs changés toutes les 2 semaines




17 / 20

Usages en Smart Cities : Abidjan 2/2

Comment :

• Utilisation base de données appels téléphoniques. Matrice des flux de déplacements.

• Comparaison avec réseau en place.




Source : La Recherche n°482

Cartes pour l’année 2012

18 / 20

Législation et vie privée• En France

– Loi informatique et liberté

– CNIL

• Données étrangers– Exemple : « Patriot Act » américain

• Jugement cours européenne : jurisprudence– ressortissant espagnol contre Google (Avril)

– Proposition d’un un outil (formulaire) de suppression des liens par Google (30.05.14)




Bilan et perspectives• Débouchés très variés

• Explosion des données (informatique ubiquitaire, domotique, internet des objets)

• Nouveaux métiers : analyste des données « data scientist » (mathématiques, statistiques, une culture informatique & « métier »)

• Evolution continue pour une offre plus mature, plus vaste :– interface graphique Hadoop– PostgreSQL : volet NoSQL– MySQL Fabric par Oracle (scalabilité)

• Attention :– qualité des données (stockage, persistance, sécurité, fraîcheur)– vie privée

19 / 20




Merci de votre attention.

20 / 20

Plan Histoire Procédés Matières Economie Législation BilanImprimante

Annexes

Différence Big Data / Business Intelligence (BI)

• Différence par rapport aux données et à leur utilisation

– BI : analyse de données à forte densité d’information pour mesurer, détecter des tendances. Pilotage d’activité à l’aide d’indicateurs. Aide à la décision.

– Big Data : analyse données à faible densité d’information mais avec un très grand volume. Capacités prédictives.

OctetNom Symbole Valeur Mésusage

Kilooctet ko 103 210

Mégaoctet Mo 106 220

Gigaoctet Go 109 230

Téraoctet To 1012 240

Pétaoctet Po 1015

Exaoctet Eo 1018

Zettaoctet Zo 1021

yottaoctet Yo 1024

Bases de données NoSQL

• Paradigme clé/valeur– Redis, Riak, Voldemort…

• Bases documentaires– MongoDB, CouchDB, Terrastore…

• Bases orientées colonnes– Cassandra, Amazon SimpleDB, Google BigTable,

Hbase…

• Paradigme graphe– Neo4j, OrientDB…

NoSQL : Paradigme clé/valeur

• Hashmap distribuée

• Simple couple Clé / valeur

• Valeur :– chaîne caractères,

– objet sérialisé…

• Applicatif remplace SQL

• Requêtes PUT, GET, DELETE

• Exemples : Redis, Riak, Voldemort (LinkedIn)

NoSQL : Bases documentaires

• Basé sur clé/valeur

• Document type JSON, XML

• Une clé retourne informations structurées hiérarchiquement

• Evite de faire plusieurs jointures

• Exemples : CouchDB (Hadoop), RavenDB(.NET/Windows), MongoDB

NoSQL : Bases orientées colonnes

• Similaire table d’un SGBDR

• Différence : nombre de colonnes dynamique

• Nombre de colonnes varie donc entre deux enregistrements (pas de valeur NULL)

• Exemples : Hbase (BigTable de Google), Cassandra (Hadoop, Amazon)

NoSQL : Paradigme graphe

• Modèle sur théorie des graphes

• Notion de nœuds, relations, propriétés rattachées

• Facilite représentation monde réel

• Adapté réseaux sociaux

• Exemple : Neo4J

Hadoop (Fondation Apache)• Principaux

– Hadoop Common (utilitaires communs)

– Hadoop Distributed File System (HDFS) (système de fichiers distribués)

– Hadoop YARN (framework d’ordonnancement et de gestion de cluster)

– Hadoop MapReduce (« YARN-based » système de traitements parallèles de larges jeux de données)

• Autres– Ambari (outil web de gestion et management de clusters Apache Hadoop)

– Avro (système de sérialisation des données)

– Cassandra (Base de données scalable multi-maitres)– Chukwa (Système de collections de données pour gérer de larges systèmes

distribués)– HBase (Base de données distribuée, scalable acceptant structuration de large jeux

de données)– Hive (entrepôt de données)– Mahout (librairie de « data mining » et de « machine learning »)– Pig (langage pour flot de données et framework pour calcul parallèle)– Spark (moteur de calcul)– Tez (framework de programmation de flux de données basé sur YARN)– ZooKeeper (service de coordination pour applications distribuées)– …

Qualité Open Data 1/2

• Complète

• Primaire

• Opportune

• Accessible

• Exploitable

• Non discriminative

• Non-propriétaire

• Libre de droits

• Permanente

• Gratuite

Les 10 critères de la Sunlight Foundation :

Qualité Open Data 2/2

Données non filtrées

Données disponibles de manière structurées

Données librement exploitables

Données identifiées par des URL

Données liées à d’autres données pour les contextualiser et les enrichir

Echelle de Time Berners-Lee :

Déclaration Universelle des droits de l’homme

• Article XIVTous les Citoyens ont le droit de constater, par eux-mêmes ou par leurs Représentants, la nécessité de la contribution publique, de la consentir librement, d’en suivre l’emploi et d’en déterminer la quotité, l’assiette, le recouvrement et la durée.

• Article XVLa Société a le droit de demander compte à tout Agent public de son administration.

• Article XVIToute Société dans laquelle la garantie des Droits n’est pas assurée, ni la séparation des Pouvoirs déterminée, n’a point de Constitution.

• Article XVIILa propriété étant un droit inviolable et sacré, nul ne peut en être privé, si ce n’est lorsque la nécessité publique, légalement constatée, l’exige évidemment, et sous la condition d’une juste et préalable indemnité.

2014 présentation pour la soutenance du probatoire "big data"de galsungen

Technology