big data, charles huot, aproged,février 2013

Big Data

Charles Huot

Vice-Président

ADBS 12 février 2013

Qui est l’Aproged ?

• Association professionnelle créée en 1993

• Une centaine d’adhérents représentant les professionnels de la valorisation des contenus numériques

(indexation, linguistique, moteurs de recherche, sémantique, dématérialisation, gestion de contenu et de document, archivage, capture, éditique, workflow… ).

• Au cœur de la réflexion sur la gestion et l’optimisation des contenus et des documents numériques

• Rôle déterminant en matière d’information et d’études, de formation et de normalisation.

• Fondateur du Forum des Acteurs du Numérique devenu en 2012 le Congrès national de la Valorisation des Contenus numériques

Livres blancs Aproged

V1 en janv 2012 V2 en oct 2012


Document et Cloud Juin 2012


Content Analytics Janvier 2013


E-réputation et B2B Février 2013

Références Big Data

• Big data, exploiter de grands volumes de données : quels sont les enjeux pour les acteurs du marché de l’information et de la connaissance ? (3 juillet 2012) Compte

rendu Vivien Mann bientôt en ligne,

• Jean DELAHOUSSE (Jean DELAHOUSSE Conseil) « Introduction au Big Data »

• Gabriel KEPEKLIAN & Grégoire WIBAUX (ATOS) « Quels modèles économique pour le Big Data »

• Daniel TERRUGI (INA) « Big Data, exploiter de grands volumes de donnée »

• Mark ASCH (INSMI-CNRS) « L’exploitation des données scientifiques »

IDC: « Worldwide Big Data Taxonomy, 2011 »

Cap Gemini: « The Deciding Factor: Big Data & Decison Making »

McKinsey Global Institute: « Big data: The next Frontier for innovation, competition, and productivity

« Nation’s most pressing challenges »

« Investissements d’Avenir »

Agenda de la formation APROGED

• Qu’est ce que le Big Data ? Exemples avec les données des réseaux sociaux (Facebook, Twitter …), l’Internet des objets (données des compteurs etc. …), l’Open Data, les données de géolocalisation etc. …

• Technologies et métriques du Big Data – ce qu’on peut obtenir du Big Data - les technologies de stockage – les méthodes d’analyse de l’information – les techniques de visualisation – les techniques de restitution –

• Les modèles économiques du Big Data, les acteurs - le rôle de l’Etat en France, en Europe, aux Etats-Unis – les projets soutenus par l’Etat français en 2013 après appel à projets – la valeur ajoutée apportée par le traitement – la valeur ajoutée apportée par le service – le modèle publicitaire

• Aspects juridiques du projet – la propriété intellectuelle – le savoir-faire – Informatique et libertés (Cnil) – la Charte Ethique du Big Data de l’Aproged – Les contrats et les bonnes clauses

Big Data et ADBS

• l’état de l’art technologique (de quoi on parle ?)

• aux Enjeux :

– (r)évolution des traitements informatiques

– Principaux champs d’application

– Enjeux en terme de gisement d’activité et d’emplois potentiels.

Désigne les masses de données auxquelles sont confrontés les acteurs du secteur privé comme du secteur public et qu’ils veulent/peuvent exploiter pour générer des nouveaux business et/ou être plus efficaces.

Le Big Data : lieu d’innovation

16

Beaucoup plus de données

Vraiment beaucoup plus

Des puces RFID pour tracer les vaches

Des capteurs sur les réacteurs

d’avion

Des capteurs pour suivre la circulation

Accumuler des données sur l’univers

Génome

Décrire les génomes

Concevoir ensemble

Jouer, acheter, communiquer et

laisser des traces numériques

Parler de soi et des autres

Les ordres de grandeur

• Le volume de Big Data croît de 60% chaque année

• La valeur des données a dépassé celle du hardware

2015 20 Zetta (1021)

2030

1 Yotta (1024)

Big Data Projet technique

Ecosystème

http://gigaom.com/cloud/whos-connected-to-whom-in-hadoop-world-infographic/
















Traitement de logs Applications verticales Business intelligence Analyse et visualisation

Analyse d’infrastructure Infra. opérationnelle Infra. as a Service Structuration

Fournisseurs de données

Technologies

Petit aperçu du paysage

Data data data data data data

data data data data data







Compute Cluster

DFS Block 1 DFS Block 1

DFS Block 1

DFS Block 2

DFS Block 2

DFS Block 2

DFS Block 3

DFS Block 3

Map

Map

Map

Results data data data data data








Reduce

Overview

Image courtesy of the Apache Software Foundation

Stockage

Traitement

La librairie Apache Hadoop permet de traiter de larges ensembles de données

de manière distribuée au travers de grappes d’ordinateurs en utilisant un

modèle de programmation simple

Hadoop Distributed File System

Gestion de fichiers

Hadoop Distributed File System HDFS

Map Reduce

Hadoop MapReduce

Traitement

graphes…

Giraph

Langages

Pig, Hive, Crunch, Sqoop

Composants C

oo

rdin

ati

on

...Z

oo

ke

ep

er

SG

BD

No

Sq

l

Hb

as

e

DataViz et BigData

des résultats visualisables, compréhensibles, interprétables

http://panneaux.expoviz.fr/post/24461221952/5-1-2

PHOTOGRAPHIER PARIS LE CHOIX DES TOURISTES, CELUI DES HABITANTS






http://youtu.be/Ncon_z67VQs

Twitter Adoption

http://youtu.be/Ncon_z67VQs

BigData & Applications

Une surabondance d’application à gérer! N

um

be

r &

co

mp

lex

ity

of

te

ch

no

log

ies

/da

ta s

ou

rc

es

Time Frame

eCommerce Smarter

Planet

eDiscovery

Decision support

Alerting

Watson

Predictions

Historic

Relationship Detection

Pattern Detection

Find influencers

Brand management

Climate Modeling And Prediction

Investment Trend Detection

Reputation management

Voice of Customer

Gov’t Intelligence Apps

Log Analysis

Future(Predict)

Ad targeting

Churn detection

Find drug interactions

Fraud Detection

Source: IDC, Big Data and the information advantage Sue Feldman

Sentiment extraction

L’offre, la proposition de valeur

• Les applications de traitement des logs

– IP-Label (la qualité perçue), Wallix, Splunk, Loggly, SumoLogic, …

• Les applications verticales

– BloomReach (big data marketing), …

• Business intelligence

– Oracle, SAP, BO, Cognos, SAS, GoodData, …

• Analyse et visualisation

– Pikko, GreenPlum, Palantir, Visual.ly, …

• Fournisseurs de données

– GNIP, INRIX, DataSift

• Analyse d’infrastructure

– Hortonworks, Cloudera, MapR,…

• Infrastructure opérationnelle

– CouchBase, Teradata, 10gen, …

• Infrastructure as a Service

– Amazon web services, Infochimps, WindowsAzure, …

• Bases de données structurées

– Oracle, MySQL, SQLServer, …

• Technologies

– Hadoop, HiBase, Cassandra, …

Les segments de clientèle visés

Les segments de clientèle visés

• Santé

– Chaque hôpital : 150 TB 650 TB en 2015 (imagerie médicale, données)

• Service client

– Il y a 4 ans 59% des clients quittaient leurs fournisseurs s’ils avaient une mauvaise prestation, aujourd’hui on est passé à 86%

• Assurances, administrations

– Elles font face à des fraudes en quantité croissante

• Services financiers

– L’information financière : par ex. le Dow Jones = 19.000 news par jour

• Grandes distributions

– Les ventes ratées pour défaut en stock représentent 170 M$ aux USA

– L’analyse des tickets de caisse

• Télécommunication

– 5 milliards d’abonnés au portable qui attendent des services personnalisés

• Ministères

– La population de chaque pays, …

• Bibliothèques

– La pérennisation des fonds, des archives, …

• Etc.

Time Line

client

Contrats

CRM

Collecter

Stocker

Extraire

Formaliser

Codifier

Réconcilier

Enrichir

Agréger

Organiser

Indexer

Donner

accès

Filtrer

Représenter

Action

Affiner profil

client

Tableau de

bord produits

& processus

CRM

Marketing

Comprendre, prévoir, agir

La télévision et Twitter

../../../../../../Desktop/AAnalytics-temis.mp4

R O I

Du ROI au ROD

47

Machines / Réseaux / Software BIG DATA

Volumes Efficacité

Return On Investment

R Return On Data

O D

DÉFINITION : BUSINESS MODEL

Selon une définition actuelle qui fait consensus, il s’agit d’un « outil » qui décrit la façon de créer, délivrer et capturer de la valeur pour un acteur économique ou un

écosystème économique.

Les segments

de clientèle Les parte-

naires clefs

La structure

de coûts

Les flux de

revenus Les canaux

de distribution

Les relations

avec le client

Les activités

clefs

Les ressources

clefs

Les propositions

de valeur

L’offre

Les canaux de

distribution

Les relations avec

le client

Les segments de

clientèle

Les flux de revenus La structure de coûts

Les activités

clefs

Le réseau de

partenaires

Les ressources

clefs

La matrice du Business Model

Collecter Traiter des log Appli verticales

Analyser Visualiser

Interpréter Structurer

Stocker

Administration Média

Industrie Banque Santé

Distribution …

Self-service Formation

Support

Débit Performance

Espace

Conseil Calcul

Stockage

B2B A2B

Hébergeur Datacenter

HPC Constructeur

Opérateur Cloud

Maintenance de la plateforme Abonnement

Développement Exploitation

Valorisation des données Ventes / reventes Lot / transaction

PI, Licences, loyers

• Gratuité et applications et services spécialisés

• Gratuité et publicités

• Abonnement à des API

• Abonnement à d’autres fonctions

• Vente de data de qualité (premium)

Des business model classiques web

51

Source : datamarket.com

BigData & Emploi

Une variété de talents

Source: McKinsey Global Institute: Big Data: The next frontier for innovation, competition and productivity (June 2011)

Une variété de talents

• Spécialistes en source de données

– Sources ouvertes

– Sources payantes

– Sources internes

• Terminologues

– Gestionnaire de terminologie, lexiques métiers, des ontologies

– Expertise métier

– Web Semantique

• Documentalistes et experts en Système d’information documentaire

– Gestion électronique des documents

– Moteurs de recherche

– Text Mining

– Visualisation de données

– Reporting

BigData & Science

Masses de Données Scientifiques: Enjeux et Perspectives

Les données : une matière première et des produits à forte valeur ajoutée

• Commerce et les affaires

– SI d’entreprise, transactions commerciales,

systèmes de réservation, …

• Loisirs

– Musique, vidéo, jeux, réseaux sociaux…

• Sciences

– Astronomie, physique et énergie, génome, …

• Médecine

– Dossier médical, sécurité sociale, imagérie

• Environnement

– Climat, dév durable, pollution, alimentation,…

• Humanités et Sciences Sociales

– Numérisation du savoir (littérature, histoire,…),

interactions dans les réseaux sociaux, données

archéologiques…

BD et fichiers d’entreprises

Données WEB et

Réseaux Sociaux

Données de Capteurs

Données d’expériences

scientifiques

Une petite idée des volumes de données

!"#$%&' ($) ' ("*

Volume Exemple

1 gigabyte: 109 Information known in the human genome

1 terabyte:1012 Annual world literature production

1 petabyte: 1015 All US academic research libraries

1 exabyte: 1018 Two thirds of annual world production of

information

Source: http://www.jisc.ac.uk/publications/briefingpapers/2004/pub_datadeluge.aspx

Caractéristiques

• Des recherches principalement tirées par – Des applications industrielles

– L’émergence de nouvelles technologies

– L’émergence de nouveaux usages

• Une recherche dominée (ou presque) par des labos

industriels

– Nombreuses « success stories »

– Des laboratoires industriels de pointe

• IBM, Oracle, Microsoft, Sun, AT&T, Bell Labs, Google, Yahoo!

– Une grande perméabilité entre monde académique et monde

industriel (en particulier aux US, moins en Europe)

Les grands verrous dans la gestion des masses de données

1. La virtualisation du stockage et de l’accès (Cloud).

2. L’intégration de données.

3. La gestion d’événements et de flots de données.

4. L’analyse complexe à grande échelle.

5. La qualité et protection des données.

6. La visualisation/navigation des masses de données.

7. La préservation des données.

Défi 1 : Stockage à grande échelle (Cloud)

• Bénéfices du Cloud

– Pas d’infrastructure à acquérir ni à gérer • « Pay as you go »

– Stockage massif de données (à moindre coût) • Coûts de stockage et d’utilisation réduits

– Accès anytime – anywhere via Internet • Ex: iCloud (Apple)

– Qualité de service • Disponibilité, sécurité

– Elasticité

• absorbe facilement les charges lourdes ou soudaines

• Challenges du Cloud

– Indexation intelligente (sémantique)

– Sécurité et Confidentialité (privacy)

– Calcul haute performance (//)

– Cohérence et qualité des données

D

C

Time

R

D

C

R

Défi 2 : Analyse complexe à grande échelle

• Analyse en temps réel de flots continus de données émanant de différentes sources

– Ex: Découvrir et comprendre les patterns caractéristiques du comportement des clients/utilisateurs

• Réaction en temps réel à des événements d’alerte

– Ex: attaques sur le réseau

• Requêtes multidimensionnelles sur des grands ensembles de données

– Découvrir et comprendre des patterns en analysant le comportement d’une population

– Découvrir des corrélations entre phénomènes

Divy Agrawal et al , VLDB Tutorial’2010

Défi 3 : la gestion de flots d’événements

• Capture d’événements

– Politique de détection et de composition (requêtes sur les évnts)

– Introduction d’incertitude sur l’arrivée des événements et sur le contenu de leurs messages

– Détection / simulation d’événements rares

• Réaction aux événements

– Politique de déclenchement, consommation, exécution (optimisation)

– Couplage transactionnel

– Analyse : confluence, terminaison

• Bufferisation

– Taille des fenêtres temporelles

– Stratégies de glissement

• Historisation

– Stockage massif

– Indexation

– Analyse complexe (analyse de séquences, motifs fréquents,…)

Cible : intelligence ambiante,

réseaux sociaux, surveillance temps réel, robotique,

bioinformatique.

Défi 4 : La visualisation des masses de données

• Besoins

– Navigation intuitive/contextuelle

• desktop intelligent, réseaux sociaux, contenus MM

– Visualisation de phénomènes non perceptibles

• Génome, trou noir

– Analyse visuelle

• Découverte de connaissances

• Challenges

– Invention de nouvelles métaphores graphiques

– Algorithmes de graphes performants (//)

• Optimisation de la visulaisation de grands graphes

– Clusterisation et stats de graphes

– Adaptation aux terminaux /équipements

Défi 5 : La préservation des données

• Comment préserver les données à durée de vie illimité?

– connaissances scientifiques

– produits culturelles

– connaissances archéologiques et environnementales

– connaissances sociales (recensements)

• Comment préserver les données à durée de vie longue mais limitée

– patrimoine informationnel des entreprises

– Données personnelles (stockées dans les disques privés ou publiés sur le Web)

– Données publiques (fichiers sécu, police, …)

• Quel coût pour la préservation des données – Coût de conversion des données (formats)

– Coût pour la migration des technologies

– Coût de maintien des technologies de niche

• Quelle stratégie pour les données gérées dans le Cloud ?

Accroissement de l’hétérogénéité des

MDD

Plus grandes difficultés pour leur intégration et leur

exploitation

www.aproged.org

Merci de votre

attention

big data, charles huot, aproged,février 2013

Documents