réseau de neurones artificiels et - inriachercheurs.lille.inria.fr/pgermain/talks/jeai2019.pdf ·...

Réseau de neurones artificiels et apprentissage profond Pascal GermainInria Lille – Nord EuropeÉquipe-projet Modal

La Journée de l'Enseignement de l'Informatique et de l'Algorithmique Université de Lille, Mercredi 6 mars 2019

Apprentissage automatique(machine learning)

Réseaux de neurones(artificial neural networks)

Apprentissage profond(deep learning)

IA : Intelligence artificielle(AI : Artificial intelligence)

Source: https://stats.stackexchange.com

« 2 »

« banane »

« C’est une banane. »« It is a banana. »

0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9

Phase d’apprentissage

« 2 »

Phase de prédiction

La neurone artificielle

f

x1

x2

x3

y

La neurone artificielle

f

x1

x2

x3

y

f(w1x1+w2x2+w3x3+… ) = y

w1

w2

w3

La neurone artificielle

x1

x2

x3

y

w1

w2

w3

sigmoide(w1x1+w2x2+w3x3+…) = y

sigmoide(x )

La neurone artificielle

x1

x2

x3

y

w1

w2

w3

Maximum(0, w1x1+w2x2+w3x3+…) = y

Max(0,x )

Source : « NUMBRE — A NUMBer REcognizer Neural Network », Roshan Noronha

Un réseau de neurones

00123...9

0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9

00123

7 %

42%

31%

20%

0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9

00123

7 %

42%

31%

20%

0 %

0 %

100%

0 %

0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9

00123

55 %

3 %

3 %

39%

0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9

00123

100 %

0 %

0 %

0 %

55 %

3 %

3 %

39%

Intermède historique● 1950-1960: Perceptron (le neurone)

● 1980-1990: Réseau de neurones à deux couches

● 1995-2005: L’hiver des réseaux de neurones

● 2006 - .... : Réseaux de neurones profonds

La renaissance● Recherche scientifique

● Grand jeux de données

● Puissance de calcul

● Intérêt des grandes industries

(Google, Facebook, Amazon, Microsoft, ...)

Apprentissage de représentations

Bouturage

www.deeplearningbook.org

Source : http://www.deeplearningbook.org/

La nouvelle technologie blockchain permet les crypto-monnaies?T = 3T = 3

France – Paris + Italie = Rome

Source : Mikolov et al., Efficient Estimation of Word Representations in Vector Space, 2013

Attention aux biais

Homme – Programmeur + Femme = Ménagère

Source : « Five Things That Scare Me About AI », Rachel Thomas

En terminant...● Le domaine progresse très rapidement !

● Actuelles forces des réseaux de neurones :

– Succès empiriques impressionnants

(images, vidéos, reconnaissance de la parole, traduction, ...)– Flexibilité

– Permets le transfert d’une tâche à une autre («bouturage»)

● Actuelles faiblesses des réseaux de neurones :

– Demande beaucoup de « bidouillage »

– Requiers de grandes bases d’apprentissage

– Difficilement interprétables

Démo

https://playground.tensorflow.org/