réseau de neurones artificiels et - inriachercheurs.lille.inria.fr/pgermain/talks/jeai2019.pdf ·...
TRANSCRIPT
Réseau de neurones artificiels et apprentissage profond Pascal GermainInria Lille – Nord EuropeÉquipe-projet Modal
La Journée de l'Enseignement de l'Informatique et de l'Algorithmique Université de Lille, Mercredi 6 mars 2019
Apprentissage automatique(machine learning)
Réseaux de neurones(artificial neural networks)
Apprentissage profond(deep learning)
IA : Intelligence artificielle(AI : Artificial intelligence)
Source: https://stats.stackexchange.com
« 2 »
« C’est une banane. »« It is a banana. »
0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9
Phase d’apprentissage
« 2 »
Phase de prédiction
La neurone artificielle
f
x1
x2
x3
y
La neurone artificielle
f
x1
x2
x3
y
f(w1x1+w2x2+w3x3+… ) = y
w1
w2
w3
La neurone artificielle
x1
x2
x3
y
w1
w2
w3
sigmoide(w1x1+w2x2+w3x3+…) = y
sigmoide(x )
La neurone artificielle
x1
x2
x3
y
w1
w2
w3
Maximum(0, w1x1+w2x2+w3x3+…) = y
Max(0,x )
Source : « NUMBRE — A NUMBer REcognizer Neural Network », Roshan Noronha
Un réseau de neurones
00123...9
0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9
00123
7 %
42%
31%
20%
0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9
00123
7 %
42%
31%
20%
0 %
0 %
100%
0 %
0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9
00123
55 %
3 %
3 %
39%
0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9
00123
100 %
0 %
0 %
0 %
55 %
3 %
3 %
39%
Intermède historique● 1950-1960: Perceptron (le neurone)
● 1980-1990: Réseau de neurones à deux couches
● 1995-2005: L’hiver des réseaux de neurones
● 2006 - .... : Réseaux de neurones profonds
La renaissance● Recherche scientifique
● Grand jeux de données
● Puissance de calcul
● Intérêt des grandes industries
(Google, Facebook, Amazon, Microsoft, ...)
Apprentissage de représentations
Bouturage
www.deeplearningbook.org
Source : http://www.deeplearningbook.org/
La nouvelle technologie blockchain permet les crypto-monnaies?T = 3T = 3
France – Paris + Italie = Rome
Source : Mikolov et al., Efficient Estimation of Word Representations in Vector Space, 2013
Attention aux biais
Homme – Programmeur + Femme = Ménagère
Source : « Five Things That Scare Me About AI », Rachel Thomas
En terminant...● Le domaine progresse très rapidement !
● Actuelles forces des réseaux de neurones :
– Succès empiriques impressionnants
(images, vidéos, reconnaissance de la parole, traduction, ...)– Flexibilité
– Permets le transfert d’une tâche à une autre («bouturage»)
● Actuelles faiblesses des réseaux de neurones :
– Demande beaucoup de « bidouillage »
– Requiers de grandes bases d’apprentissage
– Difficilement interprétables
