apprentissage (i) mirta b. gordon laboratoire leibniz-imag grenoble dynamique des systèmes...

Apprentissage (I)

Mirta B. GordonLaboratoire Leibniz-IMAG

Grenoble

Dynamique des systèmes complexes et applications aux SHS :modèles, concepts méthodes

mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

2

plan

•c’est quoi ?

•différents types d’apprentissage

•algorithmes d’apprentissage

•les réseaux de neurones – le perceptron– réseaux plus complexes

•théorie de l’apprentissage


3

c’est quoi ?

•apprendre est s’adapter à l’environnement à partir de l’expérience

•schéma :– on a des stimuli ou entrées– il faut donner une réponse adéquate, ou sortie

•entrées-sorties :– à partir de notre perception visuelle reconnaître un visage – à partir de descripteurs d’une situation prendre une décision – à partir de descripteurs de données les classer

•« apprendre » à partir de données empiriques


4

trois types d’apprentissage

•supervisé : – on a un ensemble d’exemples (couples entrée-sortie)– on doit apprendre à donner la sortie correcte à de nouvelles

entrées

•non-supervisé :– on a un ensemble de données (entrées sans la sortie

correspondante)– on doit trouver des régularités permettant de les classer

(clusters)

•par renforcement– on a des entrées décrivant une situation – on reçoit une punition si la sortie qu’on donne n’est pas

adéquate


5

algorithmes d’apprentissage

•heuristiques (recettes) pour chaque type d’apprentissage

•apprendre problème inverse, mal posé pas de solution unique

•différents algorithmes : chacun a sa performance

•critères :– vitesse de convergence

• temps d’apprentissage en fonction du nombre d’exemples

– capacité de généralisation• évolution de la qualité de la solution en fonction du nombre

d’exemples


6

apprentissage supervisé

•classification ou discrimination :

attribuer une classe à une donnée, à partir des traits décrivant cette donnée

•exemples de tâches de discrimination :• le diagnostic médical• la reconnaissance de caractères manuscrits• la décision d’acheter une action à partir des données du marché

financier


7

formalisation

•information contenue dans un ensemble d’apprentissage

LM = { (x) }1≤≤M

– M vecteurs de dimension N :

x=(x1, x

2, …, xN)

(=1,2,…,M) – et leurs classes :

•« apprendre » à donner de bonnes réponses (x) à de nouveaux vecteurs x

•deux phases :– apprendre

classe +1 classe -1

x1

x2

classe?

1,1 x

- généraliser


8

classifieur élémentaire : le perceptron

•d’inspiration biologique : « neurone » élémentaire

•surface discriminante linéaire :

• stabilité d’un exemple : – distance à la surface discriminante

avec signe – si mal classé

x1 x2xNxi

w1 wN

=sgn(w.x)

input :

output : hsgn

xwhN

1iii

xw

w

wwxw

h

0xwquetelsN

1iii

xwx


9

algorithme du perceptron

•on initialise les poids du perceptron

•on parcourt les exemples – si la sortie donnée par le perceptron est incorrecte, on modifie

les poids

– jusqu’à convergence

•convergence assurée seulement si les exemples sont linéairement séparables

•si les exemples sont linéairement séparables : infinité de solutions

xww

)M1(


10

apprendre les poids d’un perceptron

•par minimisation d’une fonction de coût– les poids qui classent al les exemples ont un coût élevé

•coûts « ad-hoc » – pénalisant les stabilités négatives

•rappel :

w

ww

xw

h

M

1M ,VLE x;ww;


11

exemples non séparables linéairement

•problème : – l’algorithme du perceptron ne converge pas– les autres algorithmes convergent mais souvent vers des

solutions « non intéressantes » (poids des exemples moins bien classés)

•deux solutions :

•classique : réseaux en couches

•« moderne » :Support Vector Machines

fin premier cours

apprentissage (i) mirta b. gordon laboratoire leibniz-imag grenoble dynamique des systèmes...

Documents