Les réseaux de neurones

Plan de l’exposé

Réseaux de neurones

Techniques d’apprentissage

Reconnaissance optique de caractères (OCR)

Le réseau de neurones

Définition

Un réseau de neurones est un outil d’analyse permettant de construire un modèle à partir de données, d’exemples.

Un réseau de neurones est constitué d’un graphe dont les nœuds sont les neurones.

Le réseau de neurones

Vue simplifiée d'un réseau de neurones artificiel

Le neurone

Neurone biologique Neurone artificiel

Motivation, utilité

Reconnaissance de caractères (OCR) Classification Approximation d’une fonction inconnue Prédiction Transitions de phase

Perceptron

Architecture

xi = entrées (i = 1…n)wi = poids (i = 1…n)w0 = biaisy = sortie

Le neurone est un dispositif « feedforward »

Perceptron

Règle d’activation1. Activité a = 2. Sortie y = f(a) = activation

Fonctions d’activation f:

1. Sigmoïde (Fermi)

2. Seuil (Heaviside)

Perceptron

Séparabilité linéaire

Cette équation définit un hyperplan dans l’espace des entrées.

-w0 = 0

Perceptron

Limitation

Le perceptron peut uniquement résoudre les problèmes linéairement séparable.

Le problème XOR

Perceptron

Le problème XOR Solution

Perceptron multi-couches

Architecture

Perceptron multi-couches

Problème linéairement non séparable

Réseaux de neurones

Discussion

Le réseau est une « boîte noire ». Il fournit uniquement une réponse (sortie) lorsqu’on lui présente des données (entrées).

Il n’y a pas de justification sur la manière dont le réseau a donné sa réponse!

Exemples

Carte auto-organisatrice

Réseau multi-couche

Réseau de Hopfield

Apprentissage

Observations Généralisations

1. Méthode supervisée

Convergence fixée

2. Méthode non supervisée

Convergence libre

Algorithme d’apprentissage

1. Entraînement Apprentissage du réseau

2. Validation Vérification de l’entraînement

3. Test Mesure de la performance du réseau

Mode supervisé

Motivation

On aimerait une machine qui classe différents échantillons dans différentes classes.

Par exemple, une machine qui puisse reconnaître des caractères. Celle-ci donnerait la valeur 1 à la sortie s’il s’agit d’un « A » et 0 sinon. Des erreurs sont permises.

Mode supervisé

Motivation On possède une base de données.

On a P couples entrées-sorties x est la valeur d’entrée t est la valeur désirée (target value)

Mode supervisé

Vue générale

Perceptron

Algorithme du perceptron

Initialisation aléatoire des poids du perceptron Comparaison de la sortie du perceptron avec la

valeur désirée Ajustement des poids (apprentissage) Convergence

Perceptron

Descente de gradient Erreur quadratique

Ajustement des poids

Perceptron

Descente de gradient

Perceptron

Algorithme du perceptron

Perceptron multi-couches

Algorithme de backpropagation Généralisation de la descente du gradient Rendre le problème linéairement séparable

Surapprentissage

Spécialisation Tester plusieurs architecturesde réseau avec différentsnombres de neurones

Méthode du « early stopping »

Reconnaissance optique de caractères Perceptron multi-couches

Backpropagation

Surapprentissage

Test

Reconnaissance optique de caractères Déroulement

1. Déterminer une base de données

2. Preprocessing des données

3. Séparer en base d’apprentissage (entraînement et validation) et en base de test

4. Entraîner le réseau (à l’aide de l’algorithme de backpropagation)

5. Optimiser l’erreur (validation)

6. Mesurer la performance du réseau (à l’aide de la base de test)

Reconnaissance optique de caractères

Reconnaissance optique de caractères

Reconnaissance optique de caractères

Entraînement

Reconnaissance optique de caractères

Test

Reconnaissance optique de caractères

Test

Fin