réseaux de neurones artificiels by : abdelouahid elyahyaoui

Abdelouahid Lyhyaoui

ENSA Tanger

Rseaux de Neurones Artificiels: RNA

INTRODUCTIONMthodes de classification: identifier les classes auxquelles appartiennent des objets. Sont convenables pour les problmes de prise de dcision automatise. Etablir un diagnostic mdical partir de la description clinique dun patient. Donner une rponse la demande de prt bancaire. dclencher un processus dalerte en fonction de signaux reus par des capteurs.ENSA Tanger Rseaux de Neurones Artificiels: RNA

Premire approche possible: systme experts Connaissance dun expert dcrite sous forme de rgle: largement utilise dans les annes 80. Dpend fortement de la capacit extraire les connaissances. Considration dune autre approche de classification automatique partir dun ensemble dexemples. Un systme dapprentissage: Extraire une procdure de classification gnrale inductiveENSA Tanger Rseaux de Neurones Artificiels: RNA

Mthodes utilises: issues de domaines scientifiques varis Mthodes statistiques(semi-paramtrique): hypothses sur la distribution des donnes (procedure de classification construite laide dhypothses probabilistes). Mthodes non paramtrique (sans hypothse a priori sur les distributions): Symboliques: procdure de classification crite sous forme de rgles (Arbres de dcision) Mthodes adaptatives: deux grandes classes Les rseaux de Neurones Les Algorithmes GntiquesENSA Tanger Rseaux de Neurones Artificiels: RNA

Apprentissage automatique: laboration de programmes qui samliorent avec lexprience.

Les applications sont nombreuses: la reconnaissance de formes (reconnaissance de la parole et du texte crit), contrle de processus et diagnostic de panne recherche dinformation dans de grand ensemble de donnes: KDD (Knowledge Discovery in Databases)

ENSA Tanger


RESEAUX DE NEURONES: INTRODUCTION Comment lhomme fait-il pour raisonner, parler, apprendre? Deux types dapproches ont t essentiellement explores: Procder dabord lanalyse logique des tches relevant de la cognition humaine et tenter de les reconstruire par programme: cognitivisme. La pense est produite par le cerveau: commencer par tudier comment celui-ci fonctionne. Approche conduisant ltude de Rseau de Neurones Formels (RNF): connexionisme.ENSA Tanger Rseaux de Neurones Artificiels: RNA

Etude de rseaux de neurones formels: ce sont des rseaux complexes dunits de calcul lmentaire interconnectes. Il existe deux courants de recherche sur les RN. 1- Etude de la modlisation des phnomnes naturels dapprentissage laide de RN, la pertinence biologique est importante. 2- Obtention dalgorithmes efficace ne se proccupant pas de la pertinence biologique. Nous nous plaons du point de vu du second groupe.ENSA Tanger Rseaux de Neurones Artificiels: RNA

LE CONNEXIONISME ET LES RNF

La question fondamentale du connexionisme est: comment rendre compte des processus cognitifs partir d'un ensemble d'units, dotes chacune d'une faible puissance de calcul et interconnectes en rseau ? La dfinition et lexprimentation mene sur les RNF permettent dtudier et de tester cette hypothseENSA Tanger Rseaux de Neurones Artificiels: RNA

ETAPES DANS LA FORMALISATION DES RN Premire dfinition d'un neurone formel par McCulloch et Pitts en 1943 Les percepts ou concepts sont physiquement reprsents dans le cerveau par l'entre en activit (simultane) d'une assemble de neurones (Donald Hebb, 1949). L'hypothse concurrente est la spcialisation de certains neurones dans des tches cognitives complexes. deux neurones entrant en activit simultanment vont tre associs (c'est--dire que leur contacts synaptiques vont tre renforcs). On parle de loi de Hebb et d'associationnismeENSA Tanger Rseaux de Neurones Artificiels: RNA

Le perceptron de Frank Rosenblatt (1958) : le premier modle pour lequel un processus d'apprentissage a pu tre dfini. De cette priode, date galement les travaux de Widrow et Hoff.

Le livre de Minski et Papert "Perceptrons" (1969). l'algorithme de rtropropagation du gradient dans les rseaux multi-couches dcouvert au dbut des annes 80 par Rumelhart et McClelland, Parker, Hinton, Le CunENSA Tanger Rseaux de Neurones Artificiels: RNA

le modle de Hopfield (1982) qui utilise des rseaux totalement connects bass sur la rgle de Hebb qui ont permis de dfinir la notion d'attracteurs et de mmoire associative. les cartes de Kohonen (1984) avec un algorithme non supervis bas sur l'auto-organisation .

la machine de Boltzman (1985), autre type de rseaux attracteurs avec une dynamique de Monte-Carlo.

ENSA Tanger


Classification des rseaux de neurones Un RNF est constitu d'un grand nombre de cellules de base interconnectes. De nombreuses variantes sont dfinies selon le choix de la cellule lmentaire, de l'architecture du rseau et de la dynamique du rseau. Une cellule lmentaire peut manipuler des valeurs binaires ou relles. Les valeurs binaires sont reprsentes par 0 et 1 ou -1 et 1. Diffrentes fonctions peuvent tre utilises pour le calcul de la sortie. Le calcul de la sortie peut tre dterministe ou probabiliste.ENSA Tanger Rseaux de Neurones Artificiels: RNA

L'architecture du rseau peut tre sans rtroaction, c'est dire que la sortie d'une cellule ne peut influencer son entre. Elle peut tre avec rtroaction totale ou partielle.

La dynamique du rseau peut tre synchrone : toutes les cellules calculent leurs sorties respectives simultanment, ou asynchrone. Dans ce dernier cas, on peut avoir une dynamique asynchrone squentielle : les cellules calculent leurs sorties chacune son tour en squence ou avoir une dynamique asynchrone alatoire.ENSA Tanger Rseaux de Neurones Artificiels: RNA

APPLICATIONS DES RN

Les principales applications des RN sont l'optimisation et l'apprentissage. En apprentissage, les rseaux de neurones sont essentiellement utiliss pour :

L'apprentissage supervis ; L'apprentissage non supervis ; L'apprentissage par renforcement.

ENSA Tanger


Pour ces trois types d'apprentissage, il y a galement un choix traditionnel entre :

L'apprentissage > : toutes les donnes sont dans une base d'exemples d'apprentissage qui sont traits simultanment ; L'apprentissage > : Les exemples sont prsents les uns aprs les autres au fur et mesure de leur disponibilit.

ENSA Tanger


LE PERCEPTRON Le perceptron est un modle de rseau de neurones avec algorithme d'apprentissage cr par Frank Rosenblatt en 1958. Dfinition du Perceptron: Un perceptron linaire seuil prend en entre n valeurs x1,..., xn et calcule une sortie o. Un perceptron est dfini par la donne de n+1 constantes : les coefficients synaptiques w1, ..., wn et le seuil (ou le biais) .ENSA Tanger Rseaux de Neurones Artificiels: RNA

La sortie o est calcule par la formule :1 , si oENSA Tanger Rseaux de Neurones Artificiels: RNA

xiwii

0 , si non

On peut dcomposer le calcul de la sortie o en un premier calcul de la quantit i wixi appele potentiel post-synaptique ou l'entre totale. Suivi d'une application d'une fonction d'activation sur cette entre totale. La fonction d'activation est la fonction de Heaviside dfinie par :

f xENSA Tanger Rseaux de Neurones Artificiels: RNA

si x si non

Pour simplifier les notations, nous allons remplacer le seuil par une entre supplmentaire x0 qui prend toujours comme valeur d'entre la valeur x0=1. cette entre est associe un coefficient synaptique w0.

ENSA Tanger


Exemple: Un perceptron qui calcule le OU logique avec les deux versions : seuil ou entre supplmentaire est prsent dans la figure

ENSA Tanger


INTERPRTATION GOMTRIQUE ET LIMITATIONS

Dfinition Soit S un ensemble d'exemples dans Rn { 0,1} . On note S0 = { s Rn | (s,0) S } et S1 = { s Rn | (s,1) S } . On dit que S est linairement sparable s'il existe un hyperplan H de Rn tel que les ensembles S0 et S1 soient situs de part et d'autre de cet hyperplan Thorme Un perceptron linaire seuil n entres divise l'espace des entres Rn en deux sous-espaces dlimits par un hyperplan. Rciproquement, tout ensemble linairement sparable peut tre discrimin par un perceptron.ENSA Tanger Rseaux de Neurones Artificiels: RNA

Dmonstration : Il suffit pour s'en convaincre de se rappeler que l'quation d'un hyperplan dans un espace de dimension n est de la forme :

1 1

x

n

xn

Un perceptron est donc un discriminant linaire Toute fonction de Rn (ou boolenne) dans {0,1} est-elle calculable par perceptron ?ENSA Tanger Rseaux de Neurones Artificiels: RNA

ALGORITHME D'APPRENTISSAGE PAR CORRECTION D'ERREUR Prsentation de l'algorithme tant donn un chantillon d'apprentissage S de Rn {0,1} (respectivement {0,1}n {0,1}), il s'agit de trouver un algorithme qui infre partir de S un perceptron qui classifie correctement les lments de S.

ENSA Tanger


Exemple: Pour apprendre la notion de chiffre pair ou impair, , on peut considrer un chantillon compos des 10 chiffres crits sur une rtine 7 leds.

ENSA Tanger


En reprsentant chaque chiffre par le symbole qui le dsigne habituellement, un chantillon d'apprentissage complet est: S = {(1111110,0), (0110000,1), (1101101,0), (1111001,1), (0010011,0), (1011011,1), (0011111,0), (1110000,1), (1111111,0), (1111011,1)}. But: infrer, partir de S, un perceptron qui prend ses entres dans {0,1}7 et qui retourne la classe 0 si le vecteur d'entre correspond un chiffre pair et 1 sinon. Description de lalgorithme dapprentissage: on initialise les poids du perceptron des valeurs quelconques. A chaque fois que l'on prsente un nouvel exemple, on ajuste les poids selon que le perceptron l'a correctement class ou non. L'algorithme s'arrte lorsque tous les exemples ont t prsents sans modification d'aucun poids.ENSA Tanger Rseaux de Neurones Artificiels: RNA

Quelques notations: x lment de Rn ou {0,1}n, : xi : La i-me composante de x , S: ensemble de couples ( x ,c), o c est la classe de x, ( x s , c s ): le s-ime lment de S, xis: la i-me composante du vecteur d'entre x s , o s : la sortie binaire calcule par le perceptron.

ENSA Tanger


Algorithme par correction d'erreur: Entre : un chantillon S de Rn {0,1} ou {0,1}n {0,1}, Initialisation alatoire des poids wi pour i entre 0 et n , Rpter : Prendre un exemple (x ,c) dans S, Calculer la sortie o du perceptron pour l'entrex , - - Mise jour des poids - Pour i de 0 n, wi wi + (c-o)xi , finpour finRpter Sortie : Un perceptron P dfini par (w0, w1, ..., wn).ENSA Tanger Rseaux de Neurones Artificiels: RNA

Etude des modifications sur les poids lorsque c diffre de o: si o=0 et c=1, cela signifie que le perceptron n'a pas assez pris en compte les neurones actifs de l'entre (c'est-dire les neurones ayant une entre 1) ; dans ce cas, wi wi + xi ; l'algorithme ajoute la valeur de la rtine aux poids synaptiques (renforcement). si o=1 et c=0, alors wi wi - xi ; l'algorithme retranche la valeur de la rtine aux poids synaptiques (inhibition).

ENSA Tanger


Certaines considrations:

Comment est fait le choix d'un lment de S : Alatoirement ? En suivant un ordre prdfini ? Doivent-ils tre tous prsents ? Le critre d'arrt de la boucle principale de l'algorithme: Aprs un certain nombre d'tapes ? Lorsque tous les exemples ont t prsents ? Lorsque les poids ne sont plus modifis pendant un certain nombre d'tapes ?ENSA Tanger Rseaux de Neurones Artificiels: RNA

Exemple: Apprentissage du OU

tape w0 w1 w2 entre init

2

wi xi0

o c w0 w1 0 1

w2 -1

ENSA Tanger


Thorme d'apprentissage par correction d'erreur Si l'chantillon S est linairement sparable et si les exemples sont prsents quitablement (c'est--dire que la procdure de choix des exemples n'en exclut aucun), la procdure d'apprentissage par correction d'erreur converge vers un perceptron linaire seuil qui calcule S. Le critre d'arrt de la boucle principale de l'algorithme: Aprs un certain nombre d'tapes ? Lorsque tous les exemples ont t prsents ? Lorsque les poids ne sont plus modifis pendant un certain nombre d'tapes ?ENSA Tanger Rseaux de Neurones Artificiels: RNA

Critiques sur la mthode par correction d'erreur

Que se passe-t-il si l'chantillon d'entre n'est pas linairement sparable ? Mme lorsque l'algorithme d'apprentissage du perceptron converge, rien ne garantit que la solution sera robuste.

ENSA Tanger


Mauvaise gnralisation:

ENSA Tanger


Tolrance au bruit:

ENSA Tanger


This document was created with Win2PDF available at http://www.win2pdf.com. The unregistered version of Win2PDF is for evaluation or non-commercial use only. This page will not be added after purchasing Win2PDF.

réseaux de neurones artificiels by : abdelouahid elyahyaoui

Documents