7/21/2019 Ensai Rn14 15a

http://slidepdf.com/reader/full/ensai-rn14-15a 1/2

ENSAI 3eme annee Annee 2014 - 2015

Reseaux de neurones

Examen de premiere session

Cours, ordinateur et logiciel  R  autorises.

L’utilisation d’Internet est interdite durant l’epreuve.Les programmes  R utilises et les resultats numeriques obtenusdevront etre ecrits sur la copie d’examen.

I - L’exercice I ne necessite pas l’usage de l’ordinateur.Soient  A  =  {(x1, x2)  ∈   [0, ∞[×IR :  x2  ≥ −x1, x2   ≤  x1}   et   f   : [0, ∞[×IR  −→ {0, 1}

telle que  f (x) = 1 si x ∈ A  et  f (x) = 0 sinon.

1) Existe-t-il un Perceptron simple  P 1 : [0, ∞[×IR −→ {0, 1}, de fonction d’activationΦ(u) = 1{u≥0}, tel que  P 1(x) = f (x) pour tout  x ∈ [0, ∞[×IR ?

2)  Determiner un reseau de neurones a une couche cachee,  P 2  : [0, ∞[×IR −→ {0, 1},

dont toutes les unites ont pour fonction d’activation Φ(u) = 1{u≥0}, tel que  P 2(x) = f (x)pour tout  x ∈ [0, ∞[×IR.

II - Dans cet exercice, nous etudierons des donnees generees par la fonction mlbench.friedman1a l’aide du logiciel  R. La base de donnees sera generee de la maniere suivante :

library(mlbench)library(nnet)N=600n=N/2

z=mlbench.friedman1(N, sd=1)y=z$yx=z$xA = sample(1:N, size=n)

L’objectif est de construire un modele neuronal a une couche cachee permettantd’estimer la variable quantitative “y” a partir des 10 autres variables contenues dansle tableau “x”.

Le vecteur “A” permet de partitionner la base de donnees en une base d’apprentissageet une base de test : sur les  N  = 600 observations,  n = 300 observations tirees au hasardserviront de base d’apprentissage et les autres constitueront la base de test.

Mettre en oeuvre un algorithme pour tester differents reseaux de neurones ayant 4unites dans la couche cachee, en faisant varier le nombre de pas d’apprentissage, pourpredire la variable ”y” a partir des autres variables.

- Quel nombre de pas d’apprentissage retenez-vous ?- Donner l’erreur quadratique moyenne sur la base d’apprentissage et sur la base de

test.

III - Dans cet exercice, nous etudierons les donnees  LetterRecognition contenues dansle package mlbench. Il s’agit d’un jeu de donnees de   N   = 20000 lettres de l’alphabet{A , B , . . . , Z  } decrites par 16 variables : pour plus de details, utiliser dans  R la commande

1

7/21/2019 Ensai Rn14 15a

http://slidepdf.com/reader/full/ensai-rn14-15a 2/2

? LetterRecognition

- Pour chacune des lettres, definir une variable  V  qui vaut 1 si la lettre est une voyelle(i.e. appartient a l’ensemble   {A , E , I , O , U , Y  }) et 0 sinon.

- Definir une base d’apprentissage de taille  n = 2000, les autres exemples constituantla base de test.

1)  Proposer un algorithme pour predire la variable   V   a partir des 16 variables ex-plicatives par une methode de regression logistique. Pour ce modele, calculer les tauxd’erreurs (taux de mal classes par le modele) pour la base d’apprentissage et la base detest.

2)   - Est-il possible d’ameliorer les performances du modele de regression logistiqueavec un reseau de neurones a une couche cachee ?

- Que remarque-t-on lorsqu’on augmente le nombre d’unites dans la couche cachee ?- Proposer un modele permettant d’obtenir de bonnes performances en prediction, et

calculer les taux d’erreurs (taux de mal classes par le modele) pour la base d’apprentissageet la base de test.

2