mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/mémoire_to… ·...

51
REPUBLIQUE ALGERIENNE DEMOCRATIQUE ET POPULAIRE MINISTERE DE L’ENSEIGNEMENT SUPERIEUR ET DE LA RECHERCHE SCIENTIFIQUE UNIVERSITE LARBI BEN M'HIDI D'OUM EL BOUAGHI FACULTE DES SCIENCES ET SCIENCES APPLIQUEES DEPARTEMENT GENIE ELECTRIQUE Mémoire de fin d’études Présenté pour l'obtention du diplôme de Master Filière : Génie électrique Spécialité : Informatique Industrielle Par : TOUNSI FAROUK Thème : Optimisation d’entrainement des réseaux de neurones RBF par la métaheuristique ACO Encadreur : Jury : Dr Ali.Djebabla Mr S.Mouetsi Mrs F.Batat Promotion 2017

Upload: others

Post on 28-Sep-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

REPUBLIQUE ALGERIENNE DEMOCRATIQUE ET POPULAIREMINISTERE DE L’ENSEIGNEMENT SUPERIEUR ET DE LA

RECHERCHE SCIENTIFIQUEUNIVERSITE LARBI BEN M'HIDI D'OUM EL BOUAGHI

FACULTE DES SCIENCESET SCIENCESAPPLIQUEES

DEPARTEMENT GENIEELECTRIQUE

Mémoire de fin d’études

Présenté pour l'obtention du diplôme de Master

Filière : Génie électrique

Spécialité : Informatique Industrielle

Par :TOUNSI FAROUK

Thème :

Optimisation d’entrainement des réseaux deneurones RBF par la métaheuristique ACO

Encadreur :Jury :

Dr Ali.Djebabla Mr S.Mouetsi

Mrs F.Batat

Promotion 2017

Page 2: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

RemerciementsTout d’abord, je tiens à remercier Dieu clément et le miséricordieux de

m’avoir donné la force et le courage de mener à bien ce modeste travail.

J’exprime ma profonde reconnaissance et ma parfaite gratitude à

mon encadreur

Dr : Djebabla Ali

Qui nous a témoigné de sa confiance et de son aide scientifique et

par son expérience et sa compétence.

Nous adressons de chaleureux remerciements à tous les

enseignants et les travailleurs d’université de l’ARBI BEN M’HIDI

, pour les moyens qui ont été mis à notre disposition

durant toute la durée de la formation.

Je tiens à remercier particulièrement à tous les membres du

Département et de Génie Electrique

Pour leurs soutiens et leurs aides.

Nous remercions aussi tous nos amis pour leurs aides, leurs

patiences, leurs compréhensions et leurs encouragements.

Page 3: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

DédicaceJe tiens à dédier cet humble travail à :

Mes très chers parents qui veillent sans cesse sur moi avec leurs

prières et leurs recommandations

Que dieu les protège.

A mes sœurs Maria et Amel et mes frères Nabil et Adel

Toute ma famille.

A mes amis en particulier : Amouna, Khaoula, Latif, Hamza, Hachem, Akrem

Et Slyman

Toute la promotion 2017 Et ceux qui sont proches de

mon cœur.

A vous tous je dédie ce modeste travail.

Farouk TOUNSI

Page 4: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Table des matières

Résumé

Remerciement

Mots-clés

Liste d’abréviation

Table des matières

List des tableaux

List des figures

Introduction générale

CHAPITRE I : Optimisation par colonie de fourmis

1.1. Introduction ....................................................................Erreur ! Signet non défini.

1.2. Méthaheuristique pour l’optimisation difficile .......................................................... 1

1.2.1. Optimisation difficile ................................................Erreur ! Signet non défini.

a. Problème d’optimisation...........................................Erreur ! Signet non défini.

b. Optimisation difficile ..............................................Erreur ! Signet non défini.

1.3.Algorithme d’optimisation approchée ......................................................................... 2

1.3.1 Heuristiques ......................................................................................................... 2

1.3.2. Méthaheuristiques................................................................................................ 2

1.4. Problème de voyageur de comerce ............................................................................. 2

1.5. Optimisation par colonie de fourmis .......................................................................... 3

1.5.1 Historique ............................................................................................................. 3

1.5.2. Similarités et analogies avec les fourmis réelles ............................................... 3

a. points communs ................................................................................................ 3

b. Analogie ............................................................................................................ 4

1.6. Algorithm de base AS : « Ant System » ................................................................ 6

1.7. Conclusion ............................................................................................................. 8

Page 5: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

CHAPITRE II:Entrainement des réseaux RBF par la méthode 'Ant Collony

Optimisation' ACO

2.1. Rappel sur les Réseaux de neurones à fonction de base radiale :RBF ....................... 9

2.1.1. Introduction ............................................................................................................. 9

2.1.2. Définition d’un réseau de neurones RBF ............................................................... 9

2.1.3.Placement des centres dans un réseau de neurone RBF ......................................... 10

2.1.4. Algprithme des K-means ....................................................................................... 10

2.1.5. Entrainement d'un réseau de neurones RBF...................................................... 11

I.4.1 Réseau de neurone RBF émulateur : RBF-NNE................................................ 11

I.4.2.Réseau de neurones RBF controleur RBF :RBFNNC ....................................... 12

a. Définition ............................................................................................................. 12

b.Réseau de neurones contoleur (NNC) .................................................................. 12

c.Structure de contrôle direct par réseaux de neurones RBF.................................... 13

2.2. Entrainement des réseaux de neurones RBF par la méthode ACO .......................... 14

2.2.1. Entrainement des réseaux de neurones RBF par la méthode ACO ...................... 14

a. Adaptation de base et analogie ............................................................................. 14

b. simulation du comportement d’une fourmi au sein de la colonie.......................... 15

2.2.2.Algorithm d’entrainement des réseaux RBF par la méthode ACO....................... 18

2.3.Conclusion ............................................................................................................ 20

CHAPITRE III:Simulation

3.1.Introduction .............................................................................................................. 21

3.2. Emulation ................................................................................................................. 21

3.2.1.Présentation de la stucture d’émulation .............................................................. 21

3.2.2.Résultat de la simulation. ................................................................................... 22

a.méthode classique :Rétro-propagation BR-RBF ......................................................... 22

Page 6: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

b.Interprétation des résultats ....................................................................................... 23

c.Méthode d’optimisation par colonie de fourmis :ACO-RBF ....................................... 24

3.3. Commande de la température d’une réaction chimique dans un réacteur : CSTR 27

3.3.1.Présentation du procédé ..................................................................................... 27

3.3.2.Résultat de simulation ......................................................................................... 27

a. Méthode classique : rétro-propagation de l’erreur BP-RBF ....................................... 28

b. Méthode d’optimisation par colonie de fourmis : ACO-

RBF……………………..30

3.4.Conclusion ............................................................................................................. 33

Conclusion génerale………………………………………………………………………34

BIBLIOGRAPHIE

Page 7: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Liste de tableaux

Tableau01 : Configuration et résultats de la méthode classique BP-RBF.

Tableau02 : Configuration et Résultats de l’algorithme ACO-RBF.

Tableau03 : Paramètres du modèle mathématique du CSTR

Tableau04 : Configuration et Résultats de l’algorithme classique BP-RBF

Tableau05 : Configuration et résultats de l’algorithme ACO-RBF

Mots- clés :

Réseau de neurone

Langage de programmation : MATLAB/Simulink

Liste d'abréviation

(RBF) est radial basis function.

(TSP) est Travelling Sales man Problème

(AS) est Ant System

(ACO) est Ant Colony Optimisation

Liste de figure :

Figure2.1 Exemple de Réseau de neurones RBF à quatre entrées.

Figure2.2 : Structure d’entrainement d’un réseau de neurones RBF émulateur.

Figure2.3 : Structure d’entrainement du contrôle neuronal RBF direct.

Figure2.4 : partitions de l’angle de direction de déplacement d’une fourmi.

Figure2.5 : recherches locales successives d’une fourmis.

Figure3.1 : structure générale d’émulation à base de réseau RBF.

Figure3.2 : les sorties émulée et désirée.

Figure3.3 : Signal de l’erreur de sortie.

Figure3.4 : Signal de la fonction objectif.

Figure3.5 : émulation du système avec 5 fourmis.

Figure3.6 : Signaux de la sortie réelle performante et la sortie désirée.

Figure3.7 : Signal de l’erreur de sortie avec ACO-RBF

Figure3.8 : Signal de la fonction objectif avec ACO-RBF.

Page 8: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Figure3.9 : Signaux de sortie et sortie désirée.

Figure3.10 : signal de l’erreur de sortie.

Figure3.11 : signal de commande par la méthode classique.

Figure3.12 : Structure de commande en BF par la méthode ACO-RBF.

Figure3.13 : signaux de sortie performante et sortie désirée.

Figure3.14 : signal de l’erreur de sortie.

Figure3.15 : Signal de la fonction objectif.

Figure3.16 : signal de commande.

Page 9: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Résumé

L’optimisation par colonie de fourmis est une nouvelle approche à base de métaheuristiques proposée

en littérature pour résoudre les problèmes d’optimisation difficile. Entrainer un réseau de neurones est un

processus qui consiste à trouver la combinaison optimale de ses poids de connexions. Alors un algorithme

d’optimisation de colonie de fourmis est utilisé pour optimiser l’entrainement du réseau neuronal RBF. Dans

ce travail nous avons imité le comportement d’une espèce de fourmis pour l’émulation d’un signal très

complexe d’un procédé dit ‘Box and Jenkins’ et pour contrôler la température d’une réaction

chimique dans un réacteur ouvert. Notre travail a permis de contrôler ces deux systèmes de façon optimale.

Puis on va comparer les résultats obtenu avec ceux qui ont été obtenu par la méthode classique : BP.

Mots clés : Optimisation, réseau de neurone, entrainement, RBF, Box & Jenkins, BP

Abstract

Ant Colony optimization is a new approach based on metaheuristics proposed in the literature to solve

problems of difficult optimization. Training a neural network is a process of finding the optimal combination

of its connection weights. Then an ant colony optimization algorithm is used to optimize the training of the

neural network RBF. In this work we have imitated the behavior of a species of ants for the emulation of a

very complex signal of a so-called Box and Jenkins process and to control the temperature of a chemical

reaction in an open reactor. Our work has made it possible to control both systems optimally. Then we will

compare the results obtained with those obtained by the classical method: BP.

Key words: Optimization, neural network, training, RBF, Box &Jenkins, BP

Page 10: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Introduction Générale

Introduction Générale

La vie humaine n’a cessé d’évoluer dans la domestication des ressources et dans leur

exploitation. Cette évolution avec les inventions et les découvertes s’est alors affrontée au

défis de la nécessité à chercher dans le répertoire technique des solutions de plus en plus

performantes tant sur le plan de l’efficacité que dans le gain de temps.

Le domaine technologique, primordial pour toutes les disciplines, s’est trouvé face à des

situations délicates, ce qui mène et motive les chercheurs à proposer des solutions à ces

situations qui se développent et se complexent de jours en jours. Par conséquent Le

raisonnement et les approches consacrées à résoudre ces problèmes doivent être adaptées et

améliorées afin d’obtenir des résultats performants. Les méthodes déduites doivent à leurs

tours mises en œuvre et généralisées pour pouvoir les exploiter dans la résolution d’une large

variété de problèmes.

D’autre part les problèmes d’optimisation difficiles sont très peu étudiés malgré qu’ils

sont très courants en réalité. Parmi les méta-heuristiques récemment proposées pour l’étude de

tels problèmes les algorithmes de colonie de fourmis. Ces algorithmes s’inspirent des

comportements collectifs de dépôt et de suivi de piste observées dans les colonies de fourmis.

Les agents de la même colonie communiquent indirectement via des modifications

dynamiques de leurs environnement, ‘pistes de phéromone’, et aboutissent collectivement à

une solution globale du problème.

L’algorithme que proposons fait l’objet d’une association entre deux approches

différents :

La première consiste à créer un système multi-agents où la communication entre les

agents joue in rôle crucial pour échanger les performances atteintes lors de la résolution du

problème.

La deuxième consiste à utiliser une structure mathématique connue par ses diverses

caractéristiques notamment : sa facilité d’entrainement et d’adaptation, sa forte

approximation et sa perception.

Le but de cette association se concrétise par l’optimisation d’entrainement des réseaux de

neurones EBF par la méthode ‘Ants Collony Optimization’ ACO et leur permettre d’acquérir par

imitation le comportement d’une colonie de fourmis efficace en résolution de problèmes complexes.

Page 11: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Introduction Générale

Notre travail est organisée comme suit :

La première partie est consacrée à la présentation de l’algorithme d’optimisation par colonie

de fourmis ACO.

La deuxième partie, après un bref rappel sur les réseaux RBF, propose l’algorithme

d’adaptation de la méthode ACO pour l’entrainement optimal des réseaux RBF.

En troisième partie nous mettons à l’épreuve l’algorithme hybride proposé pour la résolution

de deux problèmes différents.

Enfin pour conclure une conclusion générale synthétise les résultats obtenus.

Page 12: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

CHAPITRE I : Optimisation parcolonie de fourmis

Page 13: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Optimisation par colonie de fourmisChapitre 1

1

1.1. Introduction

L’optimisation est un sujet central en recherche opérationnelle, un grand nombre de

problèmes d’aide à la décision pouvant en effet être décrits sous la forme de problèmes

d’optimisation. Les problèmes d’identification, l’apprentissage supervisé de réseaux de

neurones ou encore la recherche du plus court chemin sont, par exemple, des problèmes

d’optimisation.

Ce chapitre décrit tout d’abord le cadre de l’optimisation difficile et des Meta-

heuristiques dans lequel nous nous plaçons dans ce travail, puis présente un état de l’art sur les

méta-heuristiques dites « Colonie de fourmis ».

1.2. Méta-heuristique pour l’optimisation difficile

1.2.1 Optimisation difficile

a. Problème d’optimisation

Un problème d’optimisation au sens général est défini par un ensemble de solutions

possibles S, dont la qualité peut être d´ écrite par une fonction objectif f. On cherche alors à

trouver la solution s* possédant la meilleure qualité f (s*) (par la suite, on peut

chercher à minimiser ou à maximiser f(s)). Un problème d’optimisation peut présenter

des contraintes d’égalité (ou d’inégalité) sur s, être dynamique si f(s) change avec le

temps ou encore multi-objectif si plusieurs fonctions objectifs doivent être optimisées.

b. Optimisation difficile

Certains problèmes d’optimisation demeurent cependant hors de portée des méthodes

exactes. Un certain nombre de caractéristiques peuvent en effet être problématiques, comme

l’absence de convexité stricte (multimodalité), l’existence de discontinuité, une fonction non

dérivable, présence de bruit, etc.

Dans de tels cas, le problème d’optimisation est dit « difficile », car aucune méthode

exacte n’est capable de le résoudre exactement en un temps « raisonnable », on devra alors faire

appel à des heuristiques permettant une optimisation approchée.

Page 14: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Optimisation par colonie de fourmisChapitre 1

2

1.3. Algorithmes d’optimisation approchée1.3.1.Heuristiques

Une heuristique d’optimisation est une méthode approchée se voulant simple, rapide et

adaptée à un problème donne. Sa capacité à optimiser un problème avec un minimum

d’informations est contrebalancée par le fait qu’elle n’offre aucune garantie quant à l’optimalité

de la meilleure solution trouvée.

Du point de vue de la recherche opérationnelle, ce défaut n’est pas toujours un problème,

tout spécialement quand seule une approximation de la solution optimale est recherchée.

1.3.2 Méta heuristiques

Parmi les heuristiques, certaines sont adaptables ` a un grand nombre de problèmes différents

sans changements majeurs dans l’algorithme, on parle alors de méta-heuristiques.

La plupart des heuristiques et des méta-heuristiques utilisent des processus aléatoires comme

moyens de récolter de l’information et de faire face à des problèmes comme l’explosion combinatoire.

En plus de cette base stochastique, les Meta heuristiques sont généralement itératives, c’est-` adire qu’un

même schéma de recherche est applique plusieurs fois au cours de l’optimisation, et directes, c’est-`

adire qu’elles n’utilisent pas l’information du gradient de la fonction objectif. Elles tirent en particulier

leur intérêt de leur capacité à éviter les optima locaux, soit en acceptant une dégradation de la fonction

objectif au cours de leur progression, soit en utilisant une population de points comme méthode de

recherche (se démarquant ainsi des heuristiques de descente locale).

Souvent inspirées d’analogies avec la réalité (physique, biologie, éthologie, . . .), elles sont

généralement conçues au départ pour des problèmes discrets, mais peuvent faire l’objet d’adaptations

pour des problèmes continus.

1.4. Problème du voyageur de commerce

Le problème du voyageur de commerce (« Travelling Sales man Problème », TSP) a

fait l’objet de la première implémentation d’un algorithme de colonies de fourmis : le « Ant

System (AS) [Colorai et al. 1992] qui sera décrit dans la section 1.6. Le passage de la métaphore

à l’algorithme est ici relativement facile et le problème du voyageur de commerce est bien

connu et étudie.

Il est intéressant d’approfondir le principe de ce premier algorithme pour bien

comprendre le mode de fonctionnement des algorithmes de colonies de fourmis. Il y a deux

façons d’aborder ces algorithmes. La première, la plus évidente au premier abord, est celle qui

Page 15: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Optimisation par colonie de fourmisChapitre 1

3

a historiquement mené au « Ant System » original, nous avons choisi de le décrire dans cette

section.

La seconde est une description plus formelle des mécanismes communs aux algorithmes

de colonies de fourmis.

Le problème du voyageur de commerce consiste à trouver le trajet le plus court (désigné

par « tournée » ou plus loin par « tour ») reliant n villes données, chaque ville ne devant être

visité qu’une seule fois. Le problème est plus généralement défini comme un graphe

complètement connecte (N ; A), ou ` les villes sont les nœuds N et les trajets entre ces villes,

les arêtes A. [2]

1.5. Optimisation par colonie de fourmis

1.5.1. Historique

Dans les sections qui viendront plus tard, nous présenterons la méta-heuristique ACO,

pour le "Ant Colony Optimization". Toutes ces idées abstraites sont inspirées des travaux de

Deneubourg sur les fourmis. Cette méta-heuristique est relativement récente. Elle a été

introduite en 1991 par Colorni, Dorigo et Maniezzo pour résoudre le problème du Voyageur de

commerce. Elle s’est popularisée, puis a été l’objet d’améliorations dès 1995 et a été appliquée

avec succès à d’autres problèmes d’optimisation dès 1994.Nous allons tout d’abord exposer les

différences et les points communs entre les fourmis virtuelles et les fourmis réelles [3], avant

d’exposer en termes plus abstraits la méta-heuristique proprement dite. Ceci expliquera

comment les fourmis virtuelles peuvent être exploitées pour résoudre un problème

d’optimisation combinatoire.

1.5.2. Similarités et analogies avec les fourmis réelles [Dréo 04]

Les fourmis virtuelles ont une double nature. D’une part, elles modélisent les

comportements abstraits de fourmis réelles, et d’autre part, elles peuvent être enrichies par des

capacités que ne possèdent pas les fourmis réelles, afin de les rendre plus efficaces que ces

dernières. Nous allons maintenant synthétiser ces ressemblances et différences.

a. Points communs

Colonie d’individus coopérants. Comme pour les fourmis réelles, une colonie virtuelle

est un ensemble d’entités non-synchronisés, qui se rassemblent ensemble pour trouver une

Page 16: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Optimisation par colonie de fourmisChapitre 1

4

"bonne" solution au problème considéré. Chaque groupe d’individus doit pouvoir trouver une

solution même si elle est mauvaise.

. Pistes de phéromones :

Ces entités communiquent par le mécanisme des pistes de phéromone. Cette forme de

communication joue un grand rôle dans le comportement des fourmis : son rôle principal est de

changer la manière dont l’environnement est perçu par les fourmis, en fonction de l’historique

laissé par ces phéromones.

. Évaporation des phéromones :

La méta-heuristique ACO comprend aussi la possibilité d’évaporation des phéromones.

Ce mécanisme permet d’oublier lentement ce qui s’est passé avant. C’est ainsi qu’elle peut

diriger sa recherche vers de nouvelles directions, sans être trop contrainte

. Recherche du plus petit chemin :

Les fourmis réelles et virtuelles partagent un but commun : recherche du plus court

chemin reliant un point de départ (le nid) à des sites de destination (la nourriture).

. Déplacement local :

Les vraies fourmis ne sautent pas des cases, tout comme les fourmis virtuelles. Elles se

contentent de se déplacer entre sites adjacents du terrain.

. Choix aléatoire lors des transitions.

Lorsqu’elles sont sur un site, les fourmis réelles et virtuelles doivent décider sur quel

site adjacent se déplacer. Cette prise de décision se fait au hasard et dépend de l’information

locale déposée sur le site courant. Elle doit tenir compte des pistes de phéromones, mais aussi

du contexte de départ (ce qui revient à prendre en considération les données du problème

d’optimisation combinatoire pour une fourmi virtuelle).

b. Analogie

Les fourmis virtuelles possèdent certaines caractéristiques que ne possèdent pas les

fourmis réelles :

Elles vivent dans un monde non-continu. Leurs déplacements consistent en des

transitions d’état.

Page 17: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Optimisation par colonie de fourmisChapitre 1

5

. Mémoire de la fourmi : état interne

Les fourmis réelles ont une mémoire très limitée. Tandis que nos fourmis virtuelles

mémorisent l’historique de leurs actions. Elles peuvent aussi retenir des données

supplémentaires sur leurs performances.

. Nature de la phéromone déposée

Les fourmis réelles déposent une information physique sur la piste qu’elles parcourent,

là où les fourmis virtuelles modifient des informations dans les variables d’états associées au

problème. Ainsi, l’évaporation des phéromones est une simple décrémentation de la valeur des

variables d’états à chaque itération.

. Retard dans le dépôt de phéromone.

Les fourmis virtuelles peuvent mettre à jour les pistes de phéromones de façon non

immédiate : souvent elles attendent d’avoir terminé la construction de leur solution. Ce choix

dépend du problème considéré bien évidemment.

. Capacités supplémentaires.

Les fourmis virtuelles peuvent être pourvues de capacités artificielles afin d’améliorer

les performances du système. Ces possibilités sont liées au problème et peuvent être :

1. l’anticipation : la fourmi étudie les états suivants pour faire son choix et non seulement

l’état local.

2. le retour en arrière : une fourmi peut revenir à un état déjà parcouru car la décision

qu’elle avait prise à cet état a été mauvaise.

Page 18: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Optimisation par colonie de fourmisChapitre 1

6

1.6. Algorithme de base AS : ‘Ant system’

Dans l’algorithme AS, à chaque itération t (1 ≤ t ≤ maxt ), chaque fourmi k (k=1, . ., m)

parcourt le graphe et construit un trajet complet de n = |N| étapes (on note |N| le cardinal de

l’ensemble N). Pour chaque fourmi, le trajet entre une ville i et une ville j dépend de

1. la liste des villes déjà visitées, qui définit les mouvements possibles à chaque pas, quand la

fourmi k est sur la ville i ∶ kiJ

2. l’inverse de la distance entre les villes :1

ijij

nd , appelée visibilité. Cette information

“statique” est utilisée pour diriger le choix des fourmis vers des villes proches, et éviter les

villes trop lointaines ;

3. la quantité de phéromone déposée sur l’arête reliant les deux villes, appelée l’intensité de la

piste. Ce paramètre définit l’attractivité d’une partie du trajet global et change à chaque passage

d’une fourmi. C’est, en quelque sorte, une mémoire globale du système, qui évolue par

apprentissage.

La règle de déplacement (appelée “règle aléatoire de transition proportionnelle” par les auteurs

[Bonabeau et al., 1999]) est la suivante :

.

.kj

ij ijkij

ij iji j

tp

t

(1,1)

Où α et β sont deux paramètres contrôlant l’importance relative de l’intensité de la piste ij t ,

et de la visibilité ij .

Après un tour complet, chaque fourmi laisse une certaine quantité de phéromone ∆ ij t sur

l’ensemble de son parcours, quantité qui dépend de la qualité de la solution trouvée :

Page 19: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Optimisation par colonie de fourmisChapitre 1

7

( )

0

k

kij

Q

L t

t

(1,2)

Où ( )kT t est le trajet effectué par la fourmi k à l’itération t, ( )kL t la longueur de la tournée et

Q un paramètre fixé.

L’algorithme ne serait pas complet sans le processus d’évaporation des pistes de phéromone

1

( 1) (1 ). ( ) ( )m

kij ij ij

k

T t T t t

(1,3)

Où m est le nombre de fourmis et p le taux d’évaporation. La quantité initiale de phéromone

sur les arêtes est une distribution uniforme d’une petite quantité 0 ≥ 0.

Algorithme d’optimisation ACO : « Ant Colony Optimization »

Pour t = 1, . . ., maxt

Pour chaque fourmi k = 1, . . ., m

Choisir une ville au hasard

Pour chaque ville non visitée i

Choisir une ville j, dans la liste kiJ i des villes restantes, selon la formule 1.1

Fin Pour

Déposer une piste ∆ ki j (t) sur le trajet ( )kT t conformément à l’équation 1.2

Fin Pour

Evaporer les pistes selon la formule 1.3

Fin Pour

Si (i, j) ( )kT t

Si (i, j) ( )kT t

Page 20: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Optimisation par colonie de fourmisChapitre 1

8

1.7. Conclusion :

Le comportement collectif intuitif d’une colonie de fourmis s’avère efficace pour la

recherche de nourriture et la minimisation d’efforts de recherche de tout le groupe en réduisant

le plus possible l’itinéraire emprunté, s’appuyant sur la diffusion de l’information des

meilleures performances atteintes, par des phénomènes naturels. Ce comportement naturel a été

formulé en littérature pour déduire des variantes ………. de méta-heuristiques servant à

résoudre des problèmes et améliorer les performances déjà atteintes dans d’autres

Page 21: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

CHAPITRE II : Entrainement desRéseaux RBF par la méthode ’Ant

Collony Optimization’ ACO

Page 22: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

9

2.1. Rappel sur les Réseaux de neurones à fonction de base radiale : RBF

2.1.1. Introduction

Les réseaux de neurones, à base de structures cellulaires artificiels, constituent une

approche permettant d’aborder sous des angles nouveaux les problèmes de perception, de

mémoire, d’apprentissage et de raisonnement. Ils se révèlent aussi des alternatives très

prometteuses pour contourner certaines limitations de performances, des méthodes classiques.

Grâce à leur traitement parallèle de l’information et à leur mécanismes inspirés des cellules

nerveuses, ils infèrent des propriétés émergentes permettant de solutionner des problèmes

jadis qualifiés de complexes.

2.1.2. Définition d’un Réseau de neurones RBFUn réseau RBF comporte trois couches de neurones, une couche d'entrée, une couche

cachée directement liée à la couche d'entrée par des connexions non pondérées, et une couche

de sortie liée à la couche cachée par des connexions pondérées.

Soit un réseau de n entrées et une sortie; si nc est le nombre de nœuds de la couche cachée:

Soit ‖ − ‖2 = La distance euclidienne.

: Fonction de base.

Ci : Centre des fonctions Ci ∈ Rnc et 1 < i < nc.

wi : Poids des connexions entre la couche cachée et la couche de sortie.

La fonction de sortie du réseau RBF peut être exprimée par :

f : Rn→R

( ) = ( − ) ( . )Pour des fonctions radiales gaussiennes l’expression devient:

( , ) = , −∑ ( − )²² ( . )g : la fonction gaussienne.

σ : paramètre de dispersion.

cij : paramètre de position : centre de la fonction gaussienne

Page 23: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

10

Figure (2.1) : Exemple de Réseau de neurones RBF à quatre entrées.

2.1.3. Placement des centres dans un réseau de neurones RBF

La plupart des algorithmes d’apprentissage des réseaux RBF procèdent à une sélection

aléatoire d’un certain nombre d’échantillons de l’espace d’entrée comme étant les centres des

fonctions de base, ensuite une méthode d’optimisation linéaire est utilisée pour déterminer les

poids des connexions.

Cependant, dans la plupart des cas, il est évident qu’une sélection aléatoire des centres

n’est pas satisfaisante. Pour remédier à cet inconvénient, certains algorithmes ont été utilisés,

dont la procédure d’apprentissage est divisée en deux étapes : un apprentissage non supervisé

pour l’ajustement des centres des fonctions de base dans la couche cachée, suivi par un

apprentissage supervisé pour l’ajustement des poids des connexions entre la couche de sortie

et la couche cachée.

L’algorithme des k-means est souvent utilisé pour l’ajustement des centres des fonctions

de base d’un réseau RBF.

2.1.4. Algorithme des k-means

L’algorithme des k-means est une méthode d’apprentissage non supervisé qui sert à la

classification des données. Elle consiste à diviser l’espace d’entrée en k classes selon les

étapes suivantes:

1. Choisir un nombre de classes (fonctions de base) k.

Page 24: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

11

2. Initialiser les centres des classes, c1, c2,…….ck :

On sélectionne k vecteurs (on parle de vecteur parce que la dimension de chaque centre

égale à la dimension du vecteur d’entrée) à partir de l’ensemble d’entraînement comme des

centres initiaux.

3. Calculer les distances euclidiennes entre les centres et le vecteur d’entrée avec( ) = ‖ − ‖ avec i=1: k. ( . )Ensuite ajuster le centre correspondant à la distance minimale :( ) = ‖ − ‖ ( . )Utilisant la loi d’adaptation suivante :( ) = ( − ) + ( ). ( ) − ( − ) ( . )Avec j est l’indice du centre qui correspond à la distance minimale et (t) est un gain qui

appartient à l’intervalle [0 1], et qui tend vers zéro ou diminue avec le temps (nombre

d’échantillons). Une loi qui permet l’adaptation de ce dernier est la suivante :( ) = ( − )( + ( ) ( . )Avec t est l’indice de l’échantillon, k est le nombre de classes (fonctions de base) et

inte est la partie entière du rapport .

2.1.5. Entrainement d’un Réseau de neurones RBF

I.4.1. Réseau de neurones RBF émulateur : RBF-NNE

Un émulateur neuronal RBF d’un système est décrit par la fonction exprimant la

sortie du réseau émulateur RBF en fonction des entrées u(t) qui lui sont fournies.

Après entrainement, l’émulateur doit être en mesure de reproduire les mêmes sorties

que le système, pour des entrées identiques u(k). L’entrainement est réalisé pour minimiser

l’erreur entre la sortie du modèle de référence et la sortie du réseau émulateur RBF.

La figure (2.2) représente la structure d’entrainement de l’émulateur RBF

Page 25: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

12

Figure (2.2) : Structure d’entrainement d’un réseau de neurones RBF émulateur

On peut réaliser l’entrainement en ligne, ou bien hors ligne si on dispose de

suffisamment de données. Le but de l’entrainement est de trouver les poids;

qui rendent l’erreur aussi petite que possible. Une fois la convergence

est obtenue, le réseau de neurones émulateur tRBF peut servir à exprimer le système .

I.4.2. Réseau de neurones contrôleur RBF: RBFNNC

a. Définition

Le contrôle par réseau de neurones RBF est l’étude des systèmes de commande à base

de réseau de neurones RBF. Un réseau de neurones RBF contrôleur est un réseau dont la

sortie est le signal de commande u(k) : fonction du temps. L’intérêt de ce type de contrôleurs

est dû à la capacité d’apprentissage des réseaux de neurones RBF.

b. Réseaux de neurones contrôleur (NNC)

Dans ce qui suit, nous considérons un système décrit par une équation récurrente non

linéaire de la forme :( + ) = ( ), ( + ), … , ( − + ), ( ),… , ( − ) ( . )Où est une fonction non linéaire

p et q : peuvent être connus ou bien estimés par ̂ et ̂.

Page 26: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

13

Généralement on suppose que ̂ et sont connus, et inconnue. Le but du contrôleur

neuronal est de construire un réseau qui permet au système de suivre une référence fixe ou

variable.

c. Structure de Contrôle direct par réseaux de neurones RBF

Le contrôle direct par réseau de neurones RBF consiste en un apprentissage en ligne

du réseau selon la configuration représentée par la figure (2.3)

Les performances en boucle fermée désirées du système sont spécifiées par un modèle de

référence, défini par ses couples d’entrées/sorties (u(k), y(k)), obtenus par des mesures réels

ou par la résolution d’un modèle mathématique exprimant le système à contrôler.

La fonction objectif à minimiser est généralement de la forme :

= ( ) − ( ) ( . )Dans le cas d’un contrôle classique utilisant la méthode de rétro-propagation, Cette

structure nécessite la connaissance du Jacobien du système (la dérivée de la fonction d’erreur

Ep), souvent pas facile à calculer et qui n’est disponible, que si on a le modèle mathématique

du système, ainsi que le signal de commande à reproduire.

Page 27: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

14

Figure (2.3) : Structure d’entrainement du contrôle neuronal RBF direct

2.2. Entrainement des réseaux de neurones RBF par la méthode ACO

L’objectif principal consiste à adapter la méthode ACO à la structure des réseaux RBF pour

pouvoir les entrainer pour chercher le point optimal dans un espace de recherche.

2.2.1. Adaptation de la méthode ACO aux réseaux de neurones RBF

a. Adaptation de base et analogie

Afin qu’on puisse adapter et exploiter la méthode ACO pour l’entrainement des

réseaux RBF non seulement pour chercher l’optimum de l’espace de recherche mais aussi

pour imiter le comportement collectif particulier d’une colonie de fourmis, qui permet de

résoudre des problèmes complexes, nous étions emmenés à:

- Identifier les auteurs actifs et les phénomènes influents

- Simuler le comportement individuel d’une fourmi dans une colonie

- Simuler le comportement collectif d’un colonie de fourmis

Page 28: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

15

La fourmi étant l’auteur principal de tout le scénario, l’analogie de base consiste à le

représenter par un réseau de neurone RBF. Donc nous avons besoin de N réseaux RBF pour

représenter N fourmis.

L’un des phénomènes les plus importants qui permet la communication entre les agents de

la même colonie est celui de phéromone laissé par les fourmis prédécesseurs pour tracer les

pistes à leurs successeurs, afin qu’ils puissent suivre leur itinéraire. Ce phénomène non

seulement il permet la communication entre tous les agents la colonie, il influence aussi le choix

de la direction prise par les agents et aboutit à la création d’un itinéraire commun optimal vers

l’objectif.

Dans le cas où le groupe de fourmis divergent dès le début sur plusieurs directions, leurs

successeurs choisissent le chemin contenant le plus de quantité de phéromone, d’où la quantité

de phéromone s’avère un paramètre très influent sur laquelle s’appuie le choix de direction des

fourmis à tout instant, sachant qu’elle est variable dans le temps c.à.d qu’elle augment au fur et

à mesure que les fourmis passent dans la même direction et diminue progressivement dans le

temps par évaporation.

Pour pouvoir représenter ce phénomène et simuler le comportement des fourmis relatif à

celui-ci nous avons besoin d’une fonction objectif fobj choisie dans notre cas :

= ( ) ……………………………………………………(2.9)

où abs(e) : valeur absolue de l’erreur de sortie

Cette fonction nous permet de mesurer la performance à chaque point de l’espace et choisir

la direction de recherche.

b. simulation du comportement d’une fourmi au sein de la colonie

Simulation du comportement d’une fourmi dans une colonie

Page 29: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

16

La simulation du comportement d’une fourmi nous a conduit à décrire le mouvement

de base au cours de déplacement, il s’agit du ‘pas’ et le décomposer en gestes élémentaires

pour choisir la direction du déplacement, en considérant que celle-ci cherche d’une manière

continue la bonne direction en fonction de phéromone trouvée sur la piste.

Par analogie le déplacement d’une fourmi est simulé par la variation des poids du réseau RBF

correspondant pendant son entrainement. La variation de chaque poids signifie un

déplacement élémentaire dans une direction précise relative à ce poids, par conséquence

l’angle π de recherche est divisé en Nc directions figure (2.3).

Soit un réseau RBF de NC nœuds dans la couche cachée

Une variation Δwi >0 correspond à un déplacement élémentaire vers le sens positif

dans la direction correspondante à wi i=1…………….Nc

Une variation Δwi <0 signifie un retour en arrière dans la direction correspondante à

wi

La direction finale choisie pour avancer d’un pas représente le résultante des directions

élémentaires choisies relatives à toutes les poids du réseau pondérées par :

Abs(Δwi)*f(x-ci)

Où f = la fonction gaussienne

Ci = centre de la fonction gaussienne du ième nœud de la couche cachée, i = 1….Nc

Page 30: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

17

Figure (2.4) : partitions de l’angle de direction de déplacement d’une fourmi

Simulation du comportement global d’une colonie de fourmis

Le comportement global réel apparent d’une colonie de fourmis se résume au

déplacement de tous les individus (ou majorité) de la colonie sur le même itinéraire autour

d’une trajectoire optimale vers l’objectif (généralement la nourriture), ce qui constitue le tracé

d’un chemin sous forme d’une bande plus ou moins épaisse. Ceci est conséquence d’une

communication intuitive via la substance de phéromone.

De même, les réseaux RBF, partant de points choisis aléatoirement de l’espace de

recherche, sont entrainés simultanément cherchant localement les points optimaux. Chaque

réseau, pendant sa recherche locale évalue la performance en chaque atteint, par la fonction

objectif fobj et la compare à sa meilleure performance déjà atteinte pour garder la meilleure.

La meilleure performance de tous les réseaux est choisie comme étant la solution actuelle

globale du groupe. Donc partant de plusieurs point aléatoires de l’espace de recherche, après

plusieurs recherches locales de plusieurs agents, les solutions se rapprochent de plus en plus et

convergent vers la solution globale.

Les de N fourmis artificielles d’une colonie représentées par N réseaux RBF

collaborent pour chercher l’optimum global. Cependant chaque individu cherche

individuellement dans chaque itération l’optimum local d’un sous espace de rayon bien défini.

1cN

cWN

Page 31: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

18

Les sous-espaces successifs balayés par une fourmi artificielle ne sont pas d leurs sous-

disjointes figure (2.5). Deux ou plusieurs fourmis peuvent converger vers le même optimum si

les espaces balayés lors d’une itération contiennent le même point optimal.

Pour éviter que la recherche soit piégée et bloquée par un optimum local pour une

fourmi, il est préférable que son espace de recherche locale dans une itération soit assez

grand.

Figure (2.5) : recherches locales successives d’une fourmi

Nous avons abouti à une méthode d’optimisation hybride, elle est composée :

- D’une recherche itérative locale réalisée individuellement par toutes les fourmis

artificielles, dans le but de trouver l’optimum local de chacune.

- D’une boucle de recherche globale collective, dans le but de trouver la meilleure

solution globale de tout l’espace de recherche.

-

2.2.2. Algorithme d’entrainement des réseaux RBF par la méthode ACO

Page 32: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

19

L’algorithme ACO-RBF permet l’optimisation d’entrainement simultané de N réseaux RBF pour

la recherche collective d’optimum dans un espace de recherche précis, cherchant un optimum,

simulant le comportement d’une colonie de N fourmis cherchant de la nourriture.

Le pseudo code de l’algorithme

- Choisir aléatoirement N vecteurs poids initiaux des réseaux RBFW1…..N : correspondent à N fourmisWa : réseau pointeurWpi : vecteurs poids performants i=1…….N

Pour chaque itération

Pour chaque réseau RBF

Etape 1 : Recherche locale dans un rayon r- Varier chaque poids autour de sa valeur actuelle wa avec un petit pas (de l’ordre

de 0.01) dans un intervalle précis [wa – r , wa +r]

Etape 2 :- Evaluer après chaque variation la performance du réseau RBF entrainé par une

fonction objectif :- Si il y a amélioration :

Affecter le contenu du vecteur Wa au vecteur Wi correspondant au réseau RBFentrainéAffecter le contenu du vecteur Wa au vecteur Wp correspondant au réseau RBFperformant (si Wa est plus performant que Wp)Fin Si

Passer au réseau RBF suivant

Passer à l’itération suivante

Si les contenus des vecteurs poids Wi ( i=1...N) et Wp ne changent plus alors ou leNbre d’itération max atteint, alors, arrêterFin Si

Page 33: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 2 Entrainement des Réseaux RBF par la méthode ’Ant Collony Optimization’ ACO

20

2.3. Conclusion

L’adaptation de la méthode ‘Ant Collony Optimization’ ACO aux réseaux RBF a été

bien réussie. L’imitation du comportement d’une colonie de fourmis a permis une

méthode hybride composée de deux cycles de recherche : un cycle global pour la

recherche d’optimum global de tout l’espace de recherche, et un cycle local permettant

la recherche d’optimum locaux de toutes les fourmis dans des sous-espaces très réduits.

A ce nivea, le mouvement de déplacement d’individu est tellement décomposé grace

aux réseaux RBF, que l’orientation da la fourmi est très raffinée et précise. Cependant

l’effort de calculs peut être énorme. Pour remédier à cela nous avons songé à utiliser

une colonie de taille petite (10 à 20 fourmis), et les simuler avec des réseaux dont la

structure est choisie réduite contenant un nombre de nœuds de la couche cachée moins

élevé (5 à 10 nœuds).

Dans ce qui suit nous allons mettre en épreuve et essayer l’algorithme sur des

exemples d’application d’émulation et de contrôle de procédés.

Page 34: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

CHAPITRE III : Simulation

Page 35: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

21

3.1. Introduction :

Dans ce chapitre nous présentons les résultats de simulation de l’optimisation

d’entrainement de réseaux de neurones RBF avec deux méthodes différentes :

- La méthode classique en utilisant la rétro-propagation

- la méthode dite ‘Ants Collony Optimization’ ACO.

Ces deux dernières vont être essayées dans les deux cas suivants :

- Pour l’émulation d’un signal très complexe d’un procédé dit ‘Box and Jenkins’

- Pour contrôler la température d’une réaction chimique dans un réacteur ouvert

complètement agité CSTR.

3.2. Emulation

3.2.1. Présentation de la structure d’émulation

Dans cette étape nous avons émulé un système non stable avec les deux méthodes proposées,

la structure utilisée est la suivante :

yr

y

Figure (3.1) : structure générale d’émulation à base de réseau RBF

Le procédé Box and Jenkins représenté par deux paquets de données d’entrées / sorties de 298

données chacun (voir annexe).

X

Système

RBF

+

-

e

Page 36: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

22

3.2.2. Résultats de la simulation

a. Méthode classique : Rétro-propagation BP-RBF

Figure (3.2) : les sorties émulée et désirée

Figure (3.3) : Signal de l’erreur de sortie

Page 37: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

23

Figure (3.4) : Signal de la fonction objectif

b. Interprétations des résultats

La configuration de la structure d’émulation et les résultats obtenus sont présentés dans le

tableau ci-dessous Tab (3.1).

Caractéristiques Valeur

Nombre de nœuds dans la couched’entrée

01

Nombre de nœuds dans la couchecachée

03

Nombre de nœuds dans la couche desortie

01

Erreur de sortie [min max] 0.04 à 1.97

Fonction Objectif [min max] 0.2950 0.9952

Tab (3.1) : Configuration et résultats de la méthode classique BP-RBF

Page 38: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

24

En utilisant la méthode classique BP nous avons constaté que l’erreur de sortie varie

de 0.04 à 1.97 figure (3.3), ce qui confirme l’efficacité de cette méthode connue. Le signal de

sortie « y» suit convenablement la consigne « yr » figure (3.2).

D’autre part la fonction objectif varie entre les valeurs 0.2950 à 0.9952, ce qui

représente une grande marge de variation figure (3.4).

b. Méthode d’optimisation par colonie de fourmis :ACO-RBF

Figure (3.5) : émulation du système avec 5 fourmis

Figure (3.6) : Signaux de la sortie réelle performante et la sortie désirée

Page 39: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

25

Figure (3.7) : Signal de l’erreur de sortie avec ACO-RBF

Figure (3.8) : Signal de la fonction objectif avec ACO-RBF

Page 40: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

26

Interprétation des résultats

La configuration de la structure du réseau RBF et résultats obtenus sont représentés dans le

tableau ci-dessous Tab (3.2).

Caractéristiques Valeur

Nombre de nœuds dans la couched’entrée

01

Nombre de nœuds dans la couchecachée

03

Nombre de nœuds dans la couche desortie

01

Nombre de fourmis de la colonie 05

Pas de recherche 0.001

Nombre de points de recherche paritération

3000

Erreur de sortie [min max] 2.5277e-05 à 0.1625

Fonction Objective [min max] 0.8798 à 1

Tab (3.2) : Configuration et Résultats de l’algorithme ACO-RBF

Nous avons constaté que tous les réseaux RBF ont eu des signaux de sorties proches de

la consigne. La sortie performante suit étroitement la sortie désirée. Tous les réseaux RBF

représentants la colonie de fourmis ont coopéré pour atteindre cette performance meilleure

figure (3.5).

Par conséquent l’erreur de sortie a diminué beaucoup, elle varie entre 2.5277e-05 à

0.1625 figure (3.7). Quant à la fonction objectif, elle est toujours proche de sa valeur maximale ‘1’.

Elle varie entre les valeurs 0.8798 à 1 figure (3.8).

On conclut ainsi que la deuxième méthode est nettement plus efficace et performante que

la première.

Page 41: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

27

3.3. Commande de la température d’une réaction chimique dans un réacteur : CSTR

3.3.1. Présentation du procédé

Dans cette partie nous avons essayé de commander la température d’une réaction

chimique dans un réacteur ouvert complètement agité (CSTR). Ce modèle non linéaire

comporte trois équations différentielles décrivant l’évolution des trois états (CA concentration

en A, T température du réacteur, Tj température de la double enveloppe) dont un seul est

mesuré (la température du réacteur).

CAin

d FCA CA k T CA

dt V

r rin j

p p

h UAdT FT T k T CA T T

dt V pc Vpc

0 0 0

w rcw cw j j

w w

p UAdT pF T T T T

dt m c m c m

Où les variables sont données par le tableau suivant :

Tab (3.3) : Paramètres du modèle mathématique du CSTR

Page 42: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

28

L'objectif est de contrôler la composition du réacteur en manipulant le taux froid et

maintenir la température du mélange de réaction T à des valeurs désirées variant entre 570° et

605° figure (3.9).

3.3.2. Résultats de simulation :

a. Méthode classique : rétro-propagation de l’erreur BP-RBF

Figure (3.9) : Signaux de sortie et sortie désirée

Figure (3.10) : signal de l’erreur de sortie

Page 43: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

29

Figure (3.11) : signal de commande par la méthode classique

Interprétation des résultats

La configuration de la structure du réseau contrôleur RBF et résultats obtenus figurent dans le

tableau Tab (3.4)

Caractéristiques Valeur

Nombre de nœuds dans la couched’entrée

01

Nombre de nœuds dans la couchecachée

11

Nombre de nœuds dans la couche desortie

01

Erreur de sortie [min max] pendant lescommutations entre les points defonctionnement

9.3972e-05 10.1657

Signal de commande u [min max] 0 30

Tab (3.4) : Configuration et Résultats de l’algorithme classique BP-RBF

La méthode BP-RBF a permis de contrôler la température de la réaction chimique avec

succès. Nous constatons que la température T suit parfaitement la consigne Tr, cependant

Page 44: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

30

pendant les commutations entre les différents points de fonctionnement (paliers de différentes

températures Tr) le signal T oscille et l’erreur de sortie atteint un seuil de 10°.

b. Méthode d’optimisation par colonie de fourmis : ACO-RBF

Dans cette étape nous avons utilisé onze réseaux RBF simulant le comportement d’une

colonie de fourmis, qui doivent communiquer et coopérer pour suivre le chemin optimal c.à.d

contrôler la température de la réaction chimique suivant la consigne fixée avec des

performances meilleure que celle de la méthode antécédente classique de la BP.

e u y

Figure (3.11) : Structure de commande en BF par la méthode ACO-RBF

Résultats de simulation :

Figure (3.12) : signaux de sortie et sortie désirée

RBF CSTRyr

+

-

Page 45: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

31

Figure (3.13) : signaux de sortie performante et sortie désirée

Figure (3.14) : signal de l’erreur de sortie

Figure (3.15) : Signal de la fonction objectif

Page 46: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

32

Figure 17 : signal de commande

Interprétation des résultats :

La configuration des structures des réseaux RBF et résultats figurent dans le tableau Tab (3.5)

Caractéristiques Valeur

Nombre de nœuds dans la couched’entrée

01

Nombre de nœuds dans la couchecachée

03

Nombre de nœuds dans la couche desortie

01

Nombre de fourmis utilisées 11

Pas de recherche 0.001

Nombre de points de recherche paritération

3000

Erreur de sortie [min max] 1.7163e-05 0.3251

Fonction Objective [min max] 0.7546 1

Signal de commande u [min max] 0 8.8803e-22

Tab (3.5) : Configuration et résultats de l’algorithme ACO-RBF

Page 47: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Chapitre 3 Simulation

33

Nous constatons que tous les signaux des sorties de tous les réseaux ont suivi la

consigne, ce qui prouve que le comportement de la colonie de suivre le même chemin est bien

imité. La coopération des réseaux a permis d’atteindre des performances considérables

(erreurs et performance de la fonction objectif), et de commuter entre les points de

fonctionnement sans aucune oscillation.

3.4. Conclusion

La méthode ‘Ants colony optimization‘ ACO a été aisément adaptée à l’entrainement

des réseaux RBF. Ces derniers ont pu imiter le comportement individuel et en colonie de

fourmis.

Les résultats de simulation ont révélé l’efficacité de l’algorithme hybride ACO-RBF,

soit en émulation de système très dynamique, soit en contrôle de procédés fortement non

linéaires. Ses résultats sont nettement meilleurs par rapport à ceux de l’algorithme classique

BP-RBF.

Page 48: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Conclusion Générale

Conclusion générale

Notre travail concerne essentiellement l’adaptation de l’algorithme d’optimisation par colonie

de fourmis pour l’entrainement des réseaux RBF. Cette adaptation vise deux objectifs :

- A imiter le comportement d’une colonie de fourmis qui peut naturellement à trouver

collectivement et intuitivement à trouver le chemin optimal de son objectif.

- A aboutir à un algorithme efficace, plus performant que les méthodes proposées par

les approches classiques.

La variation et continue du signal de commande simule la recherche raffinée et précise

d’une fourmi de la bonne direction. La convergence des sorties de tous les réseaux aux

alentours de la consigne simule le tracé du chemin commun par coopération de tous les

individus de la colonie, aboutissant à un itinéraire optimal vers l’objectif. La performance

globale a montré la collaboration de tous les agents pour construire la meilleure solution.

Les résultats de simulation ont montré l’efficacité de l’algorithme hybride ACO-RBF. Ses

résultats étaient nettement meilleures que ceux de la méthode BP-ACO.

Page 49: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Biblipgraphie :

[1] E. Bonabeau, M. Dorigo and G. Theraulaz. Inspiration for optimization from social insectbehaviour. Nature, Vol. 406, juillet 2000, pp. 39-42

[2] Johann,Dréo. (2006) Adaptation de la méthode des colonies de fourmis pour l'optimisationen variables continues. Application en génie biomédical. Thèse de doctorat. [p7]

[3] Marco Dorigo, Luca Maria Gambardella. Ant colonies for the travelling salesmanproblem.11 october 1996

[04] COSTANZO Andrea, LUONG Thé Van, MARILL Guillaume. Optimisation par colonie defourmis. 19 mai 2006, pp. 06-07.

Page 50: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

Annexe :Les paramètres entrées/sorties du Box & Jenkins

Entrée Sortie Entrée Sortie-0,109 53,8 2,834 51,2

0 53,6 2,812 500,178 53,5 2,483 48,30,339 53,5 1,929 470,373 53,4 1,485 45,80,441 53,1 1,214 45,60,461 52,7 1,239 460,348 52,4 1,608 46,90,127 52,2 1,905 47,8-0,18 52 2,023 48,2-0,588 52 1,815 48,3-1,055 52,4 0,535 47,9-1,421 53 0,122 47,2-1,52 54 0,009 47,2-1,302 54,9 0,164 48,1-0,814 56 0,671 49,4-0,475 56,8 1,019 50,6-0,193 56,8 1,146 51,50,088 56,4 1,155 51,60,435 55,7 1,112 51,20,771 55 1,121 50,50,866 54,3 1,223 50,10,875 53,2 1,257 49,80,891 52,3 1,157 49,60,987 51,6 0,913 49,41,263 51,2 0,62 49,31,775 50,8 0,255 49,21,976 50,5 -0,28 49,31,934 50 -1,08 49,71,866 49,2 -1,551 50,31,832 48,4 -1,799 51,31,767 47,9 -1,825 52,81,608 47,6 -1,456 54,41,265 47,5 -0,944 560,79 47,5 -0,57 56,90,36 47,6 -0,431 57,50,115 48,1 -0,577 57,30,088 49 -0,96 56,60,331 50 -1,616 560,645 51,1 -1,875 55,40,96 51,8 -1,891 55,41,409 51,9 -1,746 56,4

Page 51: Mémoire de fin d’étudesbib.univ-oeb.dz:8080/jspui/bitstream/123456789/8110/1/Mémoire_To… · La première partie est consacrée à la présentation de l’algorithme d’optimisation

2,67 51,7 -1,474 57,2-1,201 58