les colonies de fourmis : apprentissage coopératif pour le...

Comportements collectifs des insectes sociauxLe probleme du voyageur de commerce

Colonies de fourmis et TSPDiscussion et conclusion

Les colonies de fourmis : apprentissage cooperatif

pour le probleme du voyageur de commerce

Alexandre Bargeton Benjamin Deveze

Universite Pierre et Marie Curie

Presentation du projet ANIMAT

Alexandre Bargeton, Benjamin Deveze Les colonies de fourmis



1 Comportements collectifs des insectes sociauxAuto-organisation et comportementOptimisation naturelle

2 Le probleme du voyageur de commerceIntroductionResolutionHistorique

3 Colonies de fourmis et TSPIntroductionLes algorithmesResultats

4 Discussion et conclusionAutres applicationsRetombees scientifiques




Auto-organisation et comportementOptimisation naturelle

Comportements collectifs des insectes sociaux





Auto-organisation (1/4)

Definition

L’auto-organisation est un processus dans lequel un modele deniveau global emerge uniquement d’un grand nombre d’interactionsentre les composants de bas niveau du systeme. De plus, les reglesspecifiant les interactions entre composants du systeme sontsuivies en utilisant uniquement des informations locales, sansreference au modele global.






Modele

Arrangement organise d’objets dans l’espace ou le temps.

Emerger

Caracteristique d’un systeme qui apparaıt a l’imprevu de par lesinteractions entre les composants de ce systeme.






Problematique

Comment les composants d’un systeme interagissent entre euxpour produire un modele complexe ?

Solution

Retroactions

Positives : renforcement de l’actionNegatives (stabilisateur du systeme)

Communication (transfert d’information entre individus)

Signaux / IndicesDirect / Indirect





Stigmergie

Definition 1

Forme de communication passant par le biais de modifications del’environnement.

Definition 2

Interactions sociales indirectes

Interet

Les individus echangent des informations par le biais du travail encours, de l’etat d’avancement de la tache globale a accomplir.





Controle decentralise

Decentralise ?

Pas de prise de decision a un niveau donne

Pas de suivi d’ordres

Pas d’actions pre-determinees

Vision locale de l’environnement par un individu

Pas de connaissance du probleme dans son ensemble

Avantages

Robustesse (fonctionne encore apres la panne d’une de leursparties)

Flexibilite (efficace sur des problemes dynamiques)





Heterarchie dense

Heterarchie

Systemes ou les proprietes des niveaux globaux agissent plus oumoins sur les proprietes des niveaux locaux ET ou une activitedans les unites locales influence en retour les niveaux globaux.

Heterarchie dense

Heterarchie ou chaque individus peut echanger des informationsavec n’importe quel autre.





Hierarchie vs Heterarchie dense





Optimisation naturelle

Constatation

Les insectes sociaux, et les colonies de fourmis en particulier,resolvent naturellement des problemes relativement complexes.

Etudes biologiques

Comment les fourmis arrivent a resoudre collectivement desproblemes trop complexes pour un seul individu.





Problemes complexes





Pistes de pheromones

Stigmergie

Depot de pheromones (molecules volatiles) au sol pour former despistes odorantes qui pourront etre suivies par les autres fourmis.





Chemin le plus court

Stigmergie

Une colonie est capable de choisir le plus court chemin sans que lesindividus aient une vision globale du trajet.





Chemin le plus court - Un systeme dynamique




IntroductionResolutionHistorique

Le probleme du voyageur de commerce





Definition

Definition 1

Un representant doit visiter n villes. Le representant souhaite faireune tournee en visitant chaque ville au moins et exactement 1 foiset en terminant a sa ville de depart.

Definition 2

Trouver le cycle hamiltonien le plus court dans un graphe complet.





De l’optimiation difficile

Theoreme

Le probleme du voyageur de commerce est NP-Complet

Explosion combinatoire

n villes ⇒ n ! possibilites

Resolution

Utilisation d’heuristiques specifiques au probleme produisantdes solutions proches de l’optimum

Utilisation de metaheuristiques





Symetrique vs Asymetrique

Symetrique (TSP)

Tous les chemins sont tel que

dij = dji

Asymetrique (ATSP)

Au moins un chemin est tel que

dij 6= dji





Bibliotheques d’exemples

TSPLIB

Des centaines d’exemples

D’une dizaines de villes, a plusieurs dizaines de milliers

Donne les meilleurs solutions connues a ce jour

Differents type (TSP, ATSP, Sequential ordering problem -SOP, Capacited vehicle rounting proble - CVRP,...)

Gatech - Traveling Salesman Problem

Des exemples sur des problemes geographiques

D’une dizaines de villes, a plusieurs dizaines de milliers

Donne les meilleurs solutions connues a ce jour





Quelques algorithmes (1/2)

Heuritistiques

Concorde (jusqu’a 15 112 villes)

Lin-Kernighan heuristic (LKH)

Algorithmes bases sur la theorie des graphes (arbres couvrantsminimaux,...)

Basees sur branch and bound

Plus proches voisins

Insertion construction heuristic (nearest, cheapest,...)

Quick-Boruvka

Reseaux de neurones (SOM, Elastic Network,...)

...





Quelques algorithmes (2/2)

Metaheuritistique - Recherche locale

Methode de descente

Recuit simule, grand deluge, record en record

Recherche tabou

Metaheuritistique - Populations

Algorithmes evolutionnaires, algorithmes genetiques

Colonies de fourmis





Historique

1954 : 49 villes

1971 : 64 villes

1975 : 67 villes

1977 : 120 villes

1980 : 318 villes

1987 : 532 villes

1987 : 666 villes

1987 : 2392 villes

1994 : 7397 villes

1998 : 13509 villes

2001 : 15112 villes

2004 : 24978 villes





Aujourd’hui - La suede 24 978 villes





Demain - Le monde 1 504 711 villes




IntroductionLes algorithmesResultats

Les colonies de fourmis et le probleme du voyageur de commerce





Idee generale

1 : Au debut, tous les chemins sont explores (depot de pistes depheromones).





Idee generale

2 : Le chemin le plus court est plus renforce en pheromones que lesautres





Idee generale

3 : L’evaporation des pheromones permet d’eliminer les moinsbonnes solutions





Ant System (AS)

Algorithme AS

1 : Chaque fourmi k parcourt le graphe et construit un trajetcomplet. Le choix de passer de la ville i a la ville j est definie par laprobabilite

pk(i , j) =

[τ(i ,j)].[η(i ,j)]βP

l∈Jk(i)[τ(i ,l)].[η(i ,l)]βsi j ∈ Jk(i)

0 sinon(1)

avec

η(i , l) =1

dil





Ant System (AS)

Algorithme AS - Intensification

2 : Chaque fourmi k depose une quantite de pheromone le long deson parcours qui depend de la qualite de celui-ci

∆τk(i , j) =

{

1Lk

si (i , j) ∈ circuit effectue par la fourmi k

0 sinon(2)





Ant System (AS)

Algorithme AS - Diversification

3 : Pour eviter d’etre piege dans des solutions sous optimales, unprocessus d’oublie / d’evaporation des pheromones a lieu

τ(i , j) = (1 − α).τ(i , j) +∑

k

∆τk(i , j) (3)





Ant System and elitism

Elitisme

Dans cette variante d’AS, la meilleure fourmi depose une quantitede pheromone plus importante que ses congeneres.Le but est d’accroıtre la probabilite des autres fourmis d’explorer lasolution la plus prometteuse.





Max-Min Ant System (MMAS)

MMAS

Variante de l’algorithme AS.

Seule la meilleure fourmi met a jour une piste de pheromone

Les valeurs des pistes sont bornees par τmin et τmax

Les pistes sont initialisees a la valeur maximale τmax

La mise a jour des pistes se fait de facon proportionnelle, lespistes les plus fortes etant moins renforcees que les plus faibles





Ant Colony System (ACS)

ACS - Choix du parcours

1 : Chaque fourmi k parcourt le graphe et construit un trajetcomplet. Le choix de passer de la ville i a la ville j est definie par

j =

{

argmaxz∈Jk (i)([τ(i , z)].[η(i , z)]β) si q ≤ q0 (intensification)

S sinon (diversification)

(4)avec q un nombre aleatoire sur [0..1], q0 un parametre et S uneville selectionnee selon la meme probablite que dans AS

pk(i , j) =

[τ(i ,j)].[η(i ,j)]βP

l∈Jk(i)[τ(i ,l)].[η(i ,l)]βsi j ∈ Jk(i)

0 sinon(5)






ACS - Mise a jour locale

2 : Chaque fourmi k depose une quantite de pheromone le long deson parcours

τ(i , j) = (1 − ρ).τ(i , j) + ρ.τ0 (6)

avec τ0 la valeur initiale de la piste.A chaque passage la piste voit donc sa quantite de pheromonediminuer (diversification).






ACS - Mise a jour global

2 : La meilleur fourmi “globale” (i.e. depuis le debut del’exploration) depose une quantite de pheromone le long de sonparcours qui depend de la qualite de celui-ci

τ(i , j) = (1 − α).τ(i , j) + α.∆τ(i , j) (7)

avec ∆τ(i , j) = (Lgb)−1

Seule la meilleur piste est mise a jour, ce qui participe a uneintensification.





ACS with Q-learning (Ant-Q)

Ant-Q

Dans cette variante d’ACS, la regle de mise a jour locale estinspiree du Q-Learning.

τ(i , j) = (1 − ρ).τ(i , j) + ρ.∆τ(i , j) (8)

avec∆τ(i , j) = γ.maxz∈Jk(j)τ(j , z)

Cette version est aussi performante qu’ACS mais plus gourmandeen temps de calcul.





Ant Colony System et recherche locale (ACS-3opt)

ACS-3opt

Hybridation entre ACS et une recherche locale de type 3opt.La solution de chaque fourmi est amelioree par 3opt (et donc lesramene a l’optimum local le plus proche).





ACS avec d’autres ameliorations

Ameliorations

Utilisation de liste de candidats (taille = 15)

Utilisation de “don’t look bit”

Toutes les possibilites de 3-opt ne sont pas permises en ATSP

Utilisation de liste de candidats dans 3opt

Autres recherches locales (ex : Lin-Kernighan)

Representations memoires avances pour stocker les cheminsdes fourmis (Splay tree, Two level tree, Segment tree,...)

Attention a l’implementation

...





Choix des parametres (ACS)

Parametres

τ0 = (n.Lnn)−1

10 fourmis

α = ρ = 0.1

β = 2

q0 = 0.9





Implementation

Ce que nous avons implemente en C++

AS

AS-Elitism

MMAS

ACS

ACS-3opt

Genetic Algorithm with Relative Order Crossover (ROX)

GA with nearest neightbor initialization

Simulated Annealing

Iterative nearest neightbors

3opt





Interface





Comparaison des regles de mise a jour locale

Name ACS ACS (∆τ(r, s) = 0) ACS sans maj. localeAvg. Dev. Best Avg. Dev. Best Avg. Dev. Best

dj89 6748,3 47,67 6656 6771,3 69,93 6658 6752,5 45.90 6663d198 18299.2 457.16 17291 18691.3 453.33 17797 18740 603.40 17968





Importance des pheromones et de l’heuristique





TSP

Name AS AS-Elitism MMAS ACS ACS CL ACS3OPT ACS3OPT CL Optidj98 6767 6714 6656 6656 6656 6656 6656 6656

1,668% 0,871% 0% 0% 0% 0% 0%d198 18418 17404 17737 17611 17294 16036 16432 15780

17,098% 10,292% 11,603% 11,603% 9,594% 1,622% 4,132%

Name Genetic Genetic NNI INN 3OPT SA Optidj98 6656 6656 6766 6656 6744 6656

0% 0% 1,653% 0% 14,844%d198 16542 16233 17620 16050 99693 15780

4,829% 2,871% 11,660% 1,7111% 531,768%





ATSP

Name AS AS-Elitism MMAS ACS ACS CL ACS3OPT Optift70 40375 39668 39958 40699 40912 38926 38673

4,401% 2,573% 3,323% 5,239% 5,790% 0,654%ftv170 6385 6121 5710 6881 6459 5791 2755

131,760% 122,178% 107,260% 149,764% 134,446% 110,200%

Name Genetic Genetic NNI INN 3OPT SA Optift70 43423 40666 41815 40356 39457 38673

12,282% 5,153% 8,125% 4,352% 2,027%ftv170 8967 6947 7432 7275 7138 2755

225,481% 152,160% 169,764% 164,065% 159,093%




Autres applicationsRetombees scientifiques

Discussion et conclusion





Problemes des tournees de vehicules

TSP avec contraintes

Capacite des vehicules

Fenetre de temps

Precedences entre visites

Temps de travail

...

Algorithme ACS - PPC

Hybridation entre ACS et de la programmation par contrainte.






Visites suivantes possibles avant propagation des contraintes






Visites suivantes possibles apres propagation des containtes






Choix de la ville suivante, et propagation des contraintes






Echec de la propagation ⇒ backtracking





Autres applications discretes

Ant et contraintes

Affectation quadratique

Planification

Ordonnancement sequentiel

Routage sur reseau

Coloriage de graphe

Sac a dos multi-dimensionnel

Reconstruction d’arbres phylogenetiques

IA de jeu d’echecs (Drogoul 95)

...





Continuous Ant Colony Algorithm - CACO

Choix d’une region : pi (t) = [τi (t)].[ηi (t)]β

P

j [τj(t)].[ηj (t)]β

Deplacement dans une region : δr(t,R) = R .(1 − u(1−t/T )c )





Adaptation dans le cas continu

Ant et problemes continus

CACO (Bilchev 95, Wodrich 97, Mathur 00)

A method for Solving Optimization Problems in ContinuousSpace Using Ant Colony Algorithm (Ling 04)methode hybride fourmis + genetique

CIAC - Continuous Interacting Ant Colony (Dreo 02)

communication stigmergique + echanges directes

API - Pachycondyla APIcalis (Monmarche 00)inspire du compotement tandem-running (pas decommunication stigmergique)

...





Retombees scientifiques

ACO - Ant Colony Optimization

Application avec succes des ACO a de nombreux problemescombinatoires.

Appliques a des problemes continus.

Application a des problemes dynamique (ex : AntNet, routagereseau).

“Memoire adaptative”

Grand engouement internationnal pour les ACO, conferenceinternationale (la 5eme en 2006)

Communaute grandissante.





Ant prize


Bibliographie

M. Dorigo and L.M. Gambardella Ant Colony System : ACooperative Learning Approach to the Traveling SalesmanProblem, IEEE Transaction on Evolutionary Computation,1(1) :53-66 (1997)

T. Stutzle and H. Hoos Improvements on the Ant-System :Introducing the MAX-MIN Ant System, 1997

K. Helsgaun An effective Implementation of the Lin-KernighanTraveling Salesman Heuristic, European Journal of OperationalResearch 126(1), 106-130 (2000)

M. Sevaux Metaheuristiques strategies pour l’optimisation dela production de biens et de services, Technical report, UVHC,2004


Bibliographie

S. Ando and H. Iba Ant algorithm for construction ofevolutionary tree, IEEE Congress of Evolutionary Computation,p1552-1557, 2002

M.L. Fredman, D.S. Johnson, L.A. McGeoch and G.Ostheimer Data Strcutures for Traveling Salesmen, J.Algorithms, 18 :3 (1995), pp 432-479

D.S. Johnson and L.A. McGeoch The Traveling SalesmanProblem : A case study in Local Optimization, Local Search inCombinatorial Optimization, E.H.L Aarts and J.K Lenstra(ditors), John Wiley and Sons, Ltd., 1997, pp. 215-310

P. Moscto On Genetic Crossover Operators for Relative OrderPreservation, Caltech Concurrent Computation Program,Report C3P-778, (1989)


Bibliographie

A. Drogoul When Ants Play Chess (Or Can Strategies Emergefrom Tactical Behaviours ?), From Reaction to Cognition, FifthEuropean Workshop on Modeling Autonomous Agents in aMulti-Agent World, pp 13-27, (1995)

J. Dreo, A. Petrowski, P. Siarry and E. TaillardMetaheuristiques pour l’optimisation difficile, Eyrolles 2003


Des Questions ?


les colonies de fourmis : apprentissage coopératif pour le...

Documents