Modéliser la confiance (réputation et familiarité)

Usage des systèmes multi-agents dans l'étude des problèmes

environnementaux

Informatique et Économie• Mathématiques• DEA + THESE Alain Pave, François Bousquet (CIRAD) –

Simulations multi-agents appliquées à l’analyse de problèmes environnementaux (3 mai 2000)

• Chercheur au Centre For Policy Modelling (Manchester Metropolitan University) depuis mars 2000Projet FIRMA –interdisciplinaire / européenUsages des modèles multi-agents pour représentation formelle de processus

sociaux : rationalité d’agents, protocoles d’interactions, négociations, création d’interfaces

• Chargé de recherche (CNRS) en économie cognitive, laboratoire du GREQAM, Marseille depuis aujourd’hui.

PLAN

• Simulation multi-agents pour l'environnement : problématiques communes

• Exemples autour de la confiance : réputation et familiarité

• Questions autour de l'usage des systèmes• Ouvertures

Gestion de ressources renouvelables communes

Articuler les outils scientifiques de la gestion de ressources

Sciences bio/environnementales

Sciences sociales

• dynamiques de population• pollution, destruction, impacts humains• infrastructures

• échanges, communication• institutions,règles, normes• organisations, systèmes de décision

Analyse « systémique » de l'environnement

Système• limites• éléments en interaction• dynamique• contrôle

Système Observé• point de vue

• attentes

• émergence

But :B

Objectif

Communications

Actions

Perceptions

Représentations

Environnement

Objets de l'environnement

Un agent

- Entité réelle ou virtuelle- Autonome- Perception de son environnement (local) - Capable d’action

propriétés de base

propriétés supplémentaires– Perception de l’environnement plus générale

– connaissances partagées– « Représentations » complexes

– Mémoire– Système de croyances– Buts – Communication complexe

– Offrir ses compétences– Répondre a une demande

– Appartenance à … – Réseau, organisation– Normes

– Éventuellement capable de se reproduire

Autonomie• Séparation entre l’agent et son environnement • Capacité d’adaptation dans un univers incertain

Perception ActionDélibération

• Mais pas d'indépendance (Contraintes de l’environnement sur les agents)

Simulation : explorer les univers construits

L'évolution des systèmes dans le temps, en partant de conditions initiales données, dépend de :

(A) préférences, cognition, apprentissage individuel (E) évolution de la ressource, systèmes de « sélection » des

meilleures solutions, impossibilités matérielles (I) formes d’échange, réseaux de relations et processus de

rencontres, évolution des représentations de l’autre dans l’interaction

(O) institutions (centralisation des décisions, de l’information, planification, dépendance)

environnement avec des agents divers (individus, groupes, villes…. ) qui ont des capacités d'action, des perceptions locales et individuelles, des capacités a apprendre et interagissent (échanges de biens, d'informations)

Tester les hypothèses sur les ordres dus à la répétition des interactions entre hommes et avec la ressource

Traduction du modèle théorique en SMA

• conditions initiales, scénarios Paramètres : nombre d’agents, constante d’apprentissage, coûts Situation initiale : répartition au hasard, selon des résultats réels, des résultats de simulation

• observation de résultats : « indicateurs pertinents » pour une simulation et régularités, comparaisons entre les simulations

DuréeParamètres globaux que l’on considère comme significatifs d’une émergenceDonnées concernant les agents individuels

Faire des simulations dans la société artificielle créée

• des dynamiques locales de ressource (qualitatif et quantitatif)• des agents (buts, représentations, interactions, apprentissage)

La confiance : réputation et familiarité

Application : relation entre éleveurs et sédentaires au Nord du Cameroun

Interactions basée sur la confiance

Pour l’interaction avec UN agent : la Confiance – Observation => image de l’autre qui permet de faire des

anticipations sur son action future => choix d’action– « Trust » et « confidence »  [Luhmann, Giddens] =

articulation entre les normes et l’action individuelle

Délibération individuelle pour l’action : mécanisme de choix individuel: maximisation d’intérêt, routines, normes

– information– agrégation de représentations, négociations, apprentissage coll.

Jumel Modéliser la régularité des accès

Jumel Agents et interactions

Transhumants Villages Sédentaires bêtes bourse représentation

nombre de bons accès à l'eau coût

disponibilité nombre d'accès coût

répond aux accords pour accès à l'eau

propose accord pour accès à l'eaupropose accord pour accès à la terre transforme représentations

répond aux accords pour accès à la terre

Jumel Agents et interactions

Transhumants Villages

Sédentaires

Proposition• qualité d'accès • représentation du coût

Réponse• nombre d'accès • coût proposé

Réponsenombre d'accès

Transhumants

Proposition• quantité d'accès • représentation du coût

(nombres de propositions acceptées - nombre de propositions refusées).

Jumel : deux apprentissages et deux logiques

Deux apprentissages simultanés

relations anticipation du coût d'accès

Deux logiques pour réduire le risque de refus

répétition des relations moindre coût

vraie valeur si accès accepté, anticipation augmente si proposition refusée.

• Trois types de simulation : hasard, moindre coût,

répétition des liens.

• Des variations pour les paramètres : apprentissage,

durée d'apprentissage,

• Des perturbations : fixation de l'ordre d'arrivée,

ressource dégradée pendant une période.

Jumel Diverses simulations

0

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 400

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

Jumel : ConclusionRésultats : • moins bon usage  de la ressource au moindre coût car moins bon apprentissage de la présence des autres• moins de flexibilité dans les relations avec la représentation par les coûts : perte de l'histoire (moins « crédible » qualitativement)

Leçons et perspectives :

Régularité = considérer la FAMILIARITE COMME BUT

plutôt que comme moyen de réduire les coûts

Réputation : Créer une image

Représentation commune concernant des individus, basées sur la simple observation

de leurs actes

Ici : faire apparaître une réputation à partir de la circulation des dons dans une société

artificielle

• Participation “obligatoire” (normes de comportement strictes dans le groupe)

Partage sans question de réciprocité

• valeur supérieure du prestige

Dons de prestige difficiles à réaliser

Réputation : Le modèle de système ostentatoire

Deux types de dons avec observation et évaluation permanentes des actions

MotivationEstimeRéputation de prestigeRéputation de partageBourse

Agent

50 agentsclassement par rangs des agentsconsommation minimaleconstante variation de la motivation

Groupe

Agent donnant Agent recevant Montant Type : prestige

partage

Don

Réputation : Agents et objets

Réputation : Choix de l'agent Type de don désiré à ce tour

(sa motivation et hasard)

Pas de donDon de partageDon de prestige

TRAVAILLE

Capacité à le faire(estime et hasard)

Argent suffisant ? (tour précédent)

prestige partage

échec

échecréussite réussite

non

oui

Capacité à le faire(estime et hasard)

Argent suffisant ? (tour précédent)

nonoui

prestige partage

Groupe distribue les dons

Rep. prestigeRep. partage

Agent change ses attributs pour les choix futurs

rangsMotivation prestigeMotivation partage = C x

Estime

Agent

Estime

Rep

Agent

Rep

Agent

Rep

Agent choisit son don

Groupe classe

Réputation : simulations Estime et motivation fixes

chercher les formes de hiérarchie, régularitésévolution de ces valeurs fixesConstater l’influence d’une différenciation figée (groupe de motivation et d’estime supérieure)

Estime ou motivation évoluant par renforcementévolution des formes d'ordres trouvésplusieurs valeurs pour la caractéristique fixeplusieurs valeurs pour la constante de variation de la motivation

-10

-5

0

5

10

15

20

25

30

35

-15 -10 -5 0 5 10 15

réputation de prestige

part

age

Motivation et estime fixes et basses

0

5

10

15

20

25

30

35

40

45

50

0 10 20 30 40 50 60

réputation de prestige

répu

tatio

n de

par

tage

Motivation et estime fixes et intermédiaires

0

5

10

15

20

25

30

35

40

45

0 10 20 30 40 50 60 70 80 90

réputation de prestige

répu

tatio

n de

par

tage

Motivation et estime fixes et hautes

0

10

20

30

40

50

601 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97

1000 pas de temps

rang

Motivation et estime fixes et intermédiaires

0

5

10

15

20

25

30

-20 -10 0 10 20 30 40 50 60

réputation de prestige

répu

tatio

n de

par

tage

agents à basse estime agents sûrs d'eux

Estime mouvante et haute motivation pour le prestige

0

10

20

30

40

50

601 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97

1000 pas de temps

rang

sûr de lui sûr de lui basse estime

Estime mouvante et haute motivation pour le prestige

0

10

20

30

40

50

60

70

0 10 20 30 40 50 60 70 80 90

Motivation mouvante et haute estime

0

10

20

30

40

50

601 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97

1000 pas de temps

rang

Estime mouvante et haute motivation pour le prestige

Résultats• On crée une réputation comme un savoir commun a partir de la simple observation des actions

“~ jugement” qui se base sur la conformité passée a une norme

• Possible de faire évoluer l’estime (capacité ressentie > auto-censure) et la motivation

On obtient alors des stabilisations dans des rôles, dans l’action commune

• Caractéristiques intégralement sociales : importance du nombre de dons en tout (liée à motivation globale et estime globale)aucun agent seul ne peut changer la structure de la société

Don et échange marchand• Échange marchand : accord sur une

équivalence du produit échange, fin de la relation a la fin de l’interaction

• Échange non-marchand (don-contre-don) : – le bien qui circule n’a pas d’importance

(« désintéressement », norme de groupe), – l’acte de faire un don est

• Fondamental au niveau macro (partage, prestige)• Intérêt au niveau micro : transforme immédiatement

en “valeur” sociale = réputation– la réputation a une influence sur la rationalité et

les possibilités d’action

Familiarité RéputationHistorique

Engagement dans l’action

Présentation de soi

Présent

Individuel Social

La confiance : rapport individuel mais socialisé / diverses dimensions temporelles

Conclusion et perspectives

Autres applications des simulationsLimites et usages - projets...

Applications et thématiques

• Importance de la structure des échanges sur les émergences macro (description d’une alternance d’actions ET de l’évolution des représentations)

• Impact des interactions sur l’usage d’une ressource (contraintes liées a la situation – externalités – évolution de l’espace)

• Description d’une organisation, des niveaux d’organisation (hiérarchie des agents)

• Influence de l’hétérogénéité des agents (Balzer – Albert)• Influence de la circulation d’information, de la structure des rencontres, de la

présence d’intermédiaires….

• Sim-Delta : pêcheries de petite taille (Bousquet)• SeaLab : Stratégies de reproduction de poissons (Le Page)• Shadoc : systèmes irrigués au Sénégal (Barreteau), • Pasteur, JuMel : Terres de parcours (Bah, Rouchier)• Djemiong : Vie sauvage Cameroun (Bakam)• Kayanza : bois de feu au Burundi (Guizol)

Exemples d’applications

Thématiques originales “testables”

La simulation multi-agents pour« comprendre l’émergence » (1)

• Lier théoriquement les équilibres aux hypothèses de comportement locales [pas de lien formel actuellement]– Caractérisation précise des émergences (indicateurs

pertinents // typologie) > besoin d’intuitions « macro » • Définition des indicateurs qui permettent des caractériser

les structures émergentes• Lier les résultats macroscopiques aux définitions de : l’action

individuelle, le contexte, l’interaction, l’organisation

– Corrélation avec le modèle de base :• Délimitation formelle des champs de validité des modèles et des

domaines d’application (paramètres) • pertinence du modèle cognitif individuel (information disponible,

préférences)

Résumé

Agents

Environnement

Interactions

Organisation

Modèle Usages pour les RCC

Observer les émergences

Traduire le lien (modèle >> émergence) pour le cas traité

Produit un lienHypothèses de comportement => Scenario

(validé par un expert)

Gestion de ressources (classique)

Expertise Sciences sociales (sociologie, géographie, économie)Sciences environnementale (hydrologie, biologie, engineering)

SCIENTIFIQUES DECIDEURS

Exprime besoin

Modèles, scenario Choix de politiques selon les résultats et la pression publique

PARTIS PRENANTS

Identification de • contexte institutionnel• partis prenants• problèmes environnementaux

“Expertise” • Perception des autres• Peurs, choix possibles, hypothèses

Assessement• Modification des modèles• Negotiation

• Rend plus explicite les choix politiques et les conflits sociaux • Construit les scenarios sur l´évolution de la resource sous gestion

info

info

SCIENTIFIQUES DECIDEURS

Exprime besoin

Présente modèles, scénarios

Processus de participation (1)Jeu de rôle

Role playing games Multi-Agent Systems Players AgentsRoles Rules

Game session Simulation

(Barreteau and Bousquet, 2000)

Rencontres un par un

Un problème important : que les partis prenants s'identifient comme impliqués dans le système

Processus de participation (2)

Étendre les résultats aux réseaux : questions

Confiance, réputation- Coordination de systèmes experts ou banques de données- Protection de données - Recherche d’informations (agents mobiles)- Travail en réseau local

>> Comparaison entre centralisation et distribution pour

informations à protégersurveillance / droitspertinence et classement des données.

Perspectives

•Stabilité des structures émergentes•Échange de dons ~ information •Répartition des données / choix de mise en commun

Dans le cadre de la simulation multi-agent• Idéal : établir un lien systématique modèle d’interaction et paramétrisation ~ structure émergente

Typologie des structures émergentes / indicateurs• A court terme :

Ajouter une prise en compte du lien individuel dans la rétroaction comportementaleAjouter un second type d’échanges directement utilitaristes

Usage dans les reseaux

Modèle A-E-I-O

Modèle = Agent, Environnement, Interaction, Organisation

Dynamique = évolution du système (apprentissage individuel et collectif) dépend :

représentations et modèles d’apprentissages des agents

formes d’interactions avec l’ensemble du système réseaux de relations pré-implantés / processus de

rencontres centralisation des décisions / de l’information

A fait un don ?

A reçu un don

non- 1 token reputation integration- 1 token reputation sharing

oui

Don partage => + 1 token reputation integrationDon prestige => + 1 token reputation prestige

Reputation / Rangsmémoire = 25

Le groupe évalue les réputations

non

Don(s) partage => + 1 token reputation integrationDon(s) prestige => + 1 token reputation prestige

oui

Changements de rationalitéMotivation - réputation

motivation for prestige / motivation for sharing = Motivation constant * (prestige reputation / sharing

reputation)Estime dons faits et reçus (performance individuelle)

Reçoit don => estime : + 1Ne fait pas de don => estime : - 1

Exemple: Manta• Agents réactifs (sans

mémoire ou représentation de soi)

• Structures de communication : les stimuli dans l´environnement

• Protocole : tâche préférée

SimDelta

Étendre les résultats aux réseaux : méthodologie

Formes d’interaction- Évolution des protocoles d’interaction (rationalité pour l’interaction //

normes communes)

- Systèmes ouverts / intégration de systèmes construits de façon indépendante (permet de sélectionner les formes émergentes intéressantes)

>> Comparaison entre différents systèmes d’échanges classiques pour la création de protocoles d’interaction génériques

horlogesdroits (dans les échanges)réseaux