romaric charton directeurs de thèse : anne boyer et jean-paul haton
DESCRIPTION
Des agents intelligents dans un environnement de communication multimédia : vers la conception de services adaptatifs. Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON Directeur entreprise : Michel LEDERMAN Mardi 2 décembre 2003. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/1.jpg)
Des agents intelligents dans un environnement de communication multimédia
: vers la conception de services adaptatifs
Romaric CHARTON
Directeurs de thèse : Anne BOYER et Jean-Paul HATON
Directeur entreprise : Michel LEDERMAN
Mardi 2 décembre 2003
![Page 2: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/2.jpg)
2/51
Les services de communication multimédia
Service :"Ce que l'on fait pour être utile, à titre onéreux ou non" (Larousse 1998).
Mon étude : services réalisés sur des supports et réseaux informatiques
• qui utilisent des médias de communication divers :– le téléphone,
– la messagerie électronique,
– le web, etc.
• pour permettre de :– passer une commande en ligne,
– rechercher une information,
– gérer un portefeuille de titres boursiers, etc.
![Page 3: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/3.jpg)
3/51
Positionnement des travaux
Fournir des services adaptatifs
Théorie des probabilités (Modélisation stochastique)
Communication multimédia
• applications concrètes
• environnements incertains
Nature des services
Interactions dans les h-SMA
Approche Agent
Systèmes Multi-Agents hétérogènes
(h-SMA)
Acteurs
Apprentissage
• déroulement
• préférences de l'utilisateur
Adaptation
Théorie de l'utilité
Indices
• satisfaction
• coûts
Évaluation
![Page 4: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/4.jpg)
4/51
Plan de l'exposé
Contexte et problématique1
2
3
4
5
Approche théorique
Les services de recherche d'informations
Mise en œuvre des propositions
Conclusion et perspectives
![Page 5: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/5.jpg)
5/51
Partie 1 - Contexte et problématique
Contexte et problématique1
2
3
4
5
Approche théorique
Les services de recherche d'informations
Mise en œuvre des propositions
Conclusion et perspectives
![Page 6: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/6.jpg)
6/51
Collaboration avec la société DIALOCA
• Création : octobre 1996 à Paris
• Domaine : Gestion de la relation client et langage naturel
• Clients : Danone, Ministère de l'Intérieur, PSA, CNP, TopTrades, etc.
• Large palette d'applications Multimédia, interactives et grand public– accès au web par téléphone,– support de bornes interactives et de centres d'appels,– gestion de télé-réunions ...
• Plate-forme UniMédia
1
![Page 7: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/7.jpg)
7/51
Applications
Déroulement d'un service sur la plate-forme UniMédia
PMMUAdministration
1
Pilotes
SGBDWeb Téléphone FaxE-Mail ...
Moteurs
Synthèse de paroleReconnaissance de parole
Authentification...
E-Nots : notification téléphonique
démarrage
ExpéditeurDestinataire
(abonné)
![Page 8: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/8.jpg)
8/51
Objectifs de la collaboration
Applicationsexistantes
(scripts statiques)
Objectifs (utiliser des méthodes IA)
• Faciliter la conception et le déroulement des applications
• Adapter leur exécution au comportement de l'utilisateur et à ses préférences
Plate-forme UniMédia
+ contrainte : garder l'existant
Scripts (automates finis déterministes)
• Complexité (cas particuliers / erreurs)
• Modèle implicite et figé de l'utilisateur
• Besoin de connaissances expertes
Services adaptatifs
1
Comportement d'un agent
![Page 9: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/9.jpg)
9/51
Environnement
Agent
Pourquoi une approche agent ?
Besoin de propriétés :
• autonomie
• prise de décisions
• communiquer
• gérer des connaissances
• gérer des ressources
1
Perceptions
Capteurs
Actions
Effecteurs
ComportementSatisfaction
Agent à rationalité limitée (Russell et Norvig 1995)
• comportement utile
![Page 10: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/10.jpg)
10/51
Réussite de la tâche accomplie du point de vue du concepteur
Un choix classique :
Coûts d'utilisation des ressources (propres / détenues par des tiers)
U = R - C
Réussite de la tâche accomplie du point de vue des utilisateurs
Notre choix plus "orienté" vers les services adaptatifs
Utilité et évaluation des services
Problème : Comment mesurer la satisfaction de l'utilisateur ?
Nombreux indices possibles difficile à définir
1
Approximation : une valeur numérique associée actions de l'utilisateur
Idée que l'agent estime son utilité à partir de ses perceptions des autres ...
![Page 11: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/11.jpg)
11/51
Systèmes Multi-Agents (Ferber 1995)
Un Système Multi-Agent (SMA)
Interaction
objets
Environnement
Interaction
Coopération
Collaboration coordonnée
buts compatibles
capacités individuelles insuffisantes
1
Réaliser un service de façon collective
![Page 12: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/12.jpg)
12/51
?
Langage L A
Agent A
A quelle heure mon avion part-t-il ?
Et si A est un humain ?
Communication et hétérogénéité
Contrainte : Sachant que A et B ne sont pas "modifiables"
Comment faire interagir A et B ?
Difficultés de l'interaction Homme-SMA (Grislin-LeSturgeon et Peninou 1998)
• comment déterminer ce que A veut ?
• comment prévoir son comportement ?
• que préfère-t-il ? ...
1
Agent B
,?
Langage L B
![Page 13: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/13.jpg)
13/51
Problématique générale
1
Difficultés à prendre en compte• Interaction avec des agents humains
• Applications réelles environnements incertains
• Réponse à des besoins industriels
Applicative
Comment faciliter la conception et le contrôle de services adaptatifs ?
Scientifique
Comment coordonner un ensemble d'agents hétérogènes pour réaliser
coopérativement une tâche ?
![Page 14: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/14.jpg)
14/51
Partie 2 - Approche Théorique
Contexte et problématique1
2
3
4
5
Approche théorique
Les services de recherche d'informations
Mise en œuvre des propositions
Conclusion et perspectives
![Page 15: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/15.jpg)
15/51
Environnement physique A P
Environnement logiciel A L
Les Systèmes Multi-Agents hétérogènes (h-SMA)
NN N
Agents non-contrôlés A NC
Utilisateurs, clients, ...
Agents contrôlés A C
Comparables à UniMédiaC
C
CC
P
Agents partiellement contrôlés A PC
Experts, sites partenaires, ...P
P
P
Liens d'interaction
Ensemble A d'agents de nature très différente : humains, logiciels, etc.
• Partition selon la nature des agents et de leur environnement
• Partition selon l'influence et le degré de connaissance que l'on a sur les agents
2
![Page 16: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/16.jpg)
16/51
Une solution au problème de l'hétérogénéité
Agent A
Besoins
Agent B
Capacités
Agent C
Coordinateur
Langage L ALangage L B
Introduire un agent coordinateur pour amener A et B à coopérer en modifiant leurs interactions.
2
Coordination : colle qui lie des activités (Gelernter et Carriero 1992)
![Page 17: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/17.jpg)
17/51
Comment obtenir le comportement du coordinateur ?
Statique Dynamique
Monde de l'agent
Apprentissage
Expériences ou traces
Planification
Modèle connu explicitement
Automates : programmes, scripts,
règles, etc.
Connaissances implicites du concepteur
2
![Page 18: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/18.jpg)
18/51
Debut :
SEQ{
send, NULL, "debut.mod",
SEQ {PARAMS},
SEQ {BRANCH}
};
Etape_Demande :
SEQ {
getstrings, NULL, "demande.mod",
SEQ {PARAMS},
SEQ{ BRANCH , SEQ { ReturnCode,
SEQ{"Media_IF_TypeUnknown", Etape_Demande },
SEQ{"Media_UserInactivity", Etape_Demande }}
}
}; ...
Langage de scénarisation UniMédia
D'un coordinateur à base de scripts ...
2
Attente
Attente
RéponseConnue
Transmettre question
Automate de comportement
Demande à traiter
Recevoir demande
...
Échec
AnalyseFAQ
Envoyer réponse Recevoir
réponse
Abstraction
![Page 19: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/19.jpg)
19/51
Attente
G 3 : Comportement d'un expert
Traiter la demande
Recevoir demande
...
Envoyer réponse
Réponse trouvée
Expert (A PPC)
... à des schémas d'interaction
2
Attente
...
Besoin
Poser question
G 1 : Comportement de l'utilisateur
Recevoir réponse
Utilisateur (A PC)
Attente
Attente
RéponseConnue
Transmettre question
G 2 : Comportement du coordinateur
Demande à traiter
Recevoir demande
...
ÉchecAnalyseFAQ
Envoyer réponse
Recevoir réponse
Coordinateur (A LC)
Liens d'interaction
![Page 20: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/20.jpg)
20/51
Comment structurer les relations ?
Organisation : agencement de relations entre composants ou individus qui produit une unité, ou système, dotée de qualités inconnues au niveau des composants ou individus. (Ferber 1995)
Structure organisationnelle
subordination
Rôles?
?
?
Organisation concrète
instanciation
Endosser un rôle :
• satisfaire des contraintes sur ses capacités
• adopter un comportement typique
2
![Page 21: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/21.jpg)
21/51
Structures organisationnelles et classes de service
S
Recherche d'informations et
assistance à la navigation
S S
U
C
U
C
U
Coordination simple
U
C
UU
S S S
Télé-réunionT
U
C
S
U
Traitement intelligent de l'information
Diagnostic, filtrage ...
Rôles génériques
U
C
S
T
Utilisateur
Coordinateur
Source
Traitement
2
![Page 22: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/22.jpg)
22/51
Partie 3 - Les services de recherche d'informations
Contexte et problématique1
2
3
4
5
Approche théorique
Les services de recherche d'informations
Mise en œuvre des propositions
Conclusion et perspectives
![Page 23: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/23.jpg)
23/51
Assistance à la recherche d'information
Contraintes :
• Utilisateurs : occasionnel, novice
• Sources d'informations : non propriété, coût
Objectif :
Améliorer la qualité du service fourni par rapport à la recherche classique
3
CoordinateurUtilisateur Source
Source
Source
![Page 24: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/24.jpg)
24/51
Fournit trop de résultats, bruits ...
Ne sait pas formuler sa requête
Exemple de problème : le choix d'un vol
Client
Interaction
Souhait : réserver un vol
de Paris à Moscou
Requête
Résultats
Coordinateur
3
Source d'informations
![Page 25: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/25.jpg)
25/51
Rôle de l'agent coordinateur
Ses buts :
• Construire une requête correspondant le plus au besoin de l'utilisateur
• Fournir des résultats appropriés à l'utilisateur
• Maximiser son utilité :– Maximiser la satisfaction de l'utilisateur
– Minimiser les coûts liés à la source d'information
A tout moment, il peut
• Poser une question à l'utilisateur au sujet de la requête
• Envoyer la requête à la source d'information
• Proposer des résultats à l'utilisateur en nombre limité
En retour, il perçoit les réponses des autres agents :
valeurs, résultats, sélections, rejets …
3
![Page 26: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/26.jpg)
26/51
Problème : Comment obtenir le comportement de coordination adéquat ?
Solution proposée : Trouver une stratégie de coordination optimale
Coordination et stratégies de coordination
Stratégie de coordination : Façon de choisir les actions pour coordonner la suite des interactions.
Coordination : Contrôle d'une séquence d'interactions (questions-réponses)
Réussie : • Sélection d'un résultat
• Absence de résultat constatée au niveau de la source
3
![Page 27: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/27.jpg)
27/51
Caractéristiques du coordinateur
Gérer l'incertitude et les connaissances incomplètes
• Utilisateurs : – Mauvaise compréhension des questions
– Connaissance partielle de leurs besoins
• Environnement : – Bruits pendant la communication
– Capteurs imparfaits
Proposition :
• Modéliser la coordination avec un Processus de Décision Markovien
• Calculer un comportement stochastique de coordination
3
![Page 28: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/28.jpg)
28/51
• Modèle Stochastique <S,A,T,R>
Processus de Décision Markovien (MDP)
• Décider selon une politique : S A [0;1]
s2
s0 s1
– États S={s0,s1,s2}
a0
a1
a1
a0
a0
a1– Actions A={a0,a1}
0.3
0.7
0.2
0.8
0.4
0.6
0.9
0.1
0.5 0.5
0.5
0.5
– Transition T : S A S [0;1] avec T(s,a,s') = P (s'|s,a)
– Récompense R : S A S IR
Calculer une stratégie de coordination
revient à Calculer une politique stochastique
3
• Optimiser la récompense espérée
0i irR
: Attenuation
![Page 29: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/29.jpg)
29/51
Environnement du coordinateur
Suite d'interactions(MDP à contrôler)
Un MDP pour contrôler les interactions
Définir
• S : L'espace d'états
• A : Les actions du coordinateur
• T : Les transitions
• R : Les récompenses
3
S, R
T
A
Coordinateur
Utilisateur Source
![Page 30: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/30.jpg)
30/51
Etats : Comment décrire les requêtes et les objets ?
Approche de remplissage de formulaire (Goddeau et al. 1996) :
Référentiel construit sur un ensemble d'attributs
Ref = { At 1, … , At m }
Exemple de référentiel :• Départ :{ Londres, Genève, Paris, Berlin, … }
• Arrivée:{ Pékin, Moscou, New-York, … }
• Classe : {Première, Affaire, Économique, ... }
3
![Page 31: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/31.jpg)
31/51
Espace d'états
Coordinateur
Utilisateur Source
• L'ensemble des objets connus qui correspondent à la requête courante
R = { vol 1; ... ; vol r}
R
3
• La requête partielle courante de l'utilisateur
U = { ( ea 1 , val 1 ) ; ... ; ( ea m , val m ) }
État d'un attribut :
• Ouvert ea = ‘?’ val est inconnue
• Affecté ea = ‘A’ val est affectée
• Fermé ea = ‘F’ val est inconnue et ne peut plus être demandée
U
Espace d'états = U R
• U est l'ensemble des requêtes partielles utilisateur
• R est l'ensemble des parties des objets de la source d'informations
= U
R
![Page 32: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/32.jpg)
32/51
Abstraction des états ( S)
Taille de l'espace d'états : (2 n +1) (2+i) m
– n : nombre total d'objets de la source d'information
– m : nombre d'attributs
– i : nombre moyen de valeurs par attribut
Taille de l'espace d'états abstrait S : 4 3m
Nombre de réponses
0 nrmax
qr = 0 qr = + qr = * qr = ?
Inconnu
(vide)
Une idée : une abstraction S de l'espace d'états pour définir le MDP
en conservant : s U {?, A, F} m l'état d'affectation des m attributs dans U
s R {?, 0, +, *} la quantité de réponses sur R
3
![Page 33: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/33.jpg)
33/51
Actions du coordinateur
Coordinateur
Utilisateur Source
Requête
• Interroger la source d'informations
• Demander à l'utilisateur de sélectionner un résultat
ou résultats
• Poser une question sur un attribut à l'utilisateurExemple pour la classe de voyage :
• Valuation : “En quelle classe souhaitez-vous voyager ?”
• Proposition : “Voulez-vous voyager en classe [affaire] ?”
• Confirmation : “Êtes-vous sûr de vouloir voyager en classe [économique] ?”
Question
3
![Page 34: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/34.jpg)
34/51
Récompenses
Elles sont obtenues :Coordinateur
Utilisateur Source
Sélection, déconnexion
• par l'interaction avec l'utilisateur+ R selection l'utilisateur sélectionne une proposition
- R timeout l'interaction est trop longue (déconnexion / seuil)
Réponses
• par l'interaction avec la source d'informations+ R noresp pas de réponses pour une requête totalement spécifiée
- R overnum trop de réponses (quantité de réponses s R = *)
3
![Page 35: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/35.jpg)
35/51
Exemple de coordination pour la réservation de vol
État Abstraction s Action du coordinateur Réponses Récompense
<?, ?, ? | ?> <?, ?, ? | ?> Demander ville départ Paris 0
<Paris, ?, ? | ?> <A, ?, ? | ?> Envoyer la requête 1700 vols - R Overnum
<Paris, ?, ? | {nr Max premiers vols} > <A, ?, ? | *> Demander destination Moscou 0
<Paris, Moscou, ? | ?> <A, A, ? | ?> Demander classe de vol Ne sait pas 0
<Paris, Moscou, F | ?> <A, A, F | ?> Envoyer la requête 4 vols 0
<Paris, Moscou, F | {4 vols}> <A, A, F | +> Demander une sélection Sélection 2 + R Sélection
CoordinateurUtilisateur SourceLégende :
3
![Page 36: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/36.jpg)
36/51
Calculer la stratégie de coordination
Problème : Deux parties du modèle restent inconnues !• T = f (utilisateur, source d'information)• R = f (utilisateur, source d'information)
Apprendre la stratégie de coordination par renforcement
3
![Page 37: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/37.jpg)
37/51
Apprentissage par Renforcement (Sutton et Barto 1998)
Observation
Action
Transition
3
Renforcement (récompenses)
Système Dynamique
Besoin d'une méthode d'apprentissage en ligne
Algorithme du Q-Learning (Watkins 1989)
qui fonctionne par la mise à jour de Q-Valeurs (Q : S A IR)
sQ(s,a)
as'V(s) V(s')
![Page 38: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/38.jpg)
38/51
Architecture du coordinateur
Module de Décision (Q-Learning)
Gestionnaire d'Interactions
Module de Représentation
(état réel)
Agent Utilisateur
Agent Source d'Information
Questions et résultats
Actions sélectionnées
Requêtes
Récompenses
Réponses et sélections
Mise à jour
Résultats
Etat Abstrait
Agent Coordinateur
3
Gestionnaire des profils utilisateurs
Préférences
![Page 39: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/39.jpg)
39/51
Gestion des préférences des utilisateurs
Ensemble de profils Prof = { prof 0 , prof 1 , ... , profn }
avec un profil par défaut prof 0 pour les nouveaux utilisateurs.
Première Affaire Economique
0,05 0,2 0,75p(classe)
3
Un profil prof i
• mémorise, pour chaque attribut At i , la probabilité p ( v k | prof i , At j ) que cet utilisateur préfère la valeur v k
• est initialisé avec des distributions uniformes• est mis à jour à la sélection d'une proposition
![Page 40: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/40.jpg)
40/51
Partie 4 -Mise en œuvre
Contexte et problématique1
2
3
4
5
Approche théorique
Les services de recherche d'informations
Mise en œuvre des propositions
Conclusion et perspectives
![Page 41: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/41.jpg)
41/51
UniMédia Modélisation
Modélisation d'UniMédia
Objectif : Se doter d'un modèle conceptuel pour fournir les services dans les h-SMA
Proposition : Une modélisation agent à 4 niveaux
Utilisation : • sur les services Dialoca
• pour des applications de l'équipe MAIA (Diatélic, Cycab, ...)
4
Service(rôles et classes de service)
U C S T
ApplicationsAgent
(nature / contrôlabilité)
Moteurs et pilotes Ressource(capteurs / effecteurs)
Média Média (canaux média et "prises")
![Page 42: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/42.jpg)
42/51
Implantation de la maquette SmallMu
Réalisation :
• Une bibliothèque fournissant un corps d'agent capable d'accueillir
– un cerveau pour le comportement,
– des membres pour percevoir et agir.
• Un ensemble de membres dédiés à l'environnement multimédia :– Reconnaissance et synthèse de parole,
– E-Mail,
– SMS (émulé)
Objectifs : Pouvoir travailler sur un agent logiciel contrôlé reproduisant ou émulant les fonctionnalités nécessaires
Utilisation : Prototype de coordinateur pour la réservation de vol
4
![Page 43: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/43.jpg)
43/51
Expérimentations sur l'application de réservation de vol
Entraînement du coordinateur avec
• 3 attributs (villes de départ/arrivée et classe)
• 4 attributs (+ période de la journée de départ)
• 5 attributs (+ la compagnie aérienne)
Nb. d'attributs
(m)
Nb. états abstraits (4.3 m)
Nb. d'actions
(3.m+2)
Nb. de Q-Valeurs
((12.m+8).3 m)
3 108 11 1 188
4 324 14 4 536
5 972 17 16 524
Croissance de la complexité en fonction du nombre des attributs :
4
![Page 44: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/44.jpg)
44/51
Résultats d'apprentissagetaux de coordinations réussies
• 3 et 4 attributs 99% de coordinations réussies (proche de l'optimum)
• 5 attributs 90% de réussite (plus de temps nécessaire pour converger)
0
10
20
30
40
50
60
70
80
90
100
0 20000 40000 60000 80000 100000 120000 140000 160000 180000 200000
Nombre d'itérations
% d
e s
es
sio
ns
ré
us
sie
s (
sé
lec
tio
n /
ab
se
nc
e d
e r
ép
on
se
)
3 attributs
4 attributs
5 attributs
4
![Page 45: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/45.jpg)
45/51
Résultats d'apprentissagelongueur moyenne de coordination
• 3 et 4 attributs longueur minimale de la coordination atteinte
• 5 attributs coordination plus longue
0
5
10
15
20
25
30
35
40
45
50
0 20000 40000 60000 80000 100000 120000 140000 160000 180000 200000
Nombre d'itérations
No
mb
re m
oye
n d
'act
ion
s d
u c
oo
rdin
ateu
r p
ar s
essi
on
3 attributs
4 attributs
5 attributs
4
![Page 46: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/46.jpg)
46/51
Critique des comportements obtenus
4
Problème : difficulté d'obtenir un corpus de traces d'interaction réelles utilisation d'un utilisateur simulé avec un comportement naïf
Grand nombre d'interactions nécessaires besoin d'une phase d'apprentissage préalable
Constats : + stratégie optimale obtenue / adaptation au comportement simulé- manque de richesse dans les stratégies de coordination
Futur : Simulateur d'utilisateurs réels comportements plus intéressants
![Page 47: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/47.jpg)
47/51
Partie 5 – Conclusion et perspectives
Contexte et problématique1
2
3
4
5
Approche théorique
Les services de recherche d'informations
Mise en œuvre des propositions
Conclusion et perspectives
![Page 48: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/48.jpg)
48/51
Conclusion
5
Rattachement à un mouvement récent utilisant l'apprentissage par renforcement pour des applications réelles avec des humains.
Aspect stratégie de coordinationApports• Possibilité d'apprendre ces stratégies par renforcement en utilisant des MDP• Réponse aux besoins du plus grand nombre comme du particulier avec les profils
Limites• Observabilité partielle de l'utilisateur au travers des perceptions de l'agent• Baisse des performances pour des tâches plus complexes
Aspect modélisation logicielle Apports : • Passage à une approche "orientée utilisateur" pour les services• Solution incrémentale
![Page 49: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/49.jpg)
49/51
Perspectives
5
• Pour résoudre des tâches plus complexes – Reformuler l'espace d'états abstrait pour mieux guider le
processus dans l'espace réel.– Décomposition hiérarchique (H-MPD et H-POMDP) avec une
gestion des dépendances entre les attributs – Passage à plusieurs sources et aux autres classes de services– Composition de services (plusieurs coordinateurs)
• Utiliser d'autres modèles/méthodes probabilistes :– Apprendre à partir de politiques pré-établies
– Apprendre en généralisant le modèle (DynaQ, Classifieurs)
– Approche POMDP (Q-learning modifié, Gradient de Baxter)
![Page 50: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/50.jpg)
50/51
Références
(Ferber 1995) Ferber J., Les Systèmes Multi-Agents. Vers une intelligence collective. Interéditions, 1995.
(Gelernter et Carriero 1992) Gelernter D. et Carriero N., Coordination Languages and Their Significance. Communications of the ACM, n°35(2), pp. 96-107, 1992.
(Grislin-LeSturgeon et Peninou 1998) Grislin-Le Sturgeon E. et Péninou A., Les interactions Homme-SMA : réflexions et problématiques de conception. Systèmes Multi-Agents de l'interaction à la Socialité. Dans JFIADSMA'98, Hermès, pp. 133-145, 1998.
(Goddeau et al. 1996) Goddeau D., Meng H., Polifroni J., Seneff S., Busayapongchaiy S., A Form-Based Dialogue Manager For Spoken Language Applications, In Proceedings of ICSLP'96, Philadelphia, 1996.
(Larousse 1998) Le petit Larousse 1998, Larousse-Bordas, 1998.
(Russell et Norvig 1995) Russell S. et Norvig P., Artificial Intelligence: A Modern Approach, The Intelligent Agent Book. Prentice Hall Series in Artificial Intelligence, 1995.
(Sutton et Barto 1998) R. S. and Barto A. G. Reinforcement Learning: An Introduction. MIT Press Cambridge MA, 1998.
(Watkins 1989) Watkins C., Learning from Delayed Rewards. PhD Thesis of the King's College, University of Cambridge, England, 1989.
5
![Page 51: Romaric CHARTON Directeurs de thèse : Anne BOYER et Jean-Paul HATON](https://reader035.vdocuments.fr/reader035/viewer/2022062803/56814645550346895db3514b/html5/thumbnails/51.jpg)
Merci de votre attention
Avez-vous des questions ?