agents apprenants pour l'intelligence ambiante sofia z aidenberg laboratoire dinformatique de...

1

Agents apprenantspour l'intelligence ambiante

Sofia ZAIDENBERGLaboratoire d’Informatique de Grenoble

Équipe PRIMA

19/01/2010Journée RFIA : apprentissage et robotique

Encadré parPatrick REIGNIER et James L. CROWLEY

Informatique ambiante

19/01/2010

2 Journée RFIA : apprentissage et robotique

Informatique ubiquitaire

[Weiser, 1991][Weiser, 1994][Weiser et Brown, 1996]

19/01/2010


4 19/01/2010

Journée RFIA : apprentissage et robotique

L’informatique ambiante Dispositifs « autistes »

Indépendants Hétérogènes Inconscients

Système ubiquitaire Accompagner sans s’imposer En périphérie de l’attention Invisible Informatique calme

19/01/2010


Problématique Context-aware computing +

Personnalisation Situation + utilisateur action

19/01/2010


Alice

Bob

1. Perception

2. Décision

Personnalisation par

Apprentissage

Solution proposée

19/01/2010


Plan Présentation du problème Apprentissage dans les systèmes

ubiquitaires Système ubiquitaire Apprentissage par renforcement du modèle de

contexte Expérimentations et résultats Conclusion

19/01/2010


Système proposé Un assistant virtuel qui personnifie

le système ubiquitaire L’assistant

Perçoit le contexte grâce aux capteurs Exécute des actions grâce aux actionneurs Reçoit les retours de l’utilisateur pour

l’entraînement Adapte son comportement à ces retours

(apprentissage)

19/01/2010


Contraintes Entraînement simple Apprentissage rapide Cohérence au départ Life long learning Confiance de l’utilisateur

Transparence [Bellotti et Edwards, 2001] Système intelligible

Avoir un fonctionnement compris par l’utilisateur Système « responsable »

Peut s’expliquer

19/01/2010


système s’adapte aux changements del’environnement et des préférences

Exemple

19/01/2010


J109 J120

hyperionRappel !

Plan Présentation du problème Apprentissage dans les systèmes ubiquitaires Système ubiquitaire Apprentissage par renforcement du modèle de


19/01/2010


Interconnexion des modules

19/01/2010


ACTIVITÉCLAVIER

Capteurs Actionneurs

EMAILS

LOCALISATION

APPLICATIONS

SYNTHÈSEVOCALE

CONTRÔLEDISTANT

PRÉSENCE

APPLICATIONS

EMAILS

Base de données Regroupe

Connaissances statiques Historique des événements et actions

Permet de fournir des explications

Centralisée Interrogée Alimentée Simplifie les requêtes

19/01/2010


par tous les modules sur tous les dispositifs

Plan Présentation du problème Apprentissage dans les systèmes ubiquitaires Système ubiquitaire Apprentissage par renforcement

du modèle de contexte Apprentissage par renforcement Application de l’apprentissage par renforcement

Expérimentations et résultats Conclusion

19/01/2010


Rappel : nos contraintes Entraînement simple Apprentissage rapide Cohérence au départ Apprentissage à vie Explications

19/01/2010


Supervisé[Brdiczka et al., 2007]

Apprentissage par renforcement (AR)

19/01/2010


Propriété de Markov L’état à l’instant t

ne dépend que de l’état à l’instant t-1

Algorithme standard Q-Learning [Watkins, 1989]

Mise-à-jour des Q-valeurs lors d’une nouvelle expérience{état, action, état suivant, récompense}

Lent car ne progresse que lorsque quelque chose se passe A besoin de beaucoup d’exemples pour apprendre un

comportement

19/01/2010


Exemple

19/01/2010


Rapide

Loin de la porte+ Rapide =

Ouvrir la porte

Modèle du monde

Architecture DYNA

19/01/2010


Agent

Monde

Modèle du monde

ActionRécompenseÉtat

DYNASwitch

[Sutton, 1991]

Politique

Architecture DYNA

19/01/2010


Environnement

Modèle du monde

Utilisation

Mise-à-jour

Mise-à-jour

Mise-à-jour

Politique

Interactionsréelles

Fonctionnement global

19/01/2010


Environnement

Base de données

État

Action

Récompense ? Exempl

e

Action

Modèle du monde


Mise-à-jour

Mise-à-jour

Politique

Utilisation

Perception

Exemple

Récompense

Politique

Modélisation du problème Composants :

États Actions

19/01/2010


Modèle du monde


Utilisation

Mise-à-jour

Mise-à-jour

Politique

Composants : Modèle de transition Modèle de

récompense

L’espace d’états États définis par des prédicats

Humainement compréhensibles (explications)

Exemples : arrivéeEmail ( de = Marc, à = Bob ) dansSonBureau ( John )

État-action : entrée( ) Musique en pause

19/01/2010


Modèle du monde


Utilisation

Mise-à-jour

Mise-à-jour

Politique

Prédicats

Prédicats

système

Prédicats environneme

nt

Karl<+>

L’espace d’états Division d’états

arrivéeEmail( de= directeur, à= <+> )Notifier

arrivéeEmail(de = newsletter, à= <+> )Ne pas notifier

19/01/2010


Modélisation du problème Utilisateur état ?

Oui état non-observable Problème non-markovien & Environnement stationnaire

Non état observable Problème markovien & Environnement non-stationnaire

Apprentissage à vie Évolutions peu fréquentes de l’environnement DYNA adapté aux modèles imparfaits

PDMPO ou DEC-PDMPO Résolution exacte très complexe Méthodes approximatives Passage à l’échelle de problèmes réels difficile

19/01/2010


[Buffet, 2003]

L’espace d’actions Les actions possibles combinent

Transmettre un rappel à l’utilisateur Informer d’un nouvel email Verrouiller l’écran d’un ordinateur Déverrouiller l’écran d’un ordinateur Pauser la musique jouant sur un ordinateur Relancer la musique jouant sur un ordinateur Ne rien faire

19/01/2010


Modèle du monde


Utilisation

Mise-à-jour

Mise-à-jour

Politique

Récompenses Récompenses explicites

Par une interface non intrusive

Problèmes récompenses utilisateur

Récompenses implicites Collectées à partir d’indices

(valeur numérique moindre)

Utilisation de traces d’éligibilité

Lissage du modèle

19/01/2010


Modèle du monde


Utilisation

Mise-à-jour

Mise-à-jour

Politique

Modèle de l’environnement Construits par apprentissage supervisé

À partir d’exemples réels

Initialisés par le sens commun Système fonctionnel immédiatement Modèle initial vs. Q-valeurs initiales [Kaelbling,

2004] Extensibilité

19/01/2010


Modèle du monde


Utilisation

Mise-à-jour

Mise-à-jour

Politique

Modèle de récompense

Modèle de transition



19/01/2010


s1 s2États de départ

Action ou événement

Modifications



+Probabilité

Apprentissage supervisédu modèle de transition La base de données contient des exemples{état précédent, action, état suivant}

19/01/2010


Modèle du monde


Utilisation

Mise-à-jour

Mise-à-jour

Politique

s s’

…

t2t1

t3

s’tn+1

Fonctionnement global

19/01/2010


Environnement

Base de données

État

Action

Récompense ? Exempl

e

Action

Modèle du monde


Mise-à-jour

Mise-à-jour

Politique

Utilisation

Perception

Exemple

Récompense

Politique

Épisode Un pas d’un épisode en 2 temps :

Sélection d’un événement qui modifie l’état Sélection d’une action pour réagir à l’événement

19/01/2010


Modèle du monde


Mise-à-jour

Politique

Utilisation Mise-à-jour

Épisode

19/01/2010


Agentd’AR

Environnement

Modèle du monde

Base de données

Appris à partir d’interactions réelles

ou

Q-Learning :mise à jour de

Modèle du monde


Mise-à-jour

Politique

Utilisation Mise-à-jour

Politique

Expérience

Politique

Plan Présentation du problème Apprentissage dans les systèmes ubiquitaires Enquête grand public Système ubiquitaire Apprentissage par renforcement du modèle de


19/01/2010


Expérimentations Enquête grand public évaluation qualitative

Évaluations quantitatives en 2 étapes : Évaluation de la phase initiale Évaluation du système en fonctionnement normal

19/01/2010


Évaluation n°1« autour de l’apprentissage initial »

19/01/2010


Évaluation n°1« autour de l’apprentissage initial »

19/01/2010


1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 970

10

20

30

40

50

60

Épisodes initiaux avec événements et états initiaux tirés au hasard dans la base de données

102550100

Épisodes

Not

e

Nombred’itérationspar épisode :

Évaluation n°2« interactions et apprentissages »

19/01/2010


1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103

109

100

105

110

115

120

125

Épisodes

No

te

Évaluation n°2« interactions et apprentissages »

19/01/2010


60 67 74 81 88 95 102 109 116 123 130 137 144 151 158 165 172 179 18688

89

90

91

92

93

94

95

96

97

Épisodes

No

te

Plan Présentation du problème Apprentissage dans les systèmes ubiquitaires Enquête grand public Système ubiquitaire Apprentissage par renforcement du modèle de


19/01/2010


Contributions Personnalisation d’un système ubiquitaire

Sans spécification explicite Évolutive

Adaptation de l’apprentissage par renforcement indirectà un problème réel Construction d’un modèle du monde Injection de connaissances initiales

Mise en place d’un prototype

19/01/2010


Perspectives

Analyse non-interactive des données

Interactions avec l’utilisateur Phase de débriefing

19/01/2010


Conclusion

L’assistant est un moyende faire une application d’intelligence ambiante

C’est l’utilisateur qui le rend intelligent

19/01/2010


Merci de votre attention

Questions ?

19/01/2010


Bibliographie[Bellotti et Edwards, 2001]

Victoria BELLOTTI et Keith EDWARDS. « Intelligibility and accountability: human considerations in context-aware systems ». Dans Human-Computer Interaction, 2001.

[Brdiczka et al., 2007]

Oliver BRDICZKA, James L. CROWLEY et Patrick REIGNIER. « Learning Situation Models for Providing Context-Aware Services ». Dans Proceedings of HCI International, 2007.

[Buffet, 2003] Olivier Buffet. « Une double approche modulaire de l'apprentissage par renforcement pour des agents intelligents adaptatifs ». Thèse de doctorat, Université Henri Poincaré, 2003.

[Emonet et al., 2006]

Rémi Emonet, Dominique Vaufreydaz, Patrick Reignier et Julien Letessier. « O3MiSCID: an Object Oriented Opensource Middleware for Service Connection, Introspection and Discovery ». Dans1st IEEE International Workshop on Services Integration in Pervasive Environments, 2006.

[Kaelbling, 2004] Leslie Pack Kaelbling. « Life-Sized Learning ». Lecture at CSE Colloquia, 2004.

[Maes, 1994] Pattie MAES. « Agents that reduce work and information overload ». Dans Commun. ACM, 1994.

[Maisonnasse 2007]

Jerome MAISONNASSE, Nicolas GOURIER, Patrick REIGNIER et James L. CROWLEY. « Machine awareness of attention for non-disruptive services ». Dans HCI International, 2007.

[Moore, 1975] Gordon E. MOORE. « Progress in digital integrated electronics ». Dans Proc. IEEE International Electron Devices Meeting,1975. 19/01/201


Bibliographie[Nonogaki et Ueda, 1991]

Hajime Nonogaki et Hirotada Ueda. « FRIEND21project: a construction of 21st century human interface ». Dans CHI '91: Proceedings of the SIGCHI conference on Human factors in computing systems, 1991.

[Roman et al., 2002]

Manuel ROMAN, Christopher K. HESS, Renato CERQUEIRA,Anand RANGANATHAN, Roy H. CAMPBELL et Klara NAHRSTEDT. « Gaia: A Middleware Infrastructure to Enable Active Spaces ». Dans IEEE Pervasive Computing, 2002.

[Sutton, 1991] Richard S. Sutton. « Dyna, an integrated architecture for learning, planning, and reacting ». Dans SIGART Bull, 1991.

[Weiser, 1991] Mark WEISER. « The computer for the 21st century ». Dans Scientic American, 1991.

[Weiser, 1994] Mark WEISER. « Some computer science issues in ubiquitous computing ». Dans Commun. ACM, 1993.

[Weiser et Brown, 1996]

Mark WEISER et John Seely BROWN. « The coming age of calm technology ». http://www.ubiq.com/hypertext/weiser/acmfuture2endnote.htm, 1996.

[Watkins, 1989] CJCH Watkins. « Learning from Delayed Rewards ». Thèse de doctorat, University of Cambridge, 1989.

19/01/2010


http://www.ubiq.com/hypertext/weiser/acmfuture2endnote.htm

Interconnexion des modules

19/01/2010

58 Journée rfia : apprentissage et robotique

ACTIVITÉ

CLAVIER

Capteurs Actionneurs

EMAILS

LOCALISATION

PRÉSENCE

APPLICATIONS

APPLICATIONS

EMAILSSYNTHÈSE

VOCALE

CONTRÔLE

DISTANT

Service OMiSCID

19/01/2010


Définition d’un état

19/01/2010


Prédicat Arguments

alarm title, hour, minute

xActivity machine, isActive

inOffice user, office

absent user

hasUnreadMail from, to, subject, body

entrance isAlone, friendlyName, btAddress

exit isAlone, friendlyName, btAddress

task taskName

user login

userOffice office, login

userMachine machine, login

computerState machine, isScreenLocked, isMusicPaused

Modèle de l’environnement

19/01/2010


ModèleÉtat E[état suivant]

E[renforcement]

ActionÉvénement

ou

Réduction de l’espace d’états Accélération de l’apprentissage

Factorisation d’états

Division d’états

19/01/2010


État Action Q-valeur

…entrance(isAlone=true, friendlyName=<+>, btAddress=<+>)…

pauseMusic 125.3

État Action Q-valeur

…hasUnreadMail(from=boss, to=<+>,subject=<+>, body=<+>)…

inform 144.02

…hasUnreadMail(from=newsletter, to=<+>, subject=<+>, body=<+>)…

notInform 105

Jokers<*> et <+>

Le simulateur de l’environnement

19/01/2010


Critère d’évaluation : la note Résultat de l’AR : une Q-table Comment savoir si elle est « bonne » ? Apprentissage réussi si

Comportement correspond aux souhaits de l’utilisateur

Et c’est mieux si on a beaucoup exploré et si on a une estimation du comportement dans beaucoup d’états

19/01/2010


« Le tableau de bord »

19/01/2010


Permet d’envoyer par un clic les mêmes événements que les capteurs

Modèle de récompense Ensemble d’entrées spécifiant

Des contraintes sur certains arguments de l’état Une action La récompense

19/01/2010



19/01/2010


s1

-50

États de départ

Action

Récompense



Apprentissage supervisédu modèle de récompense La base de données contient des exemples{état précédent, action, récompense}

19/01/2010


Modèle du monde


Utilisation

Mise-à-jour

Mise-à-jour

Politique

s a rsss

…

a r

s a r

e1

en+1

agents apprenants pour l'intelligence ambiante sofia z aidenberg laboratoire dinformatique de...

Documents