1

2

Laboratoire L3iUniversité de La Rochelle

ImagIN

Image et Interactivité Numérique

Equipe de Recherche TechnologiqueEquipe de Recherche Technologique « Interactivité Numérique » « Interactivité Numérique »

Pascal EstraillierFrançois Picard

3

12 year old university60 Researchers in C.S.11 Tenured Professors

  4 Professors19 Assistant Professors

26 Ph.D. students

Image & Behavior

Image and Sequence of Analytic images

and Interpretation of Content

Modelling, Treatment, Retrieval of Complex

Information

Agent Paradigm and Architecture for

Interactive Narration Approach

Formal Specification and Validation

Interactive Master “Gaming and Media”

E.R.T “Numerical Interactivity”

4

Domaines d’applicationDomaines d’application

Jeux vidéoJeux vidéo Exécution adaptative des personnages du jeuExécution adaptative des personnages du jeu

Logiciels éducatifsLogiciels éducatifs Situations d’apprentissageSituations d’apprentissage Gestion des actions imprévisiblesGestion des actions imprévisibles

SimulationSimulation simulation de situations complexes / systèmes spatio-temporelssimulation de situations complexes / systèmes spatio-temporels

Régulation Régulation : Circulation urbaine: Circulation urbaine Observation, étude Observation, étude : vie artificielle,: vie artificielle,

Serious GameSerious Game Niveau stratégiqueNiveau stratégiqueNiveau tactiqueNiveau tactiqueNiveau OpérationnelNiveau Opérationnel

Robotique - jouetsRobotique - jouets

5

Activité InteractiveActivité Interactive

1.1. Concepteur Concepteur (définition, évaluation de la pertinence) --(définition, évaluation de la pertinence) -->>domaine d’expertisedomaine d’expertise

2.2. Joueur(s?) Joueur(s?) (utilisation) --> (utilisation) --> profil (préférences, compétences)profil (préférences, compétences)

3.3. [Spectateur [Spectateur (observation)(observation)]]

Temps réelTemps réel Images animées, scènes (capture, suivi)Images animées, scènes (capture, suivi) Interaction joueurs , entitésInteraction joueurs , entités Présupposé de comportementsPrésupposé de comportements Prise en compte du contexte à chaque instantPrise en compte du contexte à chaque instant Adaptativité à l’exécutionAdaptativité à l’exécution Feedback Feedback Concepteur/Joueur/SpectateurConcepteur/Joueur/Spectateur

L’humain est dans la boucle

6

ContrContrôle adaptatif ôle adaptatif de l’interactivité et de l’exécutionde l’interactivité et de l’exécution

Cahier des charges :Cahier des charges : Interaction Interaction non invasivenon invasive - gestion de l’implicite - gestion de l’implicite Pouvoir Pouvoir analyser en temps réel, de manière analyser en temps réel, de manière individualiséeindividualisée, ,

le le comportementcomportement d’un joueur d’un joueur ContinuerContinuer le jeu avec la suitele jeu avec la suite la plus adaptée la plus adaptée en fonction duen fonction du contextecontexte Le Le concepteur concepteur doit pouvoir mesurer la doit pouvoir mesurer la pertinencepertinence de son jeu de son jeu

en fonction du comportement du joueur,en respectant les consignes du concepteuren tenant compte de l’état des ressources

7

ContrContrôle adaptatifôle adaptatif

1

2

3

4

5 6

Traces

Trame scénaristique

8

Cycle acquisition / traitement / visualisationCycle acquisition / traitement / visualisation

Capture Image et son

Numérisation

Analyse de scène

son

9

ComportementsContrôles

Moteur de l’application

Scénarioobservé

Scénario prévu

Exécution adaptativeExécution adaptative

Concepteur

analyse

Cycle acquisition / traitement / visualisationCycle acquisition / traitement / visualisation

propriétés

JoueursPNJ

Captureimage

interactions directives

trace

10

Exécution adaptative d’applications interactivesExécution adaptative d’applications interactives

Concevoir l’activité interactiveConcevoir l’activité interactive Définir (utiliser) une OntologieDéfinir (utiliser) une Ontologie Construire une trame scénaristiqueConstruire une trame scénaristique

Définir (utiliser) un système auteurDéfinir (utiliser) un système auteur Valider la conceptionValider la conception

Concevoir l’environnement d’exécutionConcevoir l’environnement d’exécution Architecture générale (Données, Traitements) – Architecture générale (Données, Traitements) – gabarits,réutilisationgabarits,réutilisation Acquisition/Capture – Acquisition/Capture – explicite, impliciteexplicite, implicite Gestion des interactionsGestion des interactions Présentation/Réalité virtuellePrésentation/Réalité virtuelle

Exécuter (adaptativité - temps-réel)Exécuter (adaptativité - temps-réel) Observer, interpréter, décider et évaluer pour adapterObserver, interpréter, décider et évaluer pour adapter

Méthodes, Modèles, Outils // Données, TraitementsMéthodes, Modèles, Outils // Données, Traitements

[navigation] entre Situations (impliquant personnages et ressources munis de leurs

interactions)

11

1.1. Définition de l’activité (l’auteur)Définition de l’activité (l’auteur)Eléments du jeu, règles du jeu, … Trame scénaristique Directives générales Eléments du jeu, règles du jeu, … Trame scénaristique Directives générales

Profils types des joueurs Propriétés Principe des observations, production Profils types des joueurs Propriétés Principe des observations, production des tracesdes traces

PersonnalisationPersonnalisationa)a) Acquisition de comportements (le joueur)Acquisition de comportements (le joueur)

Observation et mémorisation des comportementsObservation et mémorisation des comportementsb)b) Personnalisation (l’auteur)Personnalisation (l’auteur)

Profil individualiséProfil individualiséDirectives et traces individualiséesDirectives et traces individualisées

2.2. Implantation sur une architecture systèmeImplantation sur une architecture système3.3. Exécution contrExécution contrôléeôlée

Génération des traces + configuration des observationsGénération des traces + configuration des observationsEvaluation en temps réel des objectifs (choix des directives)Evaluation en temps réel des objectifs (choix des directives)

Contexte (état du jeu), comportement du joueur, objectifs de l’auteur , Contexte (état du jeu), comportement du joueur, objectifs de l’auteur , respect des propriétésrespect des propriétés

4.4. Reporting (Exploitation des traces) Reporting (Exploitation des traces) Pertinence de la personnalisation --> 1.bPertinence de la personnalisation --> 1.bAdéquation du jeu --> 1Adéquation du jeu --> 1

par rapport aux objectifs (éléments du jeu, directives) , au parcours et au comportement

Méthodologie & cycle de vieMéthodologie & cycle de vie

12

Problématique d’interprétationProblématique d’interprétation

WebcamClavierEcran tactile…

Acquisition

Mouvement ComportementGesteExécutionPas-à-pas

ExécutionContrôlée

Intelligence Artificielle

13

Exécution adaptativeExécution adaptative

InitialisationInitialisation

Tant que Tant que exécutionexécution non finie non finie

décider_action (état-espéré)décider_action (état-espéré)

Tant que Tant que situationsituation non finie non finie• configurer_observation (action)• exécuter_action (action)• décider_état-observé• évaluer_distance (état-espéré, état-observé)• décider_action (état-espéré)

transition_situationtransition_situation

distance

d1 d2 d3

ActionObservation

État observé

Une exécution : un chemin dans un graphe (fini ?)

un arc (arête) du graphe : une Action

Chaque nœud : un état du système

Mot d’état : <R1.état, R2.état, ….., Rn.état>

État espéré

14

Conception et Formalisation de l’activité Conception et Formalisation de l’activité interactiveinteractive

Nouvelle forme de structuration de l’activité interactive Nouvelle forme de structuration de l’activité interactive (trames scénaristiques, situations, directives des concepteurs associés (trames scénaristiques, situations, directives des concepteurs associés aux différents comportements de l’utilisateur, caractérisation de aux différents comportements de l’utilisateur, caractérisation de contexte)contexte)

Méthodologie – Langage d’interaction concepteur - Editeur/Interface Méthodologie – Langage d’interaction concepteur - Editeur/Interface Utilisateur adaptée.Utilisateur adaptée.

Formalisation des « directives » du concepteur et de leurs conditions Formalisation des « directives » du concepteur et de leurs conditions d’application.d’application.

Formalisation de la scénarisation (vérification des scénarios à partir de Formalisation de la scénarisation (vérification des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles - contraintes propriétés « expertes » structurelles ou non fonctionnelles - contraintes temporelles liées au scénario)temporelles liées au scénario)

->->méthodes formellesméthodes formelles (réseaux de Petri, logique linéaire, bigraphes (réseaux de Petri, logique linéaire, bigraphes et éléments de la théorie des jeux) et éléments de la théorie des jeux) pour la vérification des pour la vérification des scénarios à partir de propriétés expertes  (métier) scénarios à partir de propriétés expertes  (métier) structurelles ou non fonctionnelles structurelles ou non fonctionnelles

->prise en compte des contraintes temporelles liées au ->prise en compte des contraintes temporelles liées au scénario et aux ontologies structurant les connaissances.scénario et aux ontologies structurant les connaissances.

  ->->une approche par transformation de modèle est une approche par transformation de modèle est expérimentée. expérimentée.

15

Capture du Comportement utilisateur(s)Capture du Comportement utilisateur(s)

ProblématiqueProblématique   A bas niveau A bas niveau : capture sans marqueur, analyse d’image et de mouvement (séquences : capture sans marqueur, analyse d’image et de mouvement (séquences

temporelles) d’éléments visuels à comportement complexe et évolutif, prise en compte temporelles) d’éléments visuels à comportement complexe et évolutif, prise en compte des occlusions, obtention d’une information des profondeurs précises…. des occlusions, obtention d’une information des profondeurs précises….

A haut niveau A haut niveau : Gestion des connaissances : conception par apprentissage adaptatif d’un : Gestion des connaissances : conception par apprentissage adaptatif d’un modèle du joueur, analyse et filtrage des paramètres du modèle d’apprentissage modèle du joueur, analyse et filtrage des paramètres du modèle d’apprentissage (identification comportements multimodaux : Expressions faciales, états émotionnels, (identification comportements multimodaux : Expressions faciales, états émotionnels, mouvement, comportement collectifs sociaux et économiques…)mouvement, comportement collectifs sociaux et économiques…)

Modélisation des connaissances d’expertise: Ontologie, mécanismes de fusion Modélisation des connaissances d’expertise: Ontologie, mécanismes de fusion d’information–Classification de données (comportement joueur, état du système, …). d’information–Classification de données (comportement joueur, état du système, …).

Modèle de l’attentionModèle de l’attention

Introduction de Introduction de comportements implicites comportements implicites

Détection et suivi de détails temps réel. Détection et suivi de détails temps réel. Intégration de données sémantiques dans l’aide à l’analyse d’images -> Intégration de données sémantiques dans l’aide à l’analyse d’images ->

modélisation de l’utilisateur, du raisonnement et de l’expertise modélisation de l’utilisateur, du raisonnement et de l’expertise dont le dont le calibrage repose sur des données incertaines et évolutivescalibrage repose sur des données incertaines et évolutives. .

Contraintes temps-réel -> problèmes difficiles de Contraintes temps-réel -> problèmes difficiles de classification des classification des comportements, de détection de situations et d’identification de comportements, de détection de situations et d’identification de contextecontexte

  

16

Exécution adaptative - SimulationExécution adaptative - Simulation

Conception des mécanismes, de l’architecture des Conception des mécanismes, de l’architecture des systèmes interactifs et de l’interfaçage avec les plate-systèmes interactifs et de l’interfaçage avec les plate-formes d’exécution et de stockage et d’indexation des formes d’exécution et de stockage et d’indexation des données.données.

Gabarits de conception, Interopérabilité – Architecture du Système Gabarits de conception, Interopérabilité – Architecture du Système Interactif - Multi-AgentsInteractif - Multi-Agents

Intergiciels pour les applications interactives mono et multi-utilisateurs.Intergiciels pour les applications interactives mono et multi-utilisateurs.

-> construction formalisée et efficace d’un modèle -> construction formalisée et efficace d’un modèle adaptatif des acteurs dynamiques du système adaptatif des acteurs dynamiques du système

->mise en œuvre d’un mécanisme de contrôle d’exécution. ->mise en œuvre d’un mécanisme de contrôle d’exécution.

->mécanismes de spécification et de vérification ->mécanismes de spécification et de vérification a prioria priori puis puis dynamiquedynamique des scénarios à partir de propriétés des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles en « expertes » structurelles ou non fonctionnelles en utilisant des méthodes formelles. utilisant des méthodes formelles.

->->passage à l’échelle passage à l’échelle et et données incertaines et données incertaines et évolutivesévolutives

17

Thèses Thèses

Exécution adaptativeExécution adaptative Karim Sehaba -> 2004Karim Sehaba -> 2004

Un modèle de conception centré interactions: Formalisation et application à la conception de systèmes complexes

Frédéric Collé -> 2006

Modélisation de comportements dans les systèmes dynamiques 

Jean-Marie Boussier ->2003Jean-Marie Boussier ->2003

Scénarisation d’applications Scénarisation d’applications interactivesinteractives

Guylain Delmas ->2009Guylain Delmas ->2009

Capture et Analyse de Capture et Analyse de mouvement - expressions mouvement - expressions facialesfaciales

Abdallahi Ould ->2009Abdallahi Ould ->2009

Reconstruction 3DReconstruction 3D Olivier Guillot -> 2008Olivier Guillot -> 2008

Capture contextualisée de mouvements, en environnement non contrôlé, à partir de flux vidéo synchronisés

François Picard (2006)François Picard (2006)

Détermination de l’attentionDétermination de l’attention Matthieu Perreira (2006)Matthieu Perreira (2006)

Conception d’une plate-forme Conception d’une plate-forme adptative d’enseignement à adptative d’enseignement à distancedistance

Supparang Ruangvanich (2006)Supparang Ruangvanich (2006)

Synthèse dynamique de Synthèse dynamique de superviseur pour l’exécution superviseur pour l’exécution adaptative d’applications adaptative d’applications interactives.interactives.

Nicolas Rempulski (2008)Nicolas Rempulski (2008)

Quiproquos et ambiguitésQuiproquos et ambiguités Pham Phuong Thao (2009)(2009)

Gestion de l’adaptation en Gestion de l’adaptation en FOADFOAD

Frabrice Trillaud(2009)Frabrice Trillaud(2009)

18

Contrats de Recherche L3i dans le domaineContrats de Recherche L3i dans le domaine

Image et Interactivité

FT_AutiSTIC

RobAutiSTIC

Le Parc de l’Estuaire

Simulateur d’entraînement

FOAD

PLUG

NOE-IRIS

CPER (2007-2013) (2,3 M€)

Théorie et applications aux médias numériques

Interactions pour la formation à distance Fondation France Telecom pour l’autisme (2006-2008) (65 K€)

Exécution adaptative et personnalisée d’application interactives.

Projet labellisé par l’ANR (programme robotique) – (2007-2010) (100 K€) et CAP Digital

Exécution adaptative et personnalisée d’application interactives.

Conseil Général de Charente-Maritime (2006-2009) (80 K€)

Jeu éducatif sur un éco-système environnemental

Contrat DCNS (2006-2008) -

Simulation adaptative et aide à l’évaluation Région Poitou-Charentes (2007-2009) - (122 K€),

Formation Ouverte et à distance Présentiel virtuel et adaptativité. ANR -PLay Ubiquitous Games and play more (2007-2009) - (54 K€)

Jeux pervasifs.• Réseau d’excellence (2008-2011) – (225 K€)

Integrating Research in Interactive Storytelling.

19

ConclusionConclusion

Domaine pluridisciplinaireDomaine pluridisciplinaire sciences cognitives sciences cognitives modélisation des connaissancesmodélisation des connaissances méthodologie éducativeméthodologie éducative

DifficultésDifficultés formalisation des observateursformalisation des observateurs processus d’interprétationprocessus d’interprétation adaptation de cas (globale et locale)adaptation de cas (globale et locale)

AvantagesAvantages personnalisation de l’application à l’utilisateurpersonnalisation de l’application à l’utilisateur évaluation de la pertinence de l’applicationévaluation de la pertinence de l’application évolutivité et interactivité des logiciels évolutivité et interactivité des logiciels compréhension du comportement de l’utilisateurcompréhension du comportement de l’utilisateur

ConstatConstat Dans l’industrie peu de planification, d’adaptation, d’apprentissage, Dans l’industrie peu de planification, d’adaptation, d’apprentissage,

de dialogues naturels …de dialogues naturels …

20

ImagINImagIN

Image et comportement - avec contraintes temporellesImage et comportement - avec contraintes temporelles capture capture non intrusive non intrusive (visage, geste et mouvement) (visage, geste et mouvement) reconstruction de scène animée (maillages multi-résolutions)reconstruction de scène animée (maillages multi-résolutions)

Analyse Analyse des des comportements implicites ou explicitescomportements implicites ou explicites ontologie, modélisation des comportements multimodaux ontologie, modélisation des comportements multimodaux  mécanismes de fusion d’information–Classification de données (comportement mécanismes de fusion d’information–Classification de données (comportement

joueur, état du système, …). joueur, état du système, …).

Génie LogicielGénie Logiciel pour Systèmes Interactifspour Systèmes Interactifs Système auteur pour la production et la personnalisation d’applications Système auteur pour la production et la personnalisation d’applications

interactives interactives Approches formelles pour la qualité des stratégies d’interaction dans un cadre Approches formelles pour la qualité des stratégies d’interaction dans un cadre

narratifnarratif Contrôle contextualisé de l’exécution adaptative.Contrôle contextualisé de l’exécution adaptative.

21

Laboratoire L3iUniversité de La Rochelle

ImagIN

Image et Interactivité Numérique

Equipe de Recherche TechnologiqueEquipe de Recherche Technologique « Interactivité Numérique » « Interactivité Numérique »

Pascal EstraillierFrançois Picard

22

23

Problématiques associées …Problématiques associées …ImageImage

Animation procédurale, Rendu non réaliste, Illumination locale Animation procédurale, Rendu non réaliste, Illumination locale

SonSon Son génératifs, Transformation en temps-réel de la voixSon génératifs, Transformation en temps-réel de la voix

IAIA Comportement intelligent (dialogues, attitude, comportement de groupe), Comportement intelligent (dialogues, attitude, comportement de groupe),

Modèle du joueur et jeux adaptatifs, Optimisation du systèmeModèle du joueur et jeux adaptatifs, Optimisation du système

Génie LogicielGénie Logiciel Architectures, méthodes, modèles, Gabarits de conception, Interopérabilité Architectures, méthodes, modèles, Gabarits de conception, Interopérabilité

Système / iaD / SMASystème / iaD / SMA Architecture distribuée, temps-réel, sécurité, systèmes spatio-temporelsArchitecture distribuée, temps-réel, sécurité, systèmes spatio-temporels

RéseauRéseau Cross Media plat-form, Technologie de l’informatique ubiquitaireCross Media plat-form, Technologie de l’informatique ubiquitaire

Ecriture/Narration/Game DesignEcriture/Narration/Game Design Narration générative, Jeux adaptatifs, Modèle du Gameplay, Modèle du joueur, Narration générative, Jeux adaptatifs, Modèle du Gameplay, Modèle du joueur,

Théorie du Game DesignThéorie du Game Design

Psychologie et SociologiePsychologie et Sociologie Analyse des usages et de la socialisation, Facteurs d’immersion (Presence), Analyse des usages et de la socialisation, Facteurs d’immersion (Presence),

Interface et apprentissage, Effet sur les joueurs (addiction, violence), Interface et apprentissage, Effet sur les joueurs (addiction, violence), Utilisation des jeux comme traitement psychologiqueUtilisation des jeux comme traitement psychologique

24

Applications Interactives : un contexte difficileApplications Interactives : un contexte difficile

Complexité croissante des applicationsComplexité croissante des applications Nombre croissant des objets pris en compteNombre croissant des objets pris en compte Aspects méthodologiques insuffisantsAspects méthodologiques insuffisants Changement de contextes fréquentsChangement de contextes fréquents

Importance de la « satisfaction du joueur »Importance de la « satisfaction du joueur » La qualité de l’activité interactive est uniquement lié à des La qualité de l’activité interactive est uniquement lié à des

critères perceptifscritères perceptifs Importance de l’ergonomieImportance de l’ergonomie

Dépendance à la « compétence » des joueurs - apprentissageDépendance à la « compétence » des joueurs - apprentissage L’état globalL’état global du système est complexe ( du système est complexe (pas limité à quelques pas limité à quelques

évènementsévènements))

25

Traces

Trame scénaristique

ScénarioInteraction

Contrôle d’exécution Expert

Trace

Comportementsde l’utilisateur

Profil de l’utilisateur

Directives

Contrôle d’exécution

Analyse de comportementSyst

èm

e a

dapta

tif

Problématique Problématique « exécution adaptative

des systèmes interactifs »

ContributionsContributions

Utilisateur

profil utilisateur connaissance de l’expert interaction dynamique

Problématique Approches

Analyse de comportementsActions explicites et implicitesVision - interactions - contenus

Contrôle d’exécutionReprésentation du profil de l’utilisateur représentation des connaissance et de raisonnement (RàPC)

Systèmes multi-agents Architecture, plate-forme, communication

Interactivité Formalisation, personnalisation, stratégies éducatives