présentation du laboratoire [email protected] directeur: jean caelen (dr cnrs) directeur adjoint...
TRANSCRIPT
Présentation du laboratoire
BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG
Communication Langagière etInteraction Personne-Système
Directeur: Jean Caelen (DR CNRS)Directeur adjoint : Catherine Berrut (Prof. UJF)
Tutelles
UMR 5524
Thèmes de recherche
Interactions homme-machineInteractions humaines médiées par la machineTraitement des informations parole, images,
languesEnvironnements multimédia et hypermédia pour la formationEnvironnements perceptifsIndexation de documents multimédiaIngénierie de l’interaction et réalité augmentéeInteraction verbale et dialogue homme-machineInterfaces collaboratives et/ou multimodalesRecherche d’informations et/ou documentaireTraduction automatiqueTraitement de la langue, multilinguismeTraitement de la parole
Structure
Direction
Recherche• ARCADE• GEOD• GETA• IIHM• MRIM
Con
seil
de
lab o
Equ
ipe
de d
irec
tion
Soutien Technique• Réseau, Serveur• Projets
Soutien Administratif• Secrétariat• Gestion des RH• Gestion financière• Gestion des moyens• Communication
Valorisation• MultiCom
Effectif : 77 (permanents + thésards)UJF, CNRS, INPG, UPMF, US
Equipes de recherche
ARCADE (J.P. Peyrin, prof. UJF)Ateliers de Réalisation et de Conception d ’Applications Destinées à l ’Education
GEOD (J.F. Serignat, MCF INPG)Groupe d ’Etude sur l ’Oral et le Dialogue
GETA (C. Boitet, prof. UJF)Groupe d ’Etude sur la Traduction Automatique
IIHM (J. Coutaz, prof. UJF)Ingénierie de l ’Interaction Homme-Machine
MRIM (M.F. Bruandet, prof. UJF)Modélisation et Recherche d ’Informations Multimédia
Effectif au 1/1/2000
Effectif du laboratoire 72(a) C et EC en poste 29(b) ITA en poste 11(c) Thésards+Post-Doc+ATER 26(d) Contractuels 7
(e) DEA 12(f) Stagiaires 12(g) Invités + Associés 10Nombre de personnes physiques 110
CNRS UJF/ADR INPG UPMF US12 15 3 8 2
Valorisation
MultiCom : Plate-forme technologique et laboratoire d’utilisabilité pour la conception et l’évaluation des systèmes interactifs
Autres aspects de la valorisation
1998 : Création de la start-up NOVADIS (UJF + INRIA),1999 : Création d’une entité industrielle ARLYS (MENRT,
CARMI, Microsoft, Axe et Cible), service d ’exploitation de réseau pédagogique,
2000 : Le projet Spatio-Guide en pré-incubation (prix de l’ANVAR), partenaires MAGELLAN et ADB (PME grenobloises)
MultiCom
Une plate-forme technologique pour :• Etudier les usages et l’utilisabilité en situation de travail• Concevoir et évaluer les systèmesen,• Expérimentant des scénarios d’usage• Simulant des maquettes
Elle offre Un réseau de compétences multidisciplinaires (sociologie des
usages, ergonomie, ingénierie)Des outils et des méthodesUne veille technologique en CHMUne formation (séminaires, stages)
Contrats en coursA travers (ou liés à) MultiCom• 6 industriels (Schneider, France-Télécom, EDF), • 1 européen SIRLAN IST 5ème PCRD, 30 mois, • 1 Emergence SHIVA RRA 99 et Thématique 2000De recherche• 6 industriels (Thomson, France-Télécom, EDF, Alcatel) dans
RNRT, RNTL, CTI CNET, DGA ou directs• 2 internationaux C-STAR, UNL et 2 AUPELF• 5 européens NESPOLE (R&D), TACIT (TMR), TIPS (R&D),
ARIADNE (R&D), GLOSS (R&D)• 1 CNRS (Télécom)• 2 RRA Thématique et Emergence 99• 2 IMAG (C-STAR, RICOM) et 2 en instance (RESIDE-HIS,
EPIC)
Des projets d’équipes « contractualisés »Des projets inter-équipes « fédérateurs »Des projets IMAG « visibles »
Projets fédérateurs
C-STAR/NESPOLE! : Traduction de dialogues parlés dans le domaine touristique (GEOD, GETA) projet IMAG
RICOM : Recherche Interactive, Collaborative et Multimodale d ’informations (3 équipes GEOD, IIHM, MRIM), projet IMAG
Environnements perceptifs (télé-médecine, domotique…), projets IMAG (EPIC, RESIDE-HIS)
FORMID : FORMation Interactive à Distance (ARCADE, IIHM)… pas encore projet IMAG
C-STAR : Consortium for Speech Translation Advanced Research (Japan, Corea, USA, Germany, Italy, France)NESPOLE! (IST project) : NEgotiating through SPOken Language in E-commerce
Projet C-STARTraduction de dialogues parlésApplications au tourisme et au commerce électronique
Modules linguistiques : 2 chemins possibles
texte langue source
reconnaissance de la parole
Traduction
Synthèse de la parole
texte langue cible
site qui parlesite qui parle
site qui entendsite qui entend la traductionla traduction
texte IFtexte IF
Analyse vers IF
Génération
L’Interchange Format
• Représentation du sens indépendamment des langues
• Représentation fondée sur des– Actes de parole
• ce que l’on veut ou que l’on fait
– Concepts• à propos de quoi (focus informationnel)
– Arguments• valeurs des variables du discours
give-information
+availability+room
room-type=(single ; double)
L’IF : avantages
• N langues cibles possibles pour le coût d’une
• Exemple pour le français
• Possibilité de rétrogénérer en français pour le contrôle
IF
Analyse vers IF
Génération
Les composants : “reconnaissance”
• Reconnaissance multilocuteur – vocabulaire (centré sur le domaine) de 64k mots– parole continue spontanée
• Architecture client-serveur
• Module RAPHAEL construit sur la boîte à outils de JANUS III
en collaboration avec l’université de Karlsruhe et l’université Carnegie Mellon
“Français vers IF”
• Entrée : transcription orthographique de l’énoncé oral
• Analyse morphologique et lemmatisation des mots du texte
• Première consultation de dico. de transfert français vers IF
• Analyse syntaxique pour la reconnaissance de structures grammaticales sémantiquement pertinentes– Dates, quantités, numéros, prix
• Autres consultations de dico. de transfert français vers IF
• Génération syntaxique et morphologique de l’IF
• Sortie : texte en langue IF
Le 22 juillet 1999à Grenoble
RICOM : Recherche Interactive, Collaborative et Multimodale d’informations• HALPIN : Dialogue homme-machine en langage parlé• CoVitesse : Navigation coopérative dans une grande masse d’informations
J'ai trouvé 1206 documents ayant comme thème intelligence artificielle . Voulez-vous affiner votre requête ?
Qu'est ce que tu peux me proposer sur ... heu, l'intelligence artificielle ?
HALPIN : Dialogue en langage naturel pour la recherche d’informations sur le Web
Un profil utilisateur est identifié. L'usager dialogue avec le système HALPIN. Il énonce sa demande oralement et la machine lui répond sur le même mode. La réponse est coopérative : c'est ici une proposition d’affiner la requête pour restreindre le nombre de réponses.
Historique du dialogue
Boîte de dialogue de l’usager
Réponse écrite de la machine (avec hyperliens)
Zone de détails d’un document
Boutons pour les interactions vocales
Module de reconnaissance vocale pour IBM ViaVoice
COVITESSE
• Navigation collaborative synchrone sur le Web
• Définition des types de navigation synchrone à partir :
“Twidale, M., Nichols, D., Paice, C. Browsing is a collaborative process.”
• questionner un autre utilisateur,
• rechercher en groupe en partageant ses trouvailles,
• faire visiter, tel un guide dans un musée, un ensemble de pages à des groupes,
• être conscient de l’activité de groupe et agir dans ce sens.
Détection de conflit
Seuil haut
Seuil bas
Multidirectionnel
Monodirectinonnel
Grand
Minimum
Informel
Maximum
Formel Petit
Style
TailleFormalité de communication
Contrôle
Visite guidée
Navigation partagée
Navigations relâchée et planifiée
Protocoles des interactions humaines
Interface pour la navigation collaborative
RESIDE-HIS : Habitat Intelligent SantéCOMEDI : Communication Mediatisée Informelle
RESIDE-HIS
Dispositif de maintien au domicile
Intelligence locale / distante - Mémoire d’événements- Identification
Horodatation- Communication
Présentation des données
Réseau Téléphonique Public
Modem
HModem
Bus domotique
Capteurs de données physiologiques- fréquence cardiaque- tension artérielle- poids- pression intracrânienne- pression occulaire- …
Capteurs de sons, d'appels...
Plan de l'HISexpérimental
CoMedi : Espace de communication informelle
Observabilité publiée et filtrée, Réflexivité, Réciprocité
Awareness, Focus
Autorisations d’accès
Ctrl social dynamique
Exemples de filtres de publication
Poster
Stores vénitiens
EigenSpace
Filtre EigenSpace: Analyse en Composante Principale (J.Crowley)
Base des images publiables Eigen Space
Image source Image envoyée
FORMID : FORmation Interactive à DistanceTableau Magique : Espace de partage de travail
FORMID : FORmation Interactive à Distance vise à fournir un ensemble cohérent de solutions opérationnelles permettant à distance d’assurer la création, l’adaptation et l’exploitation effective de ressources pédagogiques de type « simulation »
FORMID
GeneSimuOasisTableau magique
Projets d’équipe
VITESSE : Présentation de grandes quantités d’informationTableau magique : Réalité augmentéeTIPS : Recherche d’informationsUNL : Traduction de textes écrits en 15 languesEMACOP et GERSONS : Corpus de paroleOASIS/GENESIMU : Générateur de simulations pédagogiques
VITESSE• Une interface
graphique aux moteurs de recherche du WWW
• La récolte de nombreuses informations jugées pertinentes
• La représentation multiple et de nombreux outils de navigation
Application : VITICOL
Navigation collaborative asynchrone
Pertinence sociale en plus de la pertinence "système"
Demande d’opinion à chaque information visitée
Visualisation des statistiques d’opinion dans une lentille magique
Tab
leau
mag
iqu
e
Projet TIPS(Tools for Innovative Publishing in Science)
Projet européen IST-1999-10419Février 2000-Juillet 2002
URL : http://www-clips.imag.fr/mrim/TIPS/
TIPS – CLIPS-IMAG – N. Denos
Objectif
Concevoir et développer un portail Site Web comme cadre intégrateur pour les
activités de : production d’articles publication de revues / relecture d’articles recherche d’information filtrage d’information
Outils innovants pour ces activités
Evaluer les outils sur site (utilisateurs réels)
L'objectif actuel du projet UNL est de monter un ensemble de centres dispersés dans le monde. Chaque centre sera en charge du développement et de la maintenance des outils permettant le traitement d'une langue au sein du système UNL. Chaque centre fournira un service de déconversion et d'enconversion gratuit à l'ensemble des internautes. D'autres outils pourront être développés par d'autres personnes ou entreprises en utilisant le langage UNL, selon les conditions définies par les partenaires et disponibles sur le site de l'IAS/UNU.
EMACOP
Une chaîne de traitement Corpus
Acquisition contrôlée
Recherche dans la BD
Ecoute
SGBD
GeneSimu est un générateur de simulations pour la maintenance et la réparation d'équipement. Cette restriction à ce domaine particulier autorise une simplification des concepts manipulés. Les concepteursde matériel sont eux même capable d'utiliser GeneSimu pour développer des simulations des leurs produits.
OASIS / GENESIMU
Plate-forme d’expérimentationdes systèmes interactifs
Plate-forme d’expérimentationdes systèmes interactifs
Analyse des besoins
Conception
Conception logicielle
Codage
Tests Unitaires
Tests d’intégration
Tests UtilisateursEvaluation
ergonomique
Développement
systématique
Observations
Propriétés
Analyse des tâches
Spécifications externes
Architecture PAC-Amodeus
Développement en V
Objectifs
Etudier les usages et l’utilisabilité en situation de travail
Objectifs
Etudier les usages et l’utilisabilité en situation de travailConcevoir et Evaluer les systèmes
Objectifs
Etudier les usages et l’utilisabilité en situation de travailConcevoir et Evaluer les systèmesen,Expérimentant des scénarios d’usage
Objectifs
Etudier les usages et l’utilisabilité en situation de travailConcevoir et Evaluer les systèmesen,Expérimentant des scénarios d’usageSimulant des maquettes
Le cycle de conception en spirale
Un bon départ : enrichir l’idée
La force de la démarche réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) économique,(d) technologique sont pris en compte, au plus tôt.
Idée
Fonctions
CC
Scénario
ObservationDiagnostic
Validation
Maquette
Evaluation
Le cycle commence...
Analyse de l ’usage
• génération du questionnaire
• enquête sur le terrain
• enregistrement du verbatim auprès d’informants
• interprétation et présentation des résultats
• recommandations pour le cahier des charges
Le cycle continue...
Simulation de l’usage et
Test prédictif de l’utilisabilité
• choix des fonctionnalités
• écriture des scénarios
• capture de comportements
• interprétation des données
• recommandations ergonomiques
par analyse de l’activité ou analyse des tâches
Le cycle s’achève...
Spécification du cahier des charges
Développement
Evaluation du système final
• validation des fonctionnalités
• tests de comportements
• inspection ergonomique
• mesures de qualité
La plate-forme
Client Magicien - Agent
Echange de- images- plans- textes
DAT
Vidéo-disque
1 Magicien "Gestion du dialogue" 1 Magicien "Annotation"
Station sujet
Dispositif d’observation
Stations compères : 1compère/tâche
Video de contrôle
Enregistrementsonore des sessions
Dispositifs d’interaction
Conclusion… CLIPS-IMAG est…
• Un laboratoire en CHM• Un laboratoire de l’IMAG• Organisé autour de projets de recherche• Ouvert sur la valorisation
BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG
Communication Langagière etInteraction Personne-Système