projets du laboratoire directeur: jean caelen (dr cnrs) directrice adjointe : catherine berrut...
TRANSCRIPT
Projets du laboratoire
BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG
Communication Langagière etInteraction Personne-Système
Directeur: Jean Caelen (DR CNRS)Directrice adjointe : Catherine Berrut (Prof. UJF)
www-clips.imag.fr
La future société de l’information
Etudier, concevoir et évaluer de nouveaux moyens de communication et de travail• entre personnes• à l’aide d’ordinateurs
À la convergence+ télécommunications + informatique+ objets communicants+ …
Interactions homme-machineInteractions humaines médiatisées par la machineTraitement des informations parole, images,
languesEnvironnements multimédia et hypermédia pour la formationEnvironnements perceptifsIndexation de documents multimédiaIngénierie de l’interaction et réalité augmentéeInteraction verbale et dialogue homme-machineInterfaces collaboratives et/ou multimodalesRecherche d’informations et/ou documentaireTraduction automatiqueTraitement de la langue, multilinguismeTraitement de la parole
Thèmes de recherche
Structure
Direction
Recherche• ARCADE• GEOD• GETA• IIHM• MRIM
Con
seil
de la
bo
Equ
ipe
de d
irect
ion Soutien Technique
• Réseau, Serveur• Projets
Soutien Administratif• Secrétariat• Gestion des RH• Gestion financière• Gestion des moyens• Communication
Valorisation• MultiCom
Effectif : 85 (permanents + thésards)UJF, CNRS, INPG, UPMF, US
Equipes de recherche
ARCADE (J.P. Peyrin, prof. UJF)Ateliers de Réalisation et de Conception d’Applications Destinées à l’Education
GEOD (J.F. Serignat, MCF INPG)Groupe d’Etude sur l’Oral et le Dialogue
GETA (C. Boitet, prof. UJF)Groupe d’Etude sur la Traduction Automatique
IIHM (J. Coutaz, prof. UJF)Ingénierie de l’Interaction Homme-Machine
MRIM (M.F. Bruandet, prof. UJF)Modélisation et Recherche d’Informations Multimédia
Valorisation
MultiCom : Plate-forme technologique pour la conception et l’évaluation des systèmes interactifs
Autres aspects de la valorisation
1998 : Création de la start-up NOVADIS (UJF + INRIA),
1999 : Création d’une entité industrielle ARLYS (MENRT, CARMI, Microsoft, Axe et Cible), service d ’exploitation de réseau pédagogique,
2000 : Le projet Spatio-Guide (prix de l’ANVAR)2001 : Le projet Dmailer en incubation (GRAIN, ANVAR)
Contrats en coursDe recherche• 8 industriels (Thomson, France-Télécom, EDF, Alcatel)
dans RNRT, CTI, DGA ou directs• 2 internationaux C-STAR, UNL et 2 AUPELF• 7 européens NESPOLE (R&D), TACIT (TMR), TIPS
(R&D), ARIADNE (R&D), GLOSS (FET), FAME (FET)• 1 CNRS (Télécom)• 2 RRA Thématique et Emergence 99• 6 IMAG (C-STAR, RICOM, RESIDE-HIS, EPIC, e-
Xperience, Scopie)A travers MultiCom• 6 industriels (Schneider, France-Télécom, EDF), • 1 européen SIRLAN IST 5ème PCRD, 30 mois, • 1 RRA Emergence SHIVA, 1 thématique ISDN• 2 RNRT (PVE, Stylocom)
Collaborations internationalesEurope• Allemagne (Univ. Karlsruhe)• Italie (CNR Pise, IRST Trento)• UK (Univ. Glasgow, Univ. Edinburgh, UCL Londres)• Tchéquie (INP Oztrava)Amérique• USA (CMU Pittsburgh)• Canada (UQAM, UQTR, UQChicoutimi, Ulaval) • Mexique (UDLA Puebla, LAFMI)• Venezuela (Univ. Caracas)Asie• Japon (ATR Nara)• Corée (ETRI Taejong)• Singapour (IPAL labo commun)• Vietnam (MICA labo commun)• Chine (Univ. Pékin)• Malaisie (USM Penang)
Thèmes
1. Traduction de dialogues parlés dans le domaine
touristique et l’e-commerce (GEOD, GETA)
2. Recherche Interactive, Collaborative et Multimodale
d’informations sur le Web (GEOD, IIHM, MRIM),
3. Environnements perceptifs (télé-médecine,
domotique) et objets communicants (GEOD, IIHM)
4. Formation interactive à distance (ARCADE, IIHM)
5. Documents multimédias et multilingues (MRIM, GEOD,
GETA)
C-STAR : Consortium for Speech Translation Advanced Research (Japan, Corea, USA, Germany, Italy, France)NESPOLE! (IST project) : NEgotiating through SPOken Language in E-commerceERIM : Environnement de traduction avec interprétariat
Modules linguistiques : 2 chemins possibles
texte langue source
reconnaissance de la parole
Traduction
Synthèse de la parole
texte langue cible
site qui parlesite qui parle
site qui entendsite qui entend la traductionla traduction
texte IFtexte IF
Analyse vers IF
Génération
L’IF : avantages
• N langues cibles possibles pour le coût d’une
• Exemple pour le français
• Possibilité de rétrogénérer en français pour le contrôle
IF
Analyse vers IF
Génération
Le 22 juillet 1999à Grenoble
Projet ERIM plate-forme de traduction avec interprétariat
Locuteur 1 Locuteur 2
Plate-forme 3 clients (locuteurs, interprète) – 1 serveurConfiguration 3-stations (ou 4-stations) distantes
Serveur +
Interprète
traduction
traduction
énoncé de parole
énoncé de parole
traduction
traduction
HALPIN : Dialogue homme-machine en langage parléVitesse : Visualisation d’une grande quantité d’informationsCoVitesse : Navigation coopérative dans une grande masse d’informations
HALPIN : Dialogue en langage naturel pour la recherche d’informations sur le Web
J'ai trouvé 1206 documents ayant comme thème intelligence artificielle . Voulez-vous affiner votre requête ?
Qu'est ce que tu peux me proposer sur ... heu, l'intelligence artificielle ?
Historique du dialogue
Boîte de dialogue de l’usager
Réponse écrite de la machine (avec hyperliens)
Zone de détails d’un document
Boutons pour les interactions vocales
Module de reconnaissance vocale pour IBM ViaVoice
VITESSE
• Une interface graphique aux moteurs de recherche du WWW
• La récolte de nombreuses informations jugées pertinentes
• La représentation multiple et de nombreux outils de navigation
Application : VITICOL
Navigation collaborative asynchrone
Pertinence sociale en plus de la pertinence "système"
Demande d’opinion à chaque information visitée
Visualisation des statistiques d’opinion dans une lentille magique
COVITESSE
• Navigation collaborative synchrone sur le Web
• Définition des types de navigation synchrone :– questionner un autre utilisateur,– rechercher en groupe en partageant ses trouvailles, – faire visiter, tel un guide dans un musée, un
ensemble de pages à des groupes,– être conscient de l’activité de groupe et agir dans ce
sens.
Interface pour la navigation collaborative
SIRLAN : DomotiqueRESIDE-HIS : Habitat Intelligent SantéCOMEDI : Communication Mediatisée InformelleMagic Board : tableau augmentéCASPER : Chirurgie augmentéeLes objets communicants…
SIRLAN : domotique
Plasticité des interfaces
IHM
concrète
IHMfinale
IHM
concrète
IHM
finale
Mac/PC Pilot
Tâches&
Concepts
IHMabstraite
Tâches&
Concepts
IHM
abstraite
IHM
concrète
IHM
finale
WAP
Comment obtenir toujours et partout la même qualité d’information ?
Reside HIS : maintien au domicile
Intelligence locale / distante - Mémoire d’événements- Identification
Horodatation- Communication
Présentation des données
Réseau Téléphonique Public
Modem
HModem
Bus domotique
Capteurs de données physiologiques- fréquence cardiaque- tension artérielle- poids- pression intracrânienne- pression oculaire- …
Capteurs de sons, d'appels...
Plan de l'HISexpérimental
Capture acoustique
CoMedi : Espace de communication informelle
Observabilité publiée et filtrée, Réflexivité, Réciprocité
Awareness, Focus
Autorisations d’accès
Ctrl social dynamique
Filtre EigenSpace: Analyse en Composante Principale (J.Crowley)
Base des images publiables Eigen Space
Image source Image envoyée
Exemples de filtres de publication
Poster
Stores vénitiens
EigenSpace
Tab
leau
mag
iqu
e
Tab
le m
agiq
ue
Tab
leau
mir
oir
Ch
iru
rgie
au
gm
enté
e
CASPER (Computer ASsisted PERicardial puncture) aide le chirurgien à amener une aiguille de ponction à proximité du cœur afin de ponctionner un épanchement.
Arc
héo
log
ie a
ug
men
tée
FORMID : FORmation Interactive à DistanceARIADNE : Plate-forme orientée formateur
FORMID : FORmation Interactive à Distance vise à fournir un ensemble cohérent de solutions opérationnelles permettant à distance d’assurer la création, l’adaptation et l’exploitation effective de ressources pédagogiques de type « simulation »
FORMID
GeneSimuOasisTableau magique
ARIADNE : une plate-forme orientée formateur OASIS (Outil Auteur de Simulations Interactives avec Scénarios)
GenEval (Générateur d’exercices d’auto-évaluation)
TIPS, THEOREME, ASCII : Recherche d’information et production de portails avec outils innovants, indexation multimédia
FEV : dictionnaire Français-VietnamienUNL : Traduction de l’écrit par langage pivot. 16 pays
participants
THEOREME
Thématisation des Médias par Reconnaissance Vocale
ASCII : Architecture Sémanti-Cognitique d’Indexation d’Images
Imag
e
Pré- Filtrage
Interactions adaptatives
Fusion
Rep
rése
ntat
ion
Segmentation grossière et rapide
Processus attentionnels
Rétine Cortex primaire
Aires associatives
Fonctions “supérieures”
Contrôles
Elaboration d’un modèle
Objets Sémantiques
Extraction d’attributs
Scène
X
Y
I II IIIa
IIIb
Psychophysique : Mouvements
OculairesIV
Psychophysique et IRMf : Images Hybrides
V & VI
Système de Recherche
d’Information :
Outils statiques
Outils dynamiques
Cones H-Cells X-Parvo
ON-Bip OFF- Bip Y-Magno
Simulation des réponses spatiales de différents cellules de la rétine. (travaux du LIS)
score(icl>event, agt>human, fld>sport)
.@entry.@past.@complete
goal
head(icl>body)
Ronaldo
corner
goal(icl>thing) left
obj
posmod
agt
plc
met
"Ronaldo marqua de la tête dans le coin gauche du but"(encodage à partir d'une phrase originalement en russe)
Dictionnaire Français => (anglais) => Vietnamien…….au projet PAPILLON
Plateau d’expérimentationdes systèmes interactifs
Plateau d’expérimentationdes systèmes interactifs
Objectifs
• Etudier les usages et l’ergonomie en situation de travail• Fonder des méthodes prenant en compte les facteurs humains dans le cycle de vie des systèmes interactifs• Concevoir et évaluer les systèmes dans une approche ethnocentrée et participative• Instrumenter les méthodes de recueil et d’observation en SHS
Le cycle de conception en spirale
La démarche
La force de la démarche réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) économique,(d) technologique sont pris en compte, au plus tôt.
Idée
Fonctions
CC
Scénario
ObservationRecom-
mandation
Validation
Maquette
Evaluation
UsageUtilisabilité
UsageUtilisabilité
Domotique
Elaboration d’hypothèses (services, activités, interactions)
ScenariosMaquettesQuestionnaires
Environnement simulé
ObservationsInterviews
Methode pour les usagers (SIRLAN project)
Domotique
Usage en famille (profils, activités, contrôle)Prérequis (disponibilité, mémoire, préférences)Interface adaptée au besoin (fonctions éclatées, plasticité)Guidage, aide, compatibilité dans les servicesFacilité de souscription (certification, paiement)Sécurité et souplesse d’utilisationConfidentialitéQualité de serviceFacteurs d’environnement (confort, mobilité, multi-tâches)
Résultats pour les usagers
Domotique
15 critères :• Assimiler la nouvelle technique• L’intégrer aux pratiques courantes• Adapter l’innovation au métier• Mesurer les changements dans l’environnement
professionnel
Méthode et résultats pour les installateurs
Domotique
Catégories d’installateurs :• Electriciens• Fabricants• Domoticiens
Méthode et résultats pour les installateurs
Interface (screen & buttons) No Yes
Global system YesNo
Computer using YesNo
Remote services YesNo
Electriciens Domoticiens
Bus No Yes
Fabricants
Yes
?
?
No
?
? : dépend de la spécialité
OculométrieProjets SHIVA et ISDN évaluation de documents électroniques
• Trajectoire• Points de fixation
fovéale– à 100 ms (perception)– à 250 ms (cognition)
• Vision périphérique• Densité des points
OculométrieDeux types de résultats
• Recommandations
• Diagnostics
Approche clientDisposition grille
Les internautes recherchent des infosLe texte sert d’ancrageLa légende ou le nom de l’image sont mieux mémorisés que l’image
Comparaison de versionsMesure de l’efficacitéMesure de la qualité
Conclusion… CLIPS est…
• Un laboratoire de l’IMAG : UJF/CNRS/INPG
• Organisé autour de projets de recherche• Ouvert sur la valorisation
BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG
Communication Langagière etInteraction Personne-Système