projet du cours mmi lecteur multimeodial présentation finale christophe gisler & denis bossy...

Projet du cours MMI

Lecteur multimeodial

Présentation finaleChristophe Gisler & Denis Bossy

Master en informatiqueUniversité de Fribourg, Suisse

SommaireNotre projet en bref

Réalisation

Architecture du logiciel

Problèmes rencontrés

Démonstration

Améliorations potentielles futures

Conclusion

Questions

Notre projet en bref

Création d’un lecteur multimédia intuitif et multimodal, ie. répondant à la voix et à la commande Wii (Wiimote)

Notre programme gère les vidéos et les fichiers audio

RéalisationFin avril - 5 juin : développement individuel

Denis : GUI + Sphinx

Christophe : Wiimote + Quicktime for Java + Sphinx

5 juin - 15 juin : mise en commun, finalisation, déboggage, rapport et présentation

Architecture du logiciel (1)

Composants utilisés :

WiiRemoteJ + avetanaBluetooth

Quicktime for Java

Sphinx4

Architecture du logiciel (2)

Interactions entre les composants :

Main GUIMain GUI Video/Audio Video/Audio ManagerManager

Wiimote + Sphinx :

move, open, quit

Wiimote + Sphinx :play (normal or precise mode),

forward or backward +/- fast,

pause, next, previous, export, screenshot,

close

Problèmes rencontrésMouvements avec la Wiimote :

Pas précis uniquement avec accéléromètres (sans l’IR)

Détection, “modélisation” très difficile

Tous les utilisateurs ne font pas les mêmes mouvements (même les développeurs s’adaptaient au fur et à mesure du développement)

Reconnaissance avec Sphinx :

Peu robuste au bruit => beaucoup de fausses détections

Ne marche bien qu’avec une grammaire simple

Difficile à intégrer au programme pour pouvoir bien l’utiliser

Démonstration

Améliorations potentielles futures

Ajouter les fonctionnalités suivantes :

Annotation des vidéos et captures d’écran

Enregistrement de “checkpoints” pendant la lecture

Classement des fichiers

Difficulté de combiner les modalités de manière à créer des fonctionnalités nouvelles et utiles

Projet très intéressant ! Découverte de :

Quicktime For Java

Wiimote

Sphinx

Conclusion

Questions

Merci de votre attention !

Avez-vous des questions ?