journée scientifique - 7 juillet 2003 - lyon jenny benois-pineau philippe joly + samova

21
Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Jenny Benois-Pineau Philippe Joly Philippe Joly http://www.irit.fr/ASSTICIM/ http://www.irit.fr/ASSTICIM/ + SAMoVA + SAMoVA

Upload: michele-duclos

Post on 04-Apr-2015

105 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

Jenny Benois-PineauJenny Benois-Pineau

Philippe JolyPhilippe Joly

http://www.irit.fr/ASSTICIM/http://www.irit.fr/ASSTICIM/

+ SAMoVA+ SAMoVA

Page 2: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

IntroductionIntroduction

• Indexation basée contenuIndexation basée contenu

• Contexte internationalContexte international• XML, MPEG-7XML, MPEG-7• ESPRIT (PRC 4), IST (PRC 5)ESPRIT (PRC 4), IST (PRC 5)• IST (PRC 6) : "Technologies de la IST (PRC 6) : "Technologies de la connaissance appliquées en particulier au connaissance appliquées en particulier au traitement des contenus"traitement des contenus"

Page 3: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

PrésentationPrésentation

• ContexteContexte• NationalNational• GT10 (ISIS)GT10 (ISIS)• CBMICBMI• AGIR, Domus Videum, ...AGIR, Domus Videum, ...

Page 4: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

PrésentationPrésentation

• IndexationIndexation• domaine transdisciplinaire en domaine transdisciplinaire en informatiqueinformatique• traitement du signaltraitement du signal• technologies du langagetechnologies du langage• gestion des connaissancesgestion des connaissances

• regroupement des traitements regroupement des traitements texte, image, vidéo et audiotexte, image, vidéo et audio

Page 5: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

PrésentationPrésentation

• ObjectifsObjectifs• sur le plan méthodologiquesur le plan méthodologique• Outils intelligents d'analyse et Outils intelligents d'analyse et d'interprétationd'interprétation

• sur le plan organisationnelsur le plan organisationnel• (Re-)Construire un communauté (Re-)Construire un communauté

• du point de vue pratiquedu point de vue pratique• Intégration, interaction des outilsIntégration, interaction des outils• Tests et valorisationTests et valorisation

Page 6: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

PrésentationPrésentation

• ObjectifsObjectifs• Développement d'outilsDéveloppement d'outils• Méthodologie pour la mise à Méthodologie pour la mise à disposition d'un corpus étiquetédisposition d'un corpus étiqueté• Architectures logiciellesArchitectures logicielles• DémonstrateursDémonstrateurs

… … très (trop ?) ambitieuxtrès (trop ?) ambitieux

Page 7: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

PrésentationPrésentation

• ParticipantsParticipantsIRIT : UMR CNRS 5505 Equipe ART.PS - Philippe Joly

LABRI : UMR CNRS 5800Equipe Image et Son - Jenny Benois-Pineau

IRISA : UMR CNRS 6074Equipe Texmex - Patrick Gros

INRIA : Projet Imedia - Nozha Boujemaa

IRCCyN : UMR CNRS 6597Equipe IVC - Dominique Barba

LIP6 : UMR CNRS7606Equipe APA -Marcin Detyniecki

Page 8: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

PrésentationPrésentation

• ParticipantsParticipants

• Segmentation et identification Parole, Segmentation et identification Parole, musique, bruitsmusique, bruits• Description analytique des contenusDescription analytique des contenus• Règles et contraintes liées au Règles et contraintes liées au mécanismes de production mécanismes de production • ......

IRIT : UMR CNRS 5505 Equipe ART.PS - Philippe Joly

Page 9: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

LABRI : UMR CNRS 5800Equipe Image et Son - Jenny Benois-Pineau

PrésentationPrésentation

• ParticipantsParticipants

• Analyse et interprétation des images 2D Analyse et interprétation des images 2D et 3Det 3D• Structures musicales dans les documents Structures musicales dans les documents sonoressonores• Indexation vidéo basée objetsIndexation vidéo basée objets• ......

Page 10: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

IRISA : UMR CNRS 6074Equipe Texmex - Patrick Gros

PrésentationPrésentation

• ParticipantsParticipants

• Indexation, recherche de données Indexation, recherche de données d'image et de texte,d'image et de texte,• Exploitation (BD, statistiques),Exploitation (BD, statistiques),• ......

Page 11: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

INRIA : Projet Imedia - Nozha Boujemaa

PrésentationPrésentation

• ParticipantsParticipants

• Indexation d'images par le contenu,Indexation d'images par le contenu,• Recherche interactive dans de grandes Recherche interactive dans de grandes bases d'imagesbases d'images• NavigationNavigation• Indexation multimédia (Texte/image)Indexation multimédia (Texte/image)

Page 12: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

IRCCyN : UMR CNRS 6597Equipe IVC - Dominique Barba

PrésentationPrésentation

• ParticipantsParticipants

• Analyse et indexation par traitements Analyse et indexation par traitements spatio-temporels de la vidéo MPEG-2 ou 4spatio-temporels de la vidéo MPEG-2 ou 4• Propriétés de perception de scènes du Propriétés de perception de scènes du Système Visuel HumainSystème Visuel Humain• ......

Page 13: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

LIP6 : UMR CNRS7606Equipe APA -Marcin Detyniecki

PrésentationPrésentation

• ParticipantsParticipants

• Apprentissage, représentation des Apprentissage, représentation des connaissances, …connaissances, …• Exploitation des connaissances Exploitation des connaissances imparfaitesimparfaites

• Méthodes floues possibilistes, Méthodes floues possibilistes, • Aggrégation Aggrégation

• Fouille de données, extraction de Fouille de données, extraction de connaissances, ...connaissances, ...

Page 14: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

ActionsActions

• CorpusCorpus• SFRSSFRS• 7 documents (2h30) audio + vidéo7 documents (2h30) audio + vidéo• images fixesimages fixes

OutilsOutils• 1 outils d'extraction d'image des 1 outils d'extraction d'image des fichiers MPEG-2 (Labri)fichiers MPEG-2 (Labri)

Page 15: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

ActionsActions

• EOI : Réseau d'Excellence EuropéenEOI : Réseau d'Excellence Européen• Knowledge-Based MultimediaKnowledge-Based Multimedia• 23 partenaires publics et privés23 partenaires publics et privés• DK, DE, F, G, I, NL, SP, UKDK, DE, F, G, I, NL, SP, UK• Extraction d'informations de contenu, Extraction d'informations de contenu, gestion des connaissances et de données gestion des connaissances et de données multimédia, encodage, édition multimédia, multimédia, encodage, édition multimédia, recherche d'information, présentation de recherche d'information, présentation de données, évaluation des impacts sociétaux données, évaluation des impacts sociétaux

Page 16: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

ActionsActions

• RencontresRencontres• Analyse et Indexation MultimédiaAnalyse et Indexation Multimédia• Le 20 juin à Bordeaux (Labri)Le 20 juin à Bordeaux (Labri)

• Analyse et caractérisation de la vidéoAnalyse et caractérisation de la vidéo• Indexation automatique de la musiqueIndexation automatique de la musique• Reconnaissance et indexation de la paroleReconnaissance et indexation de la parole• Fusion des informations pour l'interprétation des Fusion des informations pour l'interprétation des flux multimédiaflux multimédia• Perspectives et projets de l’indexation Perspectives et projets de l’indexation multimédiamultimédia

Page 17: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

ActionsActions

• PublicationsPublications J. Benois-Pineau, M. De Sainte Catherine, N. Louis “A methode for extraction of audio-visual leitmotif in movies by cross media analysis”, Session spéciale “Content Based Audio and Video Indexing” EUSIPCO’2002, Toulouse, France, September’2002 S.A. Berrani, L. Amsaleg, P. Gros, "Controlling the Precision of Approximate Fast Nearest-Neighbor Searches", Rapport technique N°1450, Avril 2002 Mathieu CARNEC, Dominique BARBA. Faces recognition based on both perception and behaviour of the Human Visual System. In Proc. of DSP’2002. Santorin. Grèce. July 2002.R. Ruiloba, Ph. Joly “Adding the concept of video editing levels in shot segmentation”, Session spéciale “Intelligent Systems for Video Processing”, IPMU’2002, Annecy, France, July’2002

Page 18: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

ActionsActions

• PublicationsPublicationsDetyniecki M. and Marsala C., Fuzzy Multimedia Mining Applied to Video News, Proceedings of the International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems IPMU'2002, Annecy, France, July 2002. J. Benois-Pineau, A. Khrennikov, “Image segmentation in compressed domain by clustering methods with euclidean and p-adic metrics”, Session spéciale “Data mining and multimedia systems”, IPMU’2002, Annecy, France, July’2002

• Sessions spécialesSessions spéciales• IPMU 2002IPMU 2002• Eusipco 2002Eusipco 2002

Page 19: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

ActionsActions

• Eléments de résultatsEléments de résultats

silencemusic speechspeech

French English

Speech transcription Speech transcription

Page 20: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

PerspectivesPerspectives

• Vers une "transmédialité"Vers une "transmédialité"• Chaînage mono- ou multimédiaChaînage mono- ou multimédia• Analyse et caractérisation de Analyse et caractérisation de l’audiovisuell’audiovisuel• Aggrégation / fusionAggrégation / fusion• Evaluation des résultatsEvaluation des résultats• Interprétation des résultatsInterprétation des résultats• Exploitation des résultatsExploitation des résultats

Page 21: Journée Scientifique - 7 juillet 2003 - Lyon Jenny Benois-Pineau Philippe Joly  + SAMoVA

Journée Scientifique - 7 juillet 2003 - Lyon

PrésentationContexte

IndexationObjectifs

Participants

ActionsCorpus

EOIRencontres

Eléments de résultats

PerspectivesThèmes

SAMoVA

PerspectivesPerspectives

• Vers une "transmédialité"Vers une "transmédialité"• chez SAMoVA ? chez SAMoVA ?