indexation vidéo indexation multimédia

Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia

Indexation vidéoIndexation multimédia

AnalyseExtraction Structuration

Représentation

RechercheFiltrage

InterrogationRequêtes

IndexDocuments

VisualisationExploration


Indexation multimédia

Moteurd'instanciationautomatique

Base de Données


SAMoVA

• Analyse audio

Jérôme Fariñas, Julien Pinquier, Jean-Luc Rouas

silencemusic speechspeech

French English

Speech transcription Speech transcription


SAMoVA

• Texte dans une vidéo– Quantification de couleurs– Etiquetage des régions– Heuristiques sur les dimensions et les

positions des zones de texte– Heuristiques sur l’alignement des zones

de texte

Hae-Kwang Kim – Bassem Haidar


SAMoVA

• Texte dans une vidéo

MILLIONSde francs

AIAMER


SAMoVA

• Texte dans une vidéo


SAMoVA

• Texte dans une vidéo– Chaînage

• Filtrage• Transcription (OCR)• Analyse statistique • Analyse linguistique


SAMoVA

• Trajectoire• Mean Shift maximisant le coefficient de Battacharyya

Gaël Jaffré


Indexation vidéo

• Paramètres de la production audiovisuelle

Projet ITEA KLIMT

– Costume• Identification• Fonction

– Cadrage– Décors– Eclairage

Gaël Jaffré


SAMoVA

• Mouvement du corps humain– Différence et filtrage– Localisation– Distance– Appariement

Thomas Fourès


• Mouvements du corps humain

Projets ITEA KLIMT – ROBEA GdansC

– Appariement d’un modèle hiérarchique

– Contraintes– Description XML

SAMoVA


SAMoVA


Indexation vidéo

• Mouvements du corps humain

<Motion Id = "1"><Start_Time>0.5</Start_time><End_Time>1</End_time><Left_Arm vertical="Down"/><Left_Weight vertical = "Center"><Right_Weight vertical="Center"><Right_Arm vertical="Down"/>

</Motion><Motion Id="2">

<LeftArm vertical = "Center" horizontal = "Front"/><RightArm vertical = "Center" horizontal = "Front"/>

</Motion>



• Formalismes descriptifs– Pour la production audiovisuelle

• Indexation =

• Costume, éclairage, cadrage, décors, objet sonore

Segmentation

Caractérisation

Interprétation

Minh Phung Bui Thi


• Formalismes descriptifs– Pour la production audiovisuelle

• Indexation =

• Costume, éclairage, cadrage, décors, objet sonore

Interprétation


Segmentation

Caractérisation

Minh Phung Bui Thi


Signe (Pierce)

• Formalismes descriptifs

Objetsémantique


InterpretantPragmatique

RepresentamenSyntaxe

Types (costume, décor, montage, …)

Formes possibles, caractérisations

Différentes points de vueDifférentes méthodes d’analyseDifférents niveaux sémantiques{



• Formalismes descriptifs : XML +– Expression de relations conceptuelles– Explicitation des mécanismes d’héritage

XML-Schema pour désambiguïser l’interprétation

– Compactage des descriptions (Bin-XML)

Claude Seyrat



Siba Haidar



• Macrosegmentation

– Typologie de l’évolution des caractéristiques bas-niveau AV

– Identification d’invariants de production– Distances de similarité

Siba Haidar


Indexation transmédia

• Interventions

– Segmentation en locuteurs

– Détection/identification des visages

Jean-Pierre Desmoulins


Indexation transmédia

• Leitmotivs

– Détection des jingles

– Détection des logos

Jérôme Louradour



• Plateforme d’indexation multimédia dynamique

Projet ITEA KLIMT

– Service d’indexation – externalisation des applications

– Chaînage dynamique – typage des échanges (MPEG-7)

– Gestion dynamique des ressources – déclaration + contrôle de cohérenceBassem Haidar




Indexer.exe

Component control

ConfiguratorInterface

ControlInteface

Specification.xml

Component 1

Component 2

Component n

server

annuaire

Relationship service

Service 2

Service 3

Primary server

Application



• Plateforme d’indexation multimédia dynamique (Chaînage KLIMT)

Speech/Music segmentation

(IRIT)

Language identification(TRT & IRIT)

english LVCSR (TRT)

french LVCSR (IRIT)

Topic detection and tracking

(TRT)


Projets en cours

• Recherche Automatique d’Informations Verbales Et Sonores : vers l’extraction et la structuration de données radiophoniques sur Internet (programme Interdisciplinaire « Société de l’information » CNRS)

• KnowLedge InterMediation Technology(projet Information Technology for European Advancement)

• Framework d’Expérimentations et de Réalisation Industrielle d’Applications multimédia (projet RIAM, Equipe SIG )

• GdansC (Projet Robea CNRS)• AS STIC Indexation Multimédia – transmodalité et gestion

des connaissances• AS «Question du geste dépendant des pratiques

artistiques» du RTP ArtiStic