DEMAIN DANS L'INDUSTRIE

MPEG-7Interface de description de contenu multimdia, la norme MPEG-7sera finalise en 2001. Elle dfinira une syntaxe et un vocabulairede description du contenu de documents audiovisuels, et constituantune indexation pour la recherche et la slection de linformation associe.

Les annes 1990 ont t marques par unervolution des technologies de linformation.Lavnement du numrique et des normesassocies, la baisse des prix des quipe-ments de traitement et de stockage de linfor-mation, la mise en place de nouveauxrseaux en sont quelques faits marquants.Dans ce nouveau contexte, les quantitsdinformations multimdia disponibles sonten nombre sans cesse croissant, parpillesou transitant sans ordre dans des sites et surdes rseaux du monde entier. Simultan-ment, leur usage se dmocratise, stendant de nouvelles catgories socioprofession-nelles, ainsi quau grand public. Il devientdonc crucial dorganiser laccs ces infor-mations. Idalement, il sagirait davoir unmoyen universel, efficace, sadaptant desapplications comme des utilisateurs ou des contenus trs divers, qui permette chacun de trouver ou de slectionner linfor-

timdia [5]. Avec MPEG-7, ISO/MPEG norma-lise maintenant le niveau des mtadonnes :

Le premier paragraphe donne une vuedensemble du contexte et des objectifs deMPEG-7. Les deux suivants dcrivent unpeu plus finement les caractristiques dela future norme. Les lments constituantsde MPEG-7, leur organisation globale et laterminologie associe sont exposs dans leparagraphe 2, et les futures fonctionnalitsde la norme ainsi que les enjeux techni-ques impliqus sont rsums dans le para-graphe 3.

MPEG-7 : le contexte, les objectifs

telles informations ne peuvent tre indexesque par mots-clefs, ce qui doit tre fait

se fixe donc comme objectif de normaliser unlangage et un vocabulaire de description decontenu multimdia qui ne soit pas unique-ment textuel, mais qui comprenne commemots des lments directement reprsenta-tifs du contenu, tels les lments donns plushaut (rythmes...) [1].

Cette description doit tre flexible, afin depouvoir sadapter de nouveaux types decontenus et de nouvelles applications.Ainsi, elle sera indpendante du format delinformation (par exemple analogique,MPEG-2...) car reprsentative de son con-tenu smantique. En outre, le langage dedescription pourra non seulement manier duvocabulaire standard, mais aussi dfinir lui-mme de nouveaux mots de manire stan-dard. Ceci permettra notamment dindexerefficacement sans pour autant sortir de lanorme un contenu aux caractristiques par-ticulires, ou utiliser dans un domaine bienToute reproduction sans autorisation du Centre franais dexploitation du droit de co2 - 1999 Techniques de lIngnieur, trait lectronique

cest--dire une reprsentation de la repr-sentation de linformation.

manuellement, et limite grandement les pos-sibilits offertes par leur description. MPEG-7

Figure 1 MPEG-7 : quoi normaliser ?

Extractionde description

Moteurde recherche

Descriptionnormalise

MPEG -- 7mation souhaite dans son propre environ-nement applicatif : cest le but de MPEG-7.

Le groupe de normalisation ISO/MPEG(Moving Pictures Experts Group) a uneexpertise reconnue dans le dveloppementde normes pour les nouvelles technologiesde laudiovisuel. MPEG-1, MPEG-2 et MPEG-4permettent de reprsenter linformationaudiovisuelle sous forme numrique respec-tivement pour le stockage, la tlvisionnumrique, ou tous types dapplications mul-

Objectifs gnraux

Il existe lheure actuelle des mthodes dedescription de contenu textuel, basedindexation par mots-clefs. Mais riennexiste encore sur la base des caractristi-ques propres aux informations audiovisuel-les (rythmes dune musique, couleurs duneimage, mouvements dans une vido,...). Depie est strictement interdite.E 5 375 - 1

spcifique.

MPEG-7 ne normalisera ni les mcanismesdextraction des descriptions, ni les moteursde recherche ou les mcanismes de filtragedinformation qui greront laccs aux infor-mations (figure 1).

En effet, la normalisation de la descriptionsuffit assurer linteroprabilit de diffrentsoutils de recherche avec diffrentes donnes.Les outils de recherche et dextraction asso-cis aux descriptions standardises serontbien sr dvelopps par MPEG, mais ils res-teront des annexes informatives de la norme.Ainsi la concurrence pourra sexercer dansces domaines, qui pourront en outre profiterdes futurs progrs des techniques concer-nes.

Le standard sera finalis en novembre2001 (tableau 1).

Applications

Le spectre des applications existantes pou-vant bnficier de MPEG-7 est trs large [2],et de nouvelles applications en ayant lusagese creront srement dans les prochainesannes. De fait, MPEG-7 peut offrir une

DEMAIN DANS L'INDUSTRIE

Toute reproduction sans autorisation du Centre franais deE 5 375 - 2 Techniques de lIngnie

Tableau 1 chances de la normalisation MPEG-7

Octobre 1998 Appel propositions

Mars 1999 Dpart de la phase collaborative du dveloppement de la norme

Novembre 2001 Norme internationale

valeur ajoute toute application pourlaquelle il est important de caractriser desinformations multimdia et dy accder. Enconsquence, MPEG-7 se fixe comme objec-tif de ne pas tre assujetti une applicationparticulire, mais de pouvoir dcrire les don-nes multimdia pour touts types denviron-nements applicatifs.

Cette gnricit peut en particulier se dcli-ner selon diverses caractristiques dappli-cations, que nous passons en revue dans lasuite :

utilisateurs : du grand public (non-experts ou connaisseurs) aux professionnels ;

mdia : multimdia en gnral, quilsagisse dimages fixes, daudio (musique,dialogues...), de vido, ou de contenu audio-visuel ;

mode daccs : du push, dans le cas olutilisateur reoit des descriptions MPEG-7 partir desquelles il filtre linformation, aupull, dans le cas o lutilisateur va consulterdes descriptions MPEG-7 pour rechercherune information ;

position dans la chane de traitementdu contenu : tout au long de la chane, dudbut lors de la cration, lindexation etlannotation du contenu, jusqu la fin lors desa recherche dans une base de donnes oude sa diffusion ;

types de contenu : amateur ou profes-sionnel, tous types de contenu (journauxtlviss, squences de vidosurveillance,photos de vacances, sitcoms...).

Pour citer concrtement quelques applica-tions, on peut envisager dutiliser MPEG-7pour le stockage et la recherche dans desbases de donnes vido, la slection et le fil-trage de programmes tlviss, laccs slec-t i f des v idos dans le cadre de lavidosurveillance, lindexation dimagesmdicales, ldition de contenu multimdia,etc.

tat de lart

Recherches et produits existants

Les tats-Unis sont tout particulirement la pointe de la recherche en indexation desinformations audiovisuelles et recherche parle contenu [4]. Ltat y finance depuis plu-sieurs annes un programme de recherche

universitaire trs important dans ce domaine.Les universits de Columbia (systmeVideoQ), Berkeley (systme Chabot) CarnegieMellon (projet Informedia) et dUrbanaChampaign en Illinois (systme MARS) sont,pour ne donner que quelques exemples, par-ticulirement actives.

De nombreuses socits ont galementdes activits de recherche dans ce domaine,et suivent activement le dveloppement deMPEG-7 : Philips, Sony, Sharp, IBM, Canon,Kodak, ou encore NHK, en sont quelquesexemples.

En ce qui concerne les produits, certainescompagnies commercialisent dj des pro-duits permettant lindexation de contenuaudiovisuel puis sa recherche par des carac-tristiques non textuelles. La plupart de cesproduits ont dabord t conus pour desimages, puis sont passs aux squencesvido. Parmi les plus connus, nous pouvonsciter le systme QBIC (Query By ImageContent ) dIBM, et VIRAGE.

Autres normes

Rappelons ici que MPEune amlioration ou un mes MPEG prcdentesMPEG-2 et MPEG-4 tainormes de compressioaudiovisuelle sous formnon de reprsentation desmantiques.

Dautres normes auroliens plus complexes alavons mentionn, il exirelatives lindexation tuels. MPEG-7 ne sattachnir quoi que ce soit dedomaine. Cependant, afinefficacement de tels consente (sous-titres, scriptexte), MPEG-7 choisira et spcifiera un mcanissa syntaxe avec celle dene.

Il existe galement cedcrivent des informatiodes applications spcifiqpar des mots-clefs. Un excification DVB-SI, qui dde programmes tlvisMPEG-7 se place comm

cadre plus vaste. Pour une application don-ne, il sera donc possible davoir le choixentre deux standards de reprsentation maisdont les fonctionnalits et les philosophiesseront srement diffrentes.

Enfin, MPEG-7 offrira une bonne compl-mentarit avec la norme FIPA, qui dfinitpour des socits dagents intelligents unlangage de communication et des structuresadaptes certaines applications : MPEG-7devrait offrir ce langage une ontologieadapte aux applications audiovisuelles.

Architectureet lments

dun systme MPEG-7

Terminologie MPEG-7 : lments considrer

Pour bien comprendre le fonctionnementdun systme MPEG-7 il faut considrer leslments suivants, prsents en utilisant laterminologie dfinie et utilise par MPEG :

les donnes : elles sont lensemble descontenus indexs par MPEG-7. Comme nouslavons vu, ces donnes seront de prfrenceaudiovisuelles, et dans ce cas disponiblesxploitation du droit de copie est strictement interdite.ur, trait lectronique 2 - 1999

G-7 nest nullementconcurrent des nor-. En effet, MPEG-1,ent toutes trois desn de linformatione numrique [5], et ses caractristiques

nt en revanche desvec MPEG-7. Nousste dj des normesde documents tex-era donc pas dfi- nouveau dans ce de pouvoir indexertenus sil sen pr-t ou tout type delune de ces normesme dinterfaage de la norme slection-

rtaines normes quins multimdia pourues, le plus souventemple en est la sp-

finit les descripteurss pour la diffusion.e on la vu dans un

sous nimporte quel format (VHS, MPEG...),mais peuvent tre dune autre nature, tex-tuelles par exemple ;

la caractristique : on appelle caract-ristique toute caractristique de linformation indexer pouvant avoir un sens pour cer-tains utilisateurs ou pour certaines applica-tions. La couleur dune image, lauteur dunfilm, le rythme dune musique en sont quel-ques exemples ;

le descripteur (D) : un descripteur est unmodle permettant dassocier une valeur (ouun ensemble de valeurs) une ou plusieurscaractristiques, pour une mme donne. Unexemple classique est lhistogramme, pourles couleurs ;

le schma de description (DS) : cest unmodle de plus haut niveau : il dfinit unestructure et une smantique pour les descrip-teurs et les relations entre descripteurs. Onpeut lassimiler une sorte de formulaire,dont les champs seraient des descripteurs ;

la description : elle est lentit dcrivantla donne. Elle est forme dun schma dedescription et des instanciations des descrip-teurs correspondants ;

DEMAIN DANS L'INDUSTRIE

Figure 2 Vue densemble dun possible systme MPEG-7

Gnrationde la description

Schmas de description(DS)

Descripteurs

Langage de dfinitionde description

(DDL)

DescriptionMPEG -- 7

DescriptionMPEG -- 7

codeCodeur Dcodeur Utilisateur

Moteur de

recherche

Donnes

Agentsfiltrants

la description code : elle est une repr-sentation de la description optimise pour lestockage et la transmission ;

le langage de dfinition de descriptions(DDL) : le DDL est le langage utilis pour sp-cifier descripteurs et schmas de description,normaliss ou non (cf. Objectifs gnraux ).

Exemple darchitecture

galement exprimes par le DDL, selon unesyntaxe normalise par MPEG-7.

Fonctionnalits, enjeux techniques

Enjeux techniques

De nombreux enjeux techniques seront relever pour permettre la mise en uvredapplications utilisant efficacement MPEG-7.En analyse audiovisuelle, les principales tu-des porteront sur la segmentation automati-que des informations audiovisuelles enentits temporelles cohrentes partir duneToute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.2 - 1999 Techniques de lIngnieur, trait lectronique E 5 375 - 3

de systmes MPEG-7

La figure 2 donne une vue densemble,aussi gnrique et abstraite que possible,dune ventuelle application MPEG-7. Cecintant quun exemple, la prsence de tousles lments reprsents ne sera pas nces-saire pour chaque application utilisantMPEG-7. Rciproquement, pour certainesapplications, la prsence dautres lmentsou dautres flux de donnes que ceux dcritsici pourrait tre ncessaire.

Les pointills entourent les lments nor-matifs de ce systme.

On peut notamment retrouver sur cettefigure les deux types de mode daccs, pushet pull, dcrits en dbut darticle. Il est enoutre implicite que la description MPEG-7peut tre soit stocke, avec les donnes ouindpendamment, soit diffuse de faon syn-chrone avec les donnes quelle reprsente.Pour conclure, rappelons enfin que la des-cription MPEG-7, exprime laide du DDL,pourra contenir des descripteurs ou des DSnon normaliss. Dans ce cas, les mthodesncessaires lutilisation de ces lments(extraction, mesures de similarits...) seront

Fonctionnalits

Les fonctionnalits de la future norme ontt dfinies daprs ltude des applicationsqui pourraient bnficier de MPEG-7 et de ceque MPEG-7 devrait pouvoir leur proposerpour leur offrir une valeur ajoute significa-tive. Elles sont nombreuses et trs diverses.Le lecteur voulant les dtailler peut se rfrer [3]. Outre celles que nous avons dj vo-ques dans les prcdents paragraphes,nous pouvons citer :

la capacit reprsenter les infor-mations diffrents niveaux de prcision :disposer dune description chelonnable sui-vant diffrents critres (niveaux de prioritparmi les caractristiques prsentes dans lesschmas de description, niveaux de prcisiondes smantiques des descripteurs, niveauxde prcision des valeurs dinstanciation desdescripteurs, etc.) ;

la capacit offrir un support perfor-mant pour diffrents types de recherche : parsimilarits, par navigation, ou avec accs des donnes complmentaires par exemple.

donne de dpart quelconque, et surtout surlextraction dans ces entits de caractristi-ques haut ou bas niveau, menant des des-cripteurs. Du ct de laccs linformation,des tudes devront tre menes sur les stra-tgies dindexation et de recherche, notam-ment pour prendre en compte le volume desdescriptions, qui, ds quil sagit de vido parexemple, devient sans commune mesureavec celui associ aux traditionnelles don-nes textuelles.

En outre, pour concevoir la norme elle-mme, il faudra combiner les savoir-faire dedeux communauts jusqualors relativementdistinctes : celle de laudiovisuel et celle desbases de donnes, afin de concevoir et dechoisir le langage de dfinition des descrip-tions dune part, et dautre part les descrip-teurs et les schmas de description quifigureront dans la norme.

n Sylvie JEANNINIngnieur de rechercheResponsable du projet MPEG-7 au seindu groupe Image et Communication,Laboratoires dlectronique Philips SAS.

DEMAIN DANS L'INDUSTRIE

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.E 5 375 - 4 Techniques de lIngnieur, trait lectronique 2 - 1999

Rfrences bibliographiques

Documents [1] [3] ractualiss en permanence surhttp://drogo.cselt.stet.it/mpeg :

[1] MPEG-7 Context and Objectives.

[2] MPEG-7 Applications.

[3] MPEG-7 Requirements.[4] Special issue on Content-Based Image Retrie-

val Systems, IEEE Computer Magazine,vol. 28, no 9, sept. 1995.

[5] FERT (E.). MPEG-1, MPEG-2, MPEG-4.E 5 360 Trait lectronique. Techniques delIngnieur ( paratre).

Normalisation

ISO/IEC JTC1/SC29/WG11 MPEGhttp://drogo.cselt.stet.it/mpeg

MPEG-7MPEG-7: le contexte, les objectifsObjectifs gnrauxApplicationstat de lartRecherches et produits existantsAutres normes

Architecture et lments dun systme MPEG-7Terminologie MPEG-7: lments considrerExemple darchitecture de systmes MPEG-7

Fonctionnalits, enjeux techniquesFonctionnalitsEnjeux techniquesRfrences bibliographiquesNormalisation