Steffen Lalande, Abdelkrim Beloued 12 avril 2023

Le Studio Saphir pour segmenter et décrire des documents audiovisuels

2

Quelques informations générales

• Système d’Assistance à la Publication Hypermédia par spécification d’Intentions et modélisation Rhétorique

• Projet ANR-05-RIAM-006

• De type “exploratoire”

• 2006 -> début 2010

• Partenaires :

–LIRMM (GRaphiK et IHM)–FMSH (Escom)–LERIA (Interaction, connaissances et Langage naturel)–NETIA–INA (ISA et CAP)

3

Objectifs

Dans un contexte de valorisation d’archives AV…… et de (Re)-publication sur différents supports( Web,DVD,mobile)

• Permettre à un auteur de réaliser des publications hypermédias “utilitaires”–En exploitant directement une base de documents–En ne mobilisant que des notions proches de ses compétences

• Assistances apportées sur différents points–Segmentation, description de contenus–Recherche de contenus–La réalisation de plans de publication–La mise en forme hypermédia

• Une plateforme générique capable de gérer des modèles de publication différents

4

Le studio Saphir pour décrire et segmenter les

documents audiovisuels, visuels et textuels | 12 avril 2023

4

Process général, ressources et rôles

Ontologiedomaine

SpécificationPublication Annotation

OntologiePublication

OntologieSémio-rhétorique

Modèle Publication

Modèle Description

Modèle Description

Modèle Publication

Modèle Publication

Modèle Description

KBMS(annotations

/ faits)

DocMise en forme& présentation

5

Objectifs en Description de contenus et Recherche d’information

• Réexploiter des contenus dans des contextes différents

• Définir des extraits porteurs de sens

• Faciliter la recherche de contenus

• Permettre leur manipulation par un système logiciel d’aide à la publication

Solutions apportées :

• Possibilité de sur-segmenter un document

• Offrir différents axes de description (Thématique, Rhétorique, Forme AV)

• Utilisation de langages de représentation des connaissances–Graphes utilisant concepts et relations –basés sur des ontologies

6

Alléger le travail de l’annotateur et de l’auteur

• Utilisation de patterns de description liés aux modèles–Spécialiser et instancier les pattern

• Limiter la duplication d’information : portée temporelle de la description–Description hiérarchique et mécanismes d’héritage d’information entre

strates

• Distinguer description du contexte et connaissances générales

… et augmenter les possibilités du système en RI et Publication–Mixer base d’annotations et base de connaissances

7

DEMO Annotation et Recherche de contenus

8

Le studio Saphir pour décrire et segmenter les

documents audiovisuels, visuels et textuels | 12 avril 2023

8

Architecture de publication

9

Ontologie de publication

• Référentiel d’édition

• Décrit la structure de publication–Éléments de publication (Topics, Ressources, etc.)–Relations rhétoriques (Exemplification, Définition, Description, etc.)

• Combinaison de deux ontologies–Ontologie noyau de publication

> Éléments communs entre les genres de publication: Topic, Vidéo, Image, Texte, Individu, etc.

–Ontologie du genre de publication> Se greffer sur l’ontologie noyau> Raffinement de certains éléments de l’ontologie noyau> Éléments spécifiques à un genre de publication

»Par exemple, pour le vidéo-lexique: Rubrique, Article.

10

Ontologie de rendu

• Décrit la structure du rendu final

• Exemple: Site Web

11

Moteur de transformation

• Transformation du graphe de publication en un graphe de rendu

• Regroupements d’éléments–Relations rhétoriques => Corrélation entre les

éléments–Résultat: ensemble de blocs multimédias

• Placement d’élements–Plusieurs variantes suivant le contexte–Placement intra-bloc–Placement inter-bloc–Résultat: plan de publication

• Générateur du graphe de rendu–Exécution du plan de publication

12

DEMO Publication de contenus

13

Le studio Saphir pour décrire et segmenter les

documents audiovisuels, visuels et textuels | 12 avril 2023

13

STUDIOclientSTUDIO

clientSTUDIOclient

Mediaservices

Web services layer

descriptionsservices

Individualservices

Factsservices

serachservices

individualsAuthorGraphsdescriptions

Indexing Models

Medias Publishingmodels

notes

Notesservices

WEB

PublicationEditing

services

PublicationWorkflowservices

Search engine

wrapper

COGITANTengine

SYGMARTTTL

Eadgen

NWE

Publications

règles

ServerManagement

client

LERIANETIA

INA / NETIA

INA / LIRMM

INA/ LIRMM/FMSH

Css,xslt... LIRMM

INA / NETIA

LIRMM

facts

ONTOLOGY

editorontology

INA

LIRMM

INA

FMSH

INA

14

Conclusion et perspectives

• Une plateforme d’expérimentation de modèles d’indexation et de publication

• Un système évolué de descriptions de contenus et de recherche d’information

• Une gestion conjointe des annotations et des connaissances.• Un système de publication prenant en compte les contraintes de support• Problème : cohabitation de trois langages différents pour l’indexation et

la publication

un système trop complexe

perte d’information entre les étapes : complexité écriture de règles

Refonte du système pour l’utilisation du langage OWL/RDFS/RDF tout au long de la chaîne

Interopérabilité avec bases de connaissances externes