Instrumenter la lecture critique personnelle multimédia

Thomas Bottini

Direction :Pierre Morizet-Mahoudeaux

Bruno Bachimont

Compiègne, lundi 13 décembre 2010

Plan

I. Motivations & approchesII. État de l’art scientifique et techniqueIII. Exposition des problématiquesIV. Un modèle conceptuel générique pour la LCMV. Prototype logiciel & terrains expérimentauxVI. Conclusion et ouvertures

Motivations& approchesVers une lecture critique/savante/intensive multimédia

Situation lectoriale contemporaine

Lecture critique : clef de voûte des sociétés lettrées.→ Production de nouvelles connaissances.

Changement de supports. Multimédia + Web → contenus non textuels.

La lecture multimédia est pensée sous l’angle d’une lecture hyperextensive… Le Web : l’idée d’une bibliothèque mondiale organisée. Plateformes de partage (fonction sociale et non critique). Outils de consommation passive (lecteurs).

… mais le numérique achoppe sur la lecture d’étude*. Le Memex de V. Bush (1945) n’est toujours pas réalisé !*[GIFFARD 2009]

Caractérisation de la lecture critique

Régime analytique : Annotation, marquage & balisage. Sélection, décomposition & fragmentation des contenus. Reformulation & commentaire des unités identifiées.

Régime synthétique : Mise en relation des unités. Hiérarchisation, spatialisation, articulation* (valeur critique). Construction de nouveaux contenus.

Une activité toujours instrumentée**… … faute d’outils adéquats, pas de tradition critique du

multimédia.**[GOODY 1989, GHITALLA 1999, STIEGLER 2005] *[NAKAKOJI ET AL. 2005]

Enjeu technique

Quelle discrétisation des contenus multimédias pour rendre possible la conduite de ces opérations critiques fondamentales ?

annoter

sélectionner

découper

écrire

spatialiser

relier

structurer

regrouper

Notion de chaîne lectoriale

Grille d’analyse historique : Intérêt porté à chaque maillon

selon l’époque.

Manque instrumental : Passage C ↔ D.

Entretiens avec des lecteurs savants

Étudiants, chercheurs en SHS. Souplesse du papier pour la prise de note et l’exploration des

idées… … mais prédominance du numérique pour la production finale.▪ Ainsi, MS Word se trouve investi de tous les rôles :▪ Milieu d’articulation intersémiotique ET critique.▪ Milieu d’articulation des opérations lectoriales.

▪ Orienté production finale et non travail sur les idées. Les contenus sonores restent esclaves du texte (transcription).

Musicologues (segmentation & mise en tableau de partitions). Une pratique fondamentalement multimédia… … mais un « artisanat du papier ».

Une instrumentation déficiente

Positionnement

Une technologie cognitive pour la lecture critique. Un dispositif de suppléance et non de substitution*… … car l’intelligence est matérielle ** et située.

Positionnement disciplinaire : Ingénierie des connaissances (inscriptions numériques***) Ingénierie documentaire/multimédia Hypertextes spatiaux (spatialisation libre, activité

exploratoire) IHM

**[LATOUR 1992, BACHIMONT 2005]

*[GAPENNE ET AL. 2001]***[BACHIMONT 2004]

Plan

I. Motivations & approchesII. État de l’art scientifique et techniqueIII. Exposition des problématiquesIV. Un modèle conceptuel générique pour la LCPMV. Prototype logiciel & terrains expérimentauxVI. Conclusion et ouvertures

État de l’art4 classes d’outils et d’approches en rapport avec la question de la LCPM

Écoute active et annotationde flux sonores

1. GUI pour feuilleter, zoomer, segmenter et annoter un flux.

Associer du texte à des intervalles temporels.2. Organiser les annotations en lignes de temps

parallèles.

Manquent : Espace de synthèse & comparaison.▪ … car un document source unique.

Relations hiérarchiques (tout-partie, plan logique).

XCAPTURE [HINDUS ET AL., 1993]MEDIA MATRIX [KORNBLUH ET AL., 2005]

PROJECT PAD [NORTHWESTERN UNIVERSITY, 2006]

Annotation d’images fixes

Ontologies personnelles : Automatisation de l’annotation. Documents techniques.

AKTIVMEDIA [CHAKRAVARTHY, 2006]

ARMARIUS [DOUMA ET AL., 2008]

[FAURE ET VINCENT, 2007]

Manquent : Manipulation

exploratoire « informelle ».

Espace de synthèse & contextualisation.

Faciliter l’annotation répétitive de manuscrits anciens (CBR).

Importance de la structuration comme opération critique pour l’appropriation d’images « brutes ».

Images en mouvement

Annotations. Modèles de MD avec degré de

formalisation variable (pour soi, pour les pairs).

Restitution des résultats analytiques sous forme de vues XHTML.

Lignes de temps hiérarchiques, couleurs.

MEDIA MATRIXADVENE [AUBERT ET PRIÉ, 2005]

ANVIL [KIPP, 2001]PROJECT PAD

Manquent…

L’approche des hypertextes spatiaux

Pas de distinction nette entre lecteur et auteur. Favoriser la phase exploratoire car structuration souple.

[MARSHALL ET SHIPMAN, 1995]

[NAKAKOJI ET AL., 2005][YAMAMOTO ET AL., 2005]

Transition structurelle : du réseau d’idées au document.

Limitations : Contenus « désincarnés », petits morceaux

de texte uniquement. Évacuation de l’unité documentaire. Pas

d’annotation, pas de localisation interne. Matérialité interne → relations externes.

Ingénierie documentaire & multimédia

SMIL… Annotation multimédia*. Mais ne convient pas…▪ … car sa sémantique est orientée présentation…▪ … et non représentation de relations critiques.

L’IDM thématise la notion de fragment… … mais celle-ci reste enclose dans le champs des outils

d’écriture et de production**.

** [MIKAC ET AL. 2008] *[BULTERMAN, 2003]

Des outils trop spécialisés

Une seule classe d’opérations

Un seul type de contenu

Un seul document

Plan

I. Motivations & approchesII. État de l’art scientifique et techniqueIII. Exposition des problématiquesIV. Un modèle conceptuel générique pour la LCPMV. Prototype logiciel & terrains expérimentauxVI. Conclusion et ouvertures

Problématiques

1. MAÎTRISER LA MATÉRIALITÉ DES CONTENUS2. ÉCLATEMENT, CONTEXTE, CONSTRUCTION3. LES ESPACES DE LA CRITIQUE

Problématique 1

→ Tension fondamentale de la lecture critique : entre « maîtrise matérielle » et « maîtrise critique ». Souplesse matérielle : Adobe Photoshop, MS Word.▪ Outils ordinaires : trop génériques → « artisanat documentaire ».

Expressivité : hypertextes, grammaires doc., ontologies.▪ Outils issus de l’état de l’art scientifique : trop spécialisés.

Enjeu : une lecture multimédia « qualitative ». Des opérations matérielles efficaces « déduites » des

opérations mentales (WYDIWYM).

Maîtriser la matérialité des contenusOpérations mentales Opérations matérielles

Qualification, mise en relation, structuration, comparaison…

Marquage, fragmentation, agrégation, synchronisation, spatialisation…

Problématique 2

La LC apporte une valeur ajoutée aux contenus en matérialisant des points de vue singuliers et non triviaux. Par fragmentation des sources… … puis en produisant des configurations nouvelles des unités.

La LC outrepasse donc les frontières des documents : Chaque fragment doit être adressé pour lui-même. Mouvement constant entre entre décomposition et

recomposition (analyse/synthèse). LC = lecture-exploration + lecture-construction :

Nécessité d’une souplesse sémantiques et structurelle.▪ Le sens des unités est déterminé par leur contexte, et non prescrit par

un modèle préexistant. Abolir la distinction écriture (structuration)/lecture (annotation).

Éclatement, contexte, construction

Problématique 3

La LC exige une articulation fluide entre : des gestes de « concentration » (étude d’un contenu); des gestes d’ « orientation » (étude de n contenus).

1) Quel espace critique pour le document non textuel ? Livre, mise en page, interstices… : la critique repose

sur des dispositifs typodispositionnels. Quelle « grammaire de la lisibilité »* pour les contenus

multimédias non textuels ? Quelle « mise en espace » ? 2) Quel espace synthétique pour le corpus multimédia ?

Surplomb : condition de la posture critique (Ex. : METP). Représenter les relations inter/intradocumentaires.

→ Une question d’interaction humain/documents.

Les espaces de la critique – gestes & interaction

*[PARKES 2001]

Plan

I. Motivations & approchesII. État de l’art scientifique et techniqueIII. Exposition des problématiquesIV. Un modèle conceptuel générique pour la LCPMV. Prototype logiciel & terrains expérimentauxVI. Conclusion et ouvertures

Un modèle conceptuelTrois familles d’entités génériques pour la lecture critique multimédia

1. NIVEAU MATÉRIEL fragmenter, agréger, localiser2. NIVEAU ANNOTATIF qualifier, mettre en relation3. NIVEAU ORGANISATIONNEL structurer, agencer,

construire

1. Le niveau matériel

Les fichiers du SGF sont abstraits dans des Ressources. FRAGMENTER : les Ressources sont éclatées en Fragments. AGRÉGER : les Fragments forment des Entités matérielles. LOCALISER : les Entités matérielles reçoivent des Sélections. → Opérations d’édition matérielle sur lesquelles reposent les

opérations critiques.

Préparation du matériel lectorial

1. Le niveau matériel

2. Le niveau annotatif

QUALIFIER : les Sélections sont associées à des Entités sémantiques (métadonnées, description, étiquettes).

METTRE EN RELATION : les Entités sémantiques sont connectées par des Liens. Orientés, n-aires → réseaux interprétatifs complexes.

Une glose multimédia

Lorem

Lorem ipsum

Lorem ipsum

3. Le niveau organisationnel

STRUCTURATION EXTERNE : Listes, arbres, tableaux… Espaces libres.

Structurer les contenus et l’espace de lecture

STRUCTURATION INTERNE : Matérialiser la structure

logique des documents.

Les Entités structurelles.

3. Le niveau organisationnel

Les Entités structurelles : Sont des Entités sémantiques.▪ Peuvent être qualifiées, liées, etc.

Réalisent une encapsulation sémantique et structurelle des contenus (Entités matérielles).

→ Unifier l’interprétation de contenus hétérogènes.

2+3. Les niveaux annotatifet organisationnel

QUALIFICATION

OBJETS COMPOSITESSPATIALISATION LIBREDE LA DESCENDANCE

MISE EN RELATION

COMPARAISON

Plan

I. Motivations & approchesII. État de l’art scientifique et techniqueIII. Exposition des problématiquesIV. Un modèle conceptuel générique pour la LCPMV. Prototype logiciel & terrains expérimentauxVI. Conclusion et ouvertures

Prototype logiciel& terrains expérimentauxLes modules et leurs usages

Plateforme Flash (frameworks Flex+AIR) : Bibliothèques multimédias Desktop + Web Maturité des outils (framework PureMVC)

Terrains expérimentaux : A. Commentaire composé audio

Philosophie B. Analyses sémiotiques multimédia SHS C. Mise en tableau de partitions multimédias Musicologie

Organisation générale

1. Navigateur (contenus + structure).2. Interface MDI (outils + instruments).3. Inspecteur d’éléments (persistant).

1. 2. 3.

Exp. A.1. Commentaire composé de conférences de philosophie enregistrées Méfiance des enseignants à l’égard du

multimédia (approche passive et non active/critique)…

→ Approche critique du contenu. → Localisation précise de la glose.

Principe du module : Définition d’instants remarquables. Construction du plan. Inscription du commentaire. Annotations libres + enrichissements.

Exp. A.2. Relations structurelles et liens hyperdocumentaires

Un instrument de lisibilité : la carte synoptique.

Exp. A.3. Publication hypermédia

Double finalité : professeurs + publication « élargie ». Gérer deux niveaux de discours. Documenter/contextualiser le commentaire

(enrichissements, discussions, références…). Chaîne éditoriale Scenari WebRadio.

Un pas vers les chaînes lectoriales

Modèle

Exp. B.Analyses sémiotiques de corpus non textuels1. Corpus de Unes de titres de presse.

Matérialiser et commenter la structure typodispositionnelle.2. Étude sémiotico-culturelle musique/couleur.

Manipuler un matériau audible/visible/commentable.3. Étude « ethnomusicologique » comparative.

Mise en série et étude de similarités musicales.

Exp. B.Au-delà des hypertextes spatiaux

1. Articuler matérialité interne et contextualisation critique.2. L’espace comme moyen* (exploration) et fin* (restitution).

*[YAMAMOTO ET AL. 2005]

Exp. C.Mise en tableau de partitions multimédias

À disposition du musicologue… … des contenus « bruts » (partitions numérisées, mp3).

Comment manipuler l’ « œuvre », et non les divers contenus dans lesquels elle s’incarne ?

1. Synchronisation. Faire coïncider n linéarités (spatiales & temporelles). C’est déjà une opération critique singulière*.

2. Délinéarisation et segmentation de la partition.3. Exploration libre des groupements motiviques.4. Fixation de l’analyse : mise en tableau.

*[DONIN ET GOLDSZMIDT 2007]

Exp. C.1.Synchronisation hypermédia

1

2

1) STRUCTURER

2) MARQUER

3) RELIER

Exp. C.1.Atelier de synchronisation

Exp. C.2.Le segment musical synchronisé

La synchronisation rend possible une « découpe hypermédia ». Agrège :

Entités matérielles graphiques (morceaux de partitions). Entités matérielles sonores (segments d’interprétations).

Pour chaque Fragment graphique de partition : Manipulation matérielle → lisibilité accrue. Contextualisation (Entité matérielle graphique d’origine).

Exp. C.3→4.Espaces libres & tableaux hypermédiasSPATIALISER, CATÉGORISER, EXPLORER

ÉCOUTER & VALIDER

Exp. C.Un décalage épistémologique

Un environnement multimédia : Validation par l’oreille. Confrontation au matériau source. → Analyse multimodale.

Un environnement pour l’analyse : Mener de front plusieurs analyses. Garder les pistes non suivies. Possibilité de « refaire » l’analyse, de la faire varier*.

→ Falsifiabilité. → Document = le produit de l’analyse + son contexte.

*[DONIN & GOLDMAN 2008]

ConclusionEt ouvertures

Conclusion

Contribution : Modèle générique. Principes d’organisation, représentation, interaction.

Approche : Concepts « auteurs » au service de la lecture :▪ Fonctions d’éditions contrôlées par les opérations critiques

(synchronisation).▪ Création libre d’entités, fragmentation, agrégation.▪ Structuration, disposition spatiale

Ouvertures

Travaux futurs : Intégration plus fine avec des chaînes de publication. Expressivité du modèle (typage des nœuds, ontologies

personnelles et collectives, grammaires documentaires). → Collectivité & ouverture vers le Web. → Couche d’ « abstraction critique » du SGF.