n. dufournaud : xml tei un outil méthodologique pour la recherche en shs
DESCRIPTION
Support de présentation pour la zéance XML TEI du séminaire Digital Humanities EHESS 2009-2010TRANSCRIPT
XML TEI : un outil méthodologique pour la recherche en SHS
Introduction à XML-TEI. Enjeux et perspectivesEHESS – 3 février 2010
Nicole DufournaudIngénieure de recherche - CESR Tours
Chercheuse en Histoire
Une expérimentation personnelle et collective :vers une communauté !
● En 1996-1997 : projet Emma● De 1998 à 2007 : maîtrise, DEA et thèse
– Edition et analyse des textes en SGML/TEI puis XML/TEI
● A partir de 2004/2005 : CESR Tours, cours de Master Pro (½ journée puis 2 jours)
● 2006/2007 : projet Millefeuille, mise en place du projet
● De mai 2007 à mars 2010 : CESR univ. Tours, projet BVH
Plan● Notions de base :
– Les éditeurs– La structuration de données– L'encodage
● Un meta-langage : XML● Un outil d'édition, de diffusion et d'analyse : TEI
(Text Encoding Initiative ou Text Encoding for Interchange ! ) : expérimentations personnelles
● Les enjeux et les perspectives : la visualisation exploratoire
Editeur de textes graphiques et structuration des données
● Différences entre un éditeur, un traitement et un formateur de textes
– Aspect graphique : Word● Anciennement « traitement de textes »● « Editeur de textes graphiques »● « WYSIWYG »
– Aspect structurel hiérarchique : Latex● Anciennement « formateur de textes »● « Editeur de documents structurés »
puis HTML et XML
Editeur graphique et structuration des données
● Pour diffuser un texte, pourquoi NE PAS utiliser Word fait pour la publication papier ?
– Est-ce un langage compréhensible pour la machine ?
● Pour échanger un texte, pourquoi NE PAS utiliser Word fait pour la publication papier ?
– Peux-t-on y distinguer les modifications d'origine, les interventions diverses ?
Structurer des données● C'est convertir des données (textuelles) dans un
format exploitable par un ordinateur● Dans le contexte des documents numériques,
c’est :– Utiliser un langage formel de marquage pour décrire
un texte sous la forme d’une suite de phénomènes textuels et paratextuels qualifiant et structurant le texte.
● Le document numérique est alors exploitable par l'humain ET par la machine.
● Exemple d'un format compris par la machine : HTML : site de l'EHESS !
Un document
EHESS - 3 février 2010 8
Almanachs Royaux / Nationaux / Impériaux
Structure du documentExemple d'un livre imprimé● La page de titre
– Le titre– Les pièces liminaires
● Privilège● Dédicace● Préface...
● Le texte– Le corps du texte– Un groupe de textes : recueils
● Les pièces annexes
Structure du document
● Le corps du texte– Les divisions avec leur en-tête ou titre
● Les chapitres● Les paragraphes● Les strophes...
– La mise en valeur typographique : le rendu● Les notes● Les marges● Les tableaux et les listes● Les illustrations
En histoire
Pourquoi structurer ses données ?
Comment structurer ses données ?
En histoire
● Pourquoi structurer ?– Méthode traditionnelle :
● Hypothèse● Sources● Vérification de l'hypothèse
– Méthode à l'ère du numérique● Données numériques en nombre croissant● Exploitation difficile par la machine
● Voir article de Ben Shneiderman « Science 2.0 » http://www.cs.umd.edu/~ben/Science%202%200-AAAS-3-7-2008.pdf
Comment structurer ?
● « Un format d'échange s'exprime dans un encodage qui explicite une théorie concernant un aspect quelconque d'un document » Lou Burnard, Oxford University
● Les limites de l'encodage– Tout encodage est une interprétation– Aucun langage d'encodage ne peut
prétendre être complet● Les atouts de l'encodage
– Permet l'exploration– Donne des idées
XML/TEI
● TEI est un projet pluridisciplinaire pour uniformiser le codage de documents en vue de leur échange : recommandations pour un standard d'échange
● TEI a besoin d'un environnement : XML, Eclipse, HTML, XSLT, etc.
● XML est un meta-langage pour aider à la saisie d'un texte en le structurant.
● XML/TEI : outil d'édition, de diffusion et d'analysed'analyse
XML
● XML représente :– les données structurées hiérarchiquement– une arborescence composée de parents et
d'enfants● XML est « indépendant »● XML a une syntaxe qui doit être respectée
http://www.tei-c.org/
● Les enjeux :– « Faciliter la création, l'échange et
l'intégration des données textuelles informatisées » (Lou Burnard)
● Les buts :– « Préférer les solutions générales à celles
spécifiques à une discipline » (Lou Burnard)
● mais système modulaire !
http:www.tei-c.org
http://www.tei-c.org/
● Pour structurer, il faut baliser !● Pour baliser, il faut utiliser des éléments et
des attributs
Principes de balisage● L'élément est la structure de base marquée par
une balise de début et une balise de fin– La balise ouvrante se marque avec des chevrons :
<...> ; pour la balise fermante une barre oblique est ajoutée </...> :
● exemple <...>...</...> ; si le contenu est vide, les balises se raccourcissent :
● Exemple <.../> soit une barre oblique APRES le contenu
– Exemple :<title>Le Tiers Livre</title><lb/>
Principes de balisage● Deux règles essentielles dans XML :
● la syntaxe des balises● Règle d'imbrication stricte : il est interdit de faire
chevaucher les éléments, par exemple :<title><p>Le Tiers Livre</title></p>
● Hierarchie : une certaine catégorie d'éléments est imbriquée dans une autre catégorie :
● <addrLine> est toujours imbriqué dans <address>● <date> est parfois utilisé seul ou parfois imbriqué dans
d'autres éléments comme <bibl>
Principe de balisage● Balisage formel et typographique qui permet :
– une transcription structurelle :● <div> et <head>● <p>
– Un respect de la mise en forme :● <lb>● <fw> pour Forme Work pour les en-tête et pied
de page● Balisage sémantique : éléments analytiques
succincts● <persName><date> <geogName><address>
Principe de balisage● L'attribut est un paramètre associé à un élément
– Il fournit une description de l'élément● Exemple : @n● <pb n="1"/> 1 étant la valeur de l'attribut
– Autres attributs :● @type● @rend
● Certains éléments sont également des attributs:– Exemple : <hand> et @hand
Présentation du fichier<teiHeader>...
</teiHeader> <text> <body> <div>
...
</div>
</body>
</text>
Transformation
● La feuille de style– XSLT : transforme du XML en HTML– Elle est documentée
● Elle est générée automatiquement avec les schéma
● Elle permet :– D'afficher en html avec un ou plusieurs rendu
possibles– Des traitements par les ordinateurs
Les enjeux
● TEI: un outil d'édition, de diffusion et d'échange
● TEI: un apport pour la Recherche en SHS– Analyses– Visualisation
Expérimentation personnelle : travaux universitaires en histoire
● Thèse : « Rôles et pouvoirs des femmes au XVIe siècle dans la France de l'Ouest »
– Un sujet à controverse– Pas de données sérielles– Sources difficiles : à lire et à comprendre
● Maîtrise : « Comportements et relations sociales en Bretagne vers 1530, d'après les lettres de pardon »
– Source difficile– Étude qualitative et quantitative : analyse sérielle
● Projet Emma
Projet Emma : 1995-1998
Expérimentation personnelle en histoire
● Maîtrise et DEA : 150 lettres de pardon.– Volonté de :
● Diffuser et échanger ● Dépouiller par un moyen informatique● D'analyser des données informatiquement
pour une exploitation informatique des résultats
– Recherche d'un format de codage de texte dit « structuré » comme support
Expérimentation personnelle en histoire
● TEI semble idéal !– Convention commune pour diffuser et échanger– Langage compréhensible pour la machine en vue
de traitements informatiques– Rend la transcription exhaustive exploitable,
analysable et réutilisable– Garde la diplomatique à l'inverse des BDD– Peut mettre en relation des données– Lie les analyses aux sources pour vérification
Expérimentation personnelle en histoire avec un informaticien
● Méthodologie : trois étapes– Saisie de la transcription exhaustive avec encodage
typographique et formel en SGML/TEI P3● Affichage grâce à une feuille de style élaborée
– Enrichissement en TEI (noms, dates, lieux, typologies)
● Production d'index – Encodage analytique en TEI avec liaison d'une grille
de dépouillement
EHESS - 3 février 2010 30
Etape 0-Transcription diplomatique
[11] en la compagnie de il et Jehanne Serance, lors sa femme, Jehan[12] durandiere et sa femme, mere dudit Leserclier, et pareillement[13] André Serance, oncle paternel de ladite Jehanne Serance, durant[14] lequel soupper ilz firent assemblement bonne chere et aprés[15] iceluy soupper et que iceulx Durandiere, sa femme, André Serance[16] et autres s'en furent allez et retirez chacun en sa maison sans[17] avoir noyse ne parolles de rigueur, arriva oudit villaige de[18] Bonhardy prés la maison desdits Leserclier et sa femme ung nommé[19] Mace Chassé qu'il dist a ladite femme Leserclier par celles[20] parolles : « Voz beuffs sont en mes naveaulx et y ont esté[21] par troys foiz ; vous n'en couvrirez voz bledz de troys jours ». A quoy[22] ladite Jehanne Serance, femme dudit Leserclier, luy respondit[23] et dist que les luy eust renduz et que elle eust baillé[24] a iceluy Chassé ung grant pain sans que ledit Leserclier, son[25] mary en eust eu congnoissance, quelles parolles ledit[26] Leserclier entendit et dist lors a ladite Jehanne Serance[27] par semblables parolles : « Jehanne, prenon ses porcs qui sont[28] a rompre noz pailliers et les mectons en parc », esperant celuy[29] Leserclier que les porcs qui estoint prés le paillier dudit[30] Leserclier apartenseissent audit Chassé. A quoy ladite[31] Jehanne respondit : « Ilz ne sont pas a luy, ilz sont a nous ».[32] En l'endroit de quoy ledit Leserclier en courant aprés[33] lesdits pourceaux, dist a icelle Jehanne Serance sa femme :[34] « je vous avoys dit que votre chambriere et vous, eussiez mené[35] les beuffs en la close du pommier dessur ». Et ainsi courant[36] et disant celles parolles desplaisant de la prinse et[37] emparchement de ses dits beuffs, print iceluy Leserclier[38] une pierre qu'il trouva ou chemyn et la gecta rudement
Etape 1-Codage diplomatique
● Annotations éditoriales:– <sic> pour des erreurs manifestes– <abbr> pour les abréviations– <unclear> pour les mots incertains– <del> pour les ratures– <add> pour les ajouts– <note> pour des notes– etc.
EHESS - 3 février 2010 32
Codage et balisage diplomatique TEI
[11] en la compagnie de il et Jehanne Serance, lors sa femme, Jehan[12] durandiere et sa femme, mere dudit Leserclier, et pareillement[13] André Serance, oncle paternel de ladite Jehanne Serance, durant[14] lequel soupper ilz firent assemblement bonne chere et aprés[15] iceluy soupper et que iceulx Durandiere, sa femme, André Serance[16] et autres s'en furent allez et retirez chacun en sa maison sans[17] avoir noyse ne parolles de rigueur, arriva oudit villaige de[18] Bonhardy prés la maison desdits Leserclier et sa femme ung nommé[19] Mace Chassé qu'il dist a ladite femme Leserclier par celles[20] parolles : « Voz beuffs sont en mes naveaulx et y ont esté[21] par troys foiz ; vous n'en couvrirez voz bledz de troys jours ». A quoy[22] ladite Jehanne Serance, femme dudit Leserclier, luy respondit[23] et dist que les luy eust renduz et que elle eust baillé[24] a iceluy Chassé ung grant pain sans que ledit Leserclier, son[25] mary en eust eu congnoissance, quelles parolles ledit[26] Leserclier entendit et dist lors a ladite Jehanne Serance[27] par semblables parolles : « Jehanne, prenon ses porcs qui sont[28] a rompre noz pailliers et les mectons en parc », esperant celuy[29] Leserclier que les porcs qui estoint prés le paillier dudit[30] Leserclier apartenseissent audit Chassé. A quoy ladite[31] Jehanne respondit : « Ilz ne sont pas a luy, ilz sont a nous ».[32] En l'endroit de quoy ledit Leserclier en courant aprés[33] lesdits pourceaux, dist a icelle Jehanne Serance sa femme :[34] « je vous avoys dit que votre chambriere et vous, eussiez mené[35] les beuffs en la close du pommier dessur ». Et ainsi courant[36] et disant celles parolles desplaisant de la prinse et[37] emparchement de ses dits beuffs, print iceluy Leserclier[38] une pierre qu'il trouva ou chemyn et la gecta rudement
Etape 2 - les annotations sémantiques
● <date> pour les dates● <name> pour les noms● <rs type="…">
– Toponyme pour les lieux– Arme pour les armes– Meubles, architecture, etc. suivant les
centres d’intérêts● <signed>
EHESS - 3 février 2010 34
Balisage sémantique TEI
Etape 3-l'encodage analytique● Encodage analytique
– TEI permet une liaison explicite entre le texte et une grille de dépouillement (inspirée de la thèse de C. Gauvard) :
● Diplomatique● Identité● Sort du coupable après le crime : prison, pilori, relax● Participants au crime● Déroulement du crime● Octroi du pardon royal
– Cette grille pouvait être enrichie incrémentalement● à mesure de l’évolution du travail de transcription, et● de l’évolution de la réflexion.
EHESS - 3 février 2010 36
Analyse à l’aide de mécanismes TEIInterprétation
Intercesseur (Personnage) parens et amys
Victime (Personnage) Jehanne Serance
Relation criminel/intercesseur (Personnage) consanguins de notre povre subgect
Nom du criminel (Personnage) Pierre Leserclier
Statut social du criminel (Statut) homme de labeur
Statut social de la victime (Statut) lors sa femme
Moment du crime (Date) aprés iceluy soupper
Motif du crime (Motif) parolles desplaisant
Lieu du crime (Lieu) Bonhardy
Circonstance atténuante (Circonstance) qui est chargé de petiz enfans orphelins avoit auparavant bien et honnestement vescu et entretenu icelle sadite femme et enfans sans jamais avoir esté accusé ni convancu dautre cas reprouchable
Date du crime (Date) dimanche, dernier jour de septembre dernier
Date du jugement (Date) moys d'octobre l'an mil cinq cens vingt
Type du crime (Crime) de vie a trespas
Elément volé (Objet) None
Expérimentation personnelle : maîtrise en histoire
● Le fichier TEI :<lb n="19">et ce pour raison de labourer et recrue<index level1="recrue"> que faisoit...
● Le fichier glossaire :<div type="glossaire"> <list type="gloss"> <label id="abrevier"><term>Abrévier</term></label> <item><gloss>abréger, raccourcir, résumer.</gloss></item>... <label id="recrue"><term>Recrue</term></label> <item><gloss>aménagement d'une parcelle cultivée conquise sur un terrain inculte</gloss></item>...</list></div>
Expérimentation personnelle : maîtrise en histoire
● Les outils : Jean-Daniel Fekete (Ecole des mines de Nantes puis INRIA)
– Editeur : Emacs– Encodage TEI : SGML/TEI Lite et P3– Traducteur avec Perl pour la mise en page, et vers
HTML pour lier automatiquement les lettres à leurs images.
– Puis XSL (devenu XSLT), et surtout XML.● Les traitements :
– Un testeur d'intégrité sémantique – un indexeur, un générateur de table, des filtres pour
retirer l'encodage
Expérimentation personnelle : maîtrise en histoire
● Les résultats en 1999– Production automatique de tables d'analyses sous un
tableur ; elles deviennent des instruments de travail : réalisation d'études statistiques
– Production de multiples index qui croisés permettent ● Un travail d'écriture facilité● De tester l'intégrité de l'encodage : une lettre de
pardon comprend toujours un crime !– L'exploitation historique en est simplifiée et corroborée
; les analyses sont vérifiables et réutilisablesC'est une méthode scientifique !
Expérimentation personnelle : thèse en histoire
● En 2007 : – Thèse sur les « Rôles et pouvoirs des
femmes au XVIe siècle dans la France de l'Ouest »
● Un sujet à controverse● Pas de données sérielles● Sources difficiles : à lire et à comprendre
Méthode de science dure : accumulation de cas.
Expérimentation personnelle : thèse en histoire
● Variantes : – Diversité des sources– Nombre plus élevé : 1000 textes saisis et
encodés● Trop de données numériques
– Grille de dépouillement refaite complètement– Mise en relation directe entre le texte de la
thèse et les références (voir la thèse en ligne)
– De la visualisation pour l'analyse et l'exploration
Exploration des données : Infozoom
EHESS - 3 février 2010 44
Liaison texte/référence en ligne http://nicole.dufournaud. net
Expérimentation personnelle : thèse en histoire
● Utiliser TEI :– a permis de référencer les analyses et de les vérifier– c'est aller au-delà d'une simple publication :
● pour faciliter :– le dépouillement– l'analyse– la production de résultats
● pour réutiliser le processus pour d'autres analyses ultérieures (maîtrise puis thèse)
Cette méthode est une véritable aide pour l'historien à établir des interprétations qui se vérifient par les textes de sources primaires
Visualisationhttp://www.aviz.fr/
● Lorsqu’on a des données et qu’on cherche des questions intéressantes, on doit explorer.
● Principe de l’analyse exploratoire : – utiliser nos capacités visuelles pour détecter des
phénomènes inattendus● Spécialité ancienne, la visualisation est une aide à
l'analyse (voir les travaux de J. Bertin). – L'interactivité l'enrichit énormément.
● Inconvénient : difficile à utiliser sur des données non ou semi structurées.
● Objectifs : vue d'ensemble, construction d'hypothèses et analyses.
http://xkcd.com/657/
EHESS - 3 février 2010 4923 janvier 2009 Histoire sociale des pouvoirs politiques 2008-2009
Coocc urrenc es de perso nnes
dans l a biblehttp://m
anye yes.a lphaworks.ib m
.com/
manye yes/u sers/c rossw
ay
EHESS - 3 février 2010 50
Co-publication INRIA Saclay (04-08)
Histoire sociale des pouvoirs politiques 2008-2009
EHESS - 3 février 2010 51
Visualisation de la visite d’hôtels
Visualisation et TEI
● Text Encoding Initiative– TEI est une norme qui structure du contenu
d'un document– TEI ne permet pas de montrer
graphiquement des analyses– TEI ne s'intéresse qu'au caractère
● La Visualisation est une autre technologie● Associer TEI avec la visualisation permet de
faire une édition graphique des analyses structurelles d'un texte
Extraction de données /calculs et graphiques
● Quelques exemples :– Nombre de lettres de grâce par année– Délais entre le crime et la rémission au 16e
siècle en Bretagne– Compus et la visualisation XML– Réseaux sociaux– Arbres généalogiques– Carte des lieux mentionnés– Diagrammes de flux liés à la généalogie
EHESS - 3 février 2010 55
Graphique n° 3 : Nombre de lettres de grâce par année
0
10
20
30
40
50
60
70
80
90
100
1525 1526 1527 1530 1531 1532 1533 1534 1535 1538 1550 1556 1559 1562 1563 1573 1574
Année
Nom
bre
de le
ttres
Nbre de lettresNbre de mois en compteLettre par an
Visualisation statique
EHESS - 3 février 2010 56
• Délais entre le crime et la rémission:<docdate ana="diplomatique-date-signature-chancellerie"
value="04/01/1531">4 janvier 1530</docdate><date ana="crime-date" value="24/10/1529">vingt quatriesme
<abbr>jour</abbr> d'octobre dernier</date>
Graphique n° 4 : Délais entre le crime et la rémission
0
50
100
150
200
250
300
04/0
1/31
18/0
1/31
01/0
2/31
15/0
2/31
01/0
3/31
15/0
3/31
29/0
3/31
12/0
4/31
26/0
4/31
10/0
5/31
24/0
5/31
07/0
6/31
21/0
6/31
05/0
7/31
19/0
7/31
02/0
8/31
16/0
8/31
30/0
8/31
13/0
9/31
27/0
9/31
11/1
0/31
25/1
0/31
08/1
1/31
22/1
1/31
06/1
2/31
20/1
2/31
03/0
1/32
17/0
1/32
31/0
1/32
14/0
2/32
28/0
2/32
13/0
3/32
27/0
3/32
10/0
4/32
24/0
4/32
08/0
5/32
22/0
5/32
05/0
6/32
Date de la ré m is s ion
Dél
ais
en m
ois
Compus et la visualisation XML
EHESS - 3 février 2010 58
Arbres généalogiques
23 janvier 2009 Histoire sociale des pouvoirs politiques 2008-2009
EHESS - 3 février 2010 59
EHESS - 3 février 2010 60
Aide à la narration
Réseau social
Carte des lieux mentionnés
Conclusion
● Après l'ère de la mise en page, celle du contenu :
– structurer un texte rend explicite le sens du texte !
● TEI est aussi :– un instrument d'analyse– un outil qui permettra l'exploration
d'une quantité de données en augmentation constante
4 grandes idées – Lou Burnard
● Il faut maîtriser l'ordinateur car c'est notre manière de nous exprimer maintenant ! TEI y nous aide.
● Le texte a une structure et une signification● Le « balisage explicite » s'intéresse plus au
contenu qu'à la mise en page !● Le texte est quelque chose d'abstrait :
– La construction du texte vient des lecteurs :● Gardez le texte original !
Perspectives
● Problèmes récurrents :– Réseaux sociaux– Arbres généalogiques– Analyses textuelles : textométrie– Variantes
● Des outils d'analyse et d'exploration sont mûrs mais il manque la connexion entre les données et les outils
– Avec une seule convention commune : TEI
Les références Internet
● http://nicole.dufournaud.net● http://www.aviz.fr● http://xkcd.com/657/large/● http://tei-c.org/● http://www.cn-telma.fr/● http://www.bvh.univ-tours.fr/● http://www.cs.umd.edu/~ben/Science%202%200-AAAS-3-7-2008.pdf
EHESS - 3 février 2010 68
Publications● N. Dufournaud. Manuel d’encodage XML-TEI Renaissance et temps modernes Imprimés –
manuscrits : Recommandations pour une application TEI. Projet BVH, Bibliothèques Virtuelles Humanistes : http://www.bvh.univ-tours.fr/XML-TEI. Juillet 2009.
● N. Dufournaud and J-D. Fekete. Comparaison d'outils pour la visualisation de sources historiques codées en XML/TEI. Document Numérique, 9(2):37–57, 2006, Hermès – Lavoisier.
● J-D. Fekete and N. Dufournaud. Compus: visualization and analysis of structured documents for understanding social life in the 16th century. In Proceedings of the fifth ACM conference on Digital libraries, pages 47–55, 2000. ACM Press.
● J-D. Fekete and N. Dufournaud. Analyse historique de sources manuscrites : application de TEI à un corpus de lettres de rémission du XVIe siècle. Document Numérique, numéro spécial “Les documents anciens”,, 3(1–2):117–134, 1999, Hermès – Lavoisier.
● J-D. Fekete and N. Dufournaud. Utilisation de TEI comme support méthodologique au dépouillement de sources manuscrites. In Actes du Vième Colloque National de L'Association Française pour l'Histoire et l'Informatique (AHI), November 1998.
● J-D. Fekete. Expérience de codage de document à intérêt graphique à l'aide de TEI. In Actes du congrès Eurotex 98, pages 131–142, Saint Malo, March 1998.