fichier texte
DESCRIPTION
FICHIER TEXTE. EXTRACTION TERMINOLOGIQUE. ETIQUETAGE EN CATEGORIES DU DISCOURS. TRI DES SORTIES. EXEMPLE DE FICHIER TEXTE. - PowerPoint PPT PresentationTRANSCRIPT
1
FICHIER TEXTE
ETIQUETAGE EN CATEGORIES DU DISCOURS
EXTRACTION TERMINOLOGIQUE
TRI DES SORTIES
2
EXEMPLE DE FICHIER TEXTE• BRUXELLES (AFP) - L'Union européenne, dont six pays
sont touchés par le virus H5N1 de la grippe aviaire, a envisagé lundi l'octroi d'aides au secteur avicole frappé par la chute de la consommation de volaille, tandis que quatre nouveaux foyers ont été identifiés au Nigeria.
• Bruxelles est prêt à autoriser des aides nationales sous formes de mesures techniques déjà existantes, comme des prêts à bas taux d'intérêts aux producteurs, à condition que les Etats membres respectent les règles communautaires, a déclaré la commissaire à l'Agriculture Mariann Fisher Boel à l'issue de la réunion à Bruxelles des ministres de l'Agriculture des 25 pays membres.
3
Etiquetage par Tree Tagger
BRUXELLES NAM Bruxelles
( PUN (
AFP ABR AFP
) PUN )
- PUN -
L'Union ABR L'Union
européenne NOM européen
, PUN ,
dont PRO:REL dont
six NUM six
pays NOM pays
sont VER:pres être
touchés VER:pper toucher
par PRP par
Virus NOM virus
H5N1 VER:pper H5N1
de PRP de
la DET:ART le
grippe NOM grippeaviaire ADJ aviaire
, PUN ,
a VER:pres avoir
envisagé VER:pper envisager
lundi NOM lundi
l'octroi NOM l'octroi
d'aides ADJ d'aides
au PRP:det au
secteur NOM secteur
avicole ADJ avicole
frappé VER:pper frapper
par PRP par
la DET:ART le
chute NOM chute
de PRP de
la DET:ART le
consommation NOM consommation
de PRP de
volaille NOM volaille
, PUN ,
tandis KON tandis
que ADV que
quatre NUM quatre
nouveaux ADJ nouveau
foyers NOM foyer
ont VER:pres avoir
été VER:pper être
identifiés VER:pper identifier
au PRP:det au
Nigeria NOM Nigeria
. SENT .
Bruxelles NAM Bruxelles
est VER:pres être
prêt ADJ prêt
à PRP à
autoriser VER:infi autoriser
des PRP:det du
aides NOM aide
nationales ADJ national
sous PRP sous
formes NOM forme
de PRP de
mesures NOM mesure
techniques ADJ technique
4
Etiquetage par Cordial•BRUXELLES •Bruxelles •NPSIG
•( •( •PCTFAIB
•AFP •Afp •NPFS
•) •) •PCTFAIB
•- •- •PCTFAIB
•L' •le •DETDFS
•Union •union •NCFS
•européenne •européen •ADJFS
•, •, •PCTFAIB
•dont •dont •PRI
•six •six •ADJNUM
•pays •pays •NCMIN
•sont •être •VINDP3P
•touchés •toucher •VPARPMP
•par •par •PREP
•le •le •DETDMS
•virus •virus •NCMIN
•H5 •h5 •NCI
•N1 •n1 •NCI
•de •de •PREP
•la •le •DETDFS•grippe •grippe •NCFS
•aviaire •aviaire •ADJSIG
•, •, •PCTFAIB
•a •avoir •VINDP3S
•envisagé •envisager •VPARPMS
•lundi •lundi •NCMS
•l' •le •DETDMS
•octroi •octroi •NCMS
•d' •de •PREP
•aides •aide •NCPIG
•au •au •DETDMS
•secteur •secteur •NCMS
•avicole •avicole •ADJSIG
•frappé •frapper •VPARPMS
•par •par •PREP
•la •le •DETDFS
•chute •chute •NCFS
•de •de •PREP
•la •le •DETDFS
•consommation •consommation •NCFS
•de •de •PREP
•volaille •volaille •NCFS
•, •, •PCTFAIB
•tandis que •tandis que •SUB
•quatre •quatre •ADJNUM
•nouveaux •nouveau •ADJMP
•foyers •foyer •NCMP
5
Extraction de correspondances selon type de patron
FORMAT CORDIAL NC[A-Z]+ ADJ[A-Z]+
(ça devrait être N[A-Z]+)
FORMAT TREE TAGGER NOM ADJ
6
Programmation
Programme fondé sur l’idée que les données formatées par Cordial ou Tree Tagger sont totalement normalisées
A une suite d’étiquettes au rang [$i..$i+1], correspond exactement une suite de tokens au même rang
Recherche des correspondances entre le patron fourni par l’utilisateur (p. ex. ADJ NOM) et les étiquettes du texte
7
Difficultés
Gestion des indices
Longueur des expressions régulières :
facile avec Tree Tagger (NOM ADJ)
plus compliqué avec Cordial NC[A-Z]+ ADJ[A-Z]+ nécessité d’utiliser $& pour saisir la vraie longueur de la correspondance
8
COMPARAISON DES SORTIES
CORDIAL TREE TAGGER
Union européenne grippe aviaire
grippe aviaire l’octroi d’aides
secteur avicole secteur avicole
aides nationales aides nationales
mesures techniques mesures techniques
règles communautaires règles communautaires