khalid choukri elra/elda - les rencontres du numérique … · word docs from ... et la nutrition...
TRANSCRIPT
ANR/201611 © ELRA/ELDA KC/1
Association Européenne pour les Ressources Linguistiques
European Language Resources Association (ELRA)
Khalid Choukri
ELRA/ELDA
9 rue des Cordelières, F-75013 Paris, France
Tel. +33 1 43 13 33 33 -- Fax. +33 1 43 13 33 30
Email: [email protected]
http://www.elra.info/ or http://www.elda.org/
ANR/201611 © ELRA/ELDA KC/3
ELRA
• Création en 1995
• Association d’utilisateurs de RLs a but non lucratif
– Ouverte à tous les acteurs
– Services offerts aux membres
• Un centre de partage de données
– Plan de management de données
– Négociation des droits & licences (IPR)
– Capitalisation sur les activités R&D (e.g. Evaluation)
– Dissémination d’information (e.g. LREC, JLRE)
• (Contribution aux) activités d’évaluations
ANR/201611 © ELRA/ELDA KC/4
Rôle d’ELRA au sein de la communauté du TAL
Partners
ANR/201611 © ELRA/ELDA KC/5
Activités relatives aux RLs
• Identification, négociation des droits
• Distribution et Partage des RLs
• RLs Production, packaging
• Participation aux Challenges (Evaluations)
• Validation et Qualité Contrôle
• Pérennisation, Maintenance
• Promotion
• Archivage avec ISLRN
ANR/201611 © ELRA/ELDA KC/6
Audio /Acoustique
Textes incl. documents management (structure)
Signes
Ecritures
Gestes
Images
Biometriques
…. Multimodal & Multimédia
……
Contexte de
Multilingualité
Modalités et Média des RLs
ANR/201611 © ELRA/ELDA KC/7
Traduction automatique
• Traduction automatique de texte (langue AB) Traduction, sous titrage, …
Traduction de documents (OCR)
Interprétation automatique (Speech2Speech) Audio vers Audio (Reconnaissance/Synthèse de la parole)
Doublage de film
• Traduction Langue (texte/Audio) vers Langue(s)
des Signes et réciproquement
• Traduction automatique // Traduction Assistée Pré-Edition, Post-Edition, etc.
ANR/201611 © ELRA/ELDA KC/8
Marché de la TA
• Youtube (transcription, sous-titrage, traduction)
– 300h de video /minute
• MOOC
• Tweets
• Journaux (écrits, radio-tv)
– Plus de 400.000 traducteurs (150.000 en Europe)
– 552 pairs de langues en Europe, 110 en Afrique du Sud, 462 en Inde, etc.
– Consensus actuel: moins de 10% de données sont traduites
ANR/201611 © ELRA/ELDA KC/9
Questions ouvertes (1/2)
• TA (comme le reste du TAL) apprentissage à partir
de données
– Besoin de données appropriées
Monolingue (langue, modalité, etc.)
Bi-lingue (alignement)
• Les langues ne sont pas toutes égales
– Langues de l’UE versus Langues régionales ?
• Evaluation Challenges ouverts (mais pour quelques langues)
Les packages ?
ANR/201611 © ELRA/ELDA KC/10
Questions ouvertes (2/2)
• TA (comme le reste du TAL) apprentissage à partir
de données
– Besoin de nouveaux paradigmes (quantité de données?)
– Adaptation à un domaine / « une variante linguistique »
• Focus: langue écrite ou orale
• L’écrit des réseaux sociaux (tweets/facebook-posts)
vs Le Monde vs les documents administratifs
• Disponibilité des données (e.g. Copyright)
ANR/201611 © ELRA/ELDA KC/11
Questions ouvertes ???
• Plus de 7000 Langues
• Plusieurs Modalités (orale, écrit, signe)
• …. A peine 200-300 langues disposent de systèmes d’écritures (plus de 50
scripts)
0200400600800
100012001400160018002000
8 84306
944
18081979
107337
132 220209
nb langues vs nb de locuteurs
ANR/201611 © ELRA/ELDA KC/12
• Déterminer les facteurs
importants
•Management de toutes les étapes
de la vie d’une RL
• Pérennisation – (Sustainability),
les 5 phases
•Pérennisation d’interopérabilité et
d’accessibilité
ELRA Data Management Plan (DMP)
L’importance des données requière plus d’attention …
ANR/201611 © ELRA/ELDA KC/13
ANR/201611 © ELRA/ELDA KC/14
Example de projets
• France -- PEA-TRAD:
• Langues: Pashto, Arabe, Chinois, Anglais, Français
• Textes du Web, blogs, Courriel, Infos audio
•
ANR/201611 © ELRA/ELDA KC/15
Management of Bilingual Data
Example (1/4)
15
Word docs from http://www.diplomatie.gouv.fr/fr/photos-videos-publications/publications/enjeux-planetaires-cooperation/rapports/article/rapports-du-groupe-pilote, Financements innovants pour l’agriculture, la sécurité alimentaire et la nutrition, Ministère des Affaires étrangères et du Développement international
English
version
French
version
ANR/201611 © ELRA/ELDA KC/16
Management of Bilingual Data
Example (2/4)
16
Leading Group on Innovative Financing for
Development at its 9th plenary session in Mali
(Bamako) in June 2011.
report
rapport
Groupe pilote sur les finance-
ments innovants pour le développement lors de
sa 9e session plénière, qui s’est tenue au Mali
(Bamako) en juin 2011.
rapportreport
Comité d’experts
expert Com-
mittee
ANR/201611 © ELRA/ELDA KC/17
Management of Bilingual Data
Example (3/4)
17
Executive Summary
This report is the result of a collective work carried
out by the high-level expert Committee and a writing
team commissioned by the Task Force on Innovative
Financing for agriculture, food security and nutrition
created by the Leading Group on Innovative Financing
for Development at its 9th plenary session in Mali
(Bamako) in June 2011.
The report includes an analysis of the need for
innovating financing dedicated to the agricultural,
food security and nutrition sector, a critical review
of existing and possible mechanisms and a proposed
selection of avenues for the development of such
mechanisms on the basis of the expertise of a high-
level Committee of experts, literature review,
meetings with relevant professional actors and an on-
line consultation on the Global Forum on food security
and nutrition (FSN Forum)1.
The setting up of the Task Force on Innovative
Financing for agriculture, food security and nutrition
responds to current and future crucial challenges
faced by the international community
[...]
Résumé
Le présent rapport résulte d’un travail collectif mené
par le Comité d’experts de haut niveau et une équipe
de rédacteurs désignés à cette fin par le groupe de
travail sur les financements innovants pour
l’agriculture, la sécurité alimentaire et la
nutrition. Ce groupe de travail a été créé par le
Groupe pilote sur les financements innovants pour le
développement lors de sa 9e session plénière, qui
s'est tenue au Mali (Bamako) en juin 2011.
Le présent rapport comporte une analyse des raisons
pour lesquelles des financements innovants dédiés à
l'agriculture, à la sécurité alimentaire et à la
nutrition sont nécessaires, propose un examen critique
des mécanismes existants et possibles, et présente une
sélection de méthodes pour mettre au point ces
mécanismes. Il s'appuie à ces fins sur l'expertise du
Comité d'experts de haut niveau, une analyse
bibliographique, des réunions avec les professionnels
concernés et la consultation en ligne organisée par le
Forum global sur la sécurité alimentaire et la
nutrition (Forum FSN)1.
Le groupe de travail sur les financements innovants
pour l’agriculture, la sécurité alimentaire et la
nutrition a été créé pour relever les défis majeurs,
actuels et futurs, auxquels la communauté
[...]
English version – Raw text French version – Raw text
ANR/201611 © ELRA/ELDA KC/18
S1. Résumé
S2. Le présent rapport résulte d’un travail collectif
mené par le Comité d’experts de haut niveau et une
équipe de rédacteurs désignés à cette fin par le
groupe de travail sur les financements innovants pour
l’agriculture, la sécurité alimentaire et la
nutrition.
S3. Ce groupe de travail a été créé par le Groupe
pilote sur les financements innovants pour le
développement lors de sa 9e session plénière, qui
s'est tenue au Mali (Bamako) en juin 2011.
S4. Le présent rapport comporte une analyse des
raisons pour lesquelles des financements innovants
dédiés à l'agriculture, à la sécurité alimentaire et à
la nutrition sont nécessaires, propose un examen
critique des mécanismes existants et possibles, et
présente une sélection de méthodes pour mettre au
point ces mécanismes.
S5. Il s'appuie à ces fins sur l'expertise du Comité
d'experts de haut niveau, une analyse bibliographique,
des réunions avec les professionnels concernés et la
consultation en ligne organisée par le Forum global
sur la sécurité alimentaire et la nutrition (Forum
FSN)1.
S6. Le groupe de travail sur les financements
innovants pour l’agriculture, la sécurité alimentaire
et la nutrition a été créé pour relever les défis
majeurs, actuels et futurs, auxquels la communauté
[...]
Management of Bilingual Data
Example (4/4)
18
S1. Executive Summary
S2. This report is the result of a collective work
carried out by the high-level expert Committee and a
writing team commissioned by the Task Force on
Innovative Financing for agriculture, food security
and nutrition created by the Leading Group on
Innovative Financing for Development at its 9th
plenary session in Mali (Bamako) in June 2011.
S3. The report includes an analysis of the need for
innovating financing dedicated to the agricultural,
food security and nutrition sector, a critical review
of existing and possible mechanisms and a proposed
selection of avenues for the development of such
mechanisms on the basis of the expertise of a high-
level Committee of experts, literature review,
meetings with relevant professional actors and an on-
line consultation on the Global Forum on food security
and nutrition (FSN Forum)1.
S4. The setting up of the Task Force on Innovative
Financing for agriculture, food security and nutrition
responds to current and future crucial challenges
faced by the international community [...]
Alignement of English and French versions
ANR/201611 © ELRA/ELDA KC/19
The segments are aligned with some confidence scores
EN-FR
Score: 5.038181
L'Union européenne et le multilinguisme
CEF/MIE - Mécanisme pour
l'interconnexion en Europe -
Traduction Automatique
Kimmo Rossi
Commission européenne, Unité CNECT.G3
L'Union européenne et le
multilinguisme
CEF/MIE - Mécanisme pour
l'interconnexion en Europe -
Traduction Automatique
Kimmo Rossi
Commission européenne, Unité CNECT.G3
L'UE et le multilinguisme
• L'UE est multilingue:• 24 langues officielles• 60+ langues régionales majeures
• Les traités et le droit dérivé de l'UE stipulent que toutes les langues officielles sont égales et authentiques
• L'UE met en oeuvre et promeut le multilinguisme: • en finançant des programmes de recherche et d'innovation
dans le domaine des technologies linguistiques• en promouvant l'automatisation linguistique du service
public (p.ex. MT@EC)• le programme CEF intègre des technologies linguistiques
aux services publics transeuropéens en ligne
Mécanisme pour l'interconnexion en Europe (MIE - CEF)
• base juridique: Règlement (UE) No 1316/2013• 3 piliers: transport, énergie, réseaux numériques• Les réseaux numériques CEF sont des systèmes
informatiques et services en ligne transeuropéens• eJustice (portail unique en matière de la justice)• eProcurement (marchés publics)• eHealth (santé publique)• Europeana (bibliothèque numérique)• Portail "données ouvertes" (DO)
• Le programme CEF finance la mise en oeuvre de ces services transeuropéens, utilisant des technologies établies et stables
Solution (partielle): plateforme CEF TA
• But: rendre les services CEF multilingues, afin que tout utilisateur puisse s'en servir dans sa langue maternelle.
• Necéssaire: plateforme de traduction automatique securisée, utilisant des technologies linguistiques bien établies.
• Objectifs:
• Mettre les services publics à la disposition de tout citoyen de l'UE, quelle que soit sa langue maternelle et quelles que soient ses connaissances linguistiques.
• Permettre d'échanger des informations entre les autorités des États-membres
Rôle des États-membres
• CEF TA rend les services publics plus accessibles (en éliminant les barrières linguistiques)
• CEF TA a besoin des ressources multilingues (textes et leurs traductions), parce qu'elle apprend en "imitant" le traducteur
• Les États-membres connaissent mieux leur(s) langue(s), leurs besoins, et disposent des ressources linguistiques
• Le succès de la CEF TA dépend de l'apport des États-membres
• La coordination des ressources linguistiques en Europe (ELRC) est un projet subventionné par le programme CEF. ELRC assiste la Commission européenne à atteindre les objectifs du programme CEF.
Les avantages de la plateforme CEF
• Gratuit1 pour le service public des États-membres
• Se prête à la traduction des documents, des messages, du contenu en ligne
• Facilite la communication et l'échange d'informations
• Rend les services publics transeuropéens accessibles aux citoyens, entreprises et fonctionnaires français (et ouvre les services français aux autres pays de l'UE):
• Les entreprises françaises pourront participer plus facilement aux marchés publics des autres pays de l'UE
• Les citoyens français auront accès à l'information concernant leurs droits, pourront se plaindre, ou déposer des demandes, utiliser des services de santé – en français
1 au moins pour la durée du programme CEF
Merci de votre attention!
28
ANR/201611 © ELRA/ELDA KC/29
• FlareNet 20 impact factors
•Management de toutes les
étapes de la vie d’une RL
• Pérennisation –
(Sustainability), les 5 phases
•Pérennisation
d’interopérabilité et
d’accessibilié
ELRA Data Management Plan (DMP)
ANR/201611 © ELRA/ELDA KC/32
Aspects Juridiques - Licences
End-Users
End-Users
End-Users
Evaluation
license
End-User
licence
VAR
licence
Value
Added
Resellers
Providers
Producers
Distribution
Agreement
ANR/201611 © ELRA/ELDA KC/33
Aspects Juridiques - Licences
Provider
Provider
Provider
User
User
User
ANR/201611 © ELRA/ELDA KC/34
www.lrec-conf.orgLanguage Resources and Evaluation Conference