les architectures neuronales pour la...
TRANSCRIPT
LES ARCHITECTURES NEURONALES POUR LA TRANSCRIPTION DE PAROLE
QUELS PROGRÈS AMÈNENT-ELLES?
POUR QUELS USAGES ?
Copyright © Bertin IT 2017, Société du groupe CNIM
Ariane Nabeth-Halber
SAFE&SMARTITSOLUTIONS
Forum GFII, 5 Décembre 2017
© Copyright - Bertin IT 2017
2
Editeur de Technologie - 120 pers. - 50% dédiées à la R&D
30 ans d’expérience en développement logiciel
France | Royaume-Uni | Allemagne | Maroc
QUI EST BERTIN IT ?
CYBERSÉCURITÉ INTELLIGENCE DIGITALE TRAITEMENT DE LA PAROLE
Protection des systèmes d’information d’importance
vitale, Anticipation des cyber menaces
Cyber intelligence Veille stratégique
Market intelligence
Transcription vocale multilingue pour Radio-TV-Video &
Conversations Téléphoniques
Commande vocale embarquée
Société du groupe
© Copyright - Bertin IT 2017
APPROCHES NEURONALES
APPRENTISSAGE PROFOND
© Copyright - Bertin IT 2017
4 LES ARCHITECTURES NEURONALES PROFONDES NE SONT PAS NOUVELLES
Source : Nikko Ström and Arpit Gupta, AWS Re:INVENT 30 Nov. 2016
© Copyright - Bertin IT 2017
5 PAS NOUVELLES EN TRAITEMENT DE PAROLE NON PLUS…
Source : Nikko Ström and Arpit Gupta, AWS Re:INVENT 30 Nov. 2016
© Copyright - Bertin IT 2017
6
Traitement d’image
Traitement de parole
Traduction automatique
Traitement du langage
Plus de puissance de
calcul parallèle (GPU)
Plus de volumes de
Données
Des algorithmes qui
rendent possible
l’apprentissage
POURQUOI MAINTENANT ?
© Copyright - Bertin IT 2017
CE QUE ÇA CHANGE ?
© Copyright - Bertin IT 2017
8 DES DÉCLARATIONS CHOC…
Hi, Cortana. (AP Photo/Eric Risberg)
Octobre 2016
© Copyright - Bertin IT 2017
9 VÉRIDIQUES MAIS NON DÉNUÉES DE BIAIS…
Source : Awni Y. Hannun Stanford University blog, Nov. 2017
© Copyright - Bertin IT 2017
10 LES TÂCHES QUI RESTENT DIFFICILES À L’ÈRE POST-DNN
Source : Awni Y. Hannun Stanford University blog, Nov. 2017
Baidu publication, Dec. 2015
Une histoire post-DNN
© Copyright - Bertin IT 2017
12 CONTEXTE : INFLATION DE LA RÉGLEMENTATION BANCAIRE
Janvier 2018 : Obligation de contrôler les
communications téléphoniques
2018
MiFID
2
2017
2016
2017
MAD2
MAR
2014
2013
Bâle |||
2012
EMIR
2010
Dodd-
Frank
FATCA
2007
Bâle |||
MIFID |
CRD IV
CRBF 97-02 Code of
Conduct
FOREX
RENFORCEMENT & TRANSFORMATION
DE LA FONCTION CONFORMITÉ
Spectre des contrôles
Nombre de Contrôles
Montant des Sanctions
ex. 2014 : 20 Milliards€ (sanctions Banques Européennes)
PÉRIMÈTRES COMMUNS
Salles de marché Europe + Worldwide
Transcription quotidienne
automatique des communications téléphoniques des traders
ENJEUX COMMUNS
Se conformer à MIFID2 et autres réglementations (Dodd-Franck, MAR,
Code of Conduct)
Faire converger Téléphone/Mail/Chat pour une surveillance globale
systématisée
Augmenter l’efficience des compliance officers
Permettre monitoring & discovery,
détection signaux faibles d’infraction
SPÉCIFICITÉS
Implantations & effectifs
Spécialisations métier
Organisations Compliance et monitoring
CAS CLIENTS : BANQUES DE FINANCEMENT ET D’INVESTISSEMENT
BANKS / CIB
N°6
LE DÉFI langues et langages des traders
Les spécificités des
conversations de traders :
premier palier de difficultés
…
relativement maitrisé
CENTRE DE CONTACT CLASSIQUE TRADERS
Codec G711=64kb/s GSM=13kb/s
Bruit Modéré ++
Spontanéité Modérée ++
Langage Un peu de vocabulaire spécifique Jargon métier ++
N°11
Les spécificités des
conversations de traders:
ce qui compte le plus
…
spécifique à l’Europe !
-- et régions hors US –
ANGLAIS+
Lexique technique fermé
Mais Accent majoritairement non-natif
FRANÇAIS+
Accent natif
Mais Lexique ouvert avec énormément d’anglicismes
MULTILINGUISME
Variété des langues et des accents + impact additionnel d’éventuelles altérations audio dans l’extraction automatisée
N°12
LA SOLUTION adaptation & deep learning
© Copyright - Bertin IT 2017
18 ADAPTATION
Trans-
criptions
manuelles
Textes corporate /
emails / chats
Trans-
criptions
manuelles ADAP
TATI
ON
Financial
feeds
LEXIQUE PHONÉTIQUE
MODÈLE DE LANGUE MODÈLE
ACOUSTIQUE
Sources textuelles
DONNÉES VECSYS + DONNÉES OUVERTES
Trans-
criptions
manuelles
Ready-made models
DONNÉES SPÉCIFIQUES CLIENT
© Copyright - Bertin IT 2017
19 DEEP LEARNING
Approches neuronales
Deep Learning (apprentissage
profond)
Intelligence Artificielle (IA)
Machine Learning (apprentissage automatique)
DNN = Deep Neural Networks
= réseaux de neurones profonds
Variantes DNN : time-delay networks recurrent networks
etc.
Un apprentissage de modèle = 2000 cœurs GPU pendant 4 semaines 24/7…
Sélection de données Augmentation de données
LE RÉSULTAT
60% erreur 40% reconnaissance
80% reconnaissance 20% erreur
90+% reconnaissance 10-% erreur
Jan2017 - Initiale – avant adaptation et améliorations
Septembre 2017 - À date GLOBAL
US ENG
GLOBAL
Mars 2017 - Intermédiaire 70% reconnaissance 30% erreur
85% reconnaissance 15% erreur
GLOBAL
US ENG
Performances sur les conversations
de traders / FRE & ENG
N°17
© Copyright - Bertin IT 2017
22 EXEMPLE DE TRANSCRIPTION
Couleurs = niveau de confiance auto-attribué par le système Ici l’extrait est fidèlement transcrit à plus de 95%
© Copyright - Bertin IT 2017
23
Extraction automatique multi-
enregistreurs des conversations
traders
Transcription Speech-To-Text systématique
Indexation toutes communications
unifiées (Emails, Chats, Tél)
Accessible équipe compliance
pour revue
TRADING-FLOOR,
JOUR J
- journée écoulée -
COMPLIANCE,
JOUR J+1
- Lendemain matin -
Chaîne 100% automatisée
du Front-Office à la compliance
© Copyright - Bertin IT 2017
24
ANGLAIS US
« You’re close to perfect! »
ANGLAIS UK ET ACCENTS NON-NATIFS
Améliorations significatives obtenues
Niveau initialement visé atteint
Les travaux continuent pour améliorer encore…
RÉSULTATS TECHNIQUES
© Copyright - Bertin IT 2017
www.bertin-it.com
SIÈGE
10 bis avenue Ampère 78180 Montigny-le-Bretonneux
FRANCE
T. +33(0)1 69 29 87 87 E. [email protected]
http://bertin-it.com/vecsys @bertin_IT
BT.
D4
6.D
B
T.D
46
.D