moi machine vouloir comprendre homme · verticale précise (exemple : chatbot ou traduction en...

12
MOI MACHINE VOULOIR COMPRENDRE HOMME

Upload: others

Post on 22-May-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

MOI MACHINE VOULOIR COMPRENDRE HOMME

Page 2: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

LES OUTILS DE NLP EN FRANÇAIS SONT :

• Souvent peu performants• Pas entraînés• Chers (sauf open-source)

LES JEUX DE DONNÉES SONT :

• Parfois mal annotés• En langage soutenu

CONSTAT

Page 3: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

Aujourd’hui, le marché est fragmenté entre des géants du numérique quipoussent la R&D sur l’Anglais, et des acteurs qui évoluent dans uneverticale précise (exemple : chatbot ou traduction en ligne)

NOTRE APPROCHE

NOTRE MISSION : proposer les meilleurs outils de NLP en Français, pour lesdéveloppeurs.

MÉTHODOLOGIE

● Création d’un Dataset propriétaire (400 000 mots, 300 catégories)● Annotation à la main● Création des outils de NLP en propre :

TOKENIZERLEMMATIZERPOS-TAGGERRECONNAISSANCE ENTITÉS NOMMÉESANALYSE DES SENTIMENTSCOMPRÉHENSION DU LANGAGE

Page 4: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

POURQUOI FAIRE ÇA ?

Page 5: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

j'aime manger une trop bonne fraise de 5.5 mm dans un manoir de 200m2 avec Igor :) <3

LANGUAGE USED ['fr', {'it': 1, 'sv': 1, 'f': 0, 'de': 0, 'no': 1, 'nl': 1, 'hu': 1, 'es': 2, 'pt': 1, 'en': 0, 'fr': 5, 'ru': 0, 'tr': 1, 'kk': 0, 'da': 1}],

NLP[{'lemmatizer': {'confdence': '0.99', 'pronom': 1}, 'tag': 'CLS', 'source': 'je'}, {'lemmatizer': {'infnit': 'aimer', 'confdence': '0.99', 'lemma': '','conjugate': [{'mode': 'subjonctive', 'pronom': 3, 'temps': 'present'}, {'mode': 'imperative', 'pronom': 1, 'temps': 'present'}, {'mode': 'indicative','pronom': 3, 'temps': 'present'}, {'mode': 'participe', 'pronom': -1, 'temps': 'past'}, {'mode': 'subjonctive', 'pronom': 1, 'temps': 'present'}, {'mode':'indicative', 'pronom': 1, 'temps': 'present'}]}, 'tag': 'V', 'source': 'aime'}, {'lemmatizer': {'infnit': 'manger', 'confdence': '0.20', 'lemma': '','conjugate': None}, 'tag': 'V', 'source': 'manger'}, {'lemmatizer': {'mode': 'undefne', 'detail': {'possessing': -1, 'gender': {'plural': False, 'female':True}}}, 'tag': 'D', 'source': 'une'}, {'lemmatizer': {'category': ['quantity'], 'lemma': 'trop'}, 'tag': 'RB', 'source': 'trop'}, {'lemmatizer': {'confdence':'0.79', 'lemma': 'bon', 'gender': {'plural': False, 'female': True}}, 'tag': 'JJ', 'source': 'bonne'}, {'tag': 'N', 'source': 'fraise'}, {'lemmatizer': {'sens': [{'sens':'NULL', 'category': 'Cause', 'next': 'NULL'}, {'sens': 'NULL', 'category': 'Duration', 'next': 'time'}, {'sens': 'FROM', 'category': 'Source', 'next': 'space'},{'sens': 'NULL', 'category': 'Origin', 'next': 'time'}, {'sens': 'WITH', 'category': 'Manner', 'next': 'NULL'}, {'sens': 'NULL', 'category': 'Origin', 'next':'space'}, {'sens': 'WITH', 'category': 'Means', 'next': 'NULL'}], 'source': 'de'}, 'tag': 'P', 'source': 'de'}, {'tag': 'distance_3', 'source': '5.5'}, {'tag': 'N','source': 'mm'}, {'lemmatizer': {'sens': [{'sens': 'NULL', 'category': 'Temporal Localisation', 'next': 'time'}, {'sens': 'NULL', 'category': 'Localisation','next': 'space'}, {'sens': 'IN', 'category': 'Position', 'next': 'space'}, {'sens': 'NULL', 'category': 'Localisation', 'next': 'time'}, {'sens': 'AT', 'category':'Position', 'next': 'time'}, {'sens': 'IN', 'category': 'Position', 'next': 'abstract'}], 'source': 'dans'}, 'tag': 'P', 'source': 'dans'}, {'lemmatizer':{'confdence': '0.70', 'number': 1}, 'tag': 'CD', 'source': ' un'}, {'tag': 'N', 'source': 'manoir'}, {'tag': 'surface', 'source': 'de'}, {'tag': 'N', 'source': '200m2'},{'lemmatizer': {'sens': [{'sens': 'NULL', 'category': 'Cause', 'next': 'NULL'}, {'sens': 'WITH', 'category': 'Means', 'next': 'NULL'}, {'sens': 'WITH','category': 'Manner', 'next': 'NULL'}, {'sens': 'NULL', 'category': 'Addition', 'next': 'NULL'}], 'source': 'avec'}, 'tag': 'P', 'source': 'avec'}, {'tag': 'NP','source': 'Igor'}, {'tag': 'PUNC', 'source': '.'}],

ENTITÉS[{'tag': 'distance', 'entity': {'confdence': 0.99, 'yard': 0.006014799999999999, 'feet': 0.018044619422572176, 'miles': 3.4175405e-06, 'inches':0.21653543307086615, 'kilometer': 5.5e-06, 'unit': 'mm', 'centimeter': 0.5499999999999999, 'meter': 0.0055, 'scalar': 5.5}, 'source': '5.5 mm'},{'tag': 'surface', 'entity': {'confdence': 0.99, 'hectares': 0.02, 'meter': 200.0, 'miles': 7.722e-05, 'inches': 310000.0, 'kilometer': 0.0002, 'unit': 'm','ares': 2.0, 'centimeter': 2000000.0, 'scalar': 200.0}, 'source': '200m2'}]}

EXEMPLE

Page 6: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

j'aime manger une trop bonne fraise de 5.5 mm dans un manoir de 200m2 avec Igor :) <3

ANALYSE DES SENTIMENTS {'calculate': '2.0 * 0.7 ', 'surprise': 0, 'disgust': 0, 'joy': 0, 'resultat': 1.4, 'anger': 0, 'fear': 1, 'sadness': 0}'emoticons': {'confdence': '0.89', 'emoticon': {'cry': 0, 'Thappy': 0, 'wink': 0, 'muted': 0, 'horror': 0, 'lol': 0, 'very_sad': 0, 'angel': 0, 'playful': 0,'surprise': 0, 'kiss': 0, 'love': 1, 'devil': 0, 'very_happy': 0, 'embarrassed': 0, 'notlove': 0, 'happy': 1, 'hesitant': 0, 'sad': 0, 'indecision': 0}}, '

NLU{'meaning': 'S-1', 'source': 'je'}, {'meaning': ['sentiment_love', 'action_want'], 'source': 'aimer'}, {'meaning': 'action_eat', 'source': 'manger'},{'meaning': 'number', 'source': 'une'}, {'meaning': 'RB', 'source': 'trop'}, {'meaning': 'JJ', 'source': 'bonne'}, {'meaning': ['Couleur', 'Vetements','Fruits'], 'source': 'fraise'}, {'meaning': ['FROM', 'WITH', 'WITH'], 'source': 'de'}, {'meaning': 'distance', 'source': '5.5 mm'}, {'meaning': ['IN', 'AT', 'IN'],'source': 'dans'}, {'meaning': 'CD', 'source': ' un'}, {'meaning': ['Edifces'], 'source': 'manoir'}, {'meaning': 'surface', 'source': 'de'}, {'meaning': 'surface','source': '200m2'}, {'meaning': ['WITH', 'source': 'avec'}, {'meaning': ['frstname'], 'source': 'Igor'}, {'meaning': 'PUNC', 'source': '.'}],

EXEMPLE

Page 7: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

300 CATÉGORIES : vêtement, fruits, liste d'instruments demesures, végétaux

60 SENS DE VERBE : action_eat, sentiment_hate,action_die

NOS TRAVAUX

400 LEXIQUES : dentisterie, forêt etc.

RÉORGANISATION DE LA DATA

CLASSIFICATION DES ADVERBES, PRÉPOSITIONSExemple : {'sens': 'AT', 'category': 'Position', 'next': 'time'}, {'sens': 'IN', 'category': 'Position','next': 'abstract'}], 'source': 'dans'}, 'tag': 'P', 'source': 'dans'}

Page 8: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

DASHBOARD

Page 9: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

ANALYSE DU SENTIMENT DES ENTITÉS

PARSER DEPENDENCY

SENS2VEC

INTENT PAR PSEUDO LANGAGE

TO DO

Page 10: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

GENERATEUR DE MATRICE

COREFERENCE

CONTEXTE

EXPERT SYSTEME

matrice Pres:

Q1/ (quel est ton nom?|comment t appeles tu?)[frstname]:->q2;Q2/ (as tu un chien?)[yes_no]:yes_no=y->q4,yes_no=n->q3;Q3/ (dommage):->q5;Q4/ (quel est le nom du chien et son age?)[frstname(son nom c'est quoi?), number (son age?|donne son age)]->q5;Q5/ (merci|ciao);

API CONVERSATIONNELLE

Page 11: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

ORGANISATION DATA USER

J'aime mon chien.

Rox est un dobermann.

Nom : ….

Prenom : ….

Animal : Chien

Naissance : ….

Enfant : ….

Nom : Rox

Race : Dobermann

Naissance : ….

Enfant : ….

Page 12: MOI MACHINE VOULOIR COMPRENDRE HOMME · verticale précise (exemple : chatbot ou traduction en ligne) NOTRE APPROCHE NOTRE MISSION : proposer les meilleurs outils de NLP en Français,

NOUS RECHERCHONS UNDATA-SCIENTIST :-)

[email protected]