tours touristiques dans les musées d’art et optimisation ... · juan-manuel torres lia /...
TRANSCRIPT
Juan-Manuel TorresLIA / Polytechnique Montréal
juanmanuel.torres@univavignon.fr
2017.11.30
Tours touristiques dans les musées d’art et optimisation :
une approche en utilisant TAL
Plan
Présentation du LIA/TAL
Énergie textuelle
Parcours des musées d’art
Conclusions
Thématiques
R I Recherche d’information EC Extraction de contenus RA Résumé automatique de documents CP Compression de phrases GAT Génération automatique de texte CAT Classification automatique de textes LS Lexique WSD Désambiguïsation sémantique EX Extraction de termes RL Ressources linguistiques
Qui nous sommes?
Permanents– Juan-Manuel Torres (Responsable MCF HDR)– Marc El-Bèze (PR émérite)– Eric SanJuan (MCF)– Pierre Jourlin (MCF)
Thésards– Mayeul Mathias– Carlos Gonzalez– Elvys Linhares– Eloi Flesh– Andrés Torres
Projets financés
2008 RP2M : Résumé automatique multi document, plurimedia, multi-opinion (Sinequa, Wikio, Eurecom, LIA)
2009 EDF : Classification thématique de documents
2011 Imagiweb: Suivi d'image des personnes sur le web
2013 @MUSE Parcours du Musée à la carte
2014 P'ART-COURT Visites touristiques personnalisées
2015- Chistera Résumé automatique multimédia
COLLABORATIONS QUEBEC ? Démarrées avec • D Forest, JF Chartier (UdM)• Fatiha Sadat (UQAM)• JG Meunier… (UQAM)
LIA 7
Applications exotiquesde la Physique statistique...
Physique statistique
Spins…Modèles magnétiques
Modèle de spins d'Ising
8
Nouveaux matériaux magnétiques
Terres rares
Métaux
T (4K)MT(300K)M
Dy
Fe
2
YF
e2
YF
e2
Dy
Fe
2
Epitaxie par jet moléculaire
1)1)
2)2)
3)3) Mesures magnétiques
9
Spin : représentation de chaque atome comme un petit aimant
100K
-8 -6 -4 -2 0 2 4 6 8
Magnetic field (Tesla)
Modèle d’Ising: deux orientations possibles
Mesure magnétique et configuration de spin
Modèles théoriques de la Physique Statistique:
10
Energie du système
E= E (interactions) + E(champ)
Configuration de spin final : minimisation de E
Prob (état du système) = f (E, T, Z) ; Z=fonction de partition
Ei j=Ji j si sj
Ji j= Jj i
Ei=H si+
11
Mais... où entre le TALN dans toute cette histoire ?
(et les musées?)
LIA 12
Applications exotiquesde la physique statistique
Physique statistique
TAL
Réseaux de neurones
Modèle de Hopfield
Modèle de spins d'Ising
Résuméautomatique Segmentation
thématique...
Pont Physique - TAL
LIA 13
neurone = spin Jij
si
sj
Recuperation: minimisation de E
Ei j=Ji j si sj
Ji j=si sj
Règle de HebbJi j= Jj i
Modèle de spins d'Ising Réseaux de neurones
Mémoire associative(Hopfield, 1982)
Apprentissage
LIA 14
neurone = spin Jij
si
sj
Ei j=Ji j si sj
Ji j=si sj
Règle de HebbJi j= Jj i
Modèle de spins d'Ising Réseaux de neurones
Mémoire associative(Hopfield, 1982)
Apprentissage
LIA 15
Ji j=si sj
Règle de Hebb
Réseaux de neurones
Mémoire associative(Hopfield, 1982)
Apprentissage
LIA 16
Les maisons bleues de ma tante.
Un de mes tantes s’appelle Josée.
J’adore tellement sa maison.
Le bleu est ma couleur préférée !
J’ai des chaussures blues toutes neuves.
maison
bleu
tante
appeler
josée
adorer
chaussure
neuf
TF TF TF 0 0 0 0 0 0
0 0 TF TF TF 0 0 0 0
TF 0 0 0 0 TF 0 0 0
0 TF 0 0 0 0 0 0 TF
0 TF 0 0 0 0 TF TF 0
couleur
Coder les documents commeun système de spins
Modèle vectoriel (bag of words)
Mots filtrés, normalisés et lemmatisés (Porter, 1980; Manning & Schutze, 2000)
Corrélés
Phrase ~ chaîne de spinsTF TF 0 … 0 = s0 s1 s2 ..... sN
mot ~ neurone ~ spin si
J= Σ Jµ = (ST S)
Interaction entre spins
Doc
: c’est la mémoire d’Hopfield
Phrases x mots
L'énergie n'est pas utilisée
Energie textuelle
E=
e = énergie entre la phrase µ et la phrase
Chemins de longueur 2
S S T ( S S T ) 2
Interactions entre les phrases (A,B)et (B,C) ayant des mots en commun
Interactions entre les phrases (A,C)ne partageant pas des mots mais ayant des mots en commun avec des phrases voisines (B)
Somme de trajets de longueur 2 dans le graphe
Phrase A
Phrase B
y
x
wCoût (A, C) = y z + w z + z t
Phrase Cz
t
21
Spectres d’énergie
p
eE
1,1
Energie totale de la phrase µ=1
E=
LIA 22
Energie textuelle (S x St)²
| Eµ | de phrases :Résumé automatique
Segmentation thématique
Similitude textuelle
LIA 23
Et cela marche…? Frontières thématiquesContextes definitoires
Similitude textuelleRésumé automatique…Parcours de musées?
Parcours dans les muséesUne équipe hétéroclite..
Mayeul Mathias: INFORMATIQUE (France)Marie-Sylvie Poli, Assema Moussa: MUSEOLOGIE (France,
Canada)Françoise Rigat: SCIENCES DU LANGAGE (Italie)
Fen Zhou, Andréa Linhares: OPTIMISATION (France, Brésil) Didier Josselin: GEOGRAPHIE (France)
Marc El-Bèze, Juan-Manuel Torres: TAL-IR (France, Canada)
LIA 25
Des parcours personnalisés ?
LIA 26
Problème d’optimisation combinatoire
LIA 27
État de l’art
Architecture du système
Niveaux géographiques
LIA 30
Modèle d’optimisation proposé
LIA 31
Fonction objectif
LIA 32
Comment quantifier l’intérêt qu’un visiteur porte pour une œuvre ?
LIA 33
Représenter les préférences de l’utilisateur
LIA 34
Mesurer l’intérêt d’une œuvre
LIA 35
Analyse indépendante des œuvres
LIA 36
Résumé automatique
Résumé automatique (Énergie textuelle)
● Modelé comme un réseaux de neurones
● Fonction d’énergie d’Hopfield● Mesure le degrée d’informativité de chaque
“phrase” (oeuvre)● La description des oeuvres partage une énergie
(similitude) même s’il n’y a pas des mots en commun
● Les chefs d’oeuvre ont des rangs elévés
LIA 38
Enertex : mesure d’énergie
Application aux musées
● Musée de l'Orangerie (Paris)– 144 œuvres ; 14 artistes ; 10 sales
– Textes en français
● The National Gallery (Londres)– 977 œuvres; 438 artistes ; 59 salles
– Textes en anglais
LIA 41
Simulation et résultats
Musée de l'Orangerie
Musée de l'Orangerie
Monet Nymphéas
National Gallery
LIA 45
Fonctions d’intérêt
LIA 46
Évaluation des résultats
LIA 47
Résultats : Musée de l’Orangerie
LIA 48
Musée de l’Orangerie
LIA 49
National Gallery
LIA 50
National Gallery
Analyse
● Profile A corresponds to a visitor interested in Baroque Painting (Rembrandt ...).
Generated tour: Portico entrance 1 2 3 4 → → → → 5 6 7 6 8 9 10 11 8 6 12 → → → → → → → → → → → →
Sainsbury Wing exit
● Profile B reflects a visitor who prefers Italian artists of the Renaissance (Lippi & Ucello).
● Generated tour: Sainsbury Wing entrance 1 2 → → →3 4 5 6 7 8 9 1 Sainsbury Wing exit→ → → → → → → →
Temps de génération du tour :optimale vs glouton
Conclusion... Perspectives
● Découpage du problème
– Modélisation du musée: optimisation (graphes)
– Représentation des préferences du visiteur
– Algorithme de recommandation● Modèle realiste: sans distribution statistique
● Innovations
– Detéction des chefs d’oeuvre
– Utilisation de TAL pour définir la fonction d’intérêt
– Multilingue
– Pas de connaissances externes● Passage à l’échelle?
– Musée à ciel ouvert
– Cas d’étude : Avignon… Montréal ?
