tours touristiques dans les musées d’art et optimisation ... · juan-manuel torres lia /...

Juan-Manuel TorresLIA / Polytechnique Montréal

juan­manuel.torres@univ­avignon.fr

2017.11.30

Tours touristiques dans les musées d’art et optimisation :

une approche en utilisant TAL

Plan

Présentation du LIA/TAL

Énergie textuelle

Parcours des musées d’art

Conclusions

Thématiques

R I Recherche d’information EC Extraction de contenus RA Résumé automatique de documents CP Compression de phrases GAT Génération automatique de texte CAT Classification automatique de textes LS Lexique WSD Désambiguïsation sémantique EX Extraction de termes RL Ressources linguistiques

Qui nous sommes?

Permanents– Juan-Manuel Torres (Responsable MCF HDR)– Marc El-Bèze (PR émérite)– Eric SanJuan (MCF)– Pierre Jourlin (MCF)

Thésards– Mayeul Mathias– Carlos Gonzalez– Elvys Linhares– Eloi Flesh– Andrés Torres

Projets financés

2008 RP2M : Résumé automatique multi document, plurimedia, multi-opinion (Sinequa, Wikio, Eurecom, LIA)

2009 EDF : Classification thématique de documents

2011 Imagiweb: Suivi d'image des personnes sur le web

2013 @MUSE Parcours du Musée à la carte

2014 P'ART-COURT Visites touristiques personnalisées

2015- Chistera Résumé automatique multimédia

COLLABORATIONS QUEBEC ? Démarrées avec • D Forest, JF Chartier (UdM)• Fatiha Sadat (UQAM)• JG Meunier… (UQAM)

LIA 7

Applications exotiquesde la Physique statistique...

Physique statistique

Spins…Modèles magnétiques

Modèle de spins d'Ising

8

Nouveaux matériaux magnétiques

Terres rares

Métaux

T (4K)MT(300K)M

Dy

Fe

2

YF

e2

YF

e2

Dy

Fe

2

Epitaxie par jet moléculaire

1)1)

2)2)

3)3) Mesures magnétiques

9

Spin : représentation de chaque atome comme un petit aimant

100K

-8 -6 -4 -2 0 2 4 6 8

Magnetic field (Tesla)

Modèle d’Ising: deux orientations possibles

Mesure magnétique et configuration de spin

Modèles théoriques de la Physique Statistique:

10

Energie du système

E= E (interactions) + E(champ)

Configuration de spin final : minimisation de E

Prob (état du système) = f (E, T, Z) ; Z=fonction de partition

Ei j=Ji j si sj

Ji j= Jj i

Ei=H si+

11

Mais... où entre le TALN dans toute cette histoire ?

(et les musées?)

LIA 12

Applications exotiquesde la physique statistique

Physique statistique

TAL

Réseaux de neurones

Modèle de Hopfield

Modèle de spins d'Ising

Résuméautomatique Segmentation

thématique...

Pont Physique - TAL

LIA 13

neurone = spin Jij

si

sj

Recuperation: minimisation de E

Ei j=Ji j si sj

Ji j=si sj

Règle de HebbJi j= Jj i

Modèle de spins d'Ising Réseaux de neurones

Mémoire associative(Hopfield, 1982)

Apprentissage

LIA 14

neurone = spin Jij

si

sj

Ei j=Ji j si sj

Ji j=si sj

Règle de HebbJi j= Jj i

Modèle de spins d'Ising Réseaux de neurones

Mémoire associative(Hopfield, 1982)

Apprentissage

LIA 15

Ji j=si sj

Règle de Hebb

Réseaux de neurones

Mémoire associative(Hopfield, 1982)

Apprentissage

LIA 16

Les maisons bleues de ma tante.

Un de mes tantes s’appelle Josée.

J’adore tellement sa maison.

Le bleu est ma couleur préférée !

J’ai des chaussures blues toutes neuves.

maison

bleu

tante

appeler

josée

adorer

chaussure

neuf

TF TF TF 0 0 0 0 0 0

0 0 TF TF TF 0 0 0 0

TF 0 0 0 0 TF 0 0 0

0 TF 0 0 0 0 0 0 TF

0 TF 0 0 0 0 TF TF 0

couleur

Coder les documents commeun système de spins

Modèle vectoriel (bag of words)

Mots filtrés, normalisés et lemmatisés (Porter, 1980; Manning & Schutze, 2000)

Corrélés

Phrase ~ chaîne de spinsTF TF 0 … 0 = s0 s1 s2 ..... sN

mot ~ neurone ~ spin si

J= Σ Jµ = (ST S)

Interaction entre spins

Doc

: c’est la mémoire d’Hopfield

Phrases x mots

L'énergie n'est pas utilisée

Energie textuelle

E=

e = énergie entre la phrase µ et la phrase

Chemins de longueur 2

S S T ( S S T ) 2

Interactions entre les phrases (A,B)et (B,C) ayant des mots en commun

Interactions entre les phrases (A,C)ne partageant pas des mots mais ayant des mots en commun avec des phrases voisines (B)

Somme de trajets de longueur 2 dans le graphe

Phrase A

Phrase B

y

x

wCoût (A, C) = y z + w z + z t

Phrase Cz

t

21

Spectres d’énergie

p

eE

1,1

Energie totale de la phrase µ=1

E=

LIA 22

Energie textuelle (S x St)²

| Eµ | de phrases :Résumé automatique

Segmentation thématique

Similitude textuelle

LIA 23

Et cela marche…? Frontières thématiquesContextes definitoires

Similitude textuelleRésumé automatique…Parcours de musées?

Parcours dans les muséesUne équipe hétéroclite..

Mayeul Mathias: INFORMATIQUE (France)Marie-Sylvie Poli, Assema Moussa: MUSEOLOGIE (France,

Canada)Françoise Rigat: SCIENCES DU LANGAGE (Italie)

Fen Zhou, Andréa Linhares: OPTIMISATION (France, Brésil) Didier Josselin: GEOGRAPHIE (France)

Marc El-Bèze, Juan-Manuel Torres: TAL-IR (France, Canada)

LIA 25

Des parcours personnalisés ?

LIA 26

Problème d’optimisation combinatoire

LIA 27

État de l’art

Architecture du système

Niveaux géographiques

LIA 30

Modèle d’optimisation proposé

LIA 31

Fonction objectif

LIA 32

Comment quantifier l’intérêt qu’un visiteur porte pour une œuvre ?

LIA 33

Représenter les préférences de l’utilisateur

LIA 34

Mesurer l’intérêt d’une œuvre

LIA 35

Analyse indépendante des œuvres

LIA 36

Résumé automatique

Résumé automatique (Énergie textuelle)

● Modelé comme un réseaux de neurones

● Fonction d’énergie d’Hopfield● Mesure le degrée d’informativité de chaque

“phrase” (oeuvre)● La description des oeuvres partage une énergie

(similitude) même s’il n’y a pas des mots en commun

● Les chefs d’oeuvre ont des rangs elévés

LIA 38

Enertex : mesure d’énergie

Application aux musées

● Musée de l'Orangerie (Paris)– 144 œuvres ; 14 artistes ; 10 sales

– Textes en français

● The National Gallery (Londres)– 977 œuvres; 438 artistes ; 59 salles

– Textes en anglais

LIA 41

Simulation et résultats

Musée de l'Orangerie

Musée de l'Orangerie

Monet Nymphéas

National Gallery

LIA 45

Fonctions d’intérêt

LIA 46

Évaluation des résultats

LIA 47

Résultats : Musée de l’Orangerie

LIA 48

Musée de l’Orangerie

LIA 49

National Gallery

LIA 50

National Gallery

Analyse

● Profile A corresponds to a visitor interested in Baroque Painting (Rembrandt ...). 

Generated tour: Portico entrance   1   2   3   4 → → → → 5   6  7   6   8   9   10   11   8   6   12   → → → → → → → → → → → →

Sainsbury Wing exit

● Profile B reflects a visitor who prefers Italian artists of the Renaissance (Lippi & Ucello). 

● Generated tour: Sainsbury Wing entrance   1   2   → → →3   4  5  6   7   8   9   1   Sainsbury Wing exit→ → → → → → → →

Temps de génération du tour :optimale vs glouton

Conclusion... Perspectives

● Découpage du problème

– Modélisation du musée: optimisation (graphes)

– Représentation des préferences du visiteur

– Algorithme de recommandation● Modèle realiste: sans distribution statistique

● Innovations

– Detéction des chefs d’oeuvre

– Utilisation de TAL pour définir la fonction d’intérêt

– Multilingue

– Pas de connaissances externes● Passage à l’échelle?

– Musée à ciel ouvert

– Cas d’étude : Avignon… Montréal ?

LIA 55

Avez-vous des questions ?

juan-manuel.torres@univ-avignon.fr