graphes, noyaux et cartes de kohonen
Post on 11-May-2015
193 Views
Preview:
DESCRIPTION
TRANSCRIPT
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Journée FREMIT
Nathalie Villa-VialaneixProjet I(M+RI)T en collaboration avec T. Dkaki, J.M. Inglebert &
S. Gadat
Institut de Mathématiques de Toulouse, France -nathalie.villa@math.univ-toulouse.fr
16 octobre 2007
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Sommaire
1 Les graphes
2 Classification de sommets, noyau et cartes de KohonenLaplacienNoyau de la chaleurKernel SOM
3 Perspectives
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Sommaire
1 Les graphes
2 Classification de sommets, noyau et cartes de KohonenLaplacienNoyau de la chaleurKernel SOM
3 Perspectives
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Graphes et réseaux sociaux (ANRT Graphes-Comp)
Graphe construit à partir d’un corpus d’archives médiévales
À partir de 1000 contrats agraires(1250-1350), on construit un graphe pondéré :
sommets : les paysans trouvés dans les contrats ;
poids : nombre de contrats où deux paysans sont citéssimultanément.
Grand graphe :
Nombre de sommets : 615Nombre d’arêtes : 4193Somme des poids : 40 329Diamètre : 10Densité : 2,2%
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Graphes et réseaux sociaux (ANRT Graphes-Comp)
Graphe construit à partir d’un corpus d’archives médiévales
À partir de 1000 contrats agraires(1250-1350), on construit un graphe pondéré :
sommets : les paysans trouvés dans les contrats ;
poids : nombre de contrats où deux paysans sont citéssimultanément.
Grand graphe :
Nombre de sommets : 615Nombre d’arêtes : 4193Somme des poids : 40 329Diamètre : 10Densité : 2,2%
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Autres domaines d’application
Web :
Graphes de protéines :
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Autres domaines d’application
Graphes de protéines :
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Problématique
Deux objectifs :1 Trouver des sous-groupes homogènes (classification) ;2 Représenter le graphe dans sa globalité, de manière lisible
(visualisation).
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Sommaire
1 Les graphes
2 Classification de sommets, noyau et cartes de KohonenLaplacienNoyau de la chaleurKernel SOM
3 Perspectives
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Laplacien d’un graphe
Pour un graphe
de sommets V = {x1, . . . , xn}
pondérés par (wi,j)i,j=1,...,n (positifs) tels que, pour touti, j = 1, . . . , n, wi,j = wj,i et di =
∑nj=1 wi,j
on résume le graphe par son Laplacian, L = (Li,j)i,j=1,...,n :
Li,j =
{−wi,j if i , jdi if i = j
;
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Propriétés du Laplacien I [von Luxburg, 2007]
Composantes connexesLe noyau de la matrice L est engendré par les indicatricesIA1 , . . . , IAk des sommets des k composantes connexes du graphe.
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Propriétés du Laplacien II [Villa et al., 2007]
Communauté parfaite : Sous-graphe complet (clique) dont tousles sommets ont les mêmes voisins à l’extérieur de la clique.
Détermination de communautés parfaitesLes communautés parfaites d’un graphe non pondérécorrespondent à des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mêmes coordonnéesnulles.
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Propriétés du Laplacien III [von Luxburg, 2007]
Problème de la coupe optimaleSupposons maintenant que notre graphe soit connexe.Le problème (optimisation discrète) de trouver une partition dugraphe en k groupes de sommets, A1, . . . ,Ak qui minimise
12
k∑i=1
∑j∈Ai ,j′<Ai
wj,j′
est approché par le problème d’optimisation continue suivant
minH∈Rn×k
Tr(HT LH
)subject to HT H = I
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Spectral clustering
Méthode
1 Déterminer les k derniers vecteurs propres,u1, . . . , uk de L et poser U = [u1, . . . , uk ] ;
2 Utiliser un algorithme de classification(typiquement k-means) pour classer les lignesde U en k groupes.
Limites du spectral clustering
N’utilise pas la totalité du spectre de LNe tient pas compte du poids des vecteurs propres.
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Spectral clustering
Méthode
1 Déterminer les k derniers vecteurs propres,u1, . . . , uk de L et poser U = [u1, . . . , uk ] ;
2 Utiliser un algorithme de classification(typiquement k-means) pour classer les lignesde U en k groupes.
Limites du spectral clustering
N’utilise pas la totalité du spectre de LNe tient pas compte du poids des vecteurs propres.
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Une version régularisée de L
Régularisation : la matrice de diffusion : pour β > 0,Kβ = e−βL =
∑+∞k=1
(−βL)k
k ! .⇒
k β : V × V → R
(xi , xj) → Kβi,j
noyau de diffusion (ou noyau de la chaleur).
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Interprétation intuitive
k β(i, j) peut être interprétée comme l’énergie accumulée en ilorsque l’énergie a été injectée en j au temps 0 et que l’énergiecircule de manière continue dans les arêtes du graphe selon unefraction qui dépend de β.
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Noyau de la chaleur et RKHS
Principe
Graphe ↪→ Espace de Hilbert de grande dimension(H , 〈., .〉)
Dans (H , 〈., .〉), pratiquer un algorithme de classification ou cartede Kohonen (SOM).
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Resultats pour une grille 7 × 7
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Resultats pour une grille 7 × 7
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
LaplacienNoyau de la chaleurKernel SOM
Comparaison avec le « Spectral Clustering »
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Sommaire
1 Les graphes
2 Classification de sommets, noyau et cartes de KohonenLaplacienNoyau de la chaleurKernel SOM
3 Perspectives
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Quelques pistes
1 Visualisation globale du graphe sur la carte
2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.
3 Travail sur les très grands graphes.4 Application en recherche d’informations, en confrontation
de connaissances.
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Quelques pistes
1 Visualisation globale du graphe sur la carte
2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.
3 Travail sur les très grands graphes.4 Application en recherche d’informations, en confrontation
de connaissances.
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Quelques pistes
1 Visualisation globale du graphe sur la carte
2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.
3 Travail sur les très grands graphes.4 Application en recherche d’informations, en confrontation
de connaissances.
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Quelques pistes
1 Visualisation globale du graphe sur la carte
2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.
3 Travail sur les très grands graphes.
4 Application en recherche d’informations, en confrontationde connaissances.
Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
Quelques pistes
1 Visualisation globale du graphe sur la carte
2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.
3 Travail sur les très grands graphes.4 Application en recherche d’informations, en confrontation
de connaissances.Nathalie Villa FREMIT - 16 oct 07
Les graphesClassification de sommets, noyau et cartes de Kohonen
PerspectivesReferences
References
Villa, N., Boulet, R., Rossi, F. & Jouve, B. (2007).Batch kernel SOM and related Laplacian methods for graphmining. Application to a medieval social network.Neurocomputing.To appear.
von Luxburg, U. (2007).A tutorial on spectral clustering.Technical Report TR-149, Max Planck Institut für biologischeKybernetik.Avaliable at http://www.kyb.mpg.de/publications/attachments/luxburg06_TR_v2_4139%5B1%5D.pdf.
Nathalie Villa FREMIT - 16 oct 07
top related