apprentissage (iii)
DESCRIPTION
Dynamique des systèmes complexes et applications aux SHS : modèles, concepts méthodes. Apprentissage (III). Mirta B. Gordon Laboratoire Leibniz-IMAG Grenoble. apprentissage non supervisé. clustering. - PowerPoint PPT PresentationTRANSCRIPT
Apprentissage (III)
Mirta B. GordonLaboratoire Leibniz-IMAG
Grenoble
Dynamique des systèmes complexes et applications aux SHS :modèles, concepts méthodes
apprentissage non supervisé
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage III
3
clustering
•problème : classer (partager en sous-ensembles : clusters) un ensemble de données LM = { x }1≤≤M
•critère : la similarité entre les données– il faut connaître le degré de similarité (distances) entre toutes les
paires de points
•plusieurs algorithmes– K-means :
• on se donne a priori le nombre de classes K• on cherche K hypersphères qui partagent au mieux les points
– classifications hiérarchique :• on cherche le meilleur arbre (hiérarchie) en fonction des degrés de
similarité (ne donne pas la classe des données)
– super-paramagnetic clustering• la classe et le nombre de classes donnés par l’algorithme, à ≠
granularités
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage III
4
SPC (Blatt, Wiseman & Domany, 1996)
•soit une fonction positive fortement décroissante de la distance entre les points x et x
•on attribue à chaque point x une étiquette spouvant
prendre un grand nombre de valeurs discrètes
•fonction de coût :
•modèle de Potts : s= spin de Potts
M
1,s,sJE
J
sinon0
sssi1
s,s
s,s
delta de Kroenecker
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage III
5
propriétés
•tous les points interagissent, mais leur interaction décroit avec la distance
•si tous les s sont égaux, E=minimum
•si ss la contribution J disparaît : l’énergie augmente
•au minimum : tous les points auront le même spin (la même étiquette)
M
1,s,sJE
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage III
6
clustering
•évolution Montecarlo à temperature T=1/ :
•si J est grand, les spins et resteront égaux plus souvent que si J est petit
M
1,s,sJE
0EsiEexp
0Esi1)'ss(p
sE'sEE
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage III
7
exemple
apprentissage_figures\3Conc.OPJ
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage III
8
références•Hertz, Krogh et Palmer. Introduction to the Theory of Neural
Computation. Addison Wesley, 1991.
•Tom Mitchell. Machine Learning. McGraw Hill, 1997.
•SPC : Blatt, Wiseman & Domany, Physical Review Letters 76 (N°18) 1996.
•SVM : V. Vapnik. Statistical Learning Theory, Wiley, 1998.
Merci !