chapitre 5 mémoires associatives. gpa-779 application des réseaux de neurones et des systèmes...
TRANSCRIPT
Chapitre 5
Mémoires associatives
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 2
Plan Architecture Phases d’opérations Catégories Entraînement
Hebb Delta
Mémoire anticipative Mémoire itérative
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 3
Découverte 3 livres du groupe PDP
Vol. 1: théorie 1986
Vol. 2: modèles bio. 1986 Vol. 3: modèles informatiques 1988successeur: PDP++ 2003 http://psych.colorado.edu/~oreilly/PDP++/PDP++.html
Bibles de l’époque Modèles info. PC-MAC-UNIX
Bases de la rétropropag. Appendice: analyse vectorielle
1. Rumelhart, D.E., J.L. McClelland, and the PDP Research Group, eds. Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 1: Foundations. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. Vol. 1. 1986, The MIT Press: Cambridge, Massachusetts. 547.2. McClelland, J.L., D.E. Rumelhart, and the PDP Research Group, eds. Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 2: Psychological and Biological Models. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. Vol. 2. 1986, The MIT Press: Cambridge, Massachusetts. 611.3. McClelland, J.L. and D.E. Rumelhart, Explorations in Parallel Distributed Processing - A Handbook of Models, Programs, and Exercises. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. 1989, Cambridge, Massachusetts: The MIT Press. 353.
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 4
Principaux domaines d ’application
1. Classification2. Regroupement3. Approximation4. Prédiction5. Optimisation de parcours6. Mémoire associative7. Commande
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 5
Reconstruction d ’images
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 6
• Exemple d’application
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 7
5.1 Architecture
W
x1
x2
xN yM
y2
y1
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 8
x1
x2
xn
xN
y1
y2
ym
yM
w 1n
w 2n
wmn
wMn
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 9
€
W =
w11 w12 L w1n L w1N
M M M M M M
wm1 wm2 L wmn L wmNM M M M M M
wM1 wM 2 L wMn L wMN
⎡
⎣
⎢ ⎢ ⎢ ⎢ ⎢ ⎢
⎤
⎦
⎥ ⎥ ⎥ ⎥ ⎥ ⎥
€
X = x1 x2 L xN[ ]
Y = y1 y2 L yM[ ]
€
Y = XW T
Y T =WXT
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 10
Phases d’opération1- Entraînement
Prototype à mémoriser:
Mémorisation:
Entrée:
2- Recherche
Pk ≤≤1Vk
W= W(k)
k:1
p
∑
kT
TT
T
WXY
XWY
==
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 11
Catégories 1- Mémoire auto-associative
2- Mémoire héréro-associative
PkVTkk TVkk ≤≤→ = 1
PkVTkk TVkk ≤≤→ ≠ 1
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 12
5.2 Entraînement Règle de Hebb
Algorithme0- Initialisation
Wmn = 0
1- Pour chaque paire T : V2- xn = tn
3- ym = vm
4- Wmn = Wmn(précédent) + xnym
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 13
Algorithme alternatif: produit externe de vecteurs
PIWW −=0
⎥⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢⎢
⎣
⎡
=×==
MNNN
Mnnn
Mm
kTkkkk
vtvtvt
vtvtvt
vtvtvt
VTVTW
LL
MMM
LL
MMM
LL
o
11
11
1111
∑=
×=P
kk
Tk VTW
1
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 14
Phase de recherche
1- Entrées non-corrélées (vecteurs orthogonaux)
recouvrement total et parfait
2- Entrées corrélésrecouvrement croisé (bruit d’intercorrélation)
llk TTX == =
TXWY =
∑
∑
≠
+=
=
lkk
Tkll
Tll
p
kk
Tkl
VTTVTT
VTT1:
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 15
Capacité d’emmagasinement–Maximum: N-1 (si tous les vecteurs d’apprentissage sont orthogonaux)
–Pour un réseau de Hopfield (mémoire itérative):
NPN
15,0log2 2
<<
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 16
Règle DeltaRègle itérative utilisée pour des vecteurs à mémoriser qui sont linéairement indépendants mais non-orthogonaux. La règle atténue les effets de corrélation croisée et produit une solution de moindres carrés lorsque les vecteurs ne sont pas linéairement indépendants
ijjjij
ijjiij
ii
xyvnetfw
netwxfy
tx
)()( −′=Δ
⎟⎠
⎞⎜⎝
⎛ ==
=
∑η
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 17
5.3 Mémoires anticipatives
Algorithme 1- Entraînement
a) Hebbienb) Delta
2- Forme (partielle ou bruitée) présentée à l’entrée
01
00
01
<−=>
=
=∑
j
j
j
j
ijiij
netnetnet
y
wxnet
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 18
5.4 Mémoires itératives 5.4.1 Réseau de Hopfield
1 1
-1
y1 y3
x2
1x1
1
y2
-2
+1+4
⎪⎩
⎪⎨
⎧
<−
≥=
=
=
∑∑
jjij
jjij
i
ii
jiij
yw
yw
y
w
ww
01
01
0
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 19
Énergie d’un réseau de Hopfield
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 20
Algorithme 1- Entraînement: mémoriser les couples T:V
PIVTW k
P
k
Tk −=∑
=1
2- Forme (partielle ou bruitée) présentée à l’entrée
yi = xi
Relaxation:
Pour chaque neurone (pris au hasard):
neti =xi + yjwijj
∑
yi =
1 neti >θiyi neti =θi−1 neti <θi
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 21
Un réseau simple de Hopfield
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 22
Relaxation7
5 4 3
12+1
-1
6
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 23
Les états stables du réseau
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 24
Un réseau de Hopfield comme MA
NPN
15,0log2 2
<<
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 25
5.4.2 Mémoire associative bidirectionnelle - BAM
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 26
ExerciceTrouver la matrice de transformation W (poids) pour emmagasiner les patrons:
»t1=[1 1 -1 -1];»t2=[-1 1 1 -1];
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 27
Solution»t1=[1 1 -1 -1];»t2=[-1 1 1 -1];»W1=t1'*t1W1 =
1 1 -1 -1 1 1 -1 -1 -1 -1 1 1 -1 -1 1 1
»W2=t2'*t2W2 =
1 -1 -1 1 -1 1 1 -1 -1 1 1 -1 1 -1 -1 1
»W=W1+W2
W =
2 0 -2 0 0 2 0 -2 -2 0 2 0 0 -2 0 2
» W0=W-2*eye(4)
W0 =
0 0 -2 0 0 0 0 -2 -2 0 0 0 0 -2 0 0