estimation du mouvement dans des images biomédicales par jenny benois-pineau, aiv/is/labri...
TRANSCRIPT
![Page 1: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/1.jpg)
Estimation du mouvement dans des images
biomédicales
Par Jenny Benois-Pineau,
AIV/IS/LABRI
![Page 2: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/2.jpg)
Pourquoi?
-Compensation du mouvement des organes lors du traitement local : thermothérapie;
-Caractérisation des pathologies : rythme cardiaque;
-Enregistrement des images à partir de plusieurs images dynamiques, obtenir une image statique;
-Augmentation de la résolution d’images des organes
« mosaÏcing » (basse résolution spatiale initiale- IRM 64x64 -> 128x128);
-Interpolation des vues manquants ( basse résolution temporelle initiale – 1 -2 images /sec).
![Page 3: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/3.jpg)
Typologie des mouvements
-Mouvement intra-scan : le mouvement durant l’acquisition d’une seule image. Son effet : le flou dans l’image acquise.
-Mouvement inter-scan : le mouvement apparent perçu dans le plan image entre les images acquises successivement par l’appareil d’acquisition.
-Objet de notre cours : étude du mouvement inter-scan.
![Page 4: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/4.jpg)
Quelques exemples
Séquence d’origine Séquence compensée
![Page 5: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/5.jpg)
Plan:1. Caractérisation du mouvement
2. Formalisation du problème d’estimation
3. Méthodes pel-récursives/différentielles
4. Rappel des méthodes numériques
1. Méthodes d’optimisation pour la recherche des extremums
2. Méthodes d’estimation du mouvement par descente de gradient, gradient simple, gradient accéléré...
3. Stratégies de multi-résolution
5. Méthodes de flot optique avec la régularisation (Horn et Schunck)
6. Calcul variationnel
7. Estimation Itérative par la méthode de Horn et Schunk, et dérivées
![Page 6: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/6.jpg)
Mouvement Réel – Mouvement apparent
Mvt 2D réel est la projection du mouvement 3D via systèmes d’acquisition
YZZ
X
YY
ZZ
X
Y
at t at t+1
Mouvement apparent “flot optique” est observé dans le plan image 2D grâce aux changements de la mesure observée “luminance”, “perméabilité” etc.
![Page 7: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/7.jpg)
Caractérisation du mouvement
P
P’
t t+1
Caractérisation locale
d
Tdydxd ,
Vecteur de déplacement élémentaire
Tdtdydtdxw /,/
Vecteur vitesse
Premier niveau de caractérisation : calculer le flot optique ou le champ de déplacement
wW dD
![Page 8: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/8.jpg)
Caractérisation du mouvement
P
P’
t t+1
Caractérisation globale
d
)(),( dyxd
ww
Le flot optique est conforme au modèle global dans le plan – image. Le problème alors consiste à estimer les paramètres de modèle
![Page 9: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/9.jpg)
Modèles affines.
En développant en série de Taylor de premier ordre autour de
Tdydxd ,
gg yx ,
g
g
yy
xx
bb
aa
b
a
dy
dxd
21
21
0
0(9)
xdx
a1 y
dxa
2 x
dyb
1 y
dyb
2
Ici M
Tbbaabaaff 212100 ,,,,, Modèle affine à 6 paramètres
![Page 10: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/10.jpg)
Modèles affines
On peut exprimer
ItraceMMMMMItraceMM TT 21
21
21
)(21 ddivydy
xdx
batraceM
01
10
21
)(21
ydx
xdy
MM T
drot z
ydy
xdx
hyp
1
ydx
xdy
hyp
2
1221
2112
abab
abab ItraceMMM T
21
=
01
102
21
10
011
21
01
10
21
10
01
21
hyphyprotdivM
![Page 11: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/11.jpg)
Modèles affines
)(2)(1)()(
)(2)(1)()(
2
1
0
0
gggg
gggg
xxhypyyhypxxrotyydiv
yyhypxxhypyyrotxxdiv
b
a
dy
dx
gy
gx
yyktdy
xxktdx )(
y
x
t
t
dy
dx
111112
111112
ggy
ggx
yykxxtyydy
yyxxktxxdx
g
g
yy
xx
bb
aa
b
a
dy
dx
21
21
0
0
gg
g
g
g
gyyxx
b
a
yy
xx
bb
aa
yy
xx
bb
aa
b
a
dy
dx
5
52
2
43
43
21
21
0
0
![Page 12: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/12.jpg)
2. Formalisation du problème d’estimation du mouvement
Hypothèse principal : conservation de l’intensité d’un point le long de son trajectoire.
0),,(,,),,( tyxIdttdyydxxIdyxDFD
Problème d’estimation est mal posé :
(1) Problème d’existance – occultation
(2) Unicité : deux composantes du déplacement : une seule équation ECMA
(3) Continuité : Estimation du mouvement est très sensible au bruit : un faible bruit peut amener aux fortes déviations.
(1)
![Page 13: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/13.jpg)
Estimation du mouvement (2)
Développant dttdyydxxI ,, en série de Taylor autour de (x,y,t)
t
Idt
y
Idy
x
IdxtyxIdttdyydxxI
),,(,,
et supposant la linéarité I(x,y,t)
D’après (1)0
t
Idt
y
Idy
x
Idx 0
t
I
dt
dy
y
I
dt
dx
x
I
Tdtdydtdxw /,/Comme
alors
tIwI u v
Equation de contrainte du mouvement apparent (ECMA)
(2)
![Page 14: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/14.jpg)
Estimation du mouvement (3)
tIwwI )( II
w
est la composante parallèle à ,c’est à dire orthogonale au contour spatial local.
I
Une autre intérprétation t
Ivy
Iux
I
Si les variables u,v sont supposées d’être indépendantes alors une seule équation est pour 2 inconnues.
Solution?
(3)
![Page 15: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/15.jpg)
),,( dyxDFD
Estimation du mouvement
Criteria: EQM, MAD
n’est jamais 0 à cause du bruit d’acquisition
),(
2 )),(,,(1
yxyxdyxDFDEQM min
),(
)),(,,(1
yxyxdyxDFDMAD min
)(min,),(* DEQMArgyxdyxD
Estimation directe
)(min,, * EQMArgyxd
Estimation paramétrique
![Page 16: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/16.jpg)
3. Méthodes pel-récursives/ differentielles Pour chaque pixel trouver un vecteur de
déplacement tel que l’ensemble des ces vecteurs dans un domaine du plan- l’image D minimise un critère d’erreur
« Pel –recursives » : – pour chaque pixel– en utilisant des méthodes d’optimisation
itératives.– -nous allons considérer les méthodes
d’optimisation de 1er ordre ( gradient ).
),(
2 )),(,,(1
yxyxdyxDFDEQM
![Page 17: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/17.jpg)
4. Rappel des méthodes numériques
Méthodes d’optimisation pour la recherche des extremums
Condition nécessaire d’existence de l’extremum d’une fonction de plusieurs variables en :
(4)Gradient de F :
(4) est équivalent à
Si on connaît la forme analytique de F(u), alors il s’agit de résoudre le système (4)
RRuuF nn :,...,1
0,...,0**
111
nununuu u
F
u
F
T
nu
u
F
u
FuF
,...,1
0* uuu uF
Tnuuu **1
* ,...,
![Page 18: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/18.jpg)
4.1.Méthodes d’optimisation pour la recherche des extremums
Exemple trivial
D’après (4)
Les critères et
sont difficiles à exprimer analytiquement, alors on utilise des méthodes numériques dites de « descente de gradient »
222 32,,:, vuvuFRRvuF
3,032
2,022
vvv
F
uuu
F
TTvu )3,2(),( **
),(),(2
dydxDFDoudydxEQM
),(2 vuECMA
![Page 19: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/19.jpg)
Il faut trouver tel que ont lieu les conditions nécessaires d’extremum d’une fonction . On se déplace d’un point
arbitraire vers dans la direction de la décroissance de la fonction
Il faut donc « descendre » - la méthode de descente de gradient
Méthodes d’optimisation du premier ordre
Tnn xxxRRxF ,...,,: 1*x
kx*x
F(x)
x*xk
![Page 20: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/20.jpg)
Méthodes de descente On construit un processus itératif dans lequel
Ici est le vecteur qui définit la direction de déplacement du point , est multiplieur scalaire.
Pour s’approcher de il est naturel de se déplacer dans la direction de la décroissance de la fonction F(x).
Si le point n’est pas le point de minimum de la fonction F(x), alors il existe une infinité des vecteurs p, qui définissent la direction de la descente. Chaque direction est définie par la condition ( pour F(x) dérivable)
Ici (,) est le produite scalaire,
kkkk pxx 1kp
kx k*x
kx
0, pxF k
![Page 21: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/21.jpg)
Méthodes de descente(2) Ceci peut être déduit des considérations suivantes. Soit
En développant F(x) en Série de Taylor ( en supposant la dérivabilité de F(x) suffisamment de fois), on a
(5)
Ici
Si alors pour les faibles d’après
(5)
En choisissant la direction de descente et de diverses façons on peut construire des diverses algorithmes de minimisation.
kkk pxx
),)(''(2
)),(()()(2
ppFpxFxFxF kk
1;0, kk xxx
0, pxF k
)()(0)),(()()( kkk xFxFpxFxFxF
k
![Page 22: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/22.jpg)
Méthode de descente de gradient “Methode de descente la plus rapide”. Le plus facile est de
choisir la direction p comme
Descente dans la direction opposée au gradient
Sous forme des coordonnées le processus s’exprime comme
(6)
kkk xFFp
0,,...,2,11
k
i
kkk
iki ni
x
xFxx
![Page 23: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/23.jpg)
Algorithme de descente de gradient 1. Choisir la valeur la même pour toutes les itérations et
fixer le point
2. Calculer
3. Tester l’inégalité
(7)
4. Si (7) est vérifié
alors
sinon en pratique
Tant que (7) n’est pas satisfait.
5.Réitérer 2 jusqu’à stabilité ou NbrItérationsMax
kk Fxx
))(()( kk xFxFxF
10),),(()()( kkk pxFxFxF
)( kk xFortp
k
5.0,10, k
![Page 24: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/24.jpg)
Méthode de descente de gradient Pourquoi (7) est satisfait? Théorème. Si une fonction est minorée, son gradient satisfait la
condition de Liepschitz
Quelque soient et le choix de s’effectue de façon décrite, alors quelque soit le point initial on a pour le processus
lorsque
Illustration
yxRyFxF )()(
nRyx ,k0x
0 kF k
F(x)
x*xk
trop petit et trop grand
k
![Page 25: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/25.jpg)
4.2.Méthodes d’estimation du mouvement par descente de gradient
1. Méthode de Netravali-Robbins
La méthode de descente :
(8) Développement
(9)
(10)
22 )),,(),,((,,),( tyxIdttdyydxxIdyxDFDyxE
T
dy
E
dx
EE
,
kdd
kk Eyxdyxd
2
1,,1
dx
DFDDFD
dx
E
2dy
DFDDFD
dy
E
2
kddx dttdpI
x
I
dx
DFD
, kddy dttdpIy
I
dy
DFD
,
![Page 26: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/26.jpg)
Méthode de Netravali-Robbins(2)
Finalement d’après (8), (9),(10)
(11)
Méthode fondamentale
Expression en coordonnées
),(),(1 dttdpIdpDFDpdpd kkkk
),,(),,,(,,1 dttdyydxxIdydxyxDFDyxdxyxdx kkx
kkkk
),,(),,,(,,1 dttdyydxxIdydxyxDFDyxdyyxdy kky
kkkk
![Page 27: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/27.jpg)
Méthodes de descente de gradient accélérée (1) Accelération de Netravali –Robbins
(12) T.A! (2) Accélération de Benois-Pineau /Pshenichny& Daniline
Calculer
Tant que
Tant que
(13)
FTq
FTq
),()},(1 dttdpIsigndpDFDsignpdpd kkkk
),(),(
101 kkkk dxpIdpDFDpdpd
kk
NbrItketThEdpE k ),(
pd k 0
),(),( 1 kk dpEdpE
0kk
pdpd kk 1,0 kk
),(),( 01 kkkk dxpIdpDFDpdpd
![Page 28: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/28.jpg)
Méthodes de descente de gradient accéléréeIllustration géométrique
E(d)
dk0
Sans recalculer le gradient
![Page 29: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/29.jpg)
Méthodes d’estimation du champ dense basées sur la descente de gradient(suite) 1. Méthode de Walker-Rao Principe : le pas adaptatif à l’image dans le voisinage d’un contour. (Là où le gradient est fort on diminue le pas)
Le gain devient adaptatif
tdpIdpDFD
tdpIdd kkkk
kk
kk ,,,
)()()()(2)()(
)()1(
![Page 30: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/30.jpg)
Méthode de Walker –Rao (2)
Accélération Euristique
1). Si , alors
(Fin d’estimation)
2) Si et , alors (on ne peut rien estimer sur une zone plate)
3) Si alors (calcul en arithmétique binaire)
4) Si alors
seuildE k )( 0
seuildE k )(
02 pI 0
16/1k 16/1k
2k 2k
![Page 31: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/31.jpg)
Méthode de Cafforio-Rocca
Descente avec le gain adaptatif
(14) L’ajout du terme correctif permet d’éviter la division par
0 dans des zones plates.
Nombre d’itérations dans les méthodes à pas adaptatif : <5
),(),(1 dttdpIdpDFDpdpd kkkk
tdpIdpDFD
tdpIdd kkkk
kk
kk ,,,
)()()()(
22)()(
)()1(
2
![Page 32: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/32.jpg)
Mise en œuvre sur les images numériques(1)
Deux problèmes :
– (a) Calcul du gradient sur les images discrètes
– (b) La nécessité d’interpoler aux coordonnées non-entières
(a) Plusieurs solutions. – Calcul du gradient par l’opérateur de Sobel
101
202
101
4
1, xx hIh
x
I
),(),(1 dttdpIdpDFDpdpd kkkk
121
000
121
4
1, yy hIh
y
I
yx
![Page 33: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/33.jpg)
Mise en œuvre sur les images numériques(2) (b) Interpolation du champs de gradient
Interpolation bi-linéaire séparable
(15)
yyyxxx ,
dyydxxI ,
P2
P4
P(x,y)
P1
P3
4321 )1()1()1)(1(),( yPxyPxPyxPxydydxxP
![Page 34: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/34.jpg)
Méthode de gradient conjuguée(1)Considérons une fonction scalaireLe développement en série de Taylor jusqu’à 2nd ordre :
Ou (16)
(forme quadratique)
Alors la fonction est approximée par une forme quadratique
cHF T bxxxx2
1)(
oxxxx
Fx
x
FFF
jji
jiiii
i
0
2
00 2
1)()( xxxx
Tnn xxRRF ,...,,: 1 xx
01
,,...,,0 xbxx Fcx
F
x
FH
T
n
T
xF
![Page 35: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/35.jpg)
Méthode de gradient conjuguée(2) La matrice H est appelée la matrice “Hessian”
H est symétrique car si les dérivées « mixtes » sont continues , elles sont égales
Le gradient de la forme quadratique bx HF
2
2
1
2
1
2
21
2
...
.........
...
''
nn
n
x
F
xx
F
xx
F
x
F
FH x
![Page 36: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/36.jpg)
Méthode de gradient conjuguée(3) Si la fonction F(x) atteint son minimum , alors
(17)
Minimiser la fonction F équivaut à résoudre le système (17)
Le principe de la méthode de GC:
A partir de la direction de descente est construit de telle sorte que soient conjuguées :
Remarquons que la notion « être conjuguées » est plus large que « être orthogonales ».
Si H est une matrice unitaire alors les deux directions sont orthogonales.
kk pp ,1
0 bxHF
kk pp ,1
01 kk Hpp
![Page 37: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/37.jpg)
Méthode de gradient conjuguée(4) Algorithme
1. Choisir
2. Calculer le résidu
La direction initiale de la descente est
3. Pour calculer0k
0x
000 xrp F
000 )(0 xbxr FH
kTk
kTkk
Hrr
rr
)(
)(
![Page 38: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/38.jpg)
Méthode de gradient conjuguée(5)
4. Mettre a jour X et le résidu
5. Choisir la nouvelle direction de descente :
6. Condition d’arrêt ou
kkkk pp 11 r
kkkk p xx 1
kkH rbx
kkkk Hp rr 1
kTk
kTkk
rr
rr
)(
)( 11
NbrItk
![Page 39: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/39.jpg)
4.3. Stratégies de multi-resolution
Problème d’initialisation : la fonctionnelle d’erreur est généralement non-convexe
dx
E(dx)
dx*dx0
Solution : estimation multi-resolution, relaxation.
![Page 40: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/40.jpg)
Stratégies de multi-résolution
Schémas multi-resolution/ multi-échelles
tt II 0 )( 1lt
lt IgI
1) Construction des pyramides Gaussienne pyramids for
1, tt II
2) Estimation des paramètres du mouvement au niveau le plus élevé de la pyramide L
3) Propagation ),(),(1 yxdyxd ll
est le facteur de sous-échantillonnage
![Page 41: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/41.jpg)
Quelques résultats(1)
06:14
![Page 42: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/42.jpg)
Quelques résultats(2)
![Page 43: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/43.jpg)
Quelques résultats(3)
![Page 44: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/44.jpg)
Resultats en monoresolution
Flot optique : séquence « Reins »
![Page 45: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/45.jpg)
Resultats en multirésolution
![Page 46: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/46.jpg)
Méthodes de flot optique avec la régularisation (Horn et Schunck)
Pourquoi les méthodes de descente locale sont-elles en difficulté ?
Le pb. d’estimation du mouvement est mal posé! Solution : régularisation. Méthode de K.P.Horn et B.G.Shunk “Determining Optical Flow”,Artificial Intelligence 17
(1981) pp. 185-203
![Page 47: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/47.jpg)
Méthodes de flot optique avec la régularisation (Horn et Schunck)
Pourquoi les méthodes de descente locale sont-elles en difficulté ?
Le pb. d’estimation du mouvement est mal posé!
w
v
u
w
w Le long de contours de la luminance constante le vecteur de déplacement ne peut pas être estimé sans introduire les contraintes supplémentaires.
![Page 48: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/48.jpg)
Méthode de Horn and Shunk(1)
On suppose la continuité locale de flot optique.
Ajout de la contrainte de lissage : estimer le flot optique
222 vuEw
min),(2222
22
dxdyy
v
x
v
y
u
x
uIvIuIvuE
Gtyx
tyxfo IvIuIE
La fonctionnelle dont les arguments sont eux-mêmes les éléments d’un espace linéaire normé
Le problème de recherche du min d’une telle fonction est celui du calcul variationnel.
GD1
![Page 49: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/49.jpg)
6. Calcul Variationnel
Def. Fonctionnelle F(y) définie sur l’espace linéaire normé D s’appelle dérivable dans un point de cet espace si son accroissement peut être écrit comme
Où est une fonctionnelle linéaire continue de h et r
Est infiniment petite o(h)
On peut démontrer que est unique.
hyrhyLyFhyFyF ,,)( 0000
),( 0 hyL
Def. La fonctionnelle linéaire ainsi définie et unique s’appelle “différentiel” ou encore la variation de la fonctionnelle F en point et est dénotée par
Dy 0
),( 0 hyL
),( 0 hyF
Dy 0
![Page 50: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/50.jpg)
Exemples(1)
1. dans l’espace
Le noyau f(x,y) est supposé d’être continu avec les dérivées continues jusqu’à 2nd ordre.
Soit
Comme la fonction f est dérivable, alors est bornée
dxxyxfyFb
a
))(,(
)()( xhxy
Donc
baC ,
)(),,,(),(),( horhyxrhy
fyxfhyxf
dxxyxfxhxyxfyFhyFyFb
a ))(,()()(,)(
)(ydxxhy
fyF
b
a
)(y
dxxhy
yxfhyF
b
a
,
,
![Page 51: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/51.jpg)
Exemples(2)
2. dans l’espace
des fonctions dérivables avec les dérivées partielles de premier ordre continues.
Le noyau f(x,y,y’) est supposé d’être continu avec les dérivées continues jusqu’à 2nd ordre sur
Soit
En considérant la norme on peut démontrer que est bornée
dxxyxyxfyFb
a
))('),(,(
)()( xhxy
Donc (18)
baD ,1
)(',)(max xhxhh
dxyyxfxhxyxhxyxfyFhyFyFb
a )',,()(')('),()(,)(
b
a
b
a
dxhhyxrdxxhy
fxh
y
fyF )',,',('
'
',, yybxa
b
a
dxhhyxr )',,',(
dxxhy
fxh
y
fyF
b
a
''
![Page 52: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/52.jpg)
Extremums des fonctionnelles dérivables(1)
Considérons une fonfctionnelle dérivable dans l’espace linéaire normée
Le problème est de trouver les points y où F atteint son extremum.
Lemme 1. En chaque point y0 où la fonctionnelle dérivable F(y) atteint sont extremum, la première variation de la fonctionnelle F pour tout accroissement h est égale à 0.
F
D
hyF ,0
![Page 53: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/53.jpg)
Extremum des fonctionnelles dérivables(2)
1. dans l’espace
Sa première variation est
Soit est le point d’extremum. Par condition nécessaire
Lemme 2. Si pour une fonction continue A(x) pour toute fonction continue h(x) on a
alors
dxxyxfyFb
a
))(,(
xyy 00
baC ,
dxxhy
yxfhyF
b
a
,
,
0,
dxxh
y
yxfb
a
0)( dxxhxAb
a
0)( xA
![Page 54: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/54.jpg)
Extremum des fonctionnelles dérivables(3)
1. Du Lemme 2
Si on résout cette équation par rapport à y0, on aura une ou plusieurs fonctions de x
2. Fonctionnelles de forme dans l’espace
- extremum
baCxy ,)(
0, 0
dxxh
y
yxfb
a
0
, 0
y
yxf
dxxyxyxfyFb
a
))('),(,( baD ,1
0''
dxxhy
fxh
y
fyF
b
a
![Page 55: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/55.jpg)
Extremum des fonctionnelles dérivables(4)
Considérons le cas quand la fonctionnelle F est définie sur l’ensemble des fonctions y(x) qui prennent valeurs prédéfinies en a, b : y(a) et y(b).
Alors
Représentations
comme
Finalement
0)()( bxax xhxh
dxxhy
f
dx
dxh
y
fdxxh
y
f b
abhahcar
ba
b
a
)('
)('
''
)2(
0)()(0
0''
dxxhy
fxh
y
fyF
b
a
dxxhy
fdxxh
y
fb
a
b
a)2()1(
''
b
a
dxxhy
f
dx
d
y
f)(
'
Integration en parties
![Page 56: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/56.jpg)
Equation d’Euler(1)
D’après Lemme 2
Calcul de : c’est la dérivée complète d’une fonction composée.
Rappel :
Dans notre cas
0'
y
f
dx
d
y
f
'y
f
dx
d
t
x
x
u
t
x
x
u
t
x
x
uxxu
dt
dxxu n
nnn
...)(),( 2
2
1
1,...,1,...,1
x
y
y
u
x
y
y
u
x
x
x
uyyxu
dx
dyyxu
y
f
'
')',,(),',,(
'
"'
'''' '''
''
222
yfyffx
y
yy
f
x
y
yy
f
yx
fyyyyxy
![Page 57: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/57.jpg)
Equation d’Euler(2)
Ainsi
se transforme en
Equation d’Euler
Si l’extremum de la fonctionnelle existe et est atteint en fonction qui possède la dérivée seconde, alors cette fonction satisfait l’équation d’Euler.
0'
y
f
dx
d
y
f
)(xyy
0"'''
'' yfyfff yyyyxyy
dxxyxyxfFb
a
))('),(,(
)(xyy
![Page 58: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/58.jpg)
Fonctionnelles avec plusieurs fonctions inconnues(1)
est considérée dans l’espace linéaire des fonctions-vecteurs définies sur le segment [a,b] et possédant les dérivées premières continues.
La norme :
Si la fonction f a des dérivées continues jusqu’à 2nd ordre selon tous ses arguments, alors la fonctionnelle est dérivable dans l’espace
et sa variation s’écrit comme
b
ann dxyyyyxfyF ''
11 ,...,,,...,,
Tn xyxyy )(),...,(1
'21
],[,....,,max n
bayyyy
dxhy
fh
y
fh
y
fh
y
fhyF n
nn
n
b
a
''
'1'
11
1
......,
),()(1 baD n
),()(1 baD n
baDxhxhh n ,)(),...,( 11
![Page 59: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/59.jpg)
Fonctionnelles avec plusieurs fonctions inconnues(2) En point d’extremum la variation est
En particulier, si toutes les composantes du vecteur h sauf une hj sont supposées nulles, alors on obtient
Nous allons résoudre le pb. de recherche d’extremum sur l’ensemble des fonctions vecteurs avec les valeurs aux limites fixes y(a) et y(b).
En supposant que les fonctions recherchées y1(x),…,yn(x) sont dérivables deux fois et répétant les raisonnement que nous avions pour la fonction scalaire y(x), nous obtenons un système d’équations d’Euler
0''
dxxhy
fxh
y
fj
jj
j
b
a
0
0
011
nn
jj
y
f
dx
d
y
fy
f
dx
d
y
fy
f
dx
d
y
f
0F
![Page 60: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/60.jpg)
Fonctionnelles avec plusieurs variables indépendantes(1)
Sont considérées dans l’espace des fonctions u(x,y)
définies sur un domaine limité, plat G continues et ayant les dérivées premières continues selon chaque argument.
La norme :
Si la fonction f a des dérivées continues jusqu’à 2nd ordre selon tous ses arguments, alors la fonctionnelle est dérivable dans l’espace
et sa variation s’écrit comme
dydxy
u
x
uyxuyxfyF
b
a
,),,(,,
y
yxu
x
yxuyxuu
G
,,
,,),((max
0
dxdyhu
fh
u
fh
u
fuF y
yx
x
b
a
)()(1 GD n
)()(1 GD n
![Page 61: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/61.jpg)
Fonctionnelles avec plusieurs fonctions inconnues(2) Supposons que les valeurs de la fonction u(x,y) ,sont fixées sur la
frontière du domaine G . Par conséquent les valeurs h(x,y) sur cette frontière sont nulles.
Le même calcul pour
0
dxdyhu
fh
u
fh
u
fuF y
yx
x
b
a
dxhu
fdydxdyh
u
f B
Ax
xx
xG
dxu
f
xyxhyxh
u
f
x
B
A
BA
x
,),(
=0
...
dyhu
fdxdxdyh
u
f D
Cy
yy
yG
![Page 62: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/62.jpg)
Fonctionnelles avec plusieurs fonctions inconnues(3) Finalement,
Comme h(x,y) est une fonction arbitraire
Equation d’Euler - Ostrogradski
0),(
dxdyyxh
u
f
yu
f
xu
fdxdyhy
u
fh
u
fh
u
fuF
yxGyx
x
b
a
0
yx u
f
yu
f
xu
f
![Page 63: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/63.jpg)
Méthode de Horn and Shunk(1)
dxdyy
v
x
v
y
u
x
uIvIuI
Gtyx
w
222222
min
Nous avons donc
Système d’Euler - Ostrogradski
0
0
yx
yx
v
f
yv
f
xv
f
u
f
yu
f
xu
f
dxdyy
v
x
v
y
u
x
uyxvyxuyxf
G
),,,),,(),,(,,(
![Page 64: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/64.jpg)
Méthode de Horn et Shunk(2)
t
I
x
I
y
u
x
uvx
I
y
Iu
x
I
2
2
2
22
2
t
I
y
I
y
v
x
vv
y
Iuy
I
x
I
2
2
2
22
2
Après les calculs on obtient
vy
v
x
v
uy
u
x
u
2
2
2
2
2
2
2
2
Ici sont des Laplaciens des fonctions u et v
![Page 65: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/65.jpg)
Méthode of Horn and Shunk(3)
Approximation du Laplacien
tjitji
tjitji
vvv
uuu
,,,,
,,,,
1/12
1/121/12
1/12
1/6
1/6
1/6
1/6-1 uu(*)
Avec (*) le système peut être re-écrite
tyyyx
txyxx
IIvvIuII
IIuvIIuI
222
222
La solution : soit directe, soit itérative
![Page 66: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/66.jpg)
Méthode of Horn and Shunk(4)
Approximation des dérivées par Horn et Shunk
1,,11,1,1
1,,1,1,
,,1,1,1,,,1,
_4
1
kjikji
kjikji
kjikjikjikji
x
II
II
IIII
I
j j+1
i+1
ik
k+1
4
1yI
1 1
-1-1 +
1 1
-1-1
4
1tI
-1 -1
-1-1
1 1
11+
I
I
![Page 67: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/67.jpg)
Méthode de Horn and Shunk(4)
Méthode itérative de Gauss-Seidel:
22
1ˆI
tI
wI
x
Iuu
i
ii
22
1ˆI
tI
wI
y
Ivv
i
ii
Solution itérative
tyyyx
txyxx
IIvvIuII
IIuvIIuI
222
222
Ici sont des moyennes pondérées dans le voisinage
vw,
![Page 68: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/68.jpg)
Estimateur de Cornélius -Kanade
Prise en compte de la variation locale de l’intensité au cours du temps
Ici est la variation de luminance au cours du temps en chaque pixel
),(),(),( yxwt
Iyxv
y
Iyxu
x
I
min)()(),,( 222222222 dxdywwvvuuwIvIuIwvuEG
yxyxyxtyx
dt
dIyxw ),(
![Page 69: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/69.jpg)
Estimateur de Cornelius -Kanade
222
2
2
1
1
1
yx
nt
ny
nx
nn
ynn
xnn
II
wIvIuI
ww
Ivv
Iuu
![Page 70: Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI Jenny.benois@labri.fr](https://reader036.vdocuments.fr/reader036/viewer/2022062511/551d9d8c497959293b8c08fd/html5/thumbnails/70.jpg)
1.HORN B.K.P., SHUNK B.G. Determining optical flow. Artificial Intelligence, vol. 17, pp. 185-203, 19812.TEKALP A.M. Digital Video Processing, Prentice Hall, 19953. NICOLAS H. , LABIT C. Global motion identification for image sequence analysis and coding , Proc. [SCH86] 4. SCHUNK B. G. The image flow constraint equation ; Computer Vision, Graphics and Image Processing, vol. 35, pp. 20-46, 1986 5. J. Rappeoz, M. Picasso, « Introduction à l’analyse numérique », Presses Polytechniques et Universitaires Romandes, 1998, 6.A. Pchenitchny, B. Danilin « Méhtodes numériques dans la résolution des porblèmes extrémaux », Moscou, Mir, 1987, (En français)7. Kanade T., Cornelius N., Adapting optical-flow to measure object motion in reflectance and x-ray image sequences. ACM SIGGRAPH/SIGART : pp 50 – 58, 1983