j. serra esiee paris-est treillis pilotes 1 les treillis pilotes jean serra upe ligm a3si esiee
TRANSCRIPT
J. Serra ESIEE Paris-est Treillis pilotes 1
Les treillis Pilotes Les treillis Pilotes
Jean Serra
UPELIGMA3SI
ESIEE
J. Serra ESIEE Paris-est Treillis pilotes 2
• Structurer les données spatio-temporelles multivariées en
vue de traitements morphologiques.
• Il peut s'agir d'imagerie couleur, satellitaire, ou de données
composites.
• le cas des images en couleur, et de leurs treillis, est un
excellent paradigme, très visuel, des situations multi-
dimensionnelles.
ButBut
J. Serra ESIEE Paris-est Treillis pilotes 3
On peut toujours engendrer un treillis couleur comme produit de ses composantes scalaires. Mais le sup et linf de deux valeurs peut n’être aucune d’entre elles. Plus précisément:
Proposition 1: Dans un ensemble ordonné, toute famille finie admet un supremum et un infimum qui sont eux-mêmes éléments de la famille si et seulement si l'ordre de T est total.
Contre-exemples :
Ordres totaux finisOrdres totaux finis
x
yFamille : [-1,1[
Ordre total, mais le sup de [0,1[
égale 2
J. Serra ESIEE Paris-est Treillis pilotes 4
Représentation RGBReprésentation RGB
Canal rouge Canal bleuCanal vert
Image couleur résultante
J. Serra ESIEE Paris-est Treillis pilotes 5
•A partir de quatre couleurs, la dilatation en produit cinq de plus !
•L’effet est plus sensible près des contours et autour des coins.
Dilatation carrée de chaque canal
Problème: fausses couleursProblème: fausses couleurs
J. Serra ESIEE Paris-est Treillis pilotes 6
• x
• c
• l
• g• r
• b
Axe des gris
Plan chromatique
Représentation polaire cylindrique Représentation polaire cylindrique
Comme les énergies sont additives il est légitime de modéliser les intensités lumineuses r,g,b, comme éléments d'un espace vectoriel.
On a 3c = (2r - g - b ; 2g - b - r ; 2b - r - g )
3l = ( r + g + b ; r + g + b ; r + g + b )
J. Serra ESIEE Paris-est Treillis pilotes 7
Canal M1 Canal S1Canal H
Image couleur initiale
Représentation polaire cylindrique Représentation polaire cylindrique
J. Serra ESIEE Paris-est Treillis pilotes 8
• il n’y a plus de fausse teinte;
• mais des variations de l’intensité et de la saturation;
• en revanche l’ordre de priorité des teintes est (trop!) arbitraire.
Dilatation carrée de chaque
composante polaire
fausses couleurs fausses couleurs
J. Serra ESIEE Paris-est Treillis pilotes 9
Image initiale Dilatation R,G,B Dilatation H,L,SEn norme L1
fausses couleurs fausses couleurs
• il n’y a plus de fausse teinte;
• mais des variations de l’intensité et de la saturation;
• en revanche l’ordre de priorité des teintes est (trop!) arbitraire.
J. Serra ESIEE Paris-est Treillis pilotes 10
PlanPlan
Ce qui précède nous conduit à trois questions:
• Pour ne pas créer de nouvelles valeurs, faut-il un treillis fini ?
• Jusqu’à quel point est-il important de ne pas créer de nouvelles valeurs ?
• Comment échapper à l’arbitraire de l’origine du cercle (de la suface de la sphère, du tore, etc…) ?
• Enfin, nous appliquerons les réponses à ces questions à des exemples autres que la couleur, comme les composantes principales des images satellites.
J. Serra ESIEE Paris-est Treillis pilotes 11
1ère partie1ère partie
treillis finis
ou
treillis de parties finies ?
J. Serra ESIEE Paris-est Treillis pilotes 12
• Réquisit : il faut des ensembles finis et qui le restent après toutes les opérations qu'on leur applique (prop.1).
• Solution I : prendre les sous ensembles d’un ensemble fini;
Faiblesse : on perd l’invariance par translation, donc l’addition de Minkowski, le gradient, etc..
De plus, quand on parle de trame carrée, de grille de fusion parfaite, etc… on se situe dans Z2, (ou Zn)
• Solution II : treillis de parties finies.
Treillis de parties finiesTreillis de parties finies
J. Serra ESIEE Paris-est Treillis pilotes 13
Treillis de parties finiesTreillis de parties finies
• Solution IISoit E un ensemble, et X′ la classe de ses parties finies. L'ensemble
X = X′ E forme un treillis complet pour l'ordre de l'inclusion, où pour toute famille {Xi , XX, iI}, éventuellement infinie, l'infimum et le supremum sont donnés par les formules:
Xi = ∩ Xi ,
Xi = Xi , si Xi est majorée par une élément de X′ ,
Xi = E sinon.
• Prendre E dénombrable ? Dans ce cas: - l’ensemble des partitions sur E n’est pas dénombrable,
- et celui des fonctions E→{0,1}, dont le nombre vaut 2N, a la puissance du continu.
J. Serra ESIEE Paris-est Treillis pilotes 14
Passage au numériquePassage au numérique
• T est une famille de nombres réels, de bornes universelles M0 et M1. On lui associe le treillis fini T tel que pour toute famille {fj , jJ} dans T:
({tj , jJ}) (x) = tj(x) si card J fini, et M0 sinon;
({tj , jJ}) (x) = tj(x) si card J fini, et M1 sinon;
• F’ est la classe des fonctions f: E→T à supremum et à support finis, i.e.
1/ f(x) < M1 et
2/ f(x) M0 ssi x X X′,
puis F’ = F’ M1
J. Serra ESIEE Paris-est Treillis pilotes 15
Fonctions à supremum et supports finisFonctions à supremum et supports finis
• Proposition 2 : La classe F des fonctions f: E→T à supremum et à support finis forme un treillis complet pour l'ordre numérique usuel.
• L'infimum et le supremum d'une famille {fj , jJ} dans F, finie ou non, sont donnés par les expressions
({fj , jJ}) (x) = fj(x) si x∩Xj , et card J fini,
({fj , jJ}) (x) = M0 sinon;
({fj , jJ}) (x) = fj(x) si x Xj X′, et card J fini,
({fj , jJ}) (x) = M1 sinon.
J. Serra ESIEE Paris-est Treillis pilotes 16
Un petit piège de l’infiniUn petit piège de l’infini
Faire attention au côté parties finies…Exemple de l'espace S×H,
de bornes (smax , smin ) et (hmax , hmin ) et d’ordre lexicographique :
(s, h) ≤ (s’, h’) s < s’ ou s = s’ et h < h’.
Le treillis de parties finies associé a pour supremum
ssup = {sj , jJ}
hsup = {hj , jJ} si J1 , et hsup = hmin si J1
où J1 est la famille telle que j J1 entraîne ssup = sj
Preuve : Si la classe J1 est vide, alors ssup = smax n'est pas atteint par les sj , et tout doublet (smax , h) est supérieur aux (sj , hj). Le doublet supremum vaut donc
(smax , hmin) !
J. Serra ESIEE Paris-est Treillis pilotes 17
2ème partie2ème partie
Fausses couleurs
et
treillis pilotes
J. Serra ESIEE Paris-est Treillis pilotes 18
Ordre marginal, ordre lexiqueOrdre marginal, ordre lexique
Exemple de deux situations extrêmes :
• l'ordre marginal = produit des ordres totaux de chaque composante.
Quand la famille J est finie, chaque composante du supremum est supremum pour son ordre, mais prise à un point j qui peut être différent pour chaque composante.
• l'ordre lexicographique = une première variable prioritaire, puis une seconde, etc…
L'ordre ici étant total, le supremum d'une famille finie J est l'un des éléments de la famille, avec toutes ses composantes .
J. Serra ESIEE Paris-est Treillis pilotes 19
Treillis piloteTreillis pilote
Proposition 3 : Soit T(n) un espace multi-numérique, et soit une
partition {T(n)(s), 1≤s≤k} de T(n) en k sous-espaces
complémentaires, avec k ≤ n <∞. Lorsque chaque sous-espace
T(n)(s) est doté d'un ordre total Os le produit O1 O2... Ok
qui en résulte définit un ordre, dit pilote, sur T(n).
De même, tout ensemble de treillis à supremum et support finis
Ts associés à chacun des ordres Os induit par passage au produit
un treillis pilote Ts Ts … Ts sur T(n).
Le cas marginal est obtenu pour k = n, et l'ordre total pour k = 1.
En dehors du cas marginal, le sup et l'inf de toute famille ont
toujours plusieurs composantes d'un même élément de la famille.
J. Serra ESIEE Paris-est Treillis pilotes 20
Ordre total, ordre lexicographiqueOrdre total, ordre lexicographique
Un ordre total peut n'être pas lexicographique. Exemple :• On part de l'espace S×H, d’une bijection μ du produit S×H dans
un espace S*×H* où on construit un ordre lexicographique, puis on en prend l'image inverse.
• avec μ : (s, h) (s, sh) et les trois doublets a,b,c suivants:a b c
s 1 2 4h 8 4 1sh 8 8 4
l'ordre lexicographique s’écrit: - dans S×H, avec s prioritaire c b a,
- dans S×S.H, avec sh prioritaire b a c (qui n’est pas lexicographique dans S×H)
J. Serra ESIEE Paris-est Treillis pilotes 21
3ème partie3ème partie
Ordre total
et
Polyèdres de Voronoï
J. Serra ESIEE Paris-est Treillis pilotes 22
Cas du cercle unitéCas du cercle unité
• E. Aptoula et S. Lefèvre associent plusieurs origines aux teintes, qui dépendent de l’image traitée.
• On remarque que l’histogramme des teintes présente souvent quelques modes bien nets.
0
200
400
600
800
1000
1200
1400
1600
0 50 100 150 200 250 300
'CHEVAL.DAT'
J. Serra ESIEE Paris-est Treillis pilotes 23
Autres exemplesAutres exemples
0
100
200
300
400
500
600
700
800
900
0 50 100 150 200 250 300
'mycos.DAT'
0
500
1000
1500
2000
2500
3000
3500
4000
4500
0 50 100 150 200 250 300
'PERROTS.HST'
0
1000
2000
3000
4000
5000
6000
0 50 100 150 200 250 300
'aigle.DAT'
J. Serra ESIEE Paris-est Treillis pilotes 24
Voronoï sur le cercleVoronoï sur le cercle
• On note h ÷ h’ l’angle aigu entre h et h’ sur le cercle unité
• Donnons nous k modes principaux hj , 1 i k.
• h est dit plus grand que h′ si h est plus proche du mode de la zone où il se trouve que h′ du mode de la sienne, i.e.
si mini {h ÷ hj } < minj {h’ ÷ hj } 1 i, j k.
ou si
h ÷ hi0= mini {h ÷ hj } = h ÷ hj0 = mini {h’ ÷ hj } et i0 < j0
• Les teintes sont classées selon une propriété de ressemblance
à des références préalables.
J. Serra ESIEE Paris-est Treillis pilotes 25
a
d
p1 a
dh(a) - h(p1)
0 a
h(a)
p1
p2
d
Trois ordres totaux, et trois treillis, pour la teinte :
a) la teinte (varie de 0 à 255) ;b) la distance d1 au pôle p1 ; avec priorité au sens trigonométriquec) inf des distances aux pôles p1 et p2 ; (même priorité qu’avant).
Segmentons ces trois fonctions par sauts de 35, et fusion des cc > 5
a) b) c)
Trois ordres pour la teinteTrois ordres pour la teinte
J. Serra ESIEE Paris-est Treillis pilotes 26
Cheval HueCheval Hue
0
500
1000
1500
2000
2500
3000
0 50 100 150 200 250 300
"c:\wmmorph\cheval.hst"
10 53Hue standard
Hue pole 10 Hue pole 53
J. Serra ESIEE Paris-est Treillis pilotes 27
Cheval HueCheval Hue
0
500
1000
1500
2000
2500
3000
0 50 100 150 200 250 300
"c:\wmmorph\cheval.hst"
10 53
Hue bi-pole 10 et 53Hue pole 53
Hue pole 10
J. Serra ESIEE Paris-est Treillis pilotes 28
Cheval huesatCheval huesat
Hue
saturation
0
1000
2000
3000
4000
5000
6000
7000
0 50 100 150 200 250 300
"c:\wmmorph\cheval2.hst"
8 60
Hue saturation
Hue saturation
J. Serra ESIEE Paris-est Treillis pilotes 29
Hue saturation
Hue.sat.4 pole 8 Hue.sat.4 pole 60
Cheval huesatCheval huesat
0
1000
2000
3000
4000
5000
6000
7000
0 50 100 150 200 250 300
"c:\wmmorph\cheval2.hst"
8 60
Hue saturation
J. Serra ESIEE Paris-est Treillis pilotes 30
Hue saturation
Hue.sat.4 pole 8 Seuillage 0-35
Cheval huesatCheval huesat
J. Serra ESIEE Paris-est Treillis pilotes 31
0
200
400
600
800
1000
1200
0 50 100 150 200 250 300
"c:\wmmorph\champi.hst"
35 83
Hue Hue pole 35 Hue pole 83
ChampignonChampignon
J. Serra ESIEE Paris-est Treillis pilotes 32
ChampignonChampignon
Hue pole 35
Hue pole 83
seuil 0-35
seuil 0-35
N.B. : les images seuillées sont disjointes
J. Serra ESIEE Paris-est Treillis pilotes 33
ChampignonChampignon
seuil 100-255 Luminance Y Intersection avec pôle 35
J. Serra ESIEE Paris-est Treillis pilotes 34
Champignon teintesat
Champignon teintesat
0
500
1000
1500
2000
2500
3000
3500
4000
4500
5000
0 50 100 150 200 250 300
"c:\wmmorph\chhue.hst""c:\wmmorph\chhuesat.hst"
Hue Hue saturation
Hue saturation (vert)
Hue.sat pole 18 Hue.sat pole 56
J. Serra ESIEE Paris-est Treillis pilotes 35
Hue.sat pole 18
Hue.sat pole 56 Seuil 0-35
Seuil 0-35
Champignon teintesat
Champignon teintesat
J. Serra ESIEE Paris-est Treillis pilotes 36
4ème partie4ème partie
Segmentations en télédétection
à partir des trois
premières composantes principales.
J. Serra ESIEE Paris-est Treillis pilotes 37
La télédétection optique fonctionne sur un double mode:
• Les canaux d’entrée (visible, infra-rouge), similaires au R, G, B de la couleur;
• Les composantes principales, qui ne sont pas similaires à une représentation polaire de la couleur.
Ces dernières forment un « RGB » à trois ou quatre dimensions où l’on peut construire une représentation polaire.
Elles ont des variances différentes, qu’on peut introduire comme poids dans l’expression de la luminance
Télédétection et couleurTélédétection et couleur
J. Serra ESIEE Paris-est Treillis pilotes 38
1 2 3 4
Composantes principales de « Pavie »Composantes principales de « Pavie »
J. Serra ESIEE Paris-est Treillis pilotes 39
• Dans une première analyse, nous nous concentrons sur les trois premières composantes, avec
CP 1 Vert CP 2 Rouge CP 3 bleu
• On passe de R, G, B à la représentation Y, H, S où
Y = [22 R + 63 G + 8 B] / 93
S = max (R,G,B) – min (R,G,B)
NB: les poids des CP de Y sont proportionnels à leurs variances dans l’ACP.
Analyse tri-chrome Analyse tri-chrome
J. Serra ESIEE Paris-est Treillis pilotes 40
1 2 3
Composantes principales de « Pavie »Composantes principales de « Pavie »
J. Serra ESIEE Paris-est Treillis pilotes 41
« Pavie » en H, L, S« Pavie » en H, L, S
H L S
J. Serra ESIEE Paris-est Treillis pilotes 42
• La première segmentation par sauts de f part de ses minima
• Puis l’ensemble de ses singletons est segmenté de la même manière, etc…
• On peut aussi travailler sur les minima et maxima et progresser vers le haut et vers le bas en parallèle.
Connexion par sautsConnexion par sauts
J. Serra ESIEE Paris-est Treillis pilotes 43
• On travaille sur la fonction et non sur sa dérivée (moins de bruit);
• Un même bassin versant peut être scindé en plusieurs régions pour les sauts;
• Un e famille de bassins versants peut être regroupée pour les sauts.
Différences entre sauts itérés et LPEDifférences entre sauts itérés et LPE
J. Serra ESIEE Paris-est Treillis pilotes 44
c) Skiz de la réunion des points sombres de l’ image b)
a) Image initiale :section polie degrains d’alumine
b) connexion par sauts
taille 12
Exemple de connexion par sautsExemple de connexion par sauts
J. Serra ESIEE Paris-est Treillis pilotes 45
Exemple de connexion par sautsExemple de connexion par sauts
c) Skiz de la réunion des points sombres de l’ image b)
a) Image initiale :section polie degrains d’alumine
b) connexion par sauts
taille 16
J. Serra ESIEE Paris-est Treillis pilotes 46
• Lissage gaussien 3x3 de la saturation et histogramme régularisé.
• On prend le seuil s =100 sur l’image régularisée.
SaturationSaturation
S = 100
J. Serra ESIEE Paris-est Treillis pilotes 47
Histogramme. Pôles:
- principal à 240
- secondaire à 160
TeinteTeinte
160
240
J. Serra ESIEE Paris-est Treillis pilotes 48
a
d
p1 a
dh(a) - h(p1)
0 a
h(a)
Trois treillis pour la teinteTrois treillis pour la teinte
p1
p2
d
Les trois treillis sont numériques :
a) la teinte (varie de 0 à 255) ;b) la distance d1 au pôle p1 ; avec priorité au sens trigonométriquec) inf des distances aux pôles p1 et p2 ; (même priorité qu’avant).
Segmentons ces trois fonctions par sauts de 35, et fusion des cc > 5
a) b) c)
J. Serra ESIEE Paris-est Treillis pilotes 49
Trois segmentations pour la teinteTrois segmentations pour la teinte
a) b) c)
J. Serra ESIEE Paris-est Treillis pilotes 50
Segmentation de la luminanceSegmentation de la luminance
initial segmenté contours
J. Serra ESIEE Paris-est Treillis pilotes 51
Segmentation de la luminanceSegmentation de la luminance
J. Serra ESIEE Paris-est Treillis pilotes 52
Segmentons maintenant l’image couleur YHS des trois premières composantes. Pour cela:
• Prenons les trois segmentations ci-dessus de la teinte;
• Effectuons la segmentation de la luminance Y par sauts itérés ( h=25) et fusion (aire >5);
• Combinons les deux partitions en prenant celle
• de la teinte quand la saturation (lissée) >100
• de la luminance sinon.
Segmentation compositeSegmentation composite
J. Serra ESIEE Paris-est Treillis pilotes 53
• Exemple de partition de l’image couleur avec usage de la clé saturation sur la connexion par sauts + fusion de regions
L
H
S
mosaïque
Su = 45
XS
))((
))(()(
,20
,20
SY
SH
XfP
XfPfP
Mh
Mh
h=20, Aire <50
Segmentation compositeSegmentation composite
J. Serra ESIEE Paris-est Treillis pilotes 54
Composite: luminance /teinte standard Composite: luminance /teinte standard
J. Serra ESIEE Paris-est Treillis pilotes 55
Composite: luminance /teinte 1 pôle Composite: luminance /teinte 1 pôle
J. Serra ESIEE Paris-est Treillis pilotes 56
Composite: luminance /teinte 2 pôles Composite: luminance /teinte 2 pôles
J. Serra ESIEE Paris-est Treillis pilotes 57
5ème partie5ème partie
Segmentations en télédétection
à partir des quatre
premières composantes principales.
J. Serra ESIEE Paris-est Treillis pilotes 58
Composantes principales 4 et 5Composantes principales 4 et 5
CP 4 CP 5
J. Serra ESIEE Paris-est Treillis pilotes 59
• Au point x de R4 le vecteur multi-spectral a pour coordonnées
cp1(x), cp2(x), cp3(x), cp4(x) variant entre 0 et 255
• Le vecteur luminance s’écrit Y = (cp1,0,0,0) .
• Soit Cp la composante vectorielle Y . C’est le vecteur de
R3 de coordonnées
cp2(x), cp3(x), cp4(x)
Analyse quadri-chromeAnalyse quadri-chrome
J. Serra ESIEE Paris-est Treillis pilotes 60
• La saturation et les teintes sont les coordonnées sphériques du vecteur (cp2, cp3, cp4) de R3 i.e.
• saturation = ρ = √(cp2², cp3², cp4²)
• les teintes θ et ψ sont la co-latitude et la longitude par rapport l'axe 0cp4, avec :
cosθ = (cp4/ρ),
cosψ=(cp2/(ρsinθ)),
sinψ=(cp3/(ρsinθ)),
Analyse quadri-chromeAnalyse quadri-chrome
J. Serra ESIEE Paris-est Treillis pilotes 61
Teintes dans cp2 cp3 cp4Teintes dans cp2 cp3 cp4
On prend :
• pour pôle, le point
θ = 159 ψ = 162
indiqué en noir sur l’histogramme;
• et pour distance la somme des distances en θ et en ψ.
θ
ψ
Pour segmenter les teintes (par LPE ou par sauts) il faut un ordre total sur la sphère unité.
Voici les 2D-histogrammes (θ,ψ)
J. Serra ESIEE Paris-est Treillis pilotes 62
Distances θ et ψDistances θ et ψ
Distance θ au pôle 159
Distance ψ au pôle 162
J. Serra ESIEE Paris-est Treillis pilotes 63
Somme des distances θ et ψSomme des distances θ et ψ
d(θ,ψ) = d(θ) + d(ψ)
J. Serra ESIEE Paris-est Treillis pilotes 64
Image de et son histogramme (seuil 180).
Fonction de saturation Fonction de saturation
= 180
J. Serra ESIEE Paris-est Treillis pilotes 65
S = H= d(θ,ψ) L
Système "H,L,S" Système "H,L,S"
J. Serra ESIEE Paris-est Treillis pilotes 66
d(θ,ψ)
segmentation de d(θ,ψ)segmentation de d(θ,ψ)
Contours
segmentés.
sauts 25
aires > 5
J. Serra ESIEE Paris-est Treillis pilotes 67
Luminance
= CP 1
segmentation de CP 1segmentation de CP 1
Contours
segmentés.
sauts 25
aires > 5
J. Serra ESIEE Paris-est Treillis pilotes 68
Luminance
= CP 1
Contours
segmentés.
Pondération
par
seuillé à 180
Segmentation mixte de cp1 et d(θ,ψ)Segmentation mixte de cp1 et d(θ,ψ)
J. Serra ESIEE Paris-est Treillis pilotes 69
R3 R4
Un pôle dans R3
Un pôle dans R4
Comparaison des segmentations mixtesComparaison des segmentations mixtes
J. Serra ESIEE Paris-est Treillis pilotes 70
Un pôle dans R3
Comparaison des segmentations mixtesComparaison des segmentations mixtes
Un pôle dans R4Luminance
J. Serra ESIEE Paris-est Treillis pilotes 71
Les segmentations par sauts et par LPE ont les avantages (et des défauts) différents.
Les représentation polaires dans R3 , R4 (ou plus) permettent des segmentation mixtes qui combinent les partitions des variables scalaires.
De plus, dans Rn est une mesure de la dissemblance, en chaque pixel, entre la première composante et l’ensemble des autres. Ce qui peut aider dans des analyses locales.
Il serait intéressant de tester les performances de la norme L1
pour construire des ACP. (la somme des modules des canaux a plus des sens physique que la somme des carrés, car réflectances sont des énergies, i.e. des grandeurs additives).
ConclusionsConclusions