démosaïçage dans les caméras numériques couleur · • acquisition d’images numériques...
TRANSCRIPT
Introduction• Trivalance de la perception des couleurs
chez l’homme.Expérience d’égalisation visuelle
[W] r[R] g[G] b[B]
Loi de Grassman
Equivalence [W] = r[R] + g[G] + b[B]
Symétrie[A]=[B] => [B]=[A]
Proportionalité[A]=[B] => k[A]=k[B]
Additivité[A]=[B], [C]=[D] => [A]+[C]=[B]+[D]
Transistivité[A]=[B], [B]=[C] => [A]=[C]
Espace Vectoriel
Introduction• L’espace des couleurs est tridimensionnelUne image couleur est un vecteur à trois composantes par position spatiale.
=
Introduction• Acquisition d’images numériques couleur
Lumière incidente
Reflecteur 60% Filtre Rouge
CCD
Miroir
Miroir
CCD
CCD
Filtre Vert
Filtre Bleu
Reflecteur 50%
Caméra 3CDD
Lumière incidente
CCDMatrice de filtres couleurs (CFA)
Caméra monoCCD,Single chip
Introduction• Le CFA de Bayer, Bayer 1976
– 2 fois plus de pixels de luminance que de pixels de chrominance
– Même fréquence d’échantillonnage horizontale et verticale des chrominances.
R11 G12R13
G21 B22 G23
R31 G32R33
Interpolation bilinéaire• Simulation sur le CFA de Bayer
4/010141010
=GF 4/
121242121
,
=BRF
43,31,33,11,1
2,2
RRRRR
+++=
43,22,31,22,1
2,2
GGGGG
+++=
R11 G12R13
G21 B22 G23
R31 G32R33
Méthodes optiques• Filtre biréfringent
Evans, 1949Pritchard, 1971Greivenkamp, 1986, 1990Cok 1986Weldy, 1987, 1989
Méthode de constance de teinte• Interpolation de la teinte
On interpole la teinte plutôt que chacune des couleurs
43,3
3,3
1,3
1,3
3,1
3,1
1,1
1,1
2,22,2
GR
GR
GR
GR
GR+++
=
Les teintes sont calculées comme les rapports R/G et B/G
Nécessite l’initialisation des pixels verts par interpolation bilinéaire
Reconnaissance de formes• Classer les pixels suivant le voisinage
XH
HHL X H
L
LH L
LXHH
Contour Bande Coin
XL
LH H
BB
BB
BB
BB
XHHL
L
CC
CC
Xp1
p2p4
p3
m=(p1+p2+p3+p4)/4
A>=B>=C>=D
M=(B+C)/2
Si pi<m =>L (lower)Si pi>m =>H (higher)Si pi=m =>E (equal)
Cok, 1986, Cok 1994, Adams 1995
Utilisation du gradient• Seuillage sur le gradient pour la classification
∆H=|G43 –G45|
R11 G12R13
G21 B22 G23
R31 G32R33
R15
R35
R51 R53 R55
G14
G25
G34
G41 G43 G45
G52 G54 G56
G36
G16
G61 G63 G65
B24 B26
B42 B44 B46
B62 B64 B66
∆V=|G34 –G54|
Si ∆H>∆VG44=(G34+G54)/2
Sinon si ∆H<∆VG44=(G43+G45)/2
SinonG44=(G34+G43+G45+G54)/4
Hibbard 1995
Laroche et al. 1994
∆H=|(B42+B46)/2–B44|
∆V=|(B24+B64)/2–B44|
Gradient corrigé du laplacien
R11 G12R13
G21 B22 G23
R31 G32R33
R15
R35
R51 R53 R55
G14
G25
G34
G41 G43 G45
G52 G54 G56
G36
G16
G61 G63 G65
B24 B26
B42 B44 B46
B62 B64 B66 ∆H=|G43-G45|+|2B44 -B42-B46|
∆V=|G34-G54|+|2B44-B24-B64|
Si ∆H>∆VG44=(G34+G54)/2+(2B44 –B24-B64)/4
Sinon si ∆H<∆VG44=(G43+G45)/2+(2B44 -B42-B46)/4
SinonG44=(G34+G43+G45+G54)/4+(4B44 –B24-B64 -B42-B46)/8
Idéal
Linéaire
Corrigée
Interpolation linéaire pondérée• Généralisation de reconnaissance des formes
G44=(E43G43+E45G45+E34G34+E54G54)/(E43+E45+E34+E54)R11 G12R13
G21 B22 G23
R31 G32R33
R15
R35
R51 R53 R55
G14
G25
G34
G41 G43 G45
G52 G54 G56
G36
G16
G61 G63 G65
B24 B26
B42 B44 B46
B62 B64 B66
Exemple Hibbard
Si |G34-G54|<|G43-G45| => E34=E54=1 et E43=E45=0
Si |G34-G54|>|G43-G45| => E34=E54=0 et E43=E45=1
Si |G34-G54|=|G43-G45| => E34=E54=E43=E45=1
Kimmel 1999
Ei,j=1/(1+Di,j2+Di+1,j+1
2)1/2
Fonction contour Dx(Pi,j)=(Pi-1,j-Pi+1,j)/2Dy(Pi,j)=(Pi,j-1-Pi,j+1)/2
Dxd(Pi,j)=….
Coefficients prédéterminés • Interpolation directement dans le CFA
R11 G12R13
G21 B22 G23
R31 G32R33
R15
R35
R51 R53 R55
G14
G25
G34
G41 G43 G45
G52 G54 G56
G36
G16
G61 G63 G65
B24 B26
B42 B44 B46
B62 B64 B66
b33=R33-Rm+Bm Rm=(R13+R31+R33+R35+R53)/5
Bm=(B22+B24+B42+B44)/4
−
−−
−
0040005050401604
0505000400
201
Interpolation des pixels bleus au points rouges
−−−−
−−−−−−
004040005163016504012641204
05163016500040400
801
Pixel R/B au pixels G
−−−−−
−−−−
−−−
0040400050100504082580401025602510040825804050100500040400
1001
Pixels G
Suppression d’aliasing• Motifs d’aliasing
fx
fy
-1/2
-1/2
1/2
1/2-1/4
-1/4
1/4
1/4fx
fy
-1/2
-1/2
1/2
1/2
Topfer et al. 1998
fx
fy
-1/2
-1/2
1/2
1/2H H
V
V
Copie des hautes fréquences du vert sur le rouge et le bleu
Goltzbach et al. 2001
Projection alternée
• Algorithme itératif
Initialisation par interpolation bilinéaire ou HamiltonAnalyse par ondelettes des plans RGB.Copie des hautes fréquences de G sur R et BSynthèse par ondelettes de l’image R B modifiéeCorrection des pixels interpolés par les valeurs réellesRecommencer au point 2 jusqu’au critère d’arrêt
Sélection de fréquences• FFT d’une image CFA
FFT
fx
fyπ
π−π−π
( 2 )/2R G BC C C+ +) ) )
( )/8R BC C−) )
( 2 )/16R G BC C C− +) ) )
Sélection de fréquences
x =
−2 +3 −6 +3 −2
+3 +4 +2 +4 +3
−6 +2 +48 +2 −6
+3 +4 +2 +4 +3
−2 +3 −6 +3 −6
/64* =
Sélection de fréquences
MultiplexedImage Luminanceluminance
selection
MultiplexedChrominance
+ -
demulti-plexing
SubsampledChrominance
interpo-lation Chrominance
RGB image+
+
Sélection de fréquences
fx
fyπ
π−π−π
( 2 )/2R G BC C C+ +) ) )
( )/8R BC C−) )
( 2 )/16R G BC C C− +) ) )
Le CFA de Bayer est l’arrangement spatial optimal
Comparaisons
Cop
ie p
ixel
sB
ilinéa
ireC
onst
ance
des
tein
tes
Free
man
Tem
plat
e M
atch
ing
Cok
Hib
bard
Laro
che
Ham
ilton
Cra
neK
imm
elA
nnul
atio
n d’
alia
sing
Gun
turk
1G
untu
rk 2
Sél
ectio
n fré
quen
tielle
CPSNRdB
Comparaisons
CPSNR PSNRR PSNRG PSNRB CMSE MSER MSEG MSEB TempsCopie Pixel 26.68 25.86 28.83 25.99 27.85 33.64 17.4143 32.49 0.05Bilineaire 30.21 29.36 33.27 29.13 12.75 15.56 6.2546 16.43 0.17Teinte Const 32.83 32.60 33.23 32.72 6.87 7.12 6.2864 7.19 0.42Freeman 34.21 34.30 33.96 34.45 4.97 4.75 5.3781 4.79 120.97Template Match 33.29 32.60 34.51 33.30 5.96 6.96 4.7562 6.16 39.67Hibbard 33.22 33.01 33.47 33.22 6.31 6.48 6.0486 6.42 0.73Laroche 34.45 34.11 34.88 34.44 4.72 4.98 4.3624 4.83 0.82Hamilton 37.23 36.35 38.42 37.30 2.42 2.86 1.9148 2.48 1.04Crane 35.95 34.64 39.64 35.17 3.19 4.24 1.3346 4.02 0.93Kimmel 37.29 36.22 39.42 37.09 2.17 2.78 1.3415 2.39 7.39Annulat. Alias 31.82 30.68 34.38 31.46 7.56 9.48 4.7798 8.42 1.45Gunturk 1 37.92 36.69 40.27 37.76 1.92 2.55 1.1185 2.11 5.62Gunturk 2 39.16 37.71 41.58 39.27 1.38 1.97 0.7972 1.38 6.51Select. Frequ. 37.78 36.22 40.82 37.69 1.91 2.79 0.9414 1.99 0.39