modélisation d'images agronomiques application à la reconnaissance d'adventices par...

Modélisation d'images agronomiquesApplication à la reconnaissance d'adventices par imagerie

pour une pulvérisation localisée

Université de Bourgogne - U.F.R. Sciences et TechniquesÉcole Doctorale E2S : Environnement, Santé, STICAgroSup Dijon : UP-GAP / Le2i - UMR CNRS 5158

Soutenance de thèseprésentée en vue de l'obtention du grade de

Docteur en Instrumentation et Informatique de l'ImageGawain JONES

Le 26 novembre 2009

2

1. Contexte et motivations

2. Modélisation

3. Validation

4. Discrimination culture/adventices

5. Modélisation spectrale

6. Conclusion et perspectives

Plan

3

1. Contexte et motivations

4

• 1980-90 : variabilité intra-parcellaire

• Gestion localisée de parcelles :– Optimisation des coûts / Impact environnemental

• Récolte d’informations :– État des sols / Rendement / Répartition des intrants

• Apports des STIC à l’agriculture– Capteurs / GPS / Systèmes optiques

• Forte volonté gouvernementale :– DC sur l’eau 2000 / LEMA 2006 / Ecophyto 2018

Réduction des intrants

1. Contexte et motivations1.1. Agriculture de précision

Precision Agriculture Australia ©

5

• Localisation des adventices– Traitement localisé réduction des intrants

• Approche carte et temps réel

1. Contexte et motivations1.2. Notre laboratoire

PhD Vioix 2004 Cartographie

PhD Bossu, 2007Temps réel

6

• Développement d’algorithmes de discrimination culture/adventices

1. Contexte et motivations1.2. Notre laboratoire

2D FFT+

Filtre de Gabor

Image périodique

Image IR

Image en perspective

Transformée en ondelettesImageRGB

7 1. Contexte et motivations1.3. Objectifs

• Performances des algorithmes de discrimination ?• Méthodes actuelles :

- Comptage manuel au champ- Segmentation manuelle des images

Thèse J.W. Lu, 2002

En pratique, peu d’algorithmes sont évalués

Développement d’une méthode d’évaluation automatique

8

2. Modélisation

9

• Différents objectifs : – Croissance / Visualisation (AMAP - 1988, LIGNUM - 1996…)

– Préconisation / Simulation d’une information agronomique (APSIM - 1996, FARMSTAR - 2003…)

– Compétition (ALMANAC - 1992,

CROPSIM - 1996…)

– …

Modèles non adaptés

2. Modélisation

2.1.1. État de l’art

2.1. Introduction

10

• Algorithmes de discrimination basés sur l’information spatiale

• Pulvérisation post-levée : jeune stade de croissance

modélisation 2D

• Séparation sol/végétation (indice de végétation)

binaire

2. Modélisation

2.1.2. Cahier des charges

2.1. Introduction

11 2. Modélisation2.2. Champ

fx = largeur inter-rang (45cm)

fy = largeur intra-rang (19 cm)

Semis continu en ligne (blé, soja)

fx = largeur inter-rang (18cm)

2.2.1. Culture Variations stochastiques :

- Taille

- Position sur le rang

- Position du rang

- Présence

Semis périodique (tournesol, mais)

12 2. Modélisation

Trois distributions :– Distribution ponctuelle : Loi de Poisson

– Distribution agrégative : Processus de Neyman-Scott

Aire de propagation elliptique

– Mélange des deux distributions

( )( ) ( ) e

!

kS

k

SP S P X k

k

2.2. Champ

2.2.2. Adventices

Surface SPoisson (λS) adventices

Point pèrePoisson (n) points fils

13 2. Modélisation2.2. Champ

• Taux d’infestation contrôlé (WIR=pixels d’adventices/pixels de végétation)

• Dimensions du champ :- (m) = 4.2 x 3.7- (pix) = 512 x 472

• Plants de culture = 368• Plants d’adventices = 418• WIR = 29.21% (30% demandés)

• Dimensions du champ :- (m) = 2.4 x 3.6- (pix) = 1140 x 894

• Plants de culture = 356• Plants d’adventices = 535• WIR = 39.11% (40% demandés)

2.2.3. Culture + Adventices

14 2. Modélisation2.3. Transformation optique

2.3.1. Modèle du sténopé

• Objectif : prise de photographie adaptable à tout dispositif expérimental

• Projection du sol sur le CCD en fonction des :

– Paramètres intrinsèques :• Focale f• Taille et centre optique du CCD

– Paramètres extrinsèques :• Matrice de rotation Rx, Ry et Rz

• Vecteur de translation Tz=H (Tx=Ty=0)

• Matrice de transformation

15 2. Modélisation2.4. Résultats

2.4.1. Transformation optiqueLe champ

Drone

H = 5mRx = 0°Ry = 0°Rz = 20°WIR = 30%

Sa photographie

Tracteur

H = 1mRx = 70°Ry = 0°Rz = 0°WIR = 40%

16 2. Modélisation2.5. Conclusion

• Modèle spatial permettant la création de scènes agronomiques : – Paramètres de culture– Distribution des adventices et taux d’infestation– Prise en compte d’un système optique

• Nombreuses variations stochastiques « naturelles »

Peut-on substituer les images virtuelles aux réelles?

17

3. Validation

18 3. Validation3.2. Culture

3.2.1. Analyse de voisinage

• Caractériser information spatiale• Analyse multi-échelle Validation globale

• Comparaison image réelle / simulée

Motif n°1 Motif n°2 Motif n°3

…

19 3. Validation3.2. Culture

3.2.2. Comparaison image réelle/simulée

Motif n°1

Motif n°2

Réelle

Simulée

Une simulation

20 3. Validation3.2. Culture

• Résultats très bons : le modèle reproduit correctement la spatialisation de la culture

• Tests identiques sur images avec perspective mêmes résultats

• Validation de la modélisation spatiale de la culture

3.2.4. Résultats

2

1, 2,1

1 2

1 2

( , )

où et correspondent aux deux jeux de données à comparer

n

i ii

x xRMSE x x

nx x

21 3. Validation3.3. Adventices

3.3.1. Méthode

• Validation du semis d’adventices• 150 images traitées : pointage des adventices• Comparaison distribution réelle/simulée

22 3. Validation3.3. Adventices

3.3.2. Caractérisation de la distribution

• Fonction de Ripley (thèse F. Goreaud - 2000)

1 1

(|| || )ˆ ( )n n

ij i j

i j

x x rK r

n

i j

0 6000

10.105

r (pixels)

ˆ ( )K r

23 3. Validation3.3. Adventices

3.3.2. Caractérisation de la distribution

• Linéarisation de Besag

ˆ ( )ˆ( )K r

L r r

Intervalles de confiance à 1%

0 600-20

r (pixels)

ˆ( )L r

20

0 6000

10.105

r (pixels)

ˆ ( )K r

24 3. Validation3.3. Adventices

3.3.2. Caractérisation de la distribution

• Semis ponctuel

0 250-6

r (pixels)

ˆ( )L r

6

25 3. Validation3.3. Adventices

3.3.2. Caractérisation de la distribution

• Semis Hétérogène

300 germes 600 germes

0 1200-20

r (pixels)

ˆ( )L r

50

26 3. Validation3.3. Adventices

3.3.3. Résultats

• Hétérogénéité des semis d’adventices

0 1200-20

r (pixels)

ˆ( )L r

25

27 3. Validation3.3. Adventices

3.3.3. Résultats

• Semis ponctuel à une échelle moindre

28 3. Validation3.3. Adventices

3.3.3. Résultats

• ~500 sous-images traitées (de ~200 germes)• Les distributions réelles correspondent bien au

semis ponctuel développé

Validation du semis ponctuel

• Nécessité de trouver des adventices réparties en distributions agrégatives

• L’hétérogénéité dépend de l’échelle : à prendre en compte lors de la distribution des adventices

29 3. Validation3.4. Conclusion

• Validation du modèle :– Spatialisation des cultures– Distribution des adventices– Validité du sténopé développé

• Les images simulées peuvent remplacer les images réelles

Utilisation du modèle pour tester des algorithmes de discrimination

30

4. Discrimination culture/adventices

31 4. Discrimination culture/adventices4.1. Introduction

4.1.1. Algorithmes de discrimination

• FFT + Gabor : perspective• Ondelettes : temps de calcul

FFT + Gabor Ondelettes

PhD Bossu, 2007

Objectif : performances et adaptation

32 4. Discrimination culture/adventices4.2. Détection des rangs

4.2.1. Transformée de Hough

Espace cartésien Espace polaire : Accumulateur

Droite dans l’espace cartésien Maximum dans l’espace polaire

.cos( ) .sin( )x y

S2

S1

S3

S4

S5

4

2

2

2

2

2

θ

ρ

- 6 0 0

- 4 0 0

- 2 0 0

0

2 0 0

4 5-9 0 -4 5 0

4 0 0

9 0

6 0 0

8 0 0

θ2

θ1

ρ1

ρ2

33 4. Discrimination culture/adventices4.2. Détection des rangs

4.2.2. Différentes scènes

Sans perspective

Avec perspective 90-1000

θ (degrés)

1000

-90

ρ (pixel)

90-1000

θ (degrés)

1000

-90

ρ (pixel)

Accumulateurs de Hough

34 4. Discrimination culture/adventices4.3. Différentes méthodes

4.3.1. Introduction

• Séparation culture/adventices

• Utilisation des droites détectées

• Adventices intra-rang = culture

35 4. Discrimination culture/adventices4.3. Différentes méthodes

4.3.2. Méthode 1 : Blob-Coloring

• Intersection composante connexe / droite

Culture bien détectée

Culture mal détectée

Adventices bien détectées

Adventices mal détectées

36 4. Discrimination culture/adventices4.3. Différentes méthodes

4.3.3. Méthode 2 : Estimation de contours

• Estimation de la largeur du rang

37 4. Discrimination culture/adventices4.3. Différentes méthodes

4.3.4. Méthode 3 : Méthode probabiliste

• Probabilité / centre du rang

Fonction de probabilité

Centre du rang

Seuil

38 4. Discrimination culture/adventices4.4. Performances

4.4.1. Méthodologie

• Génération d’une banque d’images pour évaluer les performances des algorithmes face à : – des taux d’infestation variables (0 à 60%)– différentes distributions d’adventices– deux configurations de caméra

7440 images modélisées et testées

39 4. Discrimination culture/adventices4.4. Performances

4.4.1. Méthodologie

• Comparaison résultats/données initiales– Matrice et graphe ROC

Détecté

Culture Adventices

Culture Vrai positif Faux négatif

Adventices Faux positif Vrai négatif

Vrai positifTVC=

Vrai positif + Faux négatif

Vrai négatifTVA=

Vrai négatif + Faux positif

40 4. Discrimination culture/adventices4.4. Performances

4.4.2. Choix du seuil optimal

• Choix a posteriori, après test de différents seuils• Caractérisation de seuil en fonction :

– Caractéristiques de la scène– Application visée (classe prépondérante?)

• Choix « optimal » : plus proche de (0, 1)

41 4. Discrimination culture/adventices4.4. Performances

4.4.3. Sans perspective - mixte

Composante connexe

TVA 93-97%

Estimation rang Probabiliste

TVA 98-100% TVA 94-98%

TVC 86-98% TVC 80-92% TVC 94-98%

100%

80%0% 60%WIR 0% 60%WIR 0% 60%WIR

42 4. Discrimination culture/adventices4.5. Conclusion

Transformée de Hough• Très robuste – Adaptation automatique

• Optimisation : réduction de l’espace étudié

Méthodes de discrimination• Très bons résultats de classification

• Méthode probabiliste : – Très équilibrée et constante (car choix du seuil a posteriori)– Permet l’établissement d’une préférence de détection

• Erreurs de classification = bords des rangs

• Détection dans le rang impossible

L’amélioration des algorithmes de discrimination passe par la prise en compte d’une information supplémentaire

43

5. Modélisation spectrale

44 5. Modélisation spectrale5.1. Apports et mise en oeuvre

5.1.1. Motivations

45 5. Modélisation spectrale5.1. Apports et mise en oeuvre

5.1.1. Motivations

• Détection d’adventices dans le rang impossible• Utilisation de l’information spectrale pour réaliser cette

discrimination

Besoin d’un modèle simulant la réponse spectrale

46 5. Modélisation spectrale5.1. Apports et mise en oeuvre

5.1.1. Motivations

• Reproduire la réponse spectrale– Dépend des angles incidents et réfléchis,– Caractérisation pour chaque plante.

Caractérisation et utilisation de modèles de BRDF

( , , , )( , , , , , )

( , , , ) cos( )r r r

r i i r ri i i i i

dL xf x

L x d

47 5. Modélisation spectrale5.2. BRDF

5.2.1. Principe

Mesures spectrales multi angulaires

Obtention des paramètres de BRDF

Réponse spectrale pour un nouvel angle

Paramètres + modèle

Inversion du modèle

RGB NIR

Réflectance de plantes

48 5. Modélisation spectrale5.2. BRDF

• PROSPECT (S. Jacquemoud - 1990) : modèle de couches en parallèle développé pour la BRDF des plantes

• SOILSPECT (S. Jacquemoud - 1992) : modèle de transfert radiatif utilisé pour la BRDF des sols

5.2.2. Choix des modèles

49 5. Modélisation spectrale5.3. Du spectre à l’image

5.3.1. Du spectre au RGB

50 5. Modélisation spectrale5.3. Du spectre à l’image

5.3.2. Exemples

• CIE XYZ fonctions trichromatiques de la caméra• Simulation de filtres optiques• Obtention d’images PIR et hyperspectrales

Données spectrales plantes : LOPEX93 / Sol : S. Jacquemoud

51 5. Modélisation spectrale5.4. Modèle 3D

5.4.1. Nécessité d’un modèle 3D

• 2D rapidité et simplicité + orientation feuilles• Mais : orientation, hauteur feuilles Modèle 2D

inadapté

Mise en place d’un modèle 3D simple

52 5. Modélisation spectrale5.4. Modèle 3D

5.4.2. Adaptation du modèle agronomique

• Distribution de la culture et des adventives identique

• Taux d’infestation calculé avec la surface totale des plantes

• Discrétisation adaptative des facettes• Gestion de l’orientation et de l’occultation de

facettes (back-face & occlusion culling)

53 5. Modélisation spectrale5.5. Conclusion

• BRDF : modèles adaptés aux plantes et aux sols• Mais manque de données spectrales

multiangulaires• Possibilité de produire des images simulant les

caractéristiques des caméras• Modèle 3D nécessaire à l’utilisation de BRDF et

adaptation des données agronomiques

54

6. Conclusion et Perspectives

55 6. Conclusion et Perspectives6.1. Conclusion

Modèle• Modélisation paramétrable de scènes « naturelles »• Utilisation du modèle pour améliorer les algorithmes de

discrimination et accélérer leur développement

Algorithmes de discrimination• Méthodes de discrimination très robustes• Adaptation automatique à la géométrie de la scène

Modélisation spectrale• Évolution du modèle vers le spectral• Nouvelles possibilités pour l’évaluation d’algorithmes

56 6. Conclusion et Perspectives6.2. Perspectives

Modèle• Forme des plantes : modèle déformable• Prise en compte des ombres : algorithmes de prétraitement• Couplage résultats de discrimination / prédiction de

rendement suivi virtuel de parcelle• Campagne d’obtention de données multiangulaires en

partenariat avec d’autres laboratoires (LOPEX93)

Algorithmes de discrimination : vers le spectral• Apprentissage spectral temps-réel à partir de la détection

spatiale

57

Merci pour votre attention!

Modélisation d'images agronomiquesApplication à la reconnaissance d'adventices par imagerie

pour une pulvérisation localisée

Université de Bourgogne - U.F.R. Sciences et TechniquesÉcole Doctorale E2S : Environnement, Santé, STICAgroSup Dijon : UP-GAP / Le2i - UMR CNRS 5158

Soutenance de thèseprésentée en vue de l'obtention du grade de

Docteur en Instrumentation et Informatique de l'ImageGawain JONES

Le 26 novembre 2009