Commande d’un processus de fabrication par un système de

visionEl Sahmarani Khaled

2

Sommaire

1. Contexte et motivation 2. Problématique – Étude préliminaire3. La commande par vision4. Applications et résultats5. Conclusions et perspectives

3

Contexte et motivation

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

Besoins industrielles (SERPAC Industries) Optimisation de système de commande Limitation de câblage Imposer un système intelligent (robotique)

La vision dans le monde industriel Investissement à l’échelle mondiale Système matériel et logiciel complexes (technologie

embarqué et algorithme de traitement) Impact économique Avantages et inconvénients

4

Système de commande actuel

• Partie opérative• Partie commande• Supervision, maintenance et

surveillance• Capteurs• actionneurs

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

5

Diversité des capteurs diversité des modes de défaillance

80% des défaillances sont dus aux capteurs

Défaillance de système de conduite (actionneur, câblage parfois des dizaines de mètres)

La sûreté de l’installation (défaillances en cascade, diagnostic)

Pertes en cours de production (rebut)

Temps de mise en œuvre trop important

Planification et Ordonnancement

MaintenanceSupervision

SurveillanceCOMMANDE

PARTIE OPERATIVE

Structure Classique

Capteurs

Actionneurs

Solution (SERPAC) : limiter le nombre de capteur

Organisation d’un système de commande

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

6

• Limitez le nombre de capteur facilite la mise en œuvre (1 seul outil)

• Diminution de temps d’installation

• Diminution de matériel de câblage

• Flexibilité de l’outil de vision• Facilité la phase de surveillance• Facilité la phase de supervision• Type de donnée exploitable

(détection de mvt, reconnaissance, identification, position, vitesse)

Vision system

Proposition d’une nouvelle structure

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

7

Étude préliminaireMaquette de tri de colis (SERPAC)

Tri en fonction de la taille des colisMatériel vision : webcam, matlabAutomate: TSX Micro, PL7 V4.2

Détection de présenceTransfert vers l’organe de commande

Port sérieEthernet

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

Problèmes: perturbations et luminosité

8

Intégration de la vision

Remplacer les capteurs classiques par un capteur intelligent (vision)

Limiter le câblage Exploitation de la vision pour la

minimisation des pertes en ligne

Structuration de la partie opérative autour de la vision

Améliorer la partie supervision et surveillance

Planification et Ordonnancement

Maintenance Supervision

SurveillanceCOMMANDE

PARTIE OPERATIVE

Structure Nouvelle

Actionneurs

???Vision

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

Planification et Ordonnancement

MaintenanceSupervision

SurveillanceCOMMANDE

PARTIE OPERATIVE

Structure Classique

Capteurs

Actionneurs

Commande

Partie Opérative

Ordonnancement

Traitement Actionneur

Surveillance, Supervision

PO, Capteur

Ordonnancement

Commande

Vision, image

Capteur Vision

Commande

Actionneur

Capteur 1… ………….Capteur .n

Partie opérative

Ordonnancement

Supervision

SurveillancePO, Capteurs

Ordonnancement

Commande

9

Comparaison entre capteurs classiques et système de vision

Qualité d’information des capteurs classiques

Mesure vitesse, position, etc. Capteur de présence Mesure physique, pression,

force, etc. Besoin d’instrumentation ou de

convertisseurSignaux compatibles avec les cartes

d’entrée des automates (pour les analogique 4-20mA, 0-5/10V, pour les logiques 24V )

Qualité d’information du système de vision Capture de mouvement Capture de position, vitesse,

accélération Identification de défaut Localisation et reconnaissance

de forme Possibilité de communiquer

avec plusieurs terminaux ou automates.

Plusieurs types de capteursSystème unique

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

10

Les limites Certaines mesures physiques (poids, volume…) Très haute cadences système de vision limité

à quelques centaines d’images par seconde Défaut d’éblouissement (détectable mais pas

inévitable) Défaut de pixellisation ( µm mais pour des

petites distances) Fiabilité logicielle (traitement d’image, matlab!) Luminosité

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

11

Commande par vision

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

• Développements, différents systèmes de commande:– Algorithme de traitement d’image très élaborés, tout embarqués

(coût élevé)– Algorithme de traitement d’image classique, avec une structure

de commande complémentaire (solution moins cher)

Algorithmes classiques de traitement d’image

Algorithmes classiques de traitement d’image

Structuration de la commande par des

modules Grafcet

12

Algorithmes de vision

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

– Détection de contour (Harris, Canny)– Reconnaissance de forme et identification de défaut

• Corrélation • Hough• Freeman

– Identification de couleur

13

Algorithme de vision, comparatif

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

Étude morphologique, Reconnaissance de forme et identification de défaut

•Hough•Freeman

Résultat visuel, bleu (Hough) et rouge (Freeman)

Performance Rapidité Implantation Précision Stabilité

Freeman + + - -

Trans. Hough - - + +

14

Architecture opérationnelle, principaux modules

Grafcet Maître

Grafcet conditions Initiales (Macros 1)

Grafcet Identification

(Macro 6)

Grafcet Localisation

(Macro 5)

Grafcet détection de présence/mouvement

(Macro 4)

Grafcet initialisationSystème de vision

(Macro 2)

COMMANDE TRAITEMENT

Modèle choisi

Acquisition d’imageFiltrage

Récupération ZOI ou capteurs virtuels

Détection de mouvement ou de présence

Localisation de pièce ou de forme

Identification de défaut

Modules ou algorithmes choisisModèle de commande

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

15

Probabilité de défaillance

Perturbation

Convoyeur

Vérin hydro1

Vérin hydro2

vision

Localisation

identificationLuminosité

Vibration

Vision

Localisation

Identification

Détection de présence

Passage intempestif Acquisition

Actionneur

Probabilité de défaillance

Perturbation

Luminosité

Vibration

Passage intempestif

vision

Localisation

identification

Vision 1

Localisation

Identification

Détection de présence

Acquisition

Convoyeur

Vérin hydro1

Vérin hydro2

Actionneur

vision

identification

Vision 2

Localisation

Identification

Détection de présence

Acquisition

Performances, Arbres de défaillance

Perturbation

Probabilité de défaillance

Tcap1

Tcap2

Tcap3

Tcap4

Actionneur

Convoyeur

Vérin hydro1

Vérin hydro2

Système classiqueSystème avec visionSystème avec vision redondant

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

16

• Choix matériel et logiciel• Redondance • Choix des zones d’intérêt• Test et simulation par

apprentissage

• Programmation et algorithme:– Acquisition et codage– Filtrage– Détection de contour– Localisation et

reconnaissance de forme– Identification de défaut– Transmission des résultats

à la partie commande

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

Applications, commande par vision

Étape initiale, aspect matériel Choix fonctionnels

17

Cahier de charge, spécification de l’installation et des produits.

Caméra usb, fire wire, ethernet (Imasys)

Programme :Sherlock 6.0Matlab

• Choix matériel et logiciel• Redondance • Choix des zones d’intérêt• Test et simulation par

apprentissage

Étape initiale, aspect matérielContexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

18

Nombre de caméra Position pour les zones

de redondance Choix de priorité (maître,

esclave)

• Choix matériel et logiciel• Redondance • Choix des zones d’intérêt• Test et simulation par

apprentissage

Étape initiale, aspect matérielContexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

19

• Choix matériel et logiciel• Redondance • Choix des zones d’intérêt• Test et simulation par

apprentissage

Nombre de capteurs classiques à remplacer

Dimensions des zones ou capteurs virtuels

Choix des algorithmes correspondants à ces zones

Étape initiale, aspect matérielContexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

20

• Choix matériel et logiciel• Redondance • Choix des zones d’intérêt• Test et simulation par

apprentissage Choix des images de

pièces types à contrôler Test des algorithmes de

traitement d’image Maquette de simulation

Étape initiale, aspect matérielContexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

21

• Programmation et algorithme:Acquisition et codage Filtrage Détection de contour Localisation et

reconnaissance de forme Identification de défaut Transmission des résultats

à la partie commande

Conditions ambiantes de fonctionnement

Vitesse d’acquisition Type d’image couleur:

RGB YCbCr

Choix fonctionnels

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

22

• Programmation et algorithme: Acquisition et codageFiltrage Détection de contour Localisation et

reconnaissance de forme Identification de défaut Transmission des résultats

à la partie commande

Transformation en niveau de gris

Filtre sélectif de couleur

Choix fonctionnels

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

23

• Programmation et algorithme: Acquisition et codage FiltrageDétection de contour Localisation et

reconnaissance de forme Identification de défaut Transmission des résultats

à la partie commande

Filtre bidimensionnel, moment supérieur Harris Canny

Choix fonctionnels

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

24

• Programmation et algorithme: Acquisition et codage Filtrage Détection de contourLocalisation et

reconnaissance de forme Identification de défaut Transmission des résultats à

la partie commande

Localisation par corrélation

Localisation dans la transformée de Hough

Choix fonctionnels

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

25

• Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et

reconnaissance de forme Identification de défaut Transmission des résultats

à la partie commande

Par étude morphologique comme:

Par la transformée de Hough

Par le code de Freeman

Choix fonctionnels

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

26

• Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et

reconnaissance de forme Identification de défaut Transmission des résultats

et commande

Choix fonctionnels

Par réseau Ethernet Par Serial Link Firewire Autres….

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

27

• Étude de cas, cahier des charges• Spécifications techniques et outillage• Montage et programmation• Simulation et essai en plate-forme

Application chez SERPAC, Tri de colisreconnaissance de forme

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

28

• Identification de défaut et reconnaissance de forme– Algorithmes de détection de défaut ou de

reconnaissance par étude morphologique

• Tri de noix, par identification de couleur– Élaboration d’algorithme de détection de

défaut par colorimétrie

Application à l’AIP

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

29

Application, tri de noix

1. Détection de contour nb de noix / image

2. Identification de couleur qualité des noix (supérieur ou non)

3. Orientation des noix (par Hough)

4. Qualité du cerneau (identification de couleur)

Interface homme machine pour la supervision

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

Convoyeur ...........

Identification de qualité par

couleur

Rejet des noix de mauvaise qualité

Calcul d’angle

Réorientation des noix mal placer

Machine pour casser les noix

Entrée des noix

Première tâche Deuxième tâche

Localisation des noix

Troisième tâche

Convoyeur

Machine pour casser les noix Qualité du cerneau

Cerneau intact et de bonne qualité

Cerneau endommagé ou de mauvaise qualité

Quatrième tâche

30

Application, tri de noix• Détection de contour nb de noix / image

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

31

Application, tri de noix• Identification de couleur qualité des

noix (supérieur ou non)

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

La couleur recherchée est mieux identifiée dans le premier noix

32

Application, tri de noix• Orientation des noix (par Hough)

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

Transformée de Hough

Orientation de noix par Hough, l’angle où le fuseau de Hough est le plus large représente l’orientation du noix

33

Application, tri de noix• Qualité du cerneau (identification de

couleur)

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

Nb de pixels identifiés

1940

1277

34

Application, tri de noix• Interface homme machine pour la supervision

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

35

Conclusions • Optimisation du système de commande

– Remplacement des capteurs matériels par des virtuels.

– Exploitation de la vision pour la supervision et le surveillance

– Technologie embarqué permet d’alléger la programmation de la partie commande (temps de cycle automate)

• Adaptation à divers modèles de commande• Compatibilité des algorithmes aux différentes

applications (mouvement, présence, colorimétrie…)

• Détection de défaut, limitation des pertes de fabrication

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives

36

Perspectives • Validation de l’architecture sur une maquette

industrielle• Tester la sûreté de l’installation, essai sous

contraintes (luminosité, vibration…)• IHM (Interface Homme Machine)• Proposition de systèmes multi-capteurs • Test de fiabilité logicielle (algorithme de

traitement d’image).• Système de vision sans fil

Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives