image processing and understanding applications

Mokhtar TAFFAR Computer Sc. Department

University of Jijel

[email protected]

Cours Master 2 -IA, oct.-21, Dpt Informatique, Univ. Jijel

Plutôt de l’Analyse (Vision) que de la Synthèse !

• Analyse d’image Permettre à un système (visuel) de comprendre automatiquement ce que contient une image (détecter, localiser, reconnaître et/ou identifier les contenus –objets visuels, existant dans la scène de l’image). Ex., médecine, suivi de cible militaire, …

• Synthèse d’image C’est construire une image à partir d’un ensemble d’objets (présents dans d’autres images ou intégrer virtuellement). Ex., jeux vidéo, match télévisé, …

2

Analyse

- 2 femmes (1 assise et 1 debout) - 1 enfant - 1 arbre - 1 maison - Décision : maison + Jardin

Univ. Jijel, Dpt Informatique, Cours Master 2 -IA, oct.-21

Mokhtar TAFFAR

Principe : à partir d’une scène, simple ou encombrée du monde, capturée en image 2D, une information utile est automatiquement extraite et analysée.

Il s’agit de développer des bases théoriques et algorithmiques ou encore construire des modèles

3 Univ. Jijel, Dpt Informatique, Cours Master 2 -IA, oct.-21

Mokhtar TAFFAR

Image Analysis, en anglais

Analyse de Formes (Pattern Analysis)

Analyse de Scènes (Scene Analysis)

Vision par Ordinateur (Computer Vision)

Machine Intelligente (–par Vision)

Comprehension d’Image (Image Understanding)

Reconnaissance de Forme (Pattern Recognition)

Détection, Segmentation et Reconnaissance d’Objets

Reconnaissance = Classification 4 Univ. Jijel, Dpt Informatique, Cours Master 2 -IA, oct.-21

Mokhtar TAFFAR

Soucieuse de concevoir des systèmes intelligents et d'étudier les aspects informatique de l'intelligence

Domaine dans lequel on analyse des scènes par le calcul de représentation symbolique du contenu des images/vidéo après que celles-ci ont été prétraitées pour obtenir les caractéristiques

Vision par ordinateur est un sous-domaine de l’IA : donc la matière à traiter, c’est spécialement : Image & Vidéo

De nombreuses techniques de l’IA joue un rôle important dans plusieurs aspects de la vision par ordinateur


Mokhtar TAFFAR

Au début : 2 disciplines Traitement d’Images (Image Processing)

Reconnaissance de Forme (Pattern Recognition)

Plus tard (depuis les années 90) : diverses disciplines (Pré-)Traitement d’image (Opérateurs de bases : binarisation,

morphologie, …)

Analyse d’images, mission de vision et de reconnaissance des objets (algorithmes : détection, classification, segmentation,…)

Synthèse d’image et réalité virtuelle ou augmentée


Mokhtar TAFFAR

Amélioration de l’image (Image Enhancement)


Restoration d’image (Image Restoration)

Ex., correction des images hors focal. Mokhtar TAFFAR

A une très longue histoire (travaux de recherche dans ce domaine ont commencé dans les années 60).

S’intéresse à la reconnaissance des 0bjets 2D par classification de leurs formes, spécialement sur les images 2D(plus tard 2.5D et 3D)

Plusieurs approches classiques fonctionnent seulement sous des vues très contraignantes (non convenable pour les objets 3D)

D’intense recherches ont conduit, de nos jours, à la vision par ordinateur

Plusieurs principes de reconnaissance de formes sont utilisés en vision par ordinateur


Mokhtar TAFFAR


La vision par ordinateur appliquée à d’autres domaines : ex. la robotique :

Navigation de robots autonomes

Inspection et assemblage en industrie, …

Reconnaissance et

détection de visages

Mokhtar TAFFAR

Il s’agit d’un mappage de un-à-plusieurs :

Dans la transformation d’un monde 3D à une image 2D, une grande quantité d’information est perdue : ce mappage a une solution non-unique

Sous différentes conditions de point de vue et d'éclairage, une même surface, avec des propriétés géométriques et matérielles, pourrait conduire à des images (interprétations) distinctes

De même, un mappage de plusieurs-à-un : sous différentes conditions, une variété de scènes, pourraient conduire à des images (interprétations) identiques

Il y a un calcul intensif à satisfaire

Souvent une mal compréhension du problème de la reconnaissance


Mokhtar TAFFAR


Mokhtar TAFFAR

Traitement de bas niveau Procédures standard sont appliquées pour améliorer la qualité de l'image

Procédures ne nécessitant aucune capacité intelligente


Mokhtar TAFFAR

Traitement de niveau intermédiaire Extraire et caractériser les composants dans l'image

Certaines fonctionnalités intelligentes sont nécessaires


Mokhtar TAFFAR

Traitement de Haut-niveau Interprétation et reconnaissance.

Procédures nécessitant des capacités intelligentes élevées.


Mokhtar TAFFAR

Univ. Jijel, Dpt Informatique, Cours Master 2 -IA, oct.-21 15

Compréhension du problème puis Interprétation de scènes une tâche facile pour les humains, même les scènes les plus brouillées et complexes.

Mokhtar TAFFAR


Comment est-on capable de discerner la réalité et une image de la réalité ? Quels indices sont présents dans l'image ? Quelles connaissances utilisons-nous pour traiter cette image ?

Mokhtar TAFFAR


C’est quoi cet objet ? Est-ce que la couleur joue un rôle dans la reconnaissance ? Serait-ce plus facile à reconnaître à partir d'un point de vue différent ?

Mokhtar TAFFAR

La caractéristique texture de l’image peut facilement et volontairement nous aider à reconnaître les objets.


Mokhtar TAFFAR

La forme véhicule-t-elle une connaissance sur la nature de l’objet ?


Mokhtar TAFFAR

L’assemblage de quelques caractéristiques est-il porteur d’information?


Mokhtar TAFFAR


Inspection industrielle / Contrôle qualité

Surveillance et sécurité

Biométrie : Reconnaissance faciale (Face recognition), …

Reconnaissance des gestes humains (Gesture recognition)

Analyse des images médicales (scanner, tumeur, virus, …)

Compréhension de la vidéo (Video Understanding)

Véhicules autonomes (Autonomous vehicles)

Applications : du spatiale (image solaire) à la cellule (génome)

et virus

Réalité virtuelle ou augmentée et

…. Bien plus encore ….

Mokhtar TAFFAR


Mokhtar TAFFAR


Reconnaissance: plaques minéralogique et plaques de signalisation

routière,…

Mokhtar TAFFAR

Un domaine de l’OCR (Optical Character Recognition)

Reconnaitre : les lettres : consonnes ou voyelles, mots, phrases, …


Mokhtar TAFFAR


Mokhtar TAFFAR

Minuties

Triangulation de Delaunay

Matching

Caractéristiques utilisées

en empreinte digitale


Mokhtar TAFFAR

Vue de référence 1 Vue de référence 2

Nouvelle vue reconnue


Mokhtar TAFFAR

Recherche des images par le contenu Forme (Shape content)


Mokhtar TAFFAR

Indexation et recherche par la Couleur et Texture (motif)


Mokhtar TAFFAR

Ministère de la défense (Armée de terre, de l’air, Forces Navales)


Mokhtar TAFFAR

L’interprétation des photographies aériennes est un problème rencontré à la fois en : Vision par ordinateur et photogrammétrie


Mokhtar TAFFAR

Sous-marin, spatial, robot de désamorçage, véhicule,…


Mokhtar TAFFAR

http://www.google.fr/url?url=http://videos.tf1.fr/auto-moto/voiture-autonome-google-les-premiers-prototypes-roulent-deja-8426007.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=j6gNVJeMFovLaNv0gbgK&ved=0CBgQ9QEwAQ&usg=AFQjCNEi61XJLnsgiDwM7vKwnrucxZHI8Q

http://www.google.fr/url?url=http://www.themavision.fr/jcms/rw_348846/le-vehicule-autonome-avance&rct=j&frm=1&q=&esrc=s&sa=U&ei=j6gNVJeMFovLaNv0gbgK&ved=0CBoQ9QEwAg&usg=AFQjCNGDwIDSuD_rACvkm0XXGEr9hXPSXg

http://www.google.fr/url?url=http://www.humanoides.fr/2012/09/26/feu-vert-pour-les-voitures-autonomes-en-californie/&rct=j&frm=1&q=&esrc=s&sa=U&ei=j6gNVJeMFovLaNv0gbgK&ved=0CCgQ9QEwCQ&usg=AFQjCNGzukMHFcufjpzVGxNvxc5mygSz5A

http://www.google.fr/url?url=http://shyrobotics.com/sauc-e-le-concours-europeen-de-robots-sous-marins-autonomes-sur-une-base-de-lotan-en-italie_20110524.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=WqkNVL6LEcSWaoeKgsgP&ved=0CCYQ9QEwBw&usg=AFQjCNHxapJ7DpMdQGUNm5EBTPOoz1sPeA

http://www.google.fr/url?url=http://fr.wikipedia.org/wiki/Usage_des_robots&rct=j&frm=1&q=&esrc=s&sa=U&ei=3KkNVKWCA5PSaKDPgeAL&ved=0CCYQ9QEwCA&usg=AFQjCNGEF37Py0etj7pIgkbEYiMVTpuxQQ

http://www.google.fr/url?url=http://fr.wikipedia.org/wiki/Robot&rct=j&frm=1&q=&esrc=s&sa=U&ei=Fa4NVLTfLsLpaJbggKgG&ved=0CCQQ9QEwBzg8&usg=AFQjCNERTLXYTMRgyxWefEkVrzeq_2P1ug

http://www.google.fr/url?url=http://www.robotblog.fr/militaire/un-sens-moral-pour-les-robots-militaires-1172&rct=j&frm=1&q=&esrc=s&sa=U&ei=Fa4NVLTfLsLpaJbggKgG&ved=0CBwQ9QEwAzg8&usg=AFQjCNHD-9Fpg7nWw_Ay7mVILeg4x_iw6Q

http://www.google.fr/url?url=http://www.rtflash.fr/robot-europeen-autonome-en-2017-pour-intervenir-en-cas-catastrophe/article&rct=j&frm=1&q=&esrc=s&sa=U&ei=Fa4NVLTfLsLpaJbggKgG&ved=0CDAQ9QEwDTg8&usg=AFQjCNGkW3flAA6ZkGbzxz_t5JXUFEcV-w

Géomorphologie et analyse de la forme des particules sédimentaires


Mokhtar TAFFAR

Contrôle des Activités Aéroportuaires (ex., Projet AVITRACK) Description (vandalisme) de Scènes (ex., Métro), usage multi-caméra, Projet

ADVISOR Détection de comportement anormal ou d’évènement rare


Mokhtar TAFFAR


Mokhtar TAFFAR


Mokhtar TAFFAR

Détecteur Viola Jones (présent

dans la plupart des Caméra)


Mokhtar TAFFAR

Bases de données visages

Reconnaissance de visages

dans la foule

Scanner le visage plutôt que

le billet Un problème éthique !


Mokhtar TAFFAR


Mokhtar TAFFAR

https://www.google.fr/url?url=https://www.behance.net/gallery/9082913/Mimicking-Human-Body-Movement-and-Facial-Expressions&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CDAQ9QEwDQ&usg=AFQjCNE65NxXsnNBkzoXNmurpllb7kT2yw

http://www.google.fr/url?url=http://www.dia.fi.upm.es/~pcr/face_tracking.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CBYQ9QEwAA&usg=AFQjCNHdpp8v--xWJ94F82goNYd10BaeLg

http://www.google.fr/url?url=http://www.creativeapplications.net/openframeworks/scramble-suit-face-tracking-openframeworks/&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CBoQ9QEwAg&usg=AFQjCNGEUysEZyN09YhAAcP1CFOsMXBwpA

http://www.google.fr/url?url=http://www.codeproject.com/Articles/394975/How-To-Use-Kinect-Face-Tracking-SDK&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CBwQ9QEwAw&usg=AFQjCNGy4AP6jbpnvBGisIftKFUdxuVIYA

http://www.google.fr/url?url=http://blog.inspirit.ru/viola-jones-object-detection/&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CDQQ9QEwDw&usg=AFQjCNEvN6uem5YXRe315xsBHmU6x2erCw

http://www.google.fr/url?url=http://www.cs.rutgers.edu/~decarlo/facetrack.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CDwQ9QEwEw&usg=AFQjCNFWS-U5B3fQ5vWVtl8co7hsDiE_qg

http://www.google.fr/url?url=http://fontfacederdigitalenexperimentierer.wordpress.com/team/&rct=j&frm=1&q=&esrc=s&sa=U&ei=arMNVPGdPKjMyAP1vYHoCQ&ved=0CB4Q9QEwBDgU&usg=AFQjCNH2nYaJNwz9GlvWRD9-Ea-njEMlLA

http://www.google.fr/url?url=http://www.cl.cam.ac.uk/~tb346/res/clm-z.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=arMNVPGdPKjMyAP1vYHoCQ&ved=0CCAQ9QEwBTgU&usg=AFQjCNG510dipa-VlNRibuZofDUSZMcTxg

http://www.google.fr/url?url=http://stackoverflow.com/questions/10966772/how-can-i-detect-yawn-using-open-cv&rct=j&frm=1&q=&esrc=s&sa=U&ei=HLQNVO7DIKPnyQPs9IFg&ved=0CBgQ9QEwATgo&usg=AFQjCNFuLPllDvHA_anLB7KTpWNxyDLtgA

http://www.google.fr/url?url=http://www.codeproject.com/Articles/26897/TrackEye-Real-Time-Tracking-Of-Human-Eyes-Using-a&rct=j&frm=1&q=&esrc=s&sa=U&ei=HLQNVO7DIKPnyQPs9IFg&ved=0CCAQ9QEwBTgo&usg=AFQjCNFclJaKhKM8vAwRxWn6VnbjmTY35w

http://www.google.fr/url?url=http://www.amazon.co.uk/Fujifilm-FinePix-S1000fd-Digital-Camera/dp/product-description/B00152A06G&rct=j&frm=1&q=&esrc=s&sa=U&ei=HLQNVO7DIKPnyQPs9IFg&ved=0CB4Q9QEwBDgo&usg=AFQjCNGUACNnoP4S5Wui4vPxTJtIQYndjQ


Mokhtar TAFFAR

Interfaces Homme-Machine intelligentes Reconnaissance du Langage des Signes


Mokhtar TAFFAR

http://www.google.fr/url?url=http://revues.mshparisnord.org/rfim/index.php?id=107&rct=j&frm=1&q=&esrc=s&sa=U&ei=oK8NVNjyF4vWaKrNgaAH&ved=0CBgQ9QEwAQ&usg=AFQjCNFzBGm1swDP1eTmmmD8bQPFapYTWw

http://www.google.fr/url?url=http://www.apprism.com/valtech-aux-frontieres-du-reel/&rct=j&frm=1&q=&esrc=s&sa=U&ei=oK8NVNjyF4vWaKrNgaAH&ved=0CCAQ9QEwBQ&usg=AFQjCNEeLhp_P2_vHBgXHtv4JcJQiDLzpw

http://www.google.fr/url?url=http://www.gdr-isis.fr/index.php?page=reunion&idreunion=173&rct=j&frm=1&q=&esrc=s&sa=U&ei=oK8NVNjyF4vWaKrNgaAH&ved=0CCoQ9QEwCg&usg=AFQjCNFex0Lkt_Mnb1vSJvopqUHh2JE1cA

http://www.google.fr/url?url=http://www.inui-studio.com/blog/category/press-news/page/6/&rct=j&frm=1&q=&esrc=s&sa=U&ei=k7ENVNzzB4S_ygO31YDABg&ved=0CCIQ9QEwBjg8&usg=AFQjCNGSULUO7b8gF9XDSgdp4LW4Vgi0jg

Reconnaissance multiple d’actions simultanées en vidéo – courir puis en marchant


Mokhtar TAFFAR

Cancer de la peau Cancer du sein


Mokhtar TAFFAR


Mokhtar TAFFAR

Détection et suivi des

Astéroïdes

Perseverance : le rover de la

Nasa débarque sur Mars

Envoie d’une sonde au plus

proche du soleil

Images de la Nasa


Mokhtar TAFFAR


Réalité augmentée, réalité virtuelle, réalité augmentée sur Smartphone, …

Mokhtar TAFFAR

http://www.google.fr/url?url=http://www.monwindowsphone.com/la-premiere-application-a-realite-augmentee-dans-windows-phone-mango-t4538.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=870NVLSVGMLhaNWygXg&ved=0CBoQ9QEwAg&usg=AFQjCNGi6kYkhdYyAAvqSovo6keqo2vsdg

http://www.google.fr/url?url=http://www.paperblog.fr/5874483/testons-la-realite-augmentee/&rct=j&frm=1&q=&esrc=s&sa=U&ei=870NVLSVGMLhaNWygXg&ved=0CCQQ9QEwBw&usg=AFQjCNG43E_HoQ4YOYkZieVfSGDRPNN0ng

http://www.google.fr/url?url=http://www.qualia.fr/realite_augmentee/&rct=j&frm=1&q=&esrc=s&sa=U&ei=870NVLSVGMLhaNWygXg&ved=0CCwQ9QEwCw&usg=AFQjCNGfXiQO_zCGQBYPuYFT7eH8QALy_w

http://www.google.fr/url?url=http://www.scuba-people.info/Realite-augmentee-au-Festival-mondial-de-l-Image_a57.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=xL4NVLHEL4uVas7cgPAD&ved=0CBwQ9QEwAzgU&usg=AFQjCNEBlRHeW0mERDwU1n8nKGxWSlxufA

http://www.google.fr/url?url=http://www.dkconcept.fr/realite-augmentee.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=xL4NVLHEL4uVas7cgPAD&ved=0CDoQ9QEwEjgU&usg=AFQjCNF_gPapyJ0W3KEOLqahm7awDqCXiA

http://www.google.fr/url?url=http://binyamin.net/blog/3-meilleures-applications-de-realite-augmentee-20100311-57&rct=j&frm=1&q=&esrc=s&sa=U&ei=dr8NVMHENsyXatXlgfAG&ved=0CDwQ9QEwEzg8&usg=AFQjCNEUL9nPVyyG_Rv89WbqDBkTOMT2ng

http://www.google.fr/url?url=http://www.colloque-numerique.com/menu-vertical---colloque/la-realite-augmentee.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=_L8NVImPJMnjatLYgbAJ&ved=0CCgQ9QEwCTgU&usg=AFQjCNHEDHKTz5V_3spEWrMABdqEkwOyCQ

image processing and understanding applications

Documents