systèmes de reconnaissance vidéo vidéotechnologie … · systèmes de reconnaissance vidéo ......

Systèmes de reconnaissance vidéohttp://vrs.iit.nrc.ca

www.perceptual-vision.com

La vision artificielle permet aux ordinateurs de voir.La vision perceptuelle permet aux ordinateurs de comprendre

ce qu’ils voient. »

Vidéotechnologie pour la sécurité :problèmes et solutions

M. Dmitry Gorodnichy, Ph.D.

Atelier sur la sécurité du transport ferroviaire et urbainMontréal

Novembre 2007

3. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Aperçu

Introduction : la vidéotechnologie (VT) – Historique de la VT– Projet des systèmes de reconnaissance vidéo du CNRC/ITI– VT au sein du GC (réunion sur la VT4NS)– Faits importants en VT : ce que les fournisseurs ne disent pas

Partie 1 : la surveillance intelligente– Faits à savoir : état actuel, défis réels, solutions réelles

• Détection du mouvement• Surveillance de la prochaine génération : détection des objets

– Présentation de la surveillance ACEMC (preuve critique annotée)– Étude de cas/démonstration : les commissionnaires du CNRC utilisent la

surveillance ACEMC

Partie 2 : la reconnaissance faciale par vidéo– Très différente de la technique photographique :

• Différentes contraintes, différentes méthodes, différentes applications– Solutions/démonstration : reconnaissance des acteurs de cinéma


Historique de la VTMéthodes élaborées

Systèmes de reconnaissance vidéo : début du traitement rapide des images (plus de 12 par seconde)

Reconnaissancedes formes

Reconnaissance

vidéo

Visionartificielle

Systèmes vidéo analogiques (acquisition/stockage)

XXe siècle

XXIe siècle

Première vidéo (cinéma) : début de l’affichage rapide des images (plus de 12 par seconde)

Systèmes vidéo numériques


Reconnaissance vidéo –à l’aube du XXIe siècle

• Autres appellations - Analyse vidéo et extraction de contenu (VACE) - Vidéo intelligente, vidéo informatisée, …- Vision perceptuelle

• N’A PAS TRAIT à l’acquisition des données (amélioration des objectifs, capteurs, codeurs, émetteurs), mais à la compréhension des données acquises (meilleure théorie)

• Domaine très nouveau QUI N’EST PAS :• la reconnaissance (faciale) des motifs et l’apprentissage machine• la vision artificielle et le traitement des images• la neurobiologie et la vision biologique

– mais qui exige une combinaison de compétences dans tous ces secteurs!


Systèmes dereconnaissance vidéo

• Début en 2001 au sein du CNRC/ITI– Anciennement, le projet de vision perceptuelle

• Recherches / services et développement / octroi de licences– Participation à Canadarm2 (2001-2)– Outil NouseMD (nez utilisé comme souris) pour personnes souffrant

d’un handicap (2003-7)• Accent sur la sécurité et la surveillance depuis 2004

– Surveillance intelligente – Reconnaissance faciale par vidéo

• Travail avec l’industrie, les universités et d’autres ministères : – Surtout ASFC, GRC et RDDC

• Partenaire du programme VACE du DTO (É.-U.) document

(analyse vidéo et extraction de contenu du Disruptive Technology Office)


ASFC, GRC,RDDC, MDN/FC,

SCRS, PPTC, CIC, BCP,PSERC, TC, ACSTA

SRV

publications,conférences,CVPR, CRV

Valeurs sociales

entraînement

impact

CNRCUniversitésAutres ministèresIndustrie

Technologie/services

Connaissance/ découverte

Industrie

ITI

Autres clients :Santé

MédiasÉducation

…

Acoustique / ISMInstallations de vol

CCFDP

Rôle des SRV


Compétences en SRV

• Détection et suivi des objets– Téléopérateur automatisé– Surveillance ACEMC

• Visages sur vidéo– Détection et suivi des visages– Reconnaissance faciale

par vidéo

• Autres– Recherche d’image (Roth)– Suivi par marqueurs (Fiala)


Événements organisés

Depuis 2004 Ateliers internes archivés par l’IEEE : Traitement et reconnaissance vidéo (VideoRec’08 - à Windsor, du 27 au 30 mai 2008)

But : Orienter les efforts universitaires vers les secteurs en émergence.

Ottawa, 5 juin 2007 Première rencontre des ministères fédéraux : Déploiement des vidéotechnologies pour la sécurité nationale (VT4NS’07)

But : Étudier les façons de synchroniser l’élaboration de solutions faisant appel à la VT et l’établissement de normes de VT pour le nouveau siècle au sein du GC.


Participants à VT4NS’07

** DTO (Disruptive Technology Office) des É.-U./VACE (analyse vidéo et extraction de contenu)** CNRC/ITI/Systèmes de reconnaissance vidéo+ CNRC/Services administratifs et Gestion de l’immobilier/Opérations de sécurité* CNRC/Institut de recherche aérospatiale/Laboratoire de recherche en vol* CRC (Industrie Canada, Centre de recherches sur les communications)/Systèmes vidéo de

pointe** CRIM (Centre de recherche informatique de Montréal) + ASFC (Agence des services frontaliers du Canada)/Direction des travaux scientifiques et de

laboratoire+* GRC/Section de la technologie de surveillance/unités de la vidéo dissimulée, des technologies

de télédétection et des véhicules spéciaux+ GRC/Sous-direction de la sécurité technique+* RDDC/Systèmes intelligents automatisés/Engins télépilotés+* RDDC/Section des opérations d’information de réseau+* RDDC/Centre d'analyse et de recherche opérationnelle (CARO)+* CCRP (Centre canadien de recherches policières)+ Transports Canada/Technologie de la sûreté/Sûreté et Préparatifs d’urgence+ Commissariat à la protection de la vie privée du Canada+ MDN/Forces (plusieurs ministères)

* Développeurs de VT+ Utilisateurs de VT


VT4NS Links(to help translation only)

• NRC-Administrative Services and Property Management Branch (NRC-ASPM) Security Operations ( link: http://www.nrc-cnrc.gc.ca/institutes/aspm_e.html),

• NRC-Institute for Aerospace Research (NRC-IAR) Flight Research Laboratory ( link: http://iar-ira.nrc-cnrc.gc.ca/flight_main_e.html).

• Communications Research Centre Canada (CRC) Advanced Video Systems ( link: http://www.crc.ca/en/html/crc/home/research/broadcast/advanced_video),

• Canada Border Services Agency (CBSA) Laboratory and Scientific Services Directorate ( link: http://www.cbsa-asfc.gc.ca/media/facts-faits/035-eng.html),

• Royal Canadian Mounted Police (RCMP) Surveillance Technology Section: ( link: http://www.rcmp-grc.gc.ca/bc/lmd/surrey/content/services/fis_e.htm),

• RCMP Technical Security Branch ( link: http://www.rcmp-grc.gc.ca/tsb/)• Defence Research & Development Canada (DRDC) Automated Intelligent Systems ( link:

http://www.drdc-rddc.gc.ca/researchtech/tis/activ2_e.asp), • DRDC Network Information Operations Section ( link: http://www.ottawa.drdc-

rddc.gc.ca/html/NIO-102-section_e.html), • DRDC Centre for Operations Research & Analysis ( link: http://www.drdc-

rddc.gc.ca/researchcentres_e.asp), • Transport Canada Security Technology ( link: http://www.tc.gc.ca/en/menu.htm), • Office of the Privacy Commissioner of Canada ( link: http://www.privcom.gc.ca/), • several National Defense and the Canadian Forces (DND/Forces) departments ( link:

http://www.forces.gc.ca/site/home_e.asp), • Computer Research Institute of Montreal's Vision and Imaging Group (In French only) (

link: http://www.crim.ca/fr/index.html), • Canadian Police Research Center ( link: http://www.cprc.org/)


Rapport sur la VT4NT

• Pas encore de programme national / régional de VT• Décisions influencées par les fournisseurs / solutions à court terme

Pas de normes nationales d’acquisition et d’enregistrement des données vidéo• p. ex. plus de 30 systèmes vidéo différents déployés à Ottawa Pas de politique de traitement des preuves• p. ex. pour établir si les données sont originales et non altérées

• Beaucoup d’initiatives locales, non coordonnées– Ville de Calgary (détection des anomalies de la circulation par des

caméras de TVCF)– Frontière canado-américaine à Cornwall* (DVR). Projet pilote no 1 pour

défaut d’arrêt à la douane– Aéroports d’Ottawa et de Montréal* (TVCF, DVR PIZ), …

•Changement imminent (2007)•Selon le modèle VACE du DTO (É.-U.)


Faits à savoir (ce que les fournisseurs de VT ne disent pas toujours)

1. L’acquisition vidéo n’est plus ni coûteuse ni de mauvaise qualité– Vidéo composite/RCA (TVCF analogique)– Caméras et numériseurs USB2– Caméras Firewire – Caméras sans fil et IP– Capteurs d’images multi-canaux pour

la TVCF2. Attention aux caméras à « haute résolution »

1. Probablement pas la résolution réelle2. Rendre la vidéo plus « intelligente » ne règle par le problème

3. Il manque de l’intelligence


Problèmes

1. Milieu/installation – éclairage/conditions météo, champ de vision…

2. Objets/activités – mesures non concertées3. Idées fausses (à l’avantage des fournisseurs)

1. Mieux vaut plus – NON2. L’humain peut voir, le système le pourra aussi (un jour) – NON3. « Rappel du passé » : utilisation d’anciens outils pour de

NOUVEAUX problèmes4. Contraintes en temps réel – pour les systèmes « d’alarme »5. Résolution

1. Petites images vidéo : 720 x 480 (NTSC) 2. Occupation d’une petite partie par les objets : <1/8 de l’image

Mais la résolution fait-elle vraiment problème?


Autres détails sur les résolutions etles formats : sources vidéo

Les humains regardent sans problème des films à la télévision…• NTSC :

– Rés. vert. (fixe) + 487 actives (entrelacement) sur 525– Rés. horiz. (variable) + 330 (TV), 210 (VHS) - à cause du flou!– 60 demi-images / seconde

• VCD : mpeg1 à 320 x 240 – pour la télévision (bande VHS) • DVD : mpeg2 à 720 x 240 – le mieux adapté aux

enregistrements numériques• TVHD : 1920 x 1080, mais… pour les humains,

c’est le son (Dolby numérique), et pas l’image, qui fait la différence!


Enregistrement à la télévision(vidéo à 320 x 240)

« Faible » résolution + orientation, expression et occlusion(visages de 30 x 30 pixels!)

n’empêchent pas l’humain de reconnaître les gens et les activités

Mais les ordinateurs en sont incapables… - La méthode qu’ils adoptent est-elle déficiente?

(Même pour une vidéo réalisée en studio avec champ et éclairage parfaits!)

FAIRE JOUER LA VIDÉO


Surveillance intelligente : problèmes et solutions


Deux problèmes graves

1. Consommation d’espace de stockage• Affectation typique :

2-16 caméras, 7 ou 30 jours d’enregistrement, 2-10 Mo par min.1,5 Go par jour par caméra / 20 - 700 Go en tout!

2. Gestion et récupération des données• Expérience de reconstitution vidéo des bombardements de

Londres :

« La consultation manuelle de millions d’heures de vidéo numérisée provenant de milliers de caméras s’est révélée impossible dans des délais serrés. »[par l’équipe de Scotland Yard qui tentait de reconstituer les déplacements des suspects]


Principal obstacle

Actuellement disponibles :• « qualité d’image et résolution supérieures » • « commande complète panoramique/inclinaison » • « puissant zoom 44X »• « télécommande complète »• « prise en charge multi-canal d’un maximum de

32 caméras »• « acquisition ultra-rapide à 240 images/seconde »

mais… • il manque parfois de temps pour tout consulter afin de

trouver l’information importante20. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Objectif de lasurveillance intelligente

Remplacer/aider le personnel humainPermettre la gestion des données vidéo (surtout pour la surveillance à long

terme)Rendre la surveillance abordable des points de vue temporel et spatial

« Pour que la surveillance vidéo soit opérationnelle, il est primordial de stocker seulement les données vidéo utiles,c.-à-d. contenant des preuves nouvelles. »

1. Preuves = objets, événements d’intérêt2. Nouvelles = succinctes et non redondantes

Seule la reconnaissance vidéo le permet!


Idée fausse de l’acquisition« basée sur le mouvement »

• L’expression « basée sur le mouvement » donne à croire que la reconnaissance vidéo a effectivement lieu, ce qui n’est pas le cas!

• L’acquisition est en fait basée sur la variation de l’éclairage, car elle fait appel à une comparaison simple de la brillance des pixels :

| Bij(t) – Bij(t-1) | > N pour K pixels « alarme »– Ce qui est souvent attribuable à autre chose que le mouvement!

• Changements d’intensité lumineuse• Bruit

– Surtout pour la surveillance extérieure et à long terme


Bruit et changements dans la vidéo (démonstration)

– Changements de niveaux lumineux / conditions météo (surtout pourla surveillance 24/7)• Vent, précipitations

– Contre les rayons du soleil, hors foyer, flou, à travers le verre• Reflets, diffraction et interférences optiques

– Transmission des images, pertes de compression


Solution :- Exécuter autant de reconnaissance vidéo que possible

en temps réel AVANT d’enregistrer la vidéo!- Surveillance basée sur les objets (pas sur les

changements)!

Exemple : technologie de surveillance ACEMC

Surveillance de laprochaine génération


Surveillance ACEMC

(preuve critique annotée)

Définition : Séquence de preuve critique (CES) - séquence vidéo fournissant de l’information à la fois utile et nouvelle.

Définition : Surveillance ACE - surveillance ayant trait à l’extraction et à la manipulation de preuve critique annotée.

- Basée sur les progrès récents de la détection et du suivi des objets- Remplace les clips vidéo par des images JPG annotées

– Comprime une vidéo de 1 Go en 2 Mo d’images fixes faciles à consulter (plusieurs années de preuve peuvent être stockées sur un seul ordinateur)

– Annotations indiquées : taille, vitesse et couleur des objets détectés- Permet la consultation Zoom-on-EvidenceMC (zoom sur preuve)


Résultats de la détection et du suivi des objets

• Contrôle 24/7 dans de nombreuses installations extérieures et intérieures

• Au moyen d’un ordinateur ordinaire, en temps réel et avec un maximum de 8 caméras

• Démonstration : 24 heures de surveillance extérieure (à long terme, avec faible circulation) vidéo

• Démonstration : joueurs de hockey en action à l’intérieur (circulation intense, multiples objets en déplacement rapide) vidéo


Acquisition basée sur le mouvement

•Beaucoup de séquences inutiles : bruit ou redondance.

•Sans annotation visuelle, perte de l’information de mouvement.

•La distribution horaire des séquences n’est pas très utile.


Acquisition ACE

•Chaque séquence est utile.•Position et vitesse des objetsindiquées par annotation graphique•La distribution horaire des séquences est indicative de ce qui s’est produit chaque heure et résume bien les activités sur une longue période. 28. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Applications/limites de la surveillance ACE

Prête pour1. les systèmes de TVCF existants

• utilisation de caméras fixes seulement2. les postes de sécurité munis d’un ordinateur

• jusqu’à 8 caméras pour un seul PC (3 GHz/RAM de 2 Go)

Exemple des commissionnaires du CNRC :– Installation en janvier 2007– Archivage de plus de 6 mois de données de preuve– 2 entrées (caméras de TVCF installées par ADT) + caméra Web

USB au poste– Maintenant indispensable aux travaux quotidiens


Exemple : surveillance au XXe siècle

Un agent doit être affecté au contrôle des moniteurs en tout temps. S’il est absent ou s’il regarde ailleurs, un événement

peut passer inaperçu.30. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Exemple : surveillance au XXIe siècle

• Mode en temps réel : surveillance attentive lorsqu’une alarme se déclenche.

• En cas d’éloignement, la dernière séquence de preuve critique indique si quelque chose d’anormal a eu lieu. Au besoin, relire toutes les séquences.

• Dans le mode d’archivage, zoom sur preuve – zoom sur un jour, une heure, puis un événement – pointer et cliquer (haute résolution au besoin).


Consultationpar zoom sur preuve

Entrée de livraisonPorte d’entrée arrière

En

sem

aine

En

fin d

e se

mai

ne


Démonstration

• Contrôle des locaux du CNRC par surveillance ACE• Consultation des données de surveillance ACE par

zoom sur preuve


Tendances futures

• Logiciel (algorithmes de reconnaissance vidéo) :– Amélioration de la détection et du suivi des objets

• Pour les mouvements complexes• Pour les caméras mobiles

– Amélioration des annotations : reconnaissance des activités• Matériel :

– Caméras PIZ intelligentes : PIZ sur objets– Caméras IP intelligentes : sélection du moment de l’envoi et du

contenu envoyé seulement– Vidéocaméra + appareil photo haute résolution / autres capteurs– Caméras synchronisées

• Dans la mentalité / logistique :– Plus d’initiatives interministérielles en VT– Plus d’installations et de tâches restreintes/appropriées


Recognition faciale par vidéo : problèmes et solutions


Hiérarchie d’abordabilité et d’applicabilitéde différentes modalités biométriques

(selon l’atelier de biométrie de l’OTAN, Ottawa, oct. 2004)

L’information vidéo est- plus disponible- moins intrusive

La vidéo permet :- la biométrie « soft »- l’identification à distance

+ Infrastructure prête

(TVCF déjà utilisée ailleurs pour la surveillance)

Pourquoi en vidéo?

Niveau du détenu Milieu contrôlé

Nbre d’ident. enregistrées

Nbre de biomesures

TVCFNiveau public Milieu sans contrainte

Passeport


Résumé des modalités biométriques


Situation actuelle : échec de l’ordinateur, réussite de l’humain

Rendement des systèmes de reconnaissance faciale(selon les forums de biométrie, atelier de biométrie de l’OTAN, Ottawa, oct. 2004)

0

20

40

60

80

100

Surphoto

Survidéo

Par l'humain

Parl'ordinateur

Alors que l’humain reconnaît facilement une personne sur vidéo (visages < 40 pixels!), le rendement de l’ordinateur pour une vidéo est nettement

moins bon que pour une photo!38. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Idée fausse intentionnelle?

Au cours des 5 dernières années, plus de XX.XXX.XXX $ ont été consacrés à la reconnaissance faciale à partir de données vidéo…

Et puis?L’essai des fournisseurs en reconnaissance faciale (www.frvt.org) met

encore l’accent sur la « production de données vidéo de meilleure qualité ».

Aborder un NOUVEAU problème avec d’ANCIENS outils?Plutôt que d’élaborer des méthodes de traitement des données à basse

résolution.


Important

Les données faciales photographiques et les données faciales acquises par vidéo se caractérisent par deux modalités différentes basées sur les images.

– nature différente des données – type différent de biométrie– méthodes différentes– critères d’essai différents

La reconnaissance faciale sur vidéo exigeun cadre basé sur la vidéo.


Comparaison entrephoto et vidéo

Photo :

- Haute résolution spatiale- Aucune résolution temporelle

p. ex. visages :1. dans un milieu contrôlé

(comme pour l’enregistrement d’empreintes digitales)

2. imposition-positionnement « en douceur »

3. DIO de 60 pixels (DIO = distance intra-oculaire)

Vidéo :

- Basse résolution spatiale- Haute résolution temporelle

(chaque image étant de basse qualité)

1. dans un milieu sans contrainte (installation de caméra « cachée »)

2. ne pas regarder la caméra, ne pas même y faire face

3. DIO de 10-20 pixels

Néanmoins, pour l’humain, la vidéo (même de cette « basse » qualité) véhicule souvent plus d’information qu’une photographie!


Modèle facial canoniqueutilisé dans les passeports

Adopté par OACI 2002 pour les documents de type passeport(utilisés au Canada, aux É.–U. et dans l’UE)

• Une image par personne• DIO=60 (largeur=120 pixels)

Utilisé - Pour stocker des visages dans

des bases de données- Dans les algorithmes de

reconnaissance

• Mais peut-il s’utiliser pour la vidéo?

• Devrait-il l’être? 42. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Résultatsde la détection spatiale

• Étude psychologique : les gens reconnaissent les visages à partir d’une DIO > 10 pixels

• Bonne nouvelle (2002) : les ordinateurs peuvent aussi détecter les visages– avec une DIO >= 10 pixels– sous un mauvais éclairage– à des orientations différentes : +/- 45o

– avec différentes expressions faciales

– rejets dus au mouvement pour des visages détectés au hasard


Modèle facial canoniqueconvenant à la reconnaissance

vidéo

DIO

24

2 DIOProposé en 2004 :•DIO=12 pixels•Taille de 24 x 24 suffisante

• Extraction beaucoup plus facile (par ordinateur) à partir de la vidéo• L’alignement automatique des yeux est possible.• Beaucoup d’extractions peuvent être effectuées durant le suivi d’une même personne.


Méthodes appropriées

1. Application à des images de basse résolution (tant que la DIO >10)

2. Accumulation de données faciales dans le temps

Une bonne reconnaissance vidéo implique l’accumulation de données dans le temps!

Tout ce qui se base sur une seule image ne convient pas.

Types de fusion de données faciales multi-images• Résolution supérieure• Neurobiologique (adaptation synaptique)• Modèles faciaux tridimensionnels


Technologie des SRV(annotation personnelle dans des

émissions de télévision)Problème : reconnaissance faciale dans une vidéo mpeg1 à 160 x 120

Démonstration : 98 % de reconnaissance en temps réel de quatre personnes dans un clip vidéo.

Méthode : accumulation par réseau neuronal de données faciales à basse résolution 46. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Examen

• DIO < 10, utilisation de la biométrie corps/démarche• DIO > 11, possibilité d’une « certaine » reconnaissance faciale à partir de la

vidéo :– Les techniques d’accumulation dans le temps peuvent, dans certains cas (nombreuses

séquences sous de bons angles), permettre l’identification « un à plusieurs » de l’OACI.

– Suffit pour de nombreuses tâches de reconnaissance « un à quelques-uns ».Bonnes applications :

- Surveillance de lieux à accès limité- Suivi d’une personne par caméras multiples et reconstitution de son trajet- Vérification (p. ex. avec une carte d’accès)

Problèmes : - Angle de champ, qualité de la vidéo (voir l’introduction)- Reconnaissance générale « un à plusieurs » (>1000) toujours non résolue

Tendance future :- Enregistrement facial imposé (comme aux postes de contrôle/par caméra « cachée » au

niveau des yeux)

systèmes de reconnaissance vidéo vidéotechnologie … · systèmes de reconnaissance vidéo ......

Documents