vidéotechnologie pour la sécurité : problèmes et solutions m. dmitry gorodnichy, ph.d. systèmes...

27
Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la sécurité du transport ferroviaire et urbain Montréal Novembre 2007

Upload: internet

Post on 03-Apr-2015

109 views

Category:

Documents


3 download

TRANSCRIPT

Page 1: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

Vidéotechnologie pour la sécurité :

problèmes et solutions

M. Dmitry Gorodnichy, Ph.D.

Systèmes de reconnaissance vidéo*Chef de projet

Atelier sur la sécurité du transport ferroviaire et urbain

MontréalNovembre 2007

Page 2: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

2. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Aperçu

1. La vidéotechnologie (VT) – Historique de la VT– Projet des systèmes de reconnaissance vidéo du CNRC/ITI– VT au sein du GC (réunion sur la VT4NS’07)– Faits importants en VT : ce que les fournisseurs ne disent pas

2. La surveillance intelligente– Faits à savoir : état actuel, défis réels, solutions réelles

• « Détection du mouvement »• Surveillance de la prochaine génération : détection des objets

– Présentation de la surveillance ACE (preuve critique annotée)– Tendance future

3. La reconnaissance faciale par vidéo– Très différente de la technique photographique :

• Différentes contraintes, différentes méthodes, différentes applications

– Tendance future

Page 3: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

3. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Historique de la VTMéthodes élaborées

Reconnaissance vidéo :

début du traitement rapide des images (plus de 12 par seconde)

Reconnaissancedes formes

Reconnaissance

vidéo

Visionartificielle

VT analogique

XXe siècle

XXIe siècle

Première vidéo:

début de l’affichage rapide des images (plus de 12 par seconde)

VT sans fils, IP

VT numérique

Page 4: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

4. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Reconnaissance vidéo – comme la VT de nouvelle génération

• Autres appellations - Vidéo intelligente, vidéo informatisée, …- Analyse vidéo et extraction de contenu (VACE) - Vision perceptuelle

• N’A PAS TRAIT à l’acquisition des données (amélioration des objectifs, capteurs, codeurs, émetteurs), - mais à la compréhension des données acquises (meilleure théorie)

• Domaine très nouveau QUI N’EST PAS :

• la reconnaissance des motif• la vision artificielle et le traitement des images• la vision biologique

– mais qui exige une combinaison de compétences dans tous ces secteurs!

Page 5: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

5. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Systèmes dereconnaissance vidéo

• Début en 2001 au sein du CNRC/ITI– Anciennement, le projet de vision perceptuelle

• Recherches / services et développement / octroi de licences– Participation à Canadarm2 (2001-2)– Outil NouseMD (nez utilisé comme souris) pour personnes souffrant

d’un handicap (2003-7)• Accent sur la sécurité et la surveillance depuis 2004

– Surveillance intelligente – Reconnaissance faciale par vidéo

• Travail avec l’industrie, les universités et d’autres ministères : – Surtout ASFC, GRC et RDDC

• Partenaire du programme VACE du DTO (É.-U.) document

(analyse vidéo et extraction de contenu du Disruptive Technology Office)

Page 6: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

6. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Compétences en SRV

• Détection et suivi des objets– Téléopérateur automatisé– Surveillance ACE

• Visages sur vidéo– Détection et suivi des visages– Reconnaissance faciale

par vidéo

• Autres– Recherche d’image (Roth)– Suivi par marqueurs (Fiala)

17:00-24:00

2 mins

Page 7: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

7. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Rapport sur la VT4NS’07 (Rencontre des ministères fédéraux)

• Pas encore de programme national / régional de VT• Décisions influencées par les fournisseurs / solutions à court terme

Pas de normes nationales d’acquisition et d’enregistrement des données vidéo

• p. ex. plus de 30 systèmes vidéo différents déployés à Ottawa Pas de politique de traitement des preuves

• p. ex. pour établir si les données sont originales et non altérées • Beaucoup d’initiatives locales, non coordonnées

– Ville de Calgary (détection des anomalies de la circulation par des caméras de TVCF)

– Frontière canado-américaine à Cornwall* (DVR). Projet pilote no 1 pour défaut d’arrêt à la douane

– Aéroports d’Ottawa et de Montréal* (TVCF, DVR PIZ), …•Changement imminent (2007)•Selon le modèle VACE du DTO (É.-U.)

Page 8: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

8. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Faits à savoir (ce que les fournisseurs de VT ne disent pas toujours)

1. L’acquisition vidéo n’est plus ni coûteuse ni de mauvaise qualité– Vidéo composite/RCA (TVCF analogique)– Caméras et numériseurs USB2– Caméras Firewire – Caméras sans fil et IP– Capteurs d’images multi-canaux pour

la TVCF

2. Attention aux caméras à « haute résolution »1. Probablement pas la résolution réelle

2. Rendre la vidéo plus « intelligente » ne règle par le problème

3. Il manque de l’intelligence

Page 9: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

9. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Problèmes

1. Milieu/installation – éclairage/conditions météo, champ de vision…

2. Objets/activités – mesures non concertées

3. Idées fausses (à l’avantage des fournisseurs) 1. Mieux vaut plus – NON

2. L’humain peut voir, le système le pourra aussi (un jour) – NON

3. « Rappel du passé » : utilisation d’anciens outils pour de NOUVEAUX problèmes

4. Contraintes en temps réel – pour les systèmes « d’alarme »

5. Résolution1. Petites images vidéo : 720 x 480 (NTSC)

2. Occupation d’une petite partie par les objets : <1/8 de l’image Mais la résolution fait-elle vraiment problème?

Page 10: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

10. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Enregistrement à la télévision(vidéo à 320 x 240)

« Faible » résolution + orientation, expression et occlusion

(visages de 30 x 30 pixels!)

n’empêchent pas l’humain de reconnaître les gens et les activités

Mais les ordinateurs en sont incapables… (jusque au ce moment)

Même pour une vidéo réalisée en studio avec champ et éclairage parfaits!

Page 11: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

11. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Surveillance intelligente : problèmes et solutions

Page 12: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

12. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Deux problèmes graves

1. Consommation d’espace de stockage• Affectation typique :

2-16 caméras, 7 ou 30 jours d’enregistrement, 2-10 Mo par min.1,5 Go par jour par caméra / 20 - 700 Go en tout!

2. Gestion et récupération des données• Expérience de reconstitution vidéo des bombardements de

Londres :

« La consultation manuelle de millions d’heures de vidéo numérisée provenant de milliers de caméras s’est révélée impossible dans des délais serrés. »[par l’équipe de Scotland Yard qui tentait de reconstituer les déplacements des suspects]

Page 13: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

13. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Idée fausse de l’acquisition« basée sur le mouvement »

• L’expression « basée sur le mouvement » donne à croire que la reconnaissance vidéo a effectivement lieu, ce qui n’est pas le cas!

• L’acquisition est en fait basée sur la variation de l’éclairage, car elle fait appel à une comparaison simple de la brillance des pixels :

– Ce qui est souvent attribuable à autre chose que le mouvement!• Changements d’intensité lumineuse / conditions météo (surtout pour la

surveillance 24/7)

• Contre les rayons du soleil, hors foyer, flou, à travers le verre

• Reflets, diffraction et interférences optiques• Transmission des images, pertes de compression

Page 14: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

14. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Solution :- Exécuter autant de reconnaissance vidéo que possible en temps réel

AVANT d’enregistrer la vidéo!- Surveillance basée sur les objets (pas sur les changements)!

Exemple : technologie de surveillance ACE (preuve critique annotée)

- Basée sur les progrès récents de la détection et du suivi des objets- Remplace les clips vidéo par des images JPG annotées

– Comprime une vidéo de 1 Go en 2 Mo d’images fixes faciles à consulter (plusieurs années de preuve peuvent être stockées sur un seul ordinateur)

– Annotations indiquées : taille, vitesse et couleur des objets détectés

- Permet la consultation Zoom-on-Evidence (zoom sur preuve)

Surveillance de laprochaine génération

Page 15: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

15. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Acquisition basée sur le mouvement

•Beaucoup de séquences inutiles : bruit ou redondance.

•Sans annotation visuelle, perte de l’information de mouvement.

•La distribution horaire des séquences n’est pas très utile.

Page 16: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

16. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Acquisition ACE

•Chaque séquence est utile.

•Position et vitesse des objets indiquées par annotation graphique

•La distribution horaire des séquences est indicative de ce qui s’est produit chaque heure et résume bien les activités sur une longue période.

Page 17: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

17. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Exemple : surveillance au XXIe siècle

• Mode en temps réel : surveillance attentive lorsqu’une alarme se déclenche.

• En cas d’éloignement, la dernière séquence de preuve critique indique si quelque chose d’anormal a eu lieu. Au besoin, relire toutes les séquences.

• Dans le mode d’archivage, zoom sur preuve – zoom sur un jour, une heure, puis un événement – pointer et cliquer (haute résolution au besoin).

Page 18: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

18. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Consultationpar zoom sur preuve

Entrée de livraisonPorte d’entrée arrière

En

sem

aine

En

fin d

e se

mai

ne

Page 19: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

19. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Tendances futures

• Logiciel (algorithmes de reconnaissance vidéo) :– Amélioration de la détection et du suivi des objets

• Pour les mouvements complexes• Pour les caméras mobiles

– Amélioration des annotations : reconnaissance des activités

• Matériel :– Caméras PIZ intelligentes : PIZ sur objets– Caméras IP intelligentes : sélection du moment de l’envoi et du

contenu envoyé seulement– Vidéocaméra + appareil photo haute résolution / autres capteurs– Caméras synchronisées

• Dans la mentalité / logistique :– Plus d’initiatives interministérielles en VT– Plus d’installations et de tâches restreintes/appropriées

Page 20: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

20. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Recognition faciale par vidéo : problèmes et solutions

Page 21: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

21. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Idée fausse intentionnelle?

Au cours des 5 dernières années, XXX.XXX.XXX $ ont été consacrés à la

reconnaissance faciale à partir de données vidéo…Et puis?

Cependant, l’essai des fournisseurs en reconnaissance faciale (www.frvt.org) met

l’accent sur la « production de données vidéo de meilleure qualité ». (2006)

Plutôt que d’élaborer des méthodes de traitement des données à basse résolution.

0

20

40

60

80

100

Sur

photo

Sur

vidéo

Par l'humain

Parl'ordinateur

Page 22: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

22. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Important

Les données faciales photographiques et les données faciales acquises par vidéo se caractérisent par deux modalités différentes basées sur les images.

– nature différente des données – type différent de biométrie– méthodes différentes– critères d’essai différents

La reconnaissance faciale sur vidéo exigeun cadre basé sur la vidéo.

Page 23: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

23. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Comparaison entrephoto et vidéo

Photo :

- Haute résolution spatiale- Aucune résolution temporelle

p. ex. visages :1. dans un milieu contrôlé

(comme pour l’enregistrement d’empreintes digitales)

2. imposition-positionnement « en douceur »

3. DIO de 60 pixels (DIO = distance intra-oculaire)

Vidéo :

- Basse résolution spatiale- Haute résolution temporelle

(chaque image étant de basse qualité)

1. dans un milieu sans contrainte (installation de caméra « cachée »)

2. ne pas regarder la caméra, ne pas même y faire face

3. DIO de 10-20 pixels

Néanmoins, pour l’humain, la vidéo (même de cette « basse » qualité) véhicule souvent plus d’information qu’une photographie!

Page 24: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

24. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Modèle facial canoniqueutilisé dans les passeports

Adopté par OACI 2002 pour les documents de type passeport(utilisés au Canada, aux É.–U. et dans l’UE)

• Une image par personne• DIO=60 (largeur=120 pixels)

Utilisé - Pour stocker des visages dans

des bases de données- Dans les algorithmes de

reconnaissance

• Mais peut-il s’utiliser pour la vidéo?

• Devrait-il l’être?

Page 25: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

25. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Méthodes appropriées

1. Application à des images de basse résolution (tant que la DIO >10)

2. Accumulation de données faciales dans le temps

Une bonne reconnaissance vidéo implique l’accumulation de données dans le temps!

Tout ce qui se base sur une seule image ne convient pas.

Types de fusion de données faciales multi-images• Résolution supérieure

• Neurobiologique (adaptation synaptique)

• Modèles faciaux tridimensionnels

Page 26: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

26. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Technologie des SRV(annotation personnelle dans des

émissions de télévision)• Les gens: reconnaissent les visages à partir d’une DIO > 10 • Bonne nouvelle (2002) : les ordinateurs peuvent aussi

détecter les visages de même taille

• Limitation: difficulté de pour les capteurs situe tres haut

Page 27: Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet Atelier sur la

27. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Examen

• DIO < 10, utilisation de la biométrie corps/démarche• DIO > 11, possibilité d’une « certaine » reconnaissance faciale à

partir de la vidéo• DIO >40, peuvent, dans certains cas (nombreuses séquences sous

de bons angles) permettre identification des personnesBonnes applications :

- Surveillance de lieux à accès limité- Suivi d’une personne par caméras multiples et reconstitution de son

trajet- Vérification (p. ex. avec une carte d’accès)- Enregistrement facial imposé (comme aux postes de contrôle/par

caméra « cachée » au niveau des yeux)Question: • Courriel: [email protected] ([email protected]) • Site de la projet :

http://vrs.iit.nrc.ca http://vrs.iitc.ca (after Nov. 1, 2007)www.videorecognition.com, www.perceptual-vision.com