1

Tour d'horizon scientifique et industriel des véhicules terrestres autonomes

et leurs défis

V. Cherfaoui – R. Chapuis

2

Sommaire

Enjeux

Perception et analyse de scène

Localisation et cartographie

Plannification / commande

Conclusion

3

I – les enjeux

5

Le véhicule autonomePourquoi aujourd'hui le véhicule autonome1 ?

La voiture est moins synonyme de plaisir qu'hier !

Elle est aujourd'hui perçue comme une contrainte (coût, temps, pollution, insécurité)

Des signes qui ne trompent pas : co-voiturage, auto-partage,...

Il est vu comme un secteur incontournableParticipe à des offres alternatives de transport (taux remplissage des véhicules < 30% de leur capacité1)

Le diktat des normes et des "étoiles" des organismes

évaluateurs2 :

Sécurité des occupants, des piétons,

Réduction énergétique (31% consommation énergie finale)*

Réduction des rejets polluants (27% des émissions globales)

1 http://www.automobile-propre.com2 http://euroncap.com

6

Les projets "Laboratoires" quelques dates80's :

travaux univ. Munich (VAMORS), EUREKA, DARPA :

+/- conduite assisté à 60km/h hors trafic,...

90's :

94 : VAMP : univ Munich + Demler : consuite +/- automatique sur autoroute (130km/h)

95 : NAVLAB : CMU : voiture semi-autonome route et chemins sur 5000km

96 : projet ARGO (Univ. Parme) : 1600km 90% automatique

2000's

2004-2005 : Darpa Grand Challenge

2007 : Darpa Urban Grand Challenge

2010 : VisLab intercontinental Challenge : Parme – Shanghaï

2010 : la Google Car

2012 : VisLab BRAiVE (déplacement en 100%

automatique centre ville de Parme)

7

Les projets récents : exempleLa Google Car

lancée oct en 2010,

déployé sur 6 Toyota Prius,

1 Audi TT, 3 Lexus RX450h,

mars 2012 : expérimentation

montrant Steve Mahan

(95% aveugle) allant

automatiquement faire des courses (une personne à côté avec ordinateur sur les genoux)

Assez convaincant pour faire que l'état du Nevada attribue un "permis de conduire" au véhicule

aout 2012 : Google annonce qu'ils ont fait environ 500 000km

environ 150 000 US$ d'équipement

Doit faire environ 3 passages préalables

8

Les projets récents Projet CMU SRX

Projet CMU : conduite automatique mais sans capteur apparent

Véhicule : Cadillac SRX :

2011 : conduit automatiquement 50km

Résultats montrés sur grande route

uniquement

9

Les projets récents : VisLab / BRAiVE1

Juillet 2013 : déplacement en 100% automatique dans le centre ville de Parme

Instrumentation

1http://www.braive.vislab.it/equipment.php

10

Les projets chez les constructeursBeaucoup de constructeurs automobiles expérimentent des prototypes de véhicule automatiques :

General Motors, Ford, Mercedes-Benz, Volkswagen, Audi, Nissan, Toyota, BMW, Volvo, Cadillac, ...

En général les constructeurs privilégient l'approche "évolution des ADAS"

ABS -> ACC -> AICC -> ESP -> assistance à la détection d'obstacle -> freinage d'urgence (AEB) -> Aide parking -> Parking automatique -> évitement d'obstacles -> navigation autonome

L'idée générale est d'éliminer les "erreurs conducteur" (90% des causes d'accident aujourd'hui1) pour environ 2020.

1http://www.gizmag.com/volvo-autonomous-cars/28161/

"The realization of the Autonomous Drive system is one of our greatest goals, because Zero Fatalities stands alongside Zero Emissions as major objective of Nissan's R&D."

Mitsuhiko Yamashita (VP R&D NISSAN)

14

Quelques projections...

2013 : Mercedes propose option de conduite automatique, accélération , freinage, jusqu'à 200km/h à la fois au milieu de trafic et sur autoroute (200km/h)

2013 : BMW : conduite automatique, freinage, accélération dans le trafic à 40km/h

2014 : Volvo : véhicule autonome à 50km/h même dans trafic intense

2015 : Audi : idem

2015 : Cadillac : "super cruise" : idem à plus haute vitesses

2015 : Nissan envisage mise sur le marché d'un véhicule autonome sur route, avec parking totalement automatique.

2016 : Tesla met au point son prototype couvrant 90% de distance en automatique

2016 : Mobileye prévoit de distribuer des technologies permettant la conduite entièrement automatique

2018 : Google : idem

2020 : Volvo promet que les passagers de ses voitures seront à l'abir des accidents

2020 : GM, Daimler, Audi, Nissan et BMW prévoient de vendre des véhicules autonomes...

17

Véhicules autonomes : soutien en France et en Europe

France :• Les labos impliqués dans les projets “véhicules autonomes”

• Institut Pascal, Heudiasyc, IRCCyn, IEF, Xlim, UTBM…

• INRIA (Emotion, lcare, lagadic, imara)

• LIVIC

• Caor

• Pôles de compétitivité Moveo, Véhicule du futur, I-trans…

• ANR Transports Terrestres Durables puis Transport Durable et Mobilité : peu de projets sur les véhicules autonomes.

18

Véhicules autonomes : soutien en France et en Europe

Equipex Robotex : achat de voitures électriques et automatisées (Zoe- Renault, Apogée) par plusieurs laboratoires

Institut IEED VeDeCoM : Véhicule Décarboné et Communicant et Mobilité : délégation de conduite (modes de déplacements automatisés)

Programme “Véhicule du futur” des investissements d’avenir (AMI :01/12/2014) •le développement de nouvelles solutions techniques innovantes sur l’articulation véhicule / service / infrastructure et sur les véhicules autonomes ou automatiques”

34 plans industriels du ministère du redressement productif :

-Véhicules à pilotage automatique

19

Véhicules autonomes : soutien en France et en Europe

Allemagnede nombreux projets portés par les universités, les instituts et les

constructeurs.

Ex Equipes Darpa Challenge, CognitiveCar

simTD

Roadmap “the cognitive car” RWTH Aachen, 2004.

IV 2011 Baden Baden –Démonstrateurs

20

Véhicules autonomes : soutien en France et en Europe

Europe - recherche•FP7-ICT : IP CVIS, SafeSPOT, PREvent, Coopers, …

•Horizon20201 : “Safe & Integrated Mobility”

Safety (Active, passive & integrated safety) Road Automation (cooperation with the iMobility Forum) Driver-Vehicle Dialogues Cloud-Integrated Vehicles Cooperative Vehicles Fluid Vehicle Traffic

EuroNCAP2:Attribue une note aux véhicule : max 5 étoilesForte pression sur les constructeurs, ex 2014 : Automatic Emergency Braking

1Research & Innovation : Roadmaps for The EUCAR Strategic Pillar: Safe & Integrated Mobility” 2 http://euroncap.com

21

Et les constructeurs français dans tout ça?

PSA :

intégration d’ADAS avec actions sur le véhicule

pas de conduite entièrement automatisée avant 2020.

Renault :

est en train de développer des projets en interne.

22

II - Perception et analyse de scène

23

Les capteurs de perception

But : comprendre l'environnement autour du véhicule : Tout bouge !

Aujourd'hui deux écoles

Traditionnelle : tout est à faire : de la donnée vers l'exploitation haut niveau

+ Maîtrise de toute la chaîne

+ Fusion possible à tous les niveaux de la chaîne

- beaucoup de temps à passer pour chaque modalité capteur

Approche un peu délaissée par les constructeurs sauf pour l'extraction directes des données (caméra de recul...)

Capteur "boîte noire" (smart sensors)

approche adoptée par la plupart des constructeurs

à partir de "smart sensors" : capteurs intelligents développés par les équipementiers

24

Les camérasMono : universellement utilisées

Technologies CCD ou CMOS

CCD : très bon recul mais en perte de vitesse aujourd'hui

dû aux Inconvénient : blooming, smearing,,

CMOS

prix faibles pour bas de gamme

Pas d'effet Blooming / smearing

Effet de rolling shutter pour entrée de gamme

Approches Stéréo

On a la distance !

... de près

De plus en plus de solutions intégrées

Le choix des constructeurs :

les moins chères => CMOS, Rolling Shutter, faible résolution, objectifs plastiques simples...

Approche stéréo utilisée par quelques constructeurs : Subaru, Lexus, Mercedes, Bosch.

Bomblebee2 de Point Grey

27

Les caméras "intelligentes""Smart Sensor"

Le fabriquant le plus connu : Mobileye

L'idée est d'intégrer du traitement

au plus près du capteur

Avantages :

Brique de base

Ne pas se préoccuper des données

brutes

Inconvénients

Boîte noire

Aucun retour possible sur la donnée brute

La caractérisation est difficile pour les étapes ultérieures de fusion

30

Les télémètresLes LIDAR : délaissés par les constructeurs automobiles ...

Intérêt pour les domaines agricole et militaire !

De nouvelles technologies de capteurs télémétrique arrivent sur le marché : caméra TOF

Intérêts

Pas d'organes mécaniques

Moins fragile que les LIDAR

Prix susceptibles de baisser beaucoup

Densité supérieure aux LIDAR pour prix équivalent

Fréquence de rafraichissement très supérieure

Savoir-faire LIDAR transférable immédiatement

Inconvénients

Mesures proches pour l'instant,

Réservé très souvent à l'indoor

Evolutions vers l'extérieur en cours et prometteuses

Kinect

Swiss ranger

32

Radar automotive

Technologie FMCW, 24 à 77GHz

Systèmes intégrés statiques

Fournit données haut niveau

Grandes diversité applicative

Source : FreeScale

Radar LRR3 Bosch

34

Capteurs pour faire quoi ?Détection, reconnaissance des obstacles

Détection / reconnaissance : piétons, véhicules, vulnérables...

Approches télémétriques et radar bien adaptées pour la détection, mais pas pour la reconnaissance

Approches visuelles très prometteuses tant pour la détection que pour la reconnaissance / classification (méthodes à noyau, SVM, Adaboost, sac de mots, ...) :

+ Bonnes performances générales,

- Très sensibles à la richesse de l'apprentissage

Reconnaissance faciale par algorithme Viola-Jones Reconnaissance de piétons par adaboost et

Ondelettes de Haar

35

Capteurs pour...Suivi des obstacles

But : gestion des pertes ponctuelles et occultations, localisation des obstacles

Il existe des approches de suivi de motifs image (Mean-Shift (Shen95), MST (Kanade12), TLD (Kala10), ESM (Malis07), ...),

Les approches MTT (Multi Targets Tracking)

commencent à être généralisées (JPDA (Bar Shalom),

MHT (Blackmann04), xxPHD (Mahler07)

Exemple suivi véhicule ESM

GM-CPHD

36

CapteursDétection, reconnaissance, suivi : verrous

Verrous pour les véhicules autonomes : la variabilité des scènes

Éclairement, orientation des objets, déformation des objets

Occultations

Mouvements, flous

Le suivi peut gérer quelques situations mais pas toutes !

L'interprétation des scène passera probablement par une analyse de plus haut niveau faisant intervenir l'ensemble des acteurs dela scène

Gestion des occultations pour filtres MTT (Lamard12)

38

Analyse de scène et calcul du risque de collision

Contexte Driver in the loopPas de planification de trajectoire de l’égo-véhicule

39

Analyse de scène et calcul du risque de collision

Contexte Driver in the loopPas de planification de trajectoire de l’égo-véhicule

Prédiction de trajectoires et calcul de risque de collisionPrise en compte des états successifs des obstacles et de l’égo-véhiculePrise en compte des règles de conduite et de la structure de la route Prise en compte du comportement conducteur

40

Prédiction de trajectoire

Prédiction basée sur la reconnaissance de manœuvres

Apprentissage des manœuvres élémentaires (change voie, va tout droit, tourne à droite, tourne à gauche) puis HMM

Utilisation de la courbe de la route

(T. Hulnhagen et. Al 2010) (Berthelot et al., 2011) (Schubert et al., 2008) (Houenou et al 2012) (S. Lefevre 2012)

41

Calcul du risque de collision

Risque de collision à quelques secondes- Propagation de l’incertitude- échantillonnage de la période de prédiction- Calcul du risque par MC

(C. Tay 2009) ( A. Lambert 2008)

(A. Houeou 2013)

42

Prise en compte du comportement conducteur

Intention du conducteur : estimée à partir des états observés successifs (HMM)

Prévision : estimée à partir des intentions et des règles de trafic

(Xi, Z., Levinson, D., 2006) ( S. Lefevre 2012) (Trivedi et al. 2010)

43

Verrous analyse de scène et risque

• Nécessité d’avoir une information sur la route pour mieux prédire les trajectoires : L’utilisation de cartes numériques peut améliorer cette connaissance

• Problème difficile si on ne connait pas les intentions des conducteurs (ego-véhicule et obstacles).

• Dans le contexte des véhicules autonomes :

• Problème simplifié si la trajectoire de l’ego-véhicule est planifiée,

• Si les véhicules sont communicants et envoient leur trajectoire : c’est encore mieux

• Mais ….obstacles non coopératifs dont les trajectoires sont difficiles à prédire :piétons et 2-roues

44

III- Localisation et cartographie

45

Se localiser : pourquoi faire ?Le but de la localisation : se localiser... par rapport à une carte (même très simple comme les bords d'une route)

Des approches absolues / locales

La localisation est un élement clé de la conduite autonome

Permet de "déplacer" le problème de l'analyse de la scène

47

Les systèmes de positionnement absolu

on en est où ?Mise en service

Précision Nb Satellites

Couverture Détenteur

GPS 1994 - 2000 10m 30 Monde USA

GLONASS 1996 - 2011 3m 29 Monde Russie

Beidou-2 / Compass

2012 (2020) 10m 30 (35) Asie Australie (monde)

Chine

GALILEO 2020 10m 4 (30) Monde Europe

Augmentation satellitaireSystème complété

Couverture

WAAS GPS Amérique Nord

EGNOS GALILEO – GLONASS

Europe

48

IMU Landins (Xsea)

Localisation inertielle

But : se localiser par rapport à un repère galiléen

On distingue

Les accéléromètres

Les gyroscopes

Les gyromètres

L'ensemble est fréquemment intégré dans

des "centrales inertielles"

Plusieurs technologies (gyrolaser, FOGS, MEMS, ...)

Les technologies MEMS ont permis de généraliser l'emploi des ces capteurs à bas cout :

Rappel : tous les systèmes inertiels dérivent

Gyrolaser Safran

Microstrain IMU

50

Localisation localeDe nombreuses techniques liées au contexte

Localisation par rapport à bord de voie

Localisation pour l'évitement d'obstacles,

Localisation sur carte pré-établie (par SLAM par exemple)

...

Les approches de type SLAM

SLAM LIDAR (souvent dédié intérieur)

SLAM Vision (mono, stéréo, ...)

SLAM Radar

BundleSLAM (Royer10)

SLAM Radar(Vivet11)

55

Fusion pour la localisationLa fusion a pour objectif d'améliorer la précision, la disponibilité, l'intégrité de la localisation.

Couplages lache ou serré (selon accessibilité donnée capteur) assez "simple" entre loc absolue et inertielle mais...

Couplage localisation absolu / local : non trivial

Référentiels différents

Dérive des approches SLAM

Approche de plus en plus utilisée : exploitation explicite des cartes pour la localisation

Contrainte sur la fct de vraisemblance de localisation

Approche top-down de sélection / focalisation sur les primitives de la carte

Localisation guidage par sélection / focalisationTessier07

57

Pourquoi la Google Car est en avance?

Maîtrise des cartes + capteur dense“…Prebuilt navigation maps indicate static infrastructure, such as telephone poles, crosswalks, and traffic lights, which enables software to quickly identify moving objects, like pedestrians and cyclists. “ Graham Murdoch

Au moins 3 passages pour construire les cartes- améliore le positionnement- facilite la détection des objets mobiles

(Google , Velodyne)

58

Les cartes pour les véhicules intelligents

Cartes dédiées à l’aide à la navigation et calcul d’itinéraires

Topologie

Informations sémantiques intéressantes

Modèles 3D urbains

Précision de l’ordre de 10 cmSurface roulable

OSM

IGN

59

Les cartes pour les véhicules intelligents

Véhicules intelligentsLes cartes pour planifier un

itinéraire, une trajectoire

Les cartes pour se localiser

Les cartes pour mieux percevoir et prédire les trajectoires

Local dynamic map Projet SAFESPOT

60

Les cartes pour se localiser

Enrichissement de la carte avec des amers géo-référencés

Ex : avec les marquages au sol détectés par vision (Zui 2012)

Précision :

61

Les cartes pour se localiser

Utilisation de l’empreinte des bâtiments + lidar

Précision : 40cm, 2°

62

Les cartes pour mieux percevoir et/ou prédire les trajectoires

(Moras 2012)

63

Exemple : représentation de la route

1) Linear graph (macro-scale topology / geometry)

3) Niveau 2 +traffic rules

Source IGN, projet PREDIMAP

2) Linear graph (micro-scale topology / geometry)

4) Graphe des surfaces (échelle micro + règles de trafic)

64

Les cartes pour les véhicules intelligents

Source IGN

65

Verrous carte

• Disponibilité des cartes, formats compatibles avec l’embarqué et le temps-réel

• Mises à jour des cartes

• par plusieurs opérateurs : véhicules collecteurs, cartographes, cadastre, capteurs embarqués, etc… : nécessité de standardisation

• Plus les cartes sont enrichies et plus elles ont précises, plus la mise à jour est nécessaire.

• Evolution des bases de données spatio-temporelles.

66

Les véhicules communicants

Communication inter-véhicule : V2V

Communication véhicules infrastructure : V2I

Consortium européen :

Technologie

Services

Projets

Verrous

67

Les technologies du V2x

Norme 802.11p (EU) - extension du standard sans fil 802.11 aux véhicules. Portée de 600m environ

- ITS Band 5,9 GHz (EU) Ex : 0.6 s /message/véhicule

Routage et Diffusion- Geocast, IPv6- Broadcasting, multihop,…

ActeursLabos et instituts de rechercheSociétés d’autoroutes et

équipementiers ConstruteursOpérateurs télécoms

Handbook on intelligent vehicle, ch 45 “ Vehicular Communications Requirements and Challenges” Scott Andrews

68

Les fonctions visées

SécuritéPerception augmentéeLocalisation coopérative,Conduite coopérativeAlertes, Météo,…

Trafic

Evaluation du trafic, ContrôleRéduction du CO2

Service aux passagersEucar

69S2, position3

opinion1

M R2

M, position1opinion1

S3, position4opinion1

R1

R2, position5opinion2

Regular Messages

Fake Messages

S1

S1, position2opinion1

S2

S3

Quelques verrous• Limitation de la bande passante et réseaux

dynamiques • Perte de messages, perte de chemins : algorithmes répartis• Dissémination des données (choix du contenu des messages, fréq.,… )• Compromis C2I-C2C

• Confidentialité, Protection de la vie privée

• Sécurité dans les réseaux ad hoc• Gestion de la confiance dans les noeuds

(protection attaques, noeuds malveilllants)

• Gestion de la confiance dans les messages (qualité de l’information reçue)

Ex: Attaque Sybil

70

Quelques verrous

Méthodes classiques

- Chiffrement, clés publiques

- Certificat à court terme

- Révocation

Nécessité d’avoir une connexion infrastructure

Approches algorithmique répartie:

• Algorithmes auto-stabilisants permettant d’être robuste à certaines erreurs

• Fusion de données distribuée : Gestion des cycles, risque de “data incest”

Source SEVECOM

71

Bilan véhicules communicants

Très soutenu par l’Europe + gros projets nationaux :

• Safespot, CVIS, Drive C2x, Sevecom,

• Scoref, SimTD etc…

Standardisation : protocoles, format des messages….

Source d’information intéressante dans le cadre des véhicules autonomes :

- envoi des poses successives et de la trajectoire planifiée… - envoi de l’intention du conducteur

Pas encore d’applications grande échelle en V2V

- SimTD : 120 véhicules équipés : test du carrefour intelligent avec communications V2I

73

IV- Planification et commande

Une autre fois peut-être ...

74

V- Conclusion ... encore beaucoup de questions...

mais ... Handbook of Intelligent Vehicles

(Springer 2013)

75

Quelles recherches après la Google car ?

La technologie rend elle caduque les nouveaux développements fondamentaux ?

Quels verrous scientifiques reste-t-il à lever ?

Comment garantir que les systèmes respectent une certaine sûreté de fonctionnement ?

Quel partage avec le conducteur et quelles interfaces homme-machine ?

Les véhicules communicants et coopératifs apportent-ils une réelle plus-value ?

Comment doit on intégrer les nouvelles potentialités des cartes ?

76

Conclusion

78