hors-série rgn - droit des robots et de l'ia

Colloque surles algorithmes prédictifsAtelier de recherche de la gendarmerie, mardi 26 septembre 2017,Paris École militaire

« Algorithmes prédictifs, quels enjeux éthiques et juridiques ? »

Événément organisé par le Centre de recherche de l’École desofficiers de la gendarmerie, Partenaire du débat public annuel initiépar la CNIL

Renseignement : www.gendarmerie.interieur.gouv.fr/crgn/CREOGN

LE

DR

OIT

DE

S R

OB

OT

SR

EV

UE

DE

LA

GE

ND

AR

ME

RIE

NA

TIO

NA

LEN

° H

OR

S S

ÉR

IE

www.gendarmerie.interieur.gouv.fr

D.R.

COUV N°257.qxp_Mise en page 1 Copier 13 14/08/2017 10:55 Page1

Le droit des robots numéro hors série

AVERTISSEMENT

La Direction Générale de la Gendarmerie Nationale n’entenddonner aucune approbation ou improbation aux opinionsémises par les auteurs. Ces opinions doivent être considéréescomme propres à leur auteur.

>>

COUVERTURE– M. David Chrétien (CPMGN)

>>

revueHSrobotV5.qxp_Mise en page 1 01/09/2017 12:09 Page1

AVANT-pROpOS

3

« d A

Dans son Traité1 consacré au droit et à l’éthique de la robotiquecivile, Nathalie NEVEJANS conclue son ouvrage en empruntant unecitation du Philosophe Peter Kempf : « L’éthique de la technologie n’estpas une déclaration de guerre à toute technologie. Au contraire. Elle doitêtre, de part en part, un plaidoyer pour la bonne technologie, elle doitgarantir un développement respectueux de l’Autre, en fixant des limitesqui à la fois nous promettent une vie plus riche et nous interdisent deruiner notre existence commune ».

Cette réflexion de ce philosophe serait susceptible de constituer unedes trames qui pourrait inspirer les régulateurs nationaux etsupranationaux en charge de réfléchir sur l’orientation souhaitable oupas à donner au droit positif et aux normes qui en découleraient. Sur lecontinent européen, il convient de souligner l’adoption le 16 février 2017,par le Parlement européen, de la première Résolution2 consacrée auxrègles de droit civil sur la robotique. Elle invite la Commission, entre-autre, « d’examiner, d’évaluer et de prendre en compte les conséquencesde toutes les solutions juridiques envisageables, telles que : 3 la création,à terme, d’une personnalité juridique spécifique aux robots…. ». Ce pointconstitue une des pierres d’achoppement qui fait débat dans l’ensembledes disciplines s’intéressant aux questions de la robotique, cristallisantles débats. Le régulateur français s’est saisi de ces enjeux en saisissantl’Office parlementaire d’évaluation des choix scientifiques ettechnologiques (OPECST). Cet organisme a rendu public au mois de mai2017 son rapport intitulé : « Pour une intelligence artificielle maîtrisée,utile et démystifiée4. »

Ce cahier spécial, trouve son origine dans le colloque intitulé « Quelleplace pour les robots dans notre société ? - Enjeux technologiques, défiséthiques et juridiques» co-organisé le 12 décembre 2016 parl’Association du droit des robots (ADDR5) et le Centre de recherche del’école des officiers de la gendarmerie nationale (CREOGN). À cetteoccasion, une équipe de France Culture a montré son intérêt enenregistrant certaines interventions dans le cadre de la réalisation d’unesérie de quatre documentaires audio portant sur les robots6. La richessedes échanges de ce colloque a incité les organisateurs à poursuivre ces

numéro hors série Revue de la Gendarmerie Nationale

(1)Nathalie NEVEJEANS, Traité de droit et d’éthique de la robotique civile, LEH Édition, Bordeaux, 2017, 1230 p.(2) Résolution du Parlement européen du 16 février 2017 contenant des recommandations à la Commissionconcernant des règles de droit civil sur la robotique.www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//NONSGML+TA+P8-TA-2017-0051+0+DOC+PDF+V0//FR(3) www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//NONSGML+TA+P8-TA-2017-0051+0+DOC+PDF+V0//FR(4)Tome 1 – Rapport : www.senat.fr/rap/r16-464-1/r16-464-11.pdf – Rapporteurs : Dominique GILOT, Sénatrice,ancienne Ministre, et Claude de GANAY, Député.(5) ww.association-droit-robot.fr(6) www.franceculture.fr/emissions/lsd-la-serie-documentaire/mon-jumeau-le-robot-44-un-robot-qui-me-veut-du-bien


4 Revue de la Gendarmerie Nationale numéro hors série

travaux prospectifs à Lille dans le cadre du Forum international decybersécurité (FIC). Lors de cette manifestation, un agora consacré au« droit des robots » a permis de poursuivre ces travaux avec un largepublic issu de la société civile. Ce numéro constitue un recueil desréflexions provenant d’intervenants de ces deux événements. Ce cahierspécial se présente en trois parties. La première partie regroupe l’étatdes réflexions autour des questions d’éthique sociétale. En l’absenced’un droit sui generis à la robotique, nous laisserons s’exprimer dansune deuxième partie des praticiens du droit. Leurs opinions apportentun éclairage sur les aspects relatifs à la responsabilité ainsi qu’auxlibertés fondamentales. Enfin, la dernière partie de ce cahier met enrelief quelques retours d’expérience de contact de l’homme avec lesrobots mais aussi des risques en l’absence de régulation. L’actualitédans le domaine de la robotique et de l’intelligence artificielle neconnaîtra pas de pause dans les mois à venir. Les quatrièmes ÉtatsGénéraux de la Robotique en France, qui se sont déroulés du mardi 16au jeudi 18 mai 2017 à Aubervilliers au Docks de Paris, ont montré queles entreprises hexagonales disposent sur ce secteur d’une avancetechnologique certaine.

Jérôme LAGASSERédacteur en Chef

AVANT-pROpOS


SOMMAIRE

numéro hors série

ÉTHIqUE ET SOCIÉTÉLes robots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7par Jean Doniopour un dialogue sans ambigüité entre l’homme et la machine . . . . . . . . . . . . . . . . . . . . .13par serge TisseronL’homo cyberneticus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21par marc Watin-Augouardquis custodiet ipsos custodes - qui gardera les gardiens ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33par Ludovic PetitHawking ou Montesquieu - À qui se fier pour encadrer les systèmesd’armes létaux autonomes ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37par Didier Danet

SCIENCES AppLIqUÉESRobots autonomes, société et sécurité publique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .123par Thierry DaupsRobot sociaux « empathiques » en santé : quels bénéfices ?quelles inquiétudes ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133par Anne-sophie rigaud et Grégory Legouverneur quelle autonomie décisionnellepour les systèmes robotiques militaires du futur ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .139par Gérard De BoisboisselIntelligence artificielle et conflictualité - Sur l'hypothèse de dérivemalveillante d'une Intelligence Artificielle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .149par Thierry Berthier et olivier Kempf

dOCTRINE jURIdIqUERobot or not robot ? petite digression juridico-philosophique . . . . . . . . . . . . . . . . . . . . . . .45par olivier de maison rougequelle responsabilité pour les robots ?quelle responsabilité pour l’Homme ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49par Fabrice LorvoVoiture autonome : quel droit pour les forces de l’ordre ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53par Didier GazagneApplication de l’intelligence artificielle (IA) à la robotique : un cadrejuridique et éthique est nécessaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .75par Didier GazagneContrôle routier des voitures connectées : quel nouveau paradigmedans les règles d’engagement coercitives des forces de sécuritépublique ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .89par Jérome LagasseRègles européennes de droit civil en robotique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105par nathalie nevejans

5numéro hors série Revue de la Gendarmerie Nationale


Dans cette partie, les différents auteurs nous interpellent sur des questionséthiques qui nous obligent chacun(e) à amorcer un long travail d’introspectionphilosophique sur la place qu’il conviendra d’accorder aux robots dans notresociété. La cohabitation des humains avec des machines douées d’une« empathie artificielle » pourrait, selon les orientations données, bouleverser laconception que nous avons d’autrui. Des scientifiques de renom comme lephysicien Stephen Hawking n’hésitent pas à lancer un appel à la vigilance col-lective : « nous devons absolument nous assurer que les objectifs des ordina-teurs sont les mêmes que les notres ». La robotique soulève aussi une réflexionà travers le débat portant sur l’humain augmenté. Là aussi, la réflexion éthiquedemeure fondamentale pour s’assurer de prévenir en premier lieu toute frac-ture entre homme amélioré et pas, mais surtout toute dérive vers le transhuma-nisme. La sphère défense et sécurité ne peut non plus faire l’économie de cedébat éthique sur la place qu’il conviendra d’accorder à la robotique sur unthéâtre d’opération.

ÉTHIqUE ET SOCIÉTÉ



Les robots

La dimension robotique est de plus enplus présente dans la société civile oumilitaire. Beaucoup de citoyens frustrésse révoltent, parce qu'ils sont privésd'informations pertinentes, et n'ont pasleur mot à dire, mais sans que cela n'aitd'effet. Les consommateurs ne font quesubir une technologie qui les dépasse.C'est là peut-être qu'interviennent lessciences juridiques, pour créer un nouvelordre. On peut penser au droit des robots,

mais a-t-on pensé audroit de survie del'espèce humaine? Etsurtout, en a-t-onencore le temps? Lesespèces sesuccèdent sur terre,puis disparaissent.Alors, quelles sontaujourd'hui leschances de survie del'espèce humaine parrapport aux robots ?

LC’est par l’application des automates etdes automatismes à la mécanique,l’électronique et surtout par l’informatique,que la robotique est devenue unediscipline scientifique. Les premiers robotsétaient destinés à nettoyer les cuvesnucléaires, puis les automatismes se sontemparés des voitures, on a construitl'électronique des voitures et aujourd'huice sont les robots à face humaine quel'on voit apparaître un peu partout, cesrobots ayant un rôle social d'aide et deremplacement des êtres humains.

Le numéro 255 du 1er trimestre 2016 de laGendarmerie nationale présente dans sonavant-propos une pensée très forted'Albert einstein qui écrit que :« L'homme et sa sécurité doiventconstituer la première préoccupation detoute aventure technologique ». Cettepensée prend toute sa valeur quand onréalise que son auteur a été l'un despiliers du projet manhattan à l'universitéde Chicago. Ce projet a mis fin à la


7

par JEAN DONIO


JEAN DONIOAncien élève de l'Écolepolytechniqueprofesseur Émérite àl'Université de paris IIph.d.- docteur às

Sciences-M.A.E.Expert judiciaire honoraireprés la Cour de Cassationde parisAuditeur du Centre desHautes Études del'Armement [email protected]


seconde guerre mondiale par la bombeatomique. La très grande sagesse de cettepréoccupation et de récents événements,font de cette pensée une idée d'avant-garde, prédictive de ce qui risque d'arriversi on laisse la technologie sans contrôle.

Tout le monde a conscience que l’hommes’est toujours servi de son intelligence pouragir sur son milieu, et qu'il en est arrivé àdominer sur cette terre les autres espèces,qu'elles soient animales, végétales ouminérales. Ceci est resté vrai jusqu’au jouroù l’homme a décidé de créer un êtresupérieur, qu'il a fait à son image, enutilisant les technologies de l'informatique.

de l’informatique à la robotiqueLes technologies numériques ont donnélieu à l'informatique, créée en 1946 àl'université de harvard après la seconde

guerre mondiale. elles peuvent dès àprésent améliorer la vie de l'être humain, etsa sécurité, si elles sont bien utilisées. maiselles peuvent aussi contribuer de manièrenéfaste à notre décadence, ou même ànotre disparition totale, sans que la plupartd'entre nous aient leur mot à dire de ceséventualités. en vérité, on ne sait pas biensi les technologies seront utilisées pour lebien ou contre les hommes.

en ce qui concerne la technologie elle-même, celle-ci est ancrée dans la vie del'espèce humaine. étant optimiste, j’aicommencé par penser que la technologiesous forme de robots servirait l’homme, etl’émanciperait: mais aujourd'hui, je n'ensuis plus si sûr.

La machine travaillant à la place del’homme, celui-ci aurait eu tout le temps


Les roBoTs

8

La sécurité est au cœur de toute avancée technologique.

xxxx

xxxx

xxxx

x

Revue de la Gendarmerie Nationale numéro hors série


nécessaire pour s’épanouirintellectuellement et artistiquement. maisles aspects positifs et négatifs destechnologies sont omniprésents dans lasociété (armée, économie, vie privée etloisirs), et personne ne peut dire à l'avancesi l'homme va se servir des machines etdevenir le maître des robots, ou si c'estl'homme qui sera asservi par les robots.

Tout semble évoluer, non pas versl'homme, maître des robots, comme jepouvais le pensais au départ, mais plutôtvers la super intelligence du robot, qui peuttrès bien devenir le maître d'un hommeinutile et asservi par les robots. il n'estcertes pas trop tard pour supprimer lesrisques qui nous guettent, mais encorefaut-il le vouloir. or, nous vivons dans untourbillon où la technologie évoluelibrement.

Le président des usA (depuis 1945, harryTruman), s'est rendu compte qu'il n'y avaitpas assez de scientifiques aux états-unispour mener à bien les calculs des bombes

A et h1. C'est ainsiqu'il a chargé, parcontrat, en 1946,l’université d’harvardde faire le premiercalculateur aumonde, eniAC 1 (unmonstre de plusieurs

mètres), construit sur une architecturetoujours à la base des technologiesnumériques. Cette architecture comprend :

–une mémoire Centrale qui permet àl'ordinateur de fonctionner et auxmémoires extérieures (disques, bandes,

(1) La bombe h est appeléeà succéder à la bombe A,elle est plus sophistiquéeque la bombe « A », déjàutilisée par le Présidentroosevelt contre le Japon,et plus puissante (la bombeh utilise comme «allumette»la bombe A), et elle a besoinde plusieurs millions dedegrés pour deveniropérationnelle.

ruban papier, cartes, etc.) qui enregistrentdes quantités d'informations de s'ensouvenir des années après ;

– une unité Centrale : appelée à l'originel'uAL (unité Arithmétique et Logique),couplée avec la mémoire centrale, et netravaillant qu'avec elle constituel'intelligence du calculateur. elle peut varierle nombre d'opérations permises.initialement, seules les fonctionsarithmétiques et logiques étaient permises,mais aujourd'hui, la plupart des fonctionsde l'intelligence humaine et d'autresencore sont devenues possibles. Lasociété iBm a appelé ces calculateurs des“ordinateurs”, car ils pouvaient donner desordres à la machine ;

– des “entrées-sorties” : les capteursdonnent aux machines une supériorité dessens multiples, dont la plupart absentschez l'homme. il est possible de concevoirdes robots, avec une acuité des sensbeaucoup plus développée que la nôtre,car les robots peuvent détecter lesradiations, l'électromagnétisme, lesémanations chimiques, etc., en fait bienplus que les sens humains ne lepermettent ;

– une « Communication » : l'interopérabilitépermet à plusieurs machines decommuniquer entre elles (imprimantes,écrans, claviers, souris, auparavanttélétypes, etc.) et de travailler sur une mêmetâche, ce que les robots savent faire. Parcontre, il est encore nécessaire que leshumains communiquent avec des machinespour leur donner des ordres, sans utiliserleur langage.


Les roBoTs



Genève, et grâce au protocole TCP/iP. Lacommunication des calculateurs entre euxest devenue facilement réalisable. Lescentres de recherche de différents pays,ont pris la suite: mir en russie, Bull enFrance, iCL en grande Bretagne, olivetti enitalie, nixdorf et siemens en Allemagne,etc. ont tous suivi harvard, en gardantl'architecture des ordinateurs d'origine.Aujourd'hui, internet et TCP /iP servent àtous, malgré les intrusions, le vandalisme,l'espionnage et le vol des données par lesgouvernements et par les mafias, vol quine semble déranger personne, alors quetous sont au courant. C'est par ledéveloppement de ces technologies qu'onest arrivé à la robotique très présente dansnotre société.

Société robotisée et sécuritéinitialement, il s'agit des automatismes, dela mécanique, de l’électronique, puis del'application de l’informatique à larobotique. on pouvait alors imaginer unavenir où l'homme libéré des tâchesdégradantes deviendrait le maître desmachines ou celui d'une nouvelle formed'esclavage de la machine.

Dans un futur proche, l'activité humainesera réduite d'environ 40 %, selon mescalculs, pour une activité robotique quidemeure 24 heures sur 24, 7 jours sur 7,ce qui multiplie par un facteur 9 parsemaine environ ce que les robots vontréaliser à la place des hommes. en outre,les robots travaillent plus vite que l'homme,sans salaire, avec peu de courantélectrique (ce qui peut être fourni par despiles photovoltaïques, et donc devenir

Les quatre fonctions principalesénumérées ci-dessus sont celles issues del'être humain et l'ensemble de cesfonctions constitue l'informatiquethéorique ( l'ensemble constitue lehardware et le software). il y a par ailleursla technologie des machines qui a pour butde miniaturiser les composants, etd'optimiser le tout.

La mémoire permet de se souvenir,l'intelligence permet de raisonner et deréagir, les sens et les moyens d'expressionpermettent d’appréhender l'environnementpour pouvoir l'analyser et d'en tirer lesconclusions y afférant, et la communicationpermet de dialoguer. L'ensemble de cesquatre fonctions a donné à l'homme sasupériorité sur les autres espèces, cellesdu règne animal, du règne végétal, et durègne minéral. Quant à la technologie, ellene fait aujourd'hui que développer et/ouaméliorer les moyens mis à la dispositionde l'homme par l'informatique théorique.

L'eniAC 1 a été suivi de peu à Princetondès 1947. Puis, la société iBm s'estinstallée à l'université de Columbia, où ellea créé un centre de recherches. Plus tard,l'université de stanford a créé le protocoleTCP/iP, qui a permis pour la première foisaux instituts de recherche de résoudreleurs problèmes en se connectantsuccessivement sur les calculateurs desuniversités des côtes est et ouest desetats-unis, malgré une différence de3 heures entre les deux.

en 1994, internet est né du physicienanglais Berneers-Lee au Cern de

10


Les roBoTs



énergétiquement autonome) : ceci n'a paséchappé aux grandes entreprises quicontrôlent maintenant les robots.

en janvier 2014, j’avais prévu une nouvelletaxe dite d'humanisation des entreprises,qui prendrait la place de toutes les autrestaxes et impôts, sauf celle de la TVA. eneffet, à partir du moment où ce sont lesrobots, et non plus les êtres humains, quicréent la richesse que nous partageonstous, il faudra penser au partage de cetterichesse, et à des places à définir dans lenouvel ordre économique qui se crée.

en effet, la robotique opérationnelle couvreles domaines de l’activité humaine (qui vades soins aux personnes âgées, auxarmées): cela peut être positif, mais nonsans danger. Pour ce qui concernel'armée ( terre, mer et air en général, et lesUS Marine Corps en plus aux états-unis),les robots sont utiles, et de plus en plusutilisés. Des engins fixes ou mobiles sont làpour nous protéger ; mais est-ce la vérité ?

À la pointe de la technologie, la robotiqueparticipe à l'effort de la recherche etDéveloppement industriel des pays(l'exemple des usA, après la secondeguerre mondiale, est très parlant carl'informatique y est née d'abord pour desbesoins de guerre). Par ailleurs, enremplaçant les soldats, le pays qui utilisedes robots dans les conflits de guerren'aura pas en principe à pleurer la mort, lablessure, ou la prise d'otage de sessoldats. Qui plus est, contrairement auxsoldats, les robots n'ont pas besoin deformation (sauf pour les mises à jour des

programmes), car ils ne partagent pas lesexigences de la vie humaine. il est inutileen conséquence de mettre en place unelogistique lourde pour utiliser ces moyens :logement, nourriture, habillement, soinsmédicaux, transports, invalidités, retraites,etc., tout cela est financièrementintéressant. C'est pourquoi on trouveaujourd'hui dans l'armée des robots fixesou mobiles, des drones qui peuvent fairede la surveillance, et lancer des missiles,des robots terrestres mobiles qui peuventcombattre le terrorisme, cette lutte étantde nos jours la guerre la plus difficile.

Pourtant, il ne faut pas oublier que desingénieurs très qualifiés comptent parmiles terroristes et les états belliqueux, quidisposent d'importants financements pourdévelopper leurs propres robots, dotésd'algorithmes d'apprentissage inhumainset destructeurs.

Les robots destinés à contrer le terrorismene sont efficaces que s'ils ont un pouvoirdissuasif, s'ils sont autonomes, et peuventprendre des décisions: mais alors, quelssont les êtres humains qui auront laresponsabilité de ces robots autonomes?

rappelons-nous que l'informatiquethéorique a été conçue à l'image descapacités humaines, et devient ainsiopérationnelle et expérimentale par la miseen place des robots de plus en plusperformants. La performance de ceux-ciest conditionnée, en partie, par latechnologie, qui optimise et miniaturise sescomposants. Par ailleurs, l'iA et lesnouveaux algorithmes, implémentés dans

11


Les roBoTs



réaction, toujours aux états unis, il y aenviron 2 ans, s'est constitué un ensemblede plusieurs milliers de personnes, menéespar un dirigeant de la société Apple : cegroupe s'oppose à la volonté du présidentobama, et de son conseiller Bill Gates, defaire la guerre uniquement avec desrobots. un expert du gouvernementobama a dit que la troisième guerremondiale sera très rapide, et trèsmeurtrière.

L'année 2016 aura vu, également enCalifornie, une autre association degrandes sociétés internationales, cettefois-ci autour de l'intelligence artificielle,

essentiellement pourles robots2.

Alors « Combien de temps faudra-t-il auxrobots, ou à ceux qui les dirigentaujourd'hui, pour s'apercevoir que l'espècehumaine est devenue inutile? ».

si la politique est devenue un malnécessaire, peut-on accepter quel’humanité tout entière soit maintenantentre les mains de grandes compagniesmultinationales, qui auront le pouvoir decontrôler une armée de robots ? L’hommepourrait devenir non pas le maître, maisl'esclave, de ce nouveau genre d'êtres,que sont les robots. notre seulesauvegarde à ce stade pourrait êtred'établir un rempart légal pour imposerune législation qui ne viendra pas touteseule, et instaurer un contrôletechnologique adapté au problème qui sepose.

(2) « Le Temps » du 5 février2015

des automates construits dans un matérielet/ou une technologie de pointe, donnentnaissance à des androïdes autonomes, quisont déjà supérieurs à l'homme dans denombreux domaines spécifiques. il suffitdonc que tous les domaines soientréunis dans un seul androïde, dotéd’algorithmes d'apprentissage, pour créerun être supérieur, et/ou doté d'une superintelligence, qui agira selon le cas, pour lebien de l'humanité ou contre elle.

nous sommes maintenant très prochesd'un processus autonome et intelligent, quipeut nous détruire. mais, si cela existepour certains d'entre nous, personnen'écartera le danger, car les grandesentreprises sont aveuglées par la logiquedu « tout profit », et l'armée par la logiquedu « plus fort ». Personne ne songe àl'espèce humaine et à son devenir Lasociété militaire, comme la société civile,use de son pouvoir technologique, enamoindrissant peu à peu le pouvoirpolitique, qui semble devenir de plus enplus faible, et qui pourrait disparaître. Fin2013, une association a été créée enCalifornie, qui a regroupé 12 grandessociétés spécialisées dans les technologiesnumériques: Google, iBm, hP, Twitter,Facebook, sun, microsoft, oracle, etc.

il s'agit là de sociétés multinationales,ayant toutes plus de 100 000 employés, etle double objectif de ce regroupement étaità la fois de diminuer le prix de la publicité,et aussi de discuter d'égal à égal avec les240 gouvernements (environ) qui règlent lesort des 7 milliards d’êtres humains : cesobjectifs ont été très vite atteints. en

12


Les roBoTs



Pour un dialogue sansambigüité entre l’homme et la machine

Parallèlement aux formidablesopportunités qu’ils offrent, notammentdans le domaine industriel, del’éducation et de la santé, les robotsfont courir un certain nombre derisques qu’il est important d’identifier etde prévenir. Certains de ces risques neleur sont pas spécifiques, notammentceux qui concernent les emplois et laprotection de la vie privée. Maisd’autres risques sont liés à leursparticularités, notamment à lapossibilité d’interagir avec eux par laparole comme avec un humain, et à leuréventuelle capacité de percevoir nos

émotions et d’yrépondre.

Ces caractéristiques,jointes au pouvoirqu’ils auront de noussauver la vie dansdiversescirconstances, vontconsidérablement

Paugmenter les projectionsanthropomorphes sur eux. D’autant plusque les mots utilisés pour évoquer lescapacités des robots sont exactement lesmêmes que pour l’être humain :intelligence, autonomie, apprentissage,empathie, etc. un premier risque seraitd’oublier que les robots sont programméset connectés, un second de croire qu’ilspuissent avoir de vraies émotions alorsqu’ils ne seront jamais que des machinesà simuler, et un troisième de finir parpréférer des robots prévisibles et toujoursgratifiants à des humains imprévisibles etsouvent plus préoccupés d’eux-mêmesque de nous… Autrement dit, nous nedevons pas seulement veiller à nousprotéger des dangers que les robotspourraient nous faire courir, mais aussi ànous protéger contre le risque d’unemauvaise appréciation de leurscapacités. Ces risques appellent troisséries de mesures : législatives,technologiques et éducatives.


13

par SErgE TISSErON


SErgE TISSErON

psychiatre, membre del’Académie desTechnologies, docteur enpsychologie


Un dialogue sans ambiguïtés entrel’homme et la machineL’homme a toujours perçu ses outilscomme relevant de sa seule maîtrise. ildevait donc apprendre à s’en servir. maisle développement de l’intelligenceartificielle (iA) est en train d’inverser cettelogique. Avec la robotique, ce n’est pasnous qui allons être obligés de nousadapter aux robots, ce sont les robots quis’adapteront à nous. mais si cerenversement a de quoi séduire, il nerassure pas pour autant. si j’achète unmarteau ou une voiture, dans les deuxcas je suis son propriétaire et je lescontrôle totalement. mais si j’achète unrobot, je ne sais pas comment sonfabricant l’a programmé, et je ne sais pasnon plus si un hacker ne va pas un jour leretourner contre moi. C’est pourquoil’homme a besoin de croire que les

machines dites autonomes auront un jourune conscience, une volonté et un librearbitre pour pouvoir espérer lesapprivoiser. Le mythe du robot douéd’une conscience est un peu en celal’équivalent de la prostituée au grandcœur : plus l’homme accepte de semettre en situation de vulnérabilité, plus ila besoin de penser que la créature, entreles mains de laquelle il se remet, a uncœur. L’idée que l’on puisse un jourdonner une conscience aux robots obéit àcette logique : nous permettre de ne plusêtre effrayé par le robot comme unemachine qui serait appelée à réaliser unprogramme en n’éprouvant ni état d’âme,ni pitié, ni empathie. nous imaginons uneconscience aux robots pour tenter deréenchanter le monde de la robotiqueplacé aujourd’hui sous le signe du robotréalisant le programme que ses

14

La « personne électronique » proposée en janvier 2017 par le Parlement européen pour désigner lesrobots constitue un obstacle pour une saine appréciation de leur réalité.


SOCIÉTÉ

Pour un DiALoGue sAns AmBiGuïTés enTre L’homme eT LA mAChine


constructeurs ont conçu pour lui. Lerobot “libre” peut être méchant, maisparce qu’il est libre, on peut rêver de lefaire changer d’avis. Des déportées ontraconté qu’elles étaient rassurées de voirleurs tortionnaires nouer des liaisonsamoureuses avec leurs homologuesmasculins ; cela les rassurait sur le faitque ces femmes, qui leur paraissaientinsensibles et “robotisées”, étaienttoujours des êtres humains, et qu’onpouvait, peut-être, en s’y prenant bien,les attendrir. Cela a aidé ces déportées àvivre.

Le problème, avec les robots, estévidemment bien différent, mais il reposesur la même logique. Les imaginer avoirune conscience nous permet de penserpouvoir les influencer même si nous neconnaissons pas leurs programmes. Biensûr, cela risque en même temps de nousfaire sous-estimer l’efficacité desprogrammeurs qui entretiennent cetteillusion et donc de nous rendre plusvulnérables encore aux manipulations detoutes sortes ! mais si nous voulonscombattre efficacement le penchant d’ungrand nombre de nos contemporains àavoir une représentation des robots quidoit plus à la science-fiction qu’à laréalité, nous devons d’abord ne pas noustromper sur sa cause. Ce fantasme nerelève pas d’une mauvaise appréciationde la réalité des robots, comme onpourrait d’abord le croire. il témoigne aucontraire d’une excellente appréciation du

risque que le robot, préprogrammé etsans cesse reprogrammé à distance parses concepteurs, échappe totalement àses utilisateurs. il cherche à y opposerégalement une vision qui n’est pasforcément plus rassurante, mais quirestitue à l’homme sa part d’initiative etde liberté.

des mots et des pratiques quibrouillent les repèresLa tentation d’accorder aux robots despouvoirs bien plus grands que la réalitéest, hélas, encouragée parl’anthropomorphisme du langage, maisaussi par des pratiques problématiques.

Les pièges du langage

en parlant d’autonomie, d’intelligence, decapacités d’apprentissage, d’empathie etde réseaux de neurones pour les robots,nous risquons d’oublier que cesexpressions ne désignent pas du tout lamême chose que chez l’être humain. Cesont des métaphores, et elles risquent enoutre de nous cacher que, quelle que soitl’autonomie que nous leur imaginons, cesmachines resteront toujours reliées à leurfabricant. Pour leur mise à jour bienentendu, mais aussi pour la capture denos données personnelles, pour leuradaptation à nos attentes etéventuellement pour nous manipuler ànotre insu ! Autrement dit, ce discoursanthropomorphe n’est pas neutre. ilcache les algorithmes qui dirigent lesmachines et la responsabilité immense de


SOCIÉTÉ



des pratiques créatrices de confusion

Ce risque de confusion n’est passeulement alimenté par la publicité.D’ores et déjà, l’ordinateur Watsonrépond aux clients d’une grande banquefrançaise sans que ceux-ci sachent qu’ilsont affaire à une iA. un petit robotressemblant à un enfant, appelé Kaspar,est aujourd’hui utilisé avec de jeunesautistes en étant téléopéré (c’est-à-direque les paroles et les comportements durobot sont gérés en temps réel à distancepar un informaticien invisible de ses

utilisateurs1) sansque ces enfants ensoient informés. De

telles pratiques posent évidemment unproblème éthique majeur. D'autant plusque certains chercheurs, comme hiroshiishiguro, rêvent que nous puissionsbientôt demander des conseils à desrobots androïdes, dans des grandsmagasins, en croyant qu’il s’agit devendeurs humains. mais si cela estacceptable dans la culture japonaise,n’oublions pas nos propres traditions.L'humanisme occidental est fondé surune claire distinction entre vivant et nonvivant. un principe démocratique poseque chaque citoyen a le droit de connaîtrel’origine des messages qu’il reçoit. Parexemple, personne n’a le droit d’imprimerdes affiches en noir et blanc parce queces deux couleurs sont réservées auxaffiches officielles émanant de l’état et ilest interdit à une chaîne de télévision de

(1) C’est ce qu’on appelle laméthode WoZ, pour Wizardof Oz, en français lemagicien d’oz.

ceux qui les fabriquent. C’est pourquoi ilserait judicieux que nous soyons plusattentifs au langage que nous utilisonspour parler de ces nouveaux outils quesont les robots. il vaudrait mieux parler demachines automatiques plutôtqu’autonomes, d’apprentissageautomatique plutôt que d’intelligenceartificielle, de simulation d’empathie plutôtque d’empathie artificielle, et de réseauxde composants électroniques plutôt quede réseaux de neurones. De ce point devue, l’expression « personneélectronique » proposée en janvier 2017par le Parlement européen pour désignerles robots va constituer un obstacle deplus sur le chemin d’une saineappréciation de leur réalité. rappelonsque dans la philosophie occidentale, dupoint de vue social, la personne sedifférencie de l’individu en tant qu’elle estdéfinie par ses droits et ses devoirs. et dupoint de vue structurel, elle est associée àla conscience qu’elle a d’exister et à sacapacité de distinguer le bien du mal.Créer un statut de personne électronique,c’est inévitablement introduire à courtterme la question des droits et devoirsdes robots, et à moyen terme celle dudroit à l’autodétermination. Dans le mêmeordre d’idées, il serait d’ailleurs salutaired’interdire toutes les publicités qui parlentdes machines dans des termes quiévoquent la spécificité humaine : lesmachines n’ont pas d’émotions et pas decœur. Croire autre chose ferait courir àl’homme de grands dangers.


SOCIÉTÉ



transmettre des publicités pendant lejournal télévisé en leur donnant le statutd’informations. De même, la publicitérentre dans une fenêtre de publicité,l’information dans une fenêtred’information, la fiction dans une fenêtrede fiction, etc. Le même principe doit êtrerespecté dans nos relations auxmachines. Tout humain a le droit de savoirà quel moment il a affaire à un semblableet à un robot. D'autant plus ques’agissant des tchatbots qui sont appelésà se généraliser, le problème serait assezfacile à résoudre. il suffirait de prévoir unmessage vocal disant : « Vous êtes encommunication avec un systèmeautomatique, posez votre question, sivous préférez parler à un humain,appuyez sur la touche dièse ». mais lesconstructeurs ne voient aucun intérêt à enprévenir les usagers, puisque le but deces systèmes est justement de réduire lesemplois... il y faut donc une volontépolitique.

Les dangers de la confusionDe telles sources de confusion sontévidemment porteuses de grandsdangers. J’en vois au moins trois : oublierque la machine mémorise tout et peuttout transmettre en temps réel à sonfabricant ; oublier qu’une machine n’a pasd’émotions et qu’elle est seulementcapable de les simuler ; et même oublierque les robots ne seront jamais desmodèles pour les humains.

La machine transmet en permanence desinformations

Aujourd’hui déjà, nos ordinateurs et nossmartphones enregistrent et transmettentnos données personnelles. mais il s’agitd’une transmission ponctuelle, réservéeaux moments où nous utilisons ces outils,et d’une transmission explicite puisquenous en sommes informés. mais demain,avec les objets connectés de toutesnatures qui nous entoureront (encoreappelés « robjets »), cette capture se ferade façon permanente et implicite : noscompteurs d’eau et d’électricité, nosréfrigérateurs, nos véhicules autonomes,nos brosses à dents… pourronttransmettre des données sur noshabitudes, nos déplacements, nosparoles et même nos constantesbiologiques. D’ores et déjà, les robotsinstallés dans des chambres d’hôtel àTokyo montrent que les clients quiinteragissent avec eux ne pensent pas àles débrancher lorsqu’ils ne s’en serventpas, et qu’ils vivent leur intimité comme sile robot n’était pas là. ils y voient desamis dévoués et fidèles. ils oublient quece sont en même temps des mouchardspotentiels. Pourtant, une note les en aavertis : « Pour des raisons de sécurité,tout ce que ce robot filme et enregistreest transmis à un PC de sécurité. »

Oublier que la machine n’a pas d’émotions

Avec les robots dotés d’empathieartificielle, c’est-à-dire capables de


SOCIÉTÉ



pour certains d’entre eux, jusqu’à mettreleur vie en danger pour éviter que leurmachine soit endommagée par l’ennemi !Cette situation pourrait tout aussi bien seproduire au domicile d’une personneâgée, ou sur un lieu de travail. on sait queles salariés montrent déjà une formed’attachement à leurs outils de travail.Qu’en sera-t-il quand ils serontaccompagnés d’un robot qui semble lescomprendre ?

Le robot n’est pas un modèles pour leshumains

À force d’interagir avec des robotsobéissants, jamais fatigués et toujoursgratifiants, certains d’entre nous risquentde se fabriquer une idée fausse de cequ’est une relation et d’attendre la mêmechose des humains avec lesquels ils sonten contact. notre curiosité envers desêtres plus imprévisibles pourrait se tarir etla communication entre humains devenirelle aussi de plus en plus factice. nostéléphones mobiles nous ont rendusmoins tolérants à l’attente. nos robotsrisquent de nous rendre moins tolérantsau caractère imprévisible de touterelation.

prévenir les ambiguïtés dans troisdirections complémentairesCes dangers ne sont pas une fatalité. Lesmoyens de les réduire concernent à lafois le législateur, les fabricants de robotset le domaine éducatif.

comprendre les émotions humaines et d’yrépondre par des intonations et desmimiques parfaitement simulées, l’hommeva être plus enclin que jamais à établiravec un objet non humain une relationsemblable à celle qu’il développe avecses semblables. il le fera d’autant plusque l’objet sera capable de lui donnerl’impression qu’il le comprend en luirépondant de façon appropriée. À telpoint que l’homme pourrait oublier que lerobot simule, et croire qu’il éprouve devraies émotions. Ainsi, une vidéoexpérimentale mise en ligne par lesconcepteurs du robot « Atlas » (qui sedéplace et porte des objets) a suscité devives réactions des internautes, choquéspar le fait qu’un chercheur renversait lerobot avec un grand bâton pour tester sacapacité à se redresser après une chute.Comme si le robot en avait souffert !

Le problème est que si l’homme oublieque son robot n’est qu’une machine quine ressent rien, il peut être amené à semettre en danger pour le protéger. Ainsi,l’armée américaine a pu observer que lessoldats qui utilisent des robots démineurs« interagissent parfois avec eux comme ilsle feraient avec un être humain ou un

animal »2. ils saventtrès bien que cesrobots sont desoutils, mais ils ne

peuvent pas s’empêcher de les traitercomme un animal domestique, voirecomme un autre humain, allant même,

(1) singer P.W. (2009),Wired for War: The roboticsrevolution and Conflict inthe 21 st Century, new York,The Penguin Press.


SOCIÉTÉ



Le rôle du législateur

Les entreprises qui utiliseront l’intelligenceartificielle pour répondre à leurs clientsn’ont aucun intérêt à le dire, et celles quiutilisent l’anthropomorphisme du langagepour vendre des robots qui ont du cœur,comme elles le prétendent, n’ont aucunintérêt non plus à renoncer à cespublicités séductrices. L’état a doncd’abord le devoir d’informer. Celacomporte au moins trois aspects : que lecitoyen sache toujours s’il a affaire à unemachine ou à un humain ; que l’utilisateurd’une machine puisse connaître lesalgorithmes qui la dirigent ; que lescitoyens soient protégés des publicitésmensongères qui vendent des robots enutilisant un discoursanthropomorphe trompeur.

mais en même temps, dans la mesure oùles robots sont appelés à être partoutprésents dans nos vies, dans nosmaisons, nos rues et nos bureaux, il estessentiel d’organiser une largeconcertation autour des problèmes qui nevont pas manquer de se poser. il esturgent de ne pas laisser la seuleresponsabilité des robots, auxquels nousaurons affaire demain, et qui, pour unepart, auront la capacité d’influencer nosdécisions, voire de les prendre à notreplace, aux seuls producteurs de cesmachines. il est essentiel que soit mis enplace un groupe de réflexion et depropositions pluripartites, comportant à lafois des industriels et des chercheurs en

robotique, mais aussi des sociologues,des philosophes, des anthropologues etdes psychologues, sans oublier desreprésentants des diverses religions. ils’agit de déterminer, ensemble, la place àdonner aux machines automatiques dansnos sociétés.

La responsabilité du roboticien

Pour éviter toute confusion, lesconstructeurs peuvent faire en sortequ’une partie de la mécanique du robotsoit toujours visible, afin de nous rappelersa nature de robot. signalons d’ailleursque c’est exactement le choix opposé quiprévaut dans le cas des robotsdomestiques : cacher le plus possible lescâbles, les circuits et les composants durobot ! mais l’essentiel consisterait àconcevoir des programmes dans lesquelsles robots ne seraient pas destinés àremplacer des humains dans lesinteractions, mais à favoriser les contactset les échanges entre les humains. Pour yparvenir, de tels robots n’ont pas besoind’être humanoïdes. C’est ce que j’appelledes robots humanisants.

L'enjeu de l'éducation

L’éducation des enfants doit d’ores etdéjà prendre en compte les données dunouveau monde dans lequel ils vivrontpour les y préparer au mieux. il faut pourcela développer chez eux le goût del’imprévisible et de l’humain, parl’organisation de débats et decontroverses, mais aussi les inciter


SOCIÉTÉ



20

nous voyons que les directivesmachines concernant les robots,aussi importantes soient-elles, ne

résolvent pas tous les problèmes poséspar eux. elles protègent l’homme desdangers matériels et physiques que lesmachines peuvent lui faire courir, maiselles ne le protègent pas des dangersqu’il risque de se faire courir à lui-mêmepar une mauvaise appréciation de ce quesont les robots. Ce sont ces protectionsque nous devons aussi développer,parallèlement aux indispensablesdirectives machines. L’enjeu est lemaintien des repères qui fondent ladifférence entre l’humain et le nonhumain. Ce maintien est la condition pourvivre en paix avec les robots, en leurdemandant tout ce qu’ils peuvent nousapporter, sans jamais attendre d’eux ceque seuls des humains peuvent nousdonner. C’est aussi, rappelons-le, unebase essentielle de l’humanismeoccidental.

constamment à penser la complexité dumonde en prenant en compte desjugements à la fois opposés etcomplémentaires. Les robots seront,selon le titre d’un livre évidemment écritpar un roboticien, « le meilleur ami del’homme », mais ils seront tout autant, eten même temps, les pires mouchards queles humains aient jamais inventés. il nousfaudra apprendre à les considérer dans lemême moment comme des assistantsdévoués et efficaces, mais être capable àtout instant de les débrancher, même sides fabricants ingénieux font en sorte quenous ayons alors l’impression de les tuer !Bref, nous devrons dans le mêmemoment leur faire confiance et nous enméfier. si nous basculions du secondcôté, nous nous priverions de tous lesservices qu’ils peuvent nous rendre, et s’ilnous arrivait de basculer du premier côté,nous aurions tôt fait de les juger commesupérieurs en tous points aux êtreshumains.


Les roBoTs



L’Homocyberneticus

La transformation numérique, par l’effetcumulatif des nouvelles technologies,bouleverse nos modes de vie, nosrapports à la santé, au travail, à lacréation, à la formation, à l’information,etc. Elle bouleverse surtout le rapportde l’homme au monde et avec lui-même. L’homme « augmenté » sera-t-il« diminué » face à des robots quipourraient le dominer ? Que restera-t-ilde son identité, de son autonomie, deson intimité dans un environnement oùtout ce qu’il pensera, dira, fera, utilisera

sera capté, mesuré,évalué et, le caséchéant,automatiquementsanctionné ? Avecla « robolution »,l'homme sera-t-ilservi ou asservi ?Du « robot-homme »à « l'homme-robot », existe-t-il

Lune barrière infranchissable ? Plusque jamais vont se trouver poséesdes questions d’éthique, dedéontologie. La réponse qui leur seraapportée sera déterminante pourl’avenir de l’individu et de la société.

L’homme augmentéL’homo cyberneticus, pour les plusoptimistes, sera un « hommeaugmenté ». Ainsi, le cyberespacepourrait donner des ailes au couranttranshumaniste, dont la doctrine estclairement explicitée, en 1999, dans laDéclaration de l’Associationtranshumaniste mondiale : « 1/ Lestranshumanistes prônent le droit moral,pour ceux que le désirent, de se servir dela technologie pour accroître leurscapacités physiques, mentales oureproductives et d’être davantagemaîtres de leur propre vie. Noussouhaitons nous épanouir entranscendant nos limites biologiquesactuelles.

SOCIÉTÉ

21

par MArc WATIN-AUgOUArD


MArc WATIN-AUgOUArD

directeur du CREOGNFondateur du FICprésident du CECyF


2/ Nous prônons une large liberté dechoix quant aux possibilitésd’améliorations individuelles. Celles-cicomprennent les techniques afind’améliorer la mémoire, la concentrationet l’énergie mentale, les thérapiespermettant d’augmenter la durée de vieou d’influencer la reproduction, lacryoconservation et beaucoup d’autrestechniques de modification etd’augmentation de l’espèce humaine. »

une utopie ? sans doute pas, si l’on seréfère au rapport de mihail rocco et deWilliam Bainbridge sur les Technologiesconvergentes pour l’amélioration de la

performancehumaine1 publié, en2002, par la national

science Foundation (nsF) de Washingtonet le Département du Commerceaméricain. Ces technologies, regroupéessous l’acronyme nBiC, sont lesnanotechnologies, les biotechnologies,l’informatique et les sciences cognitives,dont l’intelligence artificielle et les

sciences ducerveau2. Pour lansF, « Une théorie

computationnelle de l’esprit peut nouspermettre de développer de nouveauxoutils pour guérir ou maîtriser les effets

(2) Des puces inspirées ducerveau humain donnerontde « l’intelligence » auxobjets connectés.

(1) Converting Technologiesfor improving humanPerformance, juin 2002,www.wtec.org.

22

La techno-médecine et la technologie numérique laissent entrevoir un homme augmenté dont oncompensera les insuffisances physiques et mentales.



L’homo CYBerniTiCus


des maladies mentales. Elle seracertainement à même de nous fournir uneappréciation plus profonde de ce quenous sommes et sur la place que nousoccupons dans l’univers. Comprendrel’esprit et le cerveau nous permettra decréer une nouvelle espèce de machinesintelligentes, capable de produire unerichesse économique sur une échellejusqu’alors inimaginable. L’ingénierie del’esprit est donc beaucoup plus que lapoursuite d’une curiosité scientifique,beaucoup plus qu’un monumental défitechnologique. C’est l’occasiond’éradiquer la pauvreté et d’ouvrir un âged’or pour l’humanité tout entière ».

La recherche de l’homme « augmenté »n’est plus de la science-fiction, ni le fruitdes élucubrations d’originaux, mais unaxe de réflexion et d’action pour lesservices et organismes les plus sérieux.

Google a bien compris cette opportunité.L’entreprise de mountain View, quecertains prennent encore pour un simplemoteur de recherche, a bien d’autresambitions qui s’affichent dans l’acquisitionou la création d’entreprises nBiC, leparrainage de la singularity university, quiforme des spécialistes nBiC, et lacréation en 2013 de Calico, start-up qui apour objectif d’augmenter la durée de la

vie de vingt ans d’icià 2035… Google,que le visionnaireray Kurzweil3 arejoint, en 2012,

(3) ray Kurzweil a inventé leconcept de « singularitétechnologique », selon lequelà partir d’un certain niveautechnologique, les progrèsde la civilisation serontexclusivement le fruit del’intelligence artificielle.

pour travailler sur l’apprentissageautomatisé et le traitement du langage,annonce pour 2060 l’avènement d’uneintelligence supérieure à l’intelligencehumaine.

Le projet Avatar 2045 du milliardaire russeitskov Dmitri donne une idée de l’ambitionpharaonique qui guide lestranshumanistes rassemblés lors duCongrès international « Global Future2045 », en juin 2013, à new York. Lecalendrier est explicite :

entre 2015 et 2020, réalisation d’unecopie robotique du corps humain

23

UN pEU dE pOÉSIE

« Je ne veux pas vivre dans un tel monde. Jeveux pouvoir toucher une fleur qui éclot et lasentir. Je veux pouvoir serrer quelqu’un dansmes bras et lui dire que je l’aime, face à face.Je veux regarder le soleil se coucher avec unelarme coulant le long de ma joue. Je veuxpouvoir sentir la brise sur mon visage, sentir lefumet d’un repas qui se prépare. Je veux mesentir connecté de façon humaine. Je ne veuxpas être assis dans un costume gris pendantqu’on m’explique ce qui est cool, dans un hallà air conditionné illuminé de leds, où desappareils électroniques enregistrent chaquemouvement de mes yeux. Être humain, c’estêtre libre ».

Réaction sur internet suite à la publication, le21 février 2016, sur le compte Facebook deMark Zuckerberg, d’une photo le montranttraverser une foule assise avec un casque deréalité virtuelle devant les yeux.





Tout cela doit être pris au sérieux. Lepremier salon transhumaniste TransVision2014 s’est tenu en France du 20 au22 novembre 2014. Didier renard,premier diplômé français de la SingularityUniversity, déclare : « Bientôt vouspourrez sauvegarder votre mémoirecérébrale sur un support électronique. Cejour-là, vous aurez envie d’un cloudsouverain, un coffre-fort inviolable devotre identité géré par des organisationsqui auront le sens de l’État avant d’avoircelui des affaires. Nous n’avons pas lesressources financières et humaines pourproposer un projet de société alternatif,cela dépasse clairement notre mission.Mais nous avons l’ambition d’être cerefuge quand cela sera nécessaire. D’icilà, l’État devra avoir défini l’acceptable,l’éthique et le responsable, le tout dansun cadre législatif et juridique imposé à

tous, y compris, etbon gré mal gré, auxlibertariens et autrestranshumanistes quiveulent nous imposerleur propre vision duprogrès et del’humanité 6».

La « robolution » : l’homme servi ouasservi ? du « robot-homme » à« l'homme-robot »Avec la transformation numérique, larobotique connaît une impulsion sansprécédent. mais le robot sera-t-il unauxiliaire de l’homme, l’égal de l’homme

(6) interview, Le Point,9 octobre 2014.

(7) robotique de services :« La France est la Californiede l’europe ». Le Parisien, 5mars 2014.

(8) Auteur de La mort de lamort, editions JC Lattès,2001, interview Journal duDimanche, 8 février 2014.

contrôlée à distance par une interactioncerveau-ordinateur ;

entre 2020 et 2025, création d’un avatardans lequel un cerveau humain pourraêtre créé : un cerveau biologique dans uncorps artificiel ;

entre 2030 et 2035, création d’un avataravec un cerveau artificiel dans lequelpourra être transplantée la personnalitéd’un être humain à la fin de sa vie ;

entre 2040 et 2045, création d’un avatarhologramme…

si l’augmentation par l’informatique et latechno-médecine demeure dans lechamp de l’humain, dès lors qu’il s’agitde réparer des organes défaillants ou defaciliter la mobilité (exosquelette), lesévolutions escomptées sont d’un tout

autre ordre4. ellesauront pourconséquence, si l’onn’y prend garde, unchangement radicalde l’humanité.Comme le soulignele philosophe Jean-

michel Besnier, « on est en train depréparer une humanité à deux vitesses.La fracture ne sera plus entre le nord et lesud, mais au sein même des sociétés5 ».Qui va-t-on augmenter ? A quel coût ?selon quel choix ? « Être ou ne pas êtreaugmenté, voilà la question ! ».

(4) Voir le filmTranscendance, sorti le 25juin 2014 : singularité,croyance que la consciencedes machines va bientôtémerger (2029), l’hommevivra alors 1000 ans ou plusmais il sera un sous-homme.

(5) « Transhumanisme : versune guerre des mondes »,Libération, 26 mars 2014.






RÉFÉRENCES

« Qui sera le successeur de l’Homme ? Laréponse est que nous créons nos propressuccesseurs. L’Homme deviendra pour lesmachines ce que le cheval et le chien sont àl’Homme ».

Samuel Butler, 13 juin1863, The Press, sous lepseudonyme de Cellarius

« Dans peu d’années, les cerveaux humains etles ordinateurs seront reliés très étroitement etce partenariat permettra la création d’unepensée nouvelle et d’un traitement de donnéessans rapport avec celui que nous connaissonsaujourd’hui ».

John C.R. Licklider “Man Computer Symbiosis”

« Les gens ne se rendent pas compte que lesrobots vont les remplacer »

Bill Gates

« A l’horizon 2030, nous pouvons imaginer dessystèmes complètement automatisés decréation et fourniture de services dans uncontexte multifournisseurs. Suite à la demandede service d’un usager, le système seraitcapable de la décomposer dans des servicesélémentaires (ce qui inclut la connectivitéréseau), de découvrir qui fournit cescomposants et de choisir les fournisseurs enfonction de divers critères extraits de lademande de l’usager (qualité, sécurité, prix),d’orchestrer et de composer le service, denégocier avec les parties l’allocation nécessairedes ressources, de surveiller le service enfournissant à l’usager des informations sur laqualité et les performances et d’adapterdynamiquement le service en fonction del’évolution des usages, en particulier de lacharge »

La dynamique d’internetProspective 2030Commissariat général à la stratégie et à la prospective

« La robotique de service existe dans deuxcatégories, personnelle et professionnelle. Il y adéjà le robot aspirateur et le robot médical.L’industrie est passée aux machinesintelligentes et collaboratives. La transformationde cette robotique de service va toucher lesaspects de notre quotidien, comme l’apparitionde robots dans la logistique ou les transportsavec les drones. Des robots agricoles sont encours de développement pour trier lesmauvaises herbes ou traire les vaches. Denouveaux robots pour la maison, tels que lesrobots de présence pour surveiller despersonnes âgées ou des handicapés arriverontd’ici 2 à 5 ans ».

Bruno Bonell, président du syndicat français de larobotique 7

« La bataille entre le microprocesseur et leneurone a commencé et l’intelligence artificiellearrive à grand pas. Selon la loi de Moore, lapuissance informatique double très rapidement.Le nombre d’opérations réalisées par les plusgros ordinateurs est multiplié par mille tous lesdix ans et donc par un million en vingt ans. En1950, un ordinateur effectuait mille opérationspar seconde. Aujourd’hui, on atteint trente-troismillions de milliards d’opérations par seconde.Ce sera mille milliards de milliards en 2029 !Autour de 2040 émergeront des machinesdotées de la capacité du cerveau humain. Etd’ici à la fin du siècle, elles nous dépasseront enintelligence, ce qui poussera l’homme à vouloir« s’augmenter » par tous les moyens. Imaginezsi de tels robots, plus forts que nous, ayantaccès à l’intelligence artificielle et à l’impression3D, connectés et contrôlant internet existaient…leur pouvoir de manipulation serait quasiillimité. »Laurent Alexandre8




humain avec un système de typeneuronal. Le programme informatique seperfectionne sans intervention del’homme par un apprentissage non

supervisé9. selonYann Le Cun10, « Latechnologie du deeplearning apprend àreprésenter lemonde. C'est-à-direcomment la machineva représenter laparole ou l’image ? ».

on peut attendre de ces robots« intelligents » des progrès considérablesdans le domaine de l’assistance auxpersonnes, de la sécurité, de lasurveillance, tant du point de vue qualitatifque du point de vue quantitatif.

Par exemple, Dubaï envisage de mettreen œuvre des patrouilles de robotspoliciers autonomes dans les centrescommerciaux et d’autres lieux lors del’exposition universelle de 2020… enjuillet 2016, à Dallas, pour neutraliser

(9) Dans un apprentissagesupervisé, l’homme corrigela machine lorsqu’ellecommet une erreur.

(10) Yann Le Cun, chercheuret directeur du laboratoire derecherche en intelligenceartificielle de Facebook,professeur invité sur laChaire informatique etsciences numériques.« L’apprentissage profond :une révolution en intelligenceartificielle » , leçoninaugurale au Collège deFrance, 4 février 2016.

« Même si un jour on construit des systèmespar certains aspects plus complexes ouperformants que les humains, ils vont êtreconstruits pour des tâches spécifiques. Onassocie trop souvent l’intelligence artificielleaux qualités et aux défauts humains. Il n’y aaucune raison que les machines que l’hommeconcevra aient comme lui des désirs, despulsions et des défauts ! ».Yann Le Cun

ou supérieur à l’homme ? Tel est l’enjeumajeur de la « robolution » que nousallons vivre.

Les robots en quête d’autonomie

La robotique est déjà entrée enapplication, notamment dans l’industrie.La France bénéficie d’ailleurs d’unecapacité d’innovation reconnue dans lemonde qui a motivé la création, en mars2014, du fonds d’investissement capital-risque « robolution Capital » pourfavoriser le développement d’une filière.

Comme le souligne Bruno Bonnell,initiateur du fonds, tous les secteurs vontêtre touchés par cette forme d’intelligenceapportée aux machines. Le robotclassique a permis de libérer le travail destâches les plus répétitives et d’améliorerla qualité du produit fini. Le robot du futuraura une tout autre performance.s’effectuera en effet, le passage de lagénération des robots Automatesprogrammés industriels (APi) à celle desrobots dotés d’une intelligence artificielle,capables d’apprendre eux-mêmes grâceà un processus d’apprentissageautomatique et d’accomplir des tâchesque ne peuvent autoriser les traitementsalgorithmiques classiques. C’est ce quel’on appelle le machine learning quis’appuie notamment sur le traitement demégadonnées. Le deep learning(apprentissage en profondeur) est uneforme encore plus élaborée de machinelearning qui veut agir comme le cerveau





l’auteur du meurtre de cinq policiersretranché dans un parking, la policeaméricaine a fait usage d’un robot

télécommandééquipé d’unexplosif11. il s’agitvraisemblablement

d’un robot déjà utilisé par l’arméeaméricaine en irak. Certes, enl’occurrence, il s’agit d’un engindépendant de l’action humaine, puisquetélécommandé, mais on peut imaginerdemain des robots entrant en actionproprio motu. Cette utilisation offensived’un robot renvoie au rapport, publié le

9 mars 201512, parl’ONG Human RightWatch et l’universitéd’harvard13, quidemande à l’onu dese saisir de la

question des robots « tueurs » pour définirla responsabilité juridique : l’état, lefabricant, une tierce personne ? Le Centrede recherche des écoles de Coëtquidan(CreC) approfondit la réflexion sur larobotique du champ de bataille,notamment avec le Combat StudiesInstitute de l’US Army.

Vers un statut juridique du robot ?

Le robot va-t-il remettre en cause tous lesprincipes sur lesquels reposentaujourd’hui les règles de responsabilitécivile ou pénale et créer desdéséquilibres, notamment financiers ?

(12) mind the Gap : YheLack of Accountability forKiller robots.

(13) Clinique des droitshumains internationaux de laFaculté de droit del’université d’harvard.

(11) L’entreprise israélienneGeneral robotics Ltd a misau point Dogo, robot armépour les opérationsspéciales.

en mai 2016, madyDelvaux14 a déposéun rapport, àdestination de laCommissioneuropéenne, relatif à

un projet de directive sur les règles dedroit civil de la robotique. Parce que « ledéveloppement de la robotique et del’intelligence artificielle pourrait avoir pourconséquence l’accomplissement par desrobots d’une grande partie des tâchesautrefois dévolues aux êtres humains »,elle préconise, en particulier, de leur fairepayer des cotisations sociales à la placedes humains dont ils auront pris l’emploiet de créer un revenu universel de basepour tous ceux qui n’auront plus accèsau marché de l’emploi. La députéeeuropéenne considère que « grâce auximpressionnants progrès de la techniqueau cours des dix dernières années, nonseulement les robots contemporains sontcapables de mener à bien des tâches quirelevaient autrefois exclusivement de lacompétence humaine, mais encore que lamise au point de fonctionnalitésautonomes et cognitives (comme lacapacité de tirer des leçons del’expérience ou de prendre des leçonsindépendantes) rapprochent davantageces robots du statut d’acteursinteragissant avec leur environnement etpouvant le modifier de manièresignificative ; que dans un tel contexte , laquestion de la responsabilité juridique encas d’action dommageable d’un robot

(14) mady Delvaux,eurodéputéeluxembourgeoise, rapport2015/2013 (inL) contenantdes recommandations à lacommission concernant desrègles de droit civil de larobotique, Commission desaffaires juridiques, 31 mai2016.





28

humaine, les robots franchiront le seuil desingularité technologique. maîtreBensoussan souligne que les robotspeuvent être des « concentrateursd’intimité »20, capables de capter, traiter,échanger des données à caractèrepersonnel et notamment médicales despersonnes qu’ils assistent. Le robotdevrait, selon lui, avoir un nom et mêmeun genre, avec un numérod’immatriculation21. Cette personnalitérobotique est contestée par d’autresjuristes qui considèrent que les règles dedroit existantes sont suffisantes et qu’unetelle disposition aurait pour effet de

déresponsabiliserleurs propriétaires22.

La premièreapproche noussemble plusconforme à uneréalité qui se dessineet qui ne relève pasde l’utopie ! Laréflexion relative au

droit civil peut être élargie à laresponsabilité pénale. La multiplication demachines dans l’espace public,notamment avec des liaisons sans fil,peut engendrer le risque d’une prise decontrôle malveillante ou d’un accident :qui sera responsable pénalement ? Leconcepteur, le fabricant, celui qui l’aacquise, celui qui l’utilise, ou le robot ?Lors d’une exposition « The Darknet :From Memes to Onionland » qui s’est

(21) Le numéro insee deshommes commence par 1,celui des femmes par 2. Lerobot aurait un numérod’identification commençantpar 3. mady Delvauxpropose une immatriculationdans un registre spécifiquede l’union.

(22) matthieu Bourgeois etAnnita Bonnedjoum, « Créerune personnalité juridiquepour les robots esttotalement inutile », inL’usine nouvelle, 11 février2015.

devient cruciale ».Faut-il un droit « desrobots » ou un droit« pour les robots » ?en appelant « àtrancher la questionfondamentale del’octroi ou non d’unepersonnalité juridiqueaux robots », madyDelvaux donne unerésonance à laposition d’AlainBensoussan, avocatspécialisé dans lesnouvellestechnologies, qui, lepremier, a réclamécette personnalitéjuridique pour lesrobots, à l’instar de

celle attribuée aux personnes morales15.Aujourd’hui « objets de droits16 », ilsdoivent, selon lui, devenir « sujets dedroit » ou, au moins, relever d’un droitspécifique17, car les robots, contrairementaux automates, possèdent une formed’intelligence, de capacité decompréhension, voire de perception dessentiments18. ils peuvent, de ce fait,acquérir une autonomie qui leur permetde prendre des décisions à caractèrejuridique, par action ou abstention etdonc être à l’origine d’un préjudice qu’ilfaudra couvrir19. Lorsque l’intelligenceartificielle générera une nouvelleintelligence artificielle sans intervention

(15) Alain Bensoussan,Jérémy Bensoussan, Brunomaisonnier, olivier Guilhem,Droit des robots, collectionLexing, éditions Larcier,juillet 2015.

(16) Alexandra Bensamoun,Les robots : objetsscientifiques, objets dedroits, mare et martin, février2016.

(17) Grégoire Loiseau,matthieu Bourgeois, Lasemaine juridique, editionGénérale, 24 novembre2014, n°48.

(18) Alain Bensoussan,interview dans « esprit deJustice », France-Culture, 23octobre 2014. AlainBensoussan a fondél’Association du droit desrobots (ADDr).

(19 Dans son rapportprécité, mady Delvauxpropose la mise en placed’un régime spéciald’assurance, d’un fonds decompensation.

(20) Alain Bensoussan,« data security and privacyen matière de robot », inrevue de la gendarmerienationale, n°155.





interfaces (Brain Computer Interfaces). Ledialogue homme/machine pourraits’accompagner du transfert del’intelligence humaine vers cette dernière.Le téléchargement de l’esprit (MindUploading) vise à transférer le contenud’un cerveau humain sur un ordinateur, sadématérialisation dans le cloud et saréimplantation dans un robot. Tel estl’objectif du projet Blue Brain lancé en2005 par l’école Polytechnique deLausanne.

mais, les capacités n’étant pas limitées(semble-t-il), la machine pourrait devenirplus intelligente que l’homme. Ces robotsseront-ils “humains”, capables d’avoir desémotions, de percevoir celles despersonnes, d’exprimer des sentiments ?

Pour ray Kurzweil, les robots serontproches des humains en 2029…selon lui,ils seront « capables d’intelligenceémotionnelle, d’être drôles, decomprendre des blagues, d’être sexy,aimants et de comprendre l’émotion

29

tenue à Zurich du 5 au 11 janvier 2015,deux artistes suisses du mediengruppeBitnik ont présenté un robot automatisé« Random Darknet Shopper » qui fait desachats sur le Darknet, sur le siteAlphaBay, à travers le réseau Tor, avecun budget de 100 dollars en bitcoins parsemaine. Certaines de ces acquisitions,livrées et exposées au Kunst hallest.Gallen, soulèvent évidemment desproblèmes de droit : un sac Louis Vuittonou un polo Lacoste contrefait, 10 pilulesd’ecstasy, des cigarettes de contrebande,un faux passeport hongrois, etc. Qui estresponsable pénalement ? Les artistes quiont mis le robot en situation d’accomplirun acte illicite ? Aujourd’hui, sans aucundoute, même si la justice leur a finalementrendu leur robot confisqué, mais qu’ensera-t-il demain si le robot acquiert unevéritable autonomie, grâce à l’intelligenceartificielle qui lui donnera une capacité dediscernement, élément clef de laresponsabilité pénale ? De même qu’ilexiste une responsabilité pénale despersonnes morales, on peut imaginer uneresponsabilité pénale des personnesélectroniques. un robot devant des juges,au pénal comme au civil, est-ce une vue

de l’esprit ou uneréalité dans les dixprochainesannées23 ?

L’homme remplacé ?La « robolution » va créer la symbioseentre l’homme et la machine, grâce à des

(23) Lors d’une conférence àl’école nationale de lamagistrature, le 16 octobre2014, nos propos en cesens ont reçu un accueil quimêlait incrédulité et ironie….


LES TROIS LOIS d’ISAACASIMOV (ROMANCIER)

-Un robot ne peut porter atteinte à un êtrehumain, ni, restant passif, permettre qu’un êtrehumain soit exposé au danger ;- Un robot doit obéir aux ordres que lui donneun être humain, sauf si de tels ordres entrenten conflit avec la première loi ;- Un robot doit protéger son existence tant quecette protection n’entre pas en conflit avec lapremière ou la deuxième loi.




30

positronique ». en 1948, dans Leshumanoïdes, Jack Williamson, appliqueles trois lois aux robots qu’il met enscène. Près d’un demi-siècle plus tard,Asimov ajoute la “zéroième loi“, par

l’intermédiaire durobot Daneelolivaw26 : « Un robot

ne peut porter atteinte à l’humanité, ni,restant passif, permettre qu’un êtrehumain soit exposé au danger ». en 2014,le chercheur en robotique Alan Winfield aexpérimenté la première loi d’Asimov enplaçant un robot devant un trou pourempêcher d’autres robots de tomberdedans. L’expérience montre que le robotest confronté à des difficultés de choixdès que le nombre de robots à protégeraugmente.

Vers une cyberéthique ?L’homme « augmenté » sera-t-il, en vérité,un homme diminué, asservi ? Au-delà dudroit, la « robolution » soulève desquestions existentielles qui relèvent del’identité de l’homme, de son unicité, desa capacité à décider de manièreautonome. Comme l’affirme Gilles

Babinet27, « lescritiques à l’égard deKurzveil ou de lalogique libertarienne

et utilitariste en vogue outre Atlantiquen’auront de pertinence que si nousparvenons à être capables de leuropposer un modèle qui ne soit pas, d’unefaçon ou d’une autre, un refus manichéen

(26) isaac Asimov, Lesrobots et l’empire, J’ai lu,1985.

(27) Gilles Babinet,conférence Changer d’Ère,Cité des sciences, 6 juin2014,www.gillesbabinet.com.

humaine24 ». Le27 juin 2015, deuxrobots japonais,Frois et roborin, ontété « mariés » selon

le rite traditionnel avec comme témoinPepper, un autre robot. softbank, lefabricant japonais de Pepper, conçu parla société française Aldebaran robotics,stipule dans le manuel d’instruction qu’ilest interdit d’avoir des comportementssexuels et indécents avec son robot…mais l'entreprise canadienne AbyssCreation a annoncé qu'elle allait mettre

sur le marché un« robot sexuel » en201725.

Asimov, le prophète

Prophète, Asimov, auteur américaind’origine russe, l’est sans doute, car leslois qu’il énonce semblent écrites pour leXXie siècle. elles viennent en réaction àl’image du robot tueur véhiculée par lascience-fiction des années trente. Pourlutter contre le complexe de Frankenstein,il publie, en 1940, un roman, robbie, quia pour héros un robot sympathique etnoble qui s’occupe d’un enfant. Asimovécrit des nouvelles pour le magazineAstounding Science Fiction, dirigé parJohn Campbell. De leur dialogue va naîtrela question des relations entre l’homme etle robot au travers de la formulation detrois lois, exposées dans la nouvellerunaround (1942), et qui doivent « êtreintégrées au plus bas niveau du cerveau

(24) ray Kurzweill, interviewdans Wired, avril 2013. Voirégalement ray Kurzweeil,The singularity is near:When humans TranscendBiology, new York, Penguin,2005.

(25) Le sexe avec desrobots, cela pourraitcommencer dès 2017.huffington Post, 22décembre 2016.





de la modernité ». Pour stephenhawking, astrophysicien britannique,enseignant à Cambridge, l’intelligenceartificielle menace le genre humain : « Lesformes primitives d’intelligence artificielleque nous avons déjà se sont montréestrès utiles. Mais je pense que ledéveloppement d’une intelligenceartificielle complète pourrait mettre fin à larace humaine. […] Une fois que leshommes auraient développé l’intelligenceartificielle, celle-ci décollerait seule et se

redéfinirait de plus en plus vite. Leshumains, limités par une lente évolutionbiologique, ne pourraient pas

rivaliser et seraientdépassés »28. Lorsde la conférence

Zietgeist 2015, à Londres, il ajoute « nousdevons absolument nous assurer que lesobjectifs des ordinateurs sont les mêmesque les nôtres ».

on ne peut, de toute évidence arrêter leprogrès, mais il existe déjà des situationscontemporaines pour lesquelles le droitpénal met un coup d’arrêt auxapplications scientifiques les plus folles.entre ce que l’on sait faire et ce que l’on ale droit de faire, il peut exister un écart,celui établi par la loi et, toutparticulièrement dans le cas qui nousintéresse, par le respect de principesgénéraux qui transcendent les choix etleur confèrent une légitimité. Depuis la loidu 6 août 2004, le code pénal contientdes dispositions relatives à la bioéthiquemédicale. il interdit, par exemple, leclonage d’êtres humains ou certaines

recherches surl’embryon29. il y aurasans doute dans

quelques années un chapitre du codepénal consacré à la « cyberéthique ». Cechapitre pourrait notamment comprendreles infractions à la loi informatique etliberté de 1978 qui sont déjà des règlesd’éthique. Dans sa déclaration du25 novembre 2014 (art.3), le G29

(28) stephen hawking,entretien sur la BBC, 2décembre 2014.

(29) stephen hawking,entretien sur la BBC, 2décembre 2014.


Une intelligence artificielle à capacitécognitive dépasse rapidement les capacitéshumaines.




mais il ne suffit pas de créer ledroit, il faut aussi le faireappliquer, tâche beaucoup plus

complexe dans le monde immatériel quedans le monde réel. Paraphrasantmalraux on pourrait affirmer que « Le XXIe

siècle sera celui de la cyberéthique ou nesera pas ! ».

souligne que la technologie est un moyenqui doit demeurer au service de l’homme :« Le fait qu’un traitement de données soittechniquement faisable, qu’il puisseparfois révéler des informations utiles aurenseignement ou permettre ledéveloppement de nouveaux servicesn'implique pas qu’il soit de ce faitacceptable sur les plans social et éthique,ni qu’il soit raisonnable ou conforme à laloi » (article 3 de la déclaration). Lacyberéthique rejoindra la bioéthique cardes recherches sont égalemententreprises par des israéliens et desaméricains pour développer un ordinateurbiologique, fabriqué à partir de matérielhumain, de l’ADn et de l’Arn. Le« transcriptor », nom donné au transistorbiologique, permet de créer un ordinateurdans une cellule vivante. selon Drewendy, responsable de la recherche, « lesordinateurs biologiques peuvent êtreutilisés pour étudier ou reprogrammer lessystèmes vivants, surveillerl’environnement et améliorer les thérapies

cellulaires30 ».(30) « L’ordinateur biologiquea enfin son transistorbiologique ! » sciences-mag,29 mars 2013.





Quis custodiet ipsos custodes ?Qui gardera les gardiens ?

Telle est du moins la question que mevient à l’esprit - je confesse de façonassez instinctive - quand on me parlerobot(s), robot(s) autonome(s),Intelligence Artificielle.

De culture professionnelle technique etscientifique, l’intelligence Artificielle que jeperçois, par ailleurs nécessaire àl’évolution technologique que nous vivonsde nos jours, est dans la légitimité deschoses. Le point qui m’interpelle pour enrevenir aux robots, de surcroît dans uneperspective de robot autonome, est quel’intelligence Artificielle doitnécessairement reposer sur un postulat

mathématiqueformalisé dans uncode, donc undéveloppementlogiciel, qui lui, vafaire évoluer sastructure interne parauto-apprentissaged’un contexte.

Tnous touchons donc par essence à lanotion d’intelligence en elle-même,avérée (en tant que champs despossibles) artificiellement par larésultante mécanique opérationnelled’une séquence logicielle.

Ce qui m’amène, déformationprofessionnelle oblige, à m’interroger surla qualité du développement logiciel qui,rappelons-le, ne constitue(ra) que ce quenous, humains, nous souhaitons qu’ilfasse. Avec certes toutes nos qualités…mais aussi avec tous nos défauts.

Les langages de développement vontévoluer c’est indéniable, et par là-mêmela qualité de service qui y seraassociée… pour faire fonctionner ce quenous concevons être aujourd’hui unrobot. Ce terme de robot perdurera-t-il ?Je pense qu’il évoluera lui aussi deconcert avec l’évolution technologiquedont il est tributaire. sujet philosophiques’il en est.


33

par LUDOvIc PETIT


LUDOvIc PETIT directeur Cyber Sécuritédu Groupe Altran,chercheur au CREOGNRéserve citoyenne


La faculté d’autonomie d’un robot estdonc intimement liée à l’intelligenceArtificielle qui, à mon sens, n’en est qu’àses balbutiements, tant d’un point de vuemathématique que technologique. Lechamp des possibles est donc vaste,vraiment vaste, avec pour seules limitescelles que nous souhaiterons.

il est un champ des possibles qui mériteréflexion : comment maîtriser la créationd’une intelligence… par une autre ? end’autres termes et pour revenir au titre decet essai, qui va – et comment – contrôlercette intelligence ? Le code initial qui seradéveloppé pourra bien évidemment êtreconçu à dessein, avec un panel depossibilités fonctionnelles déterminées,mais l’intelligence embarquée sera-t-ellesuffisamment bien codée, pour en assurercontrôle, gestion et maîtrise ? Larésultante de fonctions mathématiquestranscrites en langage logiciel abondant

en une action mécanique sera-t-elletoujours la même, en tant qu’approche,code et structure ? J’en doute.

Telle est la question… entre beaucoupd’autres.

interrogeons-nous maintenant sur lafaculté d’autonomie d’une entitérobotique, donc sur l’intelligencenécessaire à son fonctionnementautonome.

La commission des affaires juridiques duParlement européen a récemment adopté(en janvier 2017) un projet de résolutionréclamant de la Commission des règleseuropéennes en matière de droits desrobots. Le texte prévoit de « créer lestatut de personnes électroniques pourles robots autonomes les plussophistiqués, impliquant des droits et desobligations spécifiques ». Des « droits del’homme » pour les machines, en somme.

34

L’Intelligence artificielle modifiera notre approche conceptuelle de nos modèles mathématiques.

Foto

lia



Quis CusToDieT iPsos CusToDes ? Qui GArDerA Les GArDiens ?


Le mot est lâché, « personnesélectroniques » !

stephen hawking, génie de notre temps,physicien théoricien et cosmologistebritannique, a récemment exprimé sonpoint de vue qui a fait débat : « Est-ceque l’Intelligence Artificielle va sauver outuer le genre humain ? », « L'IntelligenceArtificielle pourrait être la pire chose pourl'humanité ».

L’intelligence Artificielle va sauver desvies, dans nombre de secteurs d’activités,médical y compris. C’est donc en soi uncomplément à ce que nous, humains,pouvons accomplir au quotidien. Avons-nous une aversion (naturelle ?) pour lerisque ? sûrement ! identifie-t-onl’autonomie d’un robot comme un risqueen soi ? Certes, mais nous nous devonsd’en adapter l’évolution à notre conditionsociétale.

A noter que les membres du Parlementbritannique du Comité de la science et dela technologie souhaitent un examenminutieux de l'impact éthique, juridique etsociétal probable de l’émergence de cestechnologies, ce qui est légitime.

elon musk, PDG de la société Tesla, adéclaré que l'intelligence Artificielle était laplus grande menace pour la survie de larace humaine.

Comment les langages logiciels vont-ilsévoluer ? Ce sujet n’est-il pas en fait l’undes enjeux majeurs de notre temps ?

L’intelligence Artificielle n’est-elle pas, infine, déjà nécessaire pour faire évoluer lesmodèles de compréhensionmathématiques et logiciels, afin d’enadapter l’usage ? Cette évolution impliqueune remise en question de notre propreapproche à matérialiser cette évolutionconceptuelle.

une brève incise à propos de ce que l’onappelle sécurité des systèmesd’information, afin de matérialiser monpropos relatif au monde numérique danslequel nous vivons : le début des années2000 a l’émergence de nouveauxconcepts de modèles de fonctionnementinformatiques appelés réseauxAutonomes, dont iBm a d’ailleurs été undes précurseurs. Le concept était (et esttoujours) pour un type de réseau d’êtrecapable de s’auto-configurer et dedélivrer un service basé sur les ressourcescontextuelles. Ce même concept a,depuis, été adopté dans une approchesécurité par les éditeurs de logiciels. maisnous n’en sommes véritablement qu’auxprémices, les éditeurs rivalisent à proposde solutions embarquant de l’intelligenceArtificielle. Comme nous pouvons leconstater, le concept de robot Autonomeest aussi affaire d’entité logicielle. et ceconcept va grandissant, tout comme ilnous faudra faire évoluer le cadre légal etréglementaire en conséquence, enfonction des usages, des droits et desdevoirs.





nous avons brièvement abordé le statutde personnes électroniques pour lesrobots autonomes les plus sophistiqués.ne sommes-nous pas déjà dans la réalitédes faits, au carrefour de la science et dece que nous considérions jusqu’alorscomme de la fiction ?

« Connecto, ergo sum. », lâcha l’entitérobotique autonome.

« Quis custodiet ipsos custodes ? », luirépondit l’autre entité artificielle.

sommes-nous suffisamment sages pournous engager sur une telle voie ?

Les débats sont ouverts, le champ despossibles considérable, les enjeux sontmajeurs !

et de nous rappeler ce qu’Albert einsteindisait : « Artificial intelligence is no matchfor natural stupidity ». (« L'intelligenceartificielle ne correspond pas à la bêtisenaturelle. »)

A méditer.

Ps : peut-on coder une émotion ?... Vaderetro, satanas ! Vade retro !


L’AUTEUR

Professionnel de la lutte contre lacybercriminalité et de la lutte contre la fraude,Ludovic PETIT est Directeur Cyber Sécurité duGroupe Altran, chercheur associé au Centre deRecherche de l’Ecole des Officiers de laGendarmerie Nationale (CREOGN), membre dela Réserve Citoyenne Cyberdéfense et Auditeurdu Centre des Hautes Etudes du Cyberespace(CHECy).

Références

Projet de rapport contenant desrecommandations à la Commission concernantdes règles de droit civil sur la robotique :

http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//NONSGML+COMPARL+PE-582.443+01+DOC+PDF+V0//FR

« Est-ce que l’Intelligence Artificielle va sauverou tuer le genre humain ? »

http://www.bbc.com/news/technology-37713629

« L'Intelligence Artificielle pourrait être la pirechose pour l'humanité »


Les humains ont besoin de nouvellescompétences pour le monde post-IntelligenceArtificielle


Robot, définition Larousse

Appareil automatique capable de manipulerdes objets ou d'exécuter des opérations selonun programme fixe, modifiable ou adaptable.

http://www.larousse.fr/dictionnaires/francais/robot/69647

Autonomie, définition Larousse

Capacité de quelqu'un à être autonome, à nepas être dépendant d'autrui ; caractère dequelque chose qui fonctionne ou évolueindépendamment d'autre chose.http://www.larousse.fr/dictionnaires/francais/autonomie/6779




Hawking ou MontesquieuÀ qui se fier pour encadrer les systèmesd’armes létaux autonomes

Mi-décembre 2016, après deux annéesde travaux, la cinquième conférencechargée de l’examen de la Conventionsur certaines armes conventionnelles(CCW) se prononçait en faveur de lacréation d’un groupe d’expertsgouvernementaux chargés d’étudier laquestion des Systèmes d’armes létauxautonomes (SALA). La CCW traitant desarmes inhumaines, il n’était pasillogique qu’elle soit appelée à sepencher sur des systèmes militairesprésentés par leurs adversaires commecapables d’identifier une cible et deprendre la décision de la détruire sans

aucune autre formed’interventionhumaine.

L’initiative des travauxmenés à Genèverevient en très largepart à desorganisations nongouvernementales

Mcomme HumanRights Watch1 ouArticle 362 quianime la Campaignto Stop KillerRobots. Parmi lesfigures tutélaires decette campagne setrouve notammentstephen hawking.Dans plusieurstribunes largementrelayées, le célèbreastrophysicien met

en garde l’humanité contre les dérivespossibles de l’intelligence artificielle3 et ilest l’un des premiers signataires de lalettre ouverte du Future of Life Institutepréconisant l’interdiction des KillerRobots4. Le débat est-il alors clos parcet argument d’autorité ? Peut-être pascar, à l’éminent patronage du membre àvie de l’Académie pontificale dessciences et à l’interdiction qu’il promeut,

(1) hrW, Losing humanity.The Case Against Killerrobots, 2012,https://www.hrw.org/report/2012/11/19/losing-humanity/case-against-killer-robots

(2)http://www.article36.org/issue/autonomous-weapons/.

(3) interview à la BBC ;« The development of fullartificial intelligence couldspell the end of the humanrace. », 2 décembre 2014,http://www.bbc.com/news/technology-30290540.

(4) Pour le texte de la lettreouverte :https://futureoflife.org/open-letter-autonomous-weapons/.


37

par DIDIEr DANET


DIDIEr DANET pôle « Mutations de laConflictualité »Centre de recherche desécoles de Saint-CyrCoëtquidan


il est possible d’opposer une figure nonmoins prestigieuse, montesquieu pourqui, s’il arrive qu’il faille changer la loi, « iln’y faut toucher que d’une main

tremblante »5. or, lespromoteurs del’interdiction des« Killer robots » nesemblent pas avoir

entendu l’avertissement de l’auteur de“De l’esprit des Lois” : « Comme les loisinutiles affaiblissent les lois nécessaires,celles qu’on peut éluder affaiblissent lalégislation. »6 en l’espèce, c’est bien àune loi inutile qu’il nous est proposé desouscrire, une loi qui est en particulierincapable de définir son objet et seslimites.

(5) montesquieu, Lettrespersannes, Lettre 79,usbeck à rhédi, à Venise.

(6) ontesquieu, De l’espritdes Lois, Chapitre XVi.

Une loi inutile : les “Robots qui tuent”sont déjà encadrés par le droit Les “robots qui tuent” existent. non pasdans le sens de systèmes d’armesautonomes où l’entendent les onGprohibitionnistes mais dans celui où lesforces armées de nombreux paysdisposent déjà depuis longtemps derobots susceptibles d’être armés et dedélivrer des effets cinétiques pouvant êtremortels. Les états-unis recourent ainsirégulièrement à des frappes de dronespour éliminer les membres desorganisations combattantes irrégulièresauxquelles ils sont confrontés dans leursopérations extérieures. L’utilisation de“robots qui tuent”n’est même plusseulement l’apanage des forces arméesaméricaines. elle s’est récemmentétendue aux services de police qui, àDallas par exemple, ont recouru à unrobot télécommandé Northrop GrummanRemotec Andros pour abattre le forcené

qui avait tué cinqpoliciers et deux

civils le 8 juillet 2016.7

Ces robots armés, qui sont déjà enservice et qui n’ont rien d’autonome,relèvent de deux grandes catégories.

Les uns sont télé-opérés. C’est le cas desReapers américains. ils sont pilotés àdistance par un équipage placé sous laresponsabilité d’une chaîne decommandement qui prend les décisionsles plus importantes, comme le ciblage etle tir. La seule différence entre ces robots

(7) Le monde, 9 juillet 2016

38

L’utilisation de “Robots qui tuent” s’estrécemment étendue aux services de police,à Dallas.



hAWKinG ou monTesQuieu ? A Qui se Fier Pour enCADrer Les sYsTÈmes D’Armes LéTAuX AuTonomes ?


télé-opérés et les avions traditionnelsréside dans le déport de l’élément humainqui n’est plus en contact direct avec lechamp de bataille. mais, cet éloignementn’implique aucune différence de natureentre les deux systèmes et le cadrejuridique actuel, applicable à l’un estapplicable à l’autre.

D’autres robots militaires relèvent d’unedeuxième catégorie. ils sont automatisésau sens ou certaines de leurs fonctionssont réalisées par des calculateurspermettant de libérer l’opérateur d’unepartie du processus d’informationpréalable à la prise de décision ou demise en œuvre de cette décision. Ainsi, lesystème robotisé antimissiles qui équipecertains navires ouvre le feu sur les objetsprésentant les caractéristiques d’unmissile antinavire beaucoup plusrapidement que ne pourrait le faire unopérateur humain. mais, de la définitiondes caractéristiques permettantd’identifier un missile antinavire à ladécision d’activer le dispositif deprotection ou à l’interruption duprogramme, rien n’est laissé à la libreappréciation de la machine. Celle-ciexécute un ensemble d’instructions quisont implantées dans son système.

Dans les deux cas, il est impossible deparler d’autonomie ou même de systèmesprécurseurs de l’autonomie des robots.L’homme reste dans la boucle par l’actiondirecte qu’il exerce sur le systèmed’armes (télé-opération) ou par le fait qu’il

a conçu les séquences d’actions réaliséespar la machine et qu’il en contrôle ledéploiement et la mise en oeuvre(automatisation). Le ciblage et le tirrestent le monopole de la chaîne decommandement qui en assume laresponsabilité politique et juridiquecomme le montre le cas du présidentaméricain dont l’approbation estindispensable à la réalisation d’uneopération d’assassinat ciblé.

Dès lors, ces robots militaires, dontcertains peuvent délivrer des effetsmortels, ne posent pas de difficulté deprincipe quant à l’application du Droitpénal interne ou du Droit internationalhumanitaire. Ce qui est, par exemple, encause dans l’utilisation des drones par lesétats-unis pour les besoins de leursopérations en Afghanistan ou en irak,voire au Pakistan ou en somalie, n’estpas le drone en lui-même mais lecontexte dans lequel il est employé pourdes assassinats ciblés : les états-unissont-ils en situation de légitime défense ?Portent-ils atteinte à la souveraineté depays qui ne sont pas partie au conflit ?L’action entreprise méconnaît-elle lesprincipes de proportionnalité et dedistinction ? rien ici ne permet de direque de nouvelles règles portantprécisément sur les robots militaires sontnécessaires. Ces robots sont déjàencadrés par le droit applicable à tous lessystèmes d’armes. La question n’estd’ailleurs pas posée puisque les systèmes





40

prohibitionnistes répond-elle à l‘impératifprudentiel proposé par montesquieu ?Dans un domaine porteur d’enjeuxscientifiques, politiques, économiques,juridiques… aussi essentiels, il sembleraiteffectivement important que lesdifférentes parties prenantes, pouvoirspublics, forces armées, industrie de laDéfense et onG elles-mêmes, sachent cequi est autorisé et ce qui ne l’est pas. or,

d’armes existants (télé-opérés etautomatisés) sont expressément exclusdu champ d’étude de la CCW.

Faut-il interdire les Killer Robots ?si l’on estime utile de réfléchir à un cadrejuridique visant un type de machine quin’existe pas et dont l’hypothétiqueavènement semble lié à desextrapolations pour le moinsaventureuses, la proposition des onG




Les experts craignent que la différence entre l’intelligence humaine et l’intelligence artificielleentraîne une suprématie de cette dernière.


sens et peut aussi bien s’appliquer auxsystèmes télé-opérés ou automatisés, cequi reviendrait à amalgamer tous lessystèmes d’armes existants ou non et àélargir le champ des discussions très au-delà de ce qui a été convenu. stephenhawking et les signataires de la lettreouverte du Future of Life Instituteadoptent également le critère inconsistantdu meaningful control. ils lui en ajoutentun second qui n’est pas moinsproblématique et qui tient à la finalité dusystème d’armes. ne seraient interditsque les systèmes autonomes à vocationoffensive tandis que seraient autorisés lessystèmes à vocation défensive. « Startinga military AI arms race is a bad idea, andshould be prevented by a ban on

offensiveautonomousweapons beyond

meaningful human control. »10

Ces propositionssont de véritablesnids à contentieux etils révèlent uneincapacité profondeà définir l’objet visépar la demanded’interdiction.11

La chose n’est paspour surprendre tantla revendication

prohibitionniste s’alimente à deux visionsopposées du futur de l’intelligenceartificielle.

(10)https://futureoflife.org/open-letter-autonomous-weapons/.

(11) on rappellera sur cepoint la définition proposéepar la France et qui tient entrois points : « un vecteurcapable de se déplacerlibrement dans unenvironnement terrestre,aérien ou marin qui n’est pasentièrement connud’avance, de réaliser leciblage et le tir d’un effecteurlétal (balle, missile, bombe)en autonomie totale defonctionnement (« humanout of the Loop »), c’est àdire sans la moindreintervention ou validationhumaine (« human in theLoop ») ou supervision(« human on the Loop »).

41

le moins que l’on puisse dire est qu’il n’enest rien pour le moment. Aucunedéfinition claire n’émerge quant à l’objetmême de l’interdiction. Plusieurspropositions sont en concurrence parmiles contempteurs des Killer Robots.

selon l’onG « Article 36 », l’autonomie sereconnaît à la réunion de trois conditionscumulatives : une capacité à agir en

l’absence decontrôle direct ou desupervision humaine,une aptitude àopérer dans unenvironnement nonstructuré, unecertaine variété desenseurs.8 sansdoute conscients du

fait que des critères comme la non-structuration de l’environnement ou lavariété des senseurs n’auraient aucuneconsistance juridique et rendraientl’interdiction inopérante, les responsablesde la campagne concentrent la définitionde l’autonomie sur la seule notion decontrôle humain. serait autonome unsystème d’armes létal qui opère beyond

meaningful control 9.Le problème n’estpas résolu pourautant puisque,

comme l’ont souligné certains etatspourtant favorables à la création duGroupe d’experts gouvernementaux, lanotion de contrôle significatif n’a pas de

(9) “Deploying AWs thatoperate outside ofmeaningful human control isneither ethically nor legallyacceptable.”, ibidem.

(8) The term ‘autonomous’ isused by engineers todesignate systems (such asa self-driving car) that canoperate without directhuman control or supervisionin dynamic, unstructured,open environments basedon feedback informationfrom a variety of sensors. »,Article 36, structuringDebate on AuronomousWeapons,http://www.article36.org/wp-content/uploads/2013/11/Autonomous-weapons-memo-for-CCW.pdf.





42

is key to determining a potential target’sstatus and level of threat. »12

de deux choses l’unesoit les progrès de l’intelligence artificiellesont insuffisants pour donner unevéritable autonomie aux systèmesd’armes létaux mis en œuvre sur leschamps de bataille, ceux-ci demeurentsous contrôle humain. ils sont téléopérésou automatisés et ne se distinguent pasdes robots militaires existants. il n’estalors nullement besoin de les soumettre àun régime juridique spécifique puisqueces robots sont déjà encadrés par leDroit. soit l’intelligence artificielle sedéveloppe au point que des machinesvéritablement autonomes, d’uneintelligence supérieure à celle des êtreshumains qui composent les forcesarmées, envahissent les champs debataille. on ne voit pas alors pourquoi cesmachines ne pourraient pas intégrer etapprendre les règles légales et éthiquesque l’on inculque aujourd’hui à descombattants humains. Ces systèmessupérieurement intelligents seraient aucontraire mieux armés pour faire face auchaos du champ de bataille. Loin d’êtreun problème, ils seraient la solution auxexcès de violence associés à la fatigue, àdes erreurs de jugement ou audébordement de sentiments humainscomme la peur ou la haine…

Les spécialistes rassemblés derrièrestephen hawking craignent au fond quel’homme ne soit dépassé par sa créature.evoluant trop lentement par rapport auxprogrès des intelligences artificielles, ilsera rapidement dominé par elles.Placées entre de mauvaises mains, cesmachines deviendraient les Kalachnikovdu XXie siècle et leur intelligencesupérieure servirait à des fins d’épurationethnique, de répression politique oud’actions terroristes.

A l’inverse, les spécialistes desorganisations non gouvernementalessemblent plutôt craindre l’imperfectioncongénitale des machines futures, desorte qu’elles seraient incapables dudiscernement que l’on attend d’un soldatsur le champ de bataille. Les progrèsscientifiques et techniques seraient tropfrustes pour que les systèmes d’armeslétaux qu’ils produisent puissent intégrerles principes fondamentaux du Droitinternational humanitaire. Ainsi, pourHuman Rights Watch, « there is nocertainty that fully autonomous weaponswould have the capacity to make suchdistinctions reliably. That is especially thecase in the increasingly commonscenarios of contemporary warfare, inwhich combatants do not identifythemselves by uniforms or insignia. Whenthere are no visible clues in a close

combat situation,assessing anindividual’s intentions

(12)https://www.hrw.org/news/2013/10/21/qa-fully-autonomous-weapons#4.





L’inconsistance des propositionsd’interdiction des KillerRobots formulées par les émules

de stephen hawking montre que si cedernier est sans doute meilleurastrophysicien que montesquieu, il estassurément préférable de s’en remettre àl’auteur de “De l’esprit des Lois” pourl’élaboration du cadre juridique régulant ledéveloppement des systèmes d’armes.en proposant un régime d’interdictionpour d’hypothétiques équipementsmilitaires dont il est impossible de définirla nature ou les caractéristiquesdistinctives, les associationsprohibitionnistes enfreignent le principeprudentiel préconisé par montesquieu etprennent le risque d’introduire la plusgrande des confusions dans un dispositifqui s’avère pour l’heure effectif etsuffisant. on peut penser que ce n’estpas le meilleur service à rendre auxpopulations civiles que l’on entendprotéger.





Les ruptures technologiques qui s’annoncent amènent une interrogationdoctrinale sur la validité des mécanismes de responsabilité et d’indemnisation dudroit positif. En effet, l’avènement du tryptique robot/intelligence artificielle/algorithmes interpelle une frange des praticiens du droit sur la nécessité dediscuter de l’adoption d’une personnalité électronique juridique. En l’absence dedéfinition juridique en Europe mais aussi en France sur les termesrobots et intelligence artificielle, il est utile de rappeller les définitions retenuespar l’organisation internationale de normalisation (ISO) :Robot : ISO 8373 : 2012 « un mécanisme programmable actionné sur au moinsdeux axes avec un degré d’autonomie, se déplaçant dans un environnement pourexécuter les tâches prévues ».Intelligence artificielle : ISO 2382-28 « capacité d’une unité fonctionnelle àexécuter des fonctions généralement associées à l’intelligence humaine, tellesque le raisonnement et l’apprentissage ». Sur ce propos, l’étude commanditée parla Commision des affaires juridiques du Parlement européen apporte une basesolide de réflexions.L’introduction à destination du grand public de la voiture à délégation partielle outotale de conduite, plus communément connue sous le terme de voitureautonome, devrait constituer a priori un des premiers vecteurs d’approche inconcreto des consommateurs dans leur processus d’acculturation des robots etde l’intelligence artificielle.

dOCTRINE jURIdIqUE



dOCTRINE jURIdIqUE

45

robot or not robot ?petite digression juridico-philosophique

À l’occasion du FIC 2017, OctaveKLABA, fondateur d’OVH, déclarait àLa Voix du Nord, qu’à la vitesse où latransition numérique s’impose auxacteurs économiques, c’est tout unmodèle sociétal qui chavire, unchangement de paradigme socio-économique. « Quand on al’intelligence artificielle et qu’on a plusbesoin des gens, qu’est-ce qu’on faitdes gens ? »1. C’est en substance lamême question qu’il est convenu dese poser à l’ère de la robotique, desurcroît numérique.

Ce dilemme n’a enréalité rien denouveau car lesrévolutionsindustriellessuccessives - ladernière en dateétant une mutationdigitale – onttoujours fait jaillir de

Àgrandes interrogations sur l’avenir del’homme dans le nouvel environnementtechnologique qu’il a conduit à façonner.

La cybernétique faitnaître autant degrands espoirsqu’elle terrifie2.

en l’occurrence, il s’agit de s’interrogersur la place de l’homme dans sa relationaux robots, et peut-être plus précisémentface à l’intelligence artificielle qui lesanime. À ce jour, le droit n’a pas encorepris toute la dimension de ce défi, maisrien n’interdit à ce stade d’intégrerquelques considérations devant présiderà l’élaboration d’un droit du robot quecertains imaginent déjà.

du robot substitution à l’Homolaborans …sous cette approche, objet des craintesvoire des querelles entre anciens etmodernes, le robot est davantage perçucomme une alternative à la souffrance de

(1) « le sens de la vie va êtreremis en cause, qu’on leveuille ou pas », in La Voixdu nord, 25 janvier 2017.

(2) un syndromeFrankenstein ?

par OLIvIEr DE MAISON rOUgE


OLIvIEr DE MAISONrOUgE

Avocat – docteur en droitVice-président de laFédération européennedes experts encybersécurité (EFCSE)


l’homme au travail. Ce fut la voieempruntée jusqu’à présent. Depuis lors,nous en voyons et croisons quasimentchaque jour, que ce soit l’automate qui aremplacé le caissier du péage ou duparking, la borne d’information à La Posteou dans la gare… La machine estdevenue dans les tâches quotidiennes lesubstitut de l’homme, sans toutefois enêtre son égal.

Le docteur humbert rappelle que larobotique vient du tchèque « robota » quiveut dire travail et qu’elle est censéesoulager l’homme de certaines tâchespénibles. Ce faisant, le robot estsynonyme de progrès humain, en ce qu’ildécharge l’homme du labor et de sapénibilité. Avec cette avancéesignificative, on s’écarte d’autant de lapensée de Voltaire pour qui « le travailéloigne de nous trois grands maux :

l'ennui, le vice, le besoin ». en vérité, laquestion est loin d’être nouvelle et/ouactuelle dès lors qu’elle agitait déjà lespenseurs et théoriciens du travail dans lesannées 1930, à l’heure de lamécanisation des tâches industrielles.

La question de la place de l’homme faceà la machine était déjà débattue et s’étaitdéplacée dans les années 1970 sur leterrain du coût du travail. Cependant, si lamachine affranchit l’homme, elle estégalement perçue comme étantdestructrice d’emplois. or, moinsd’emplois rémunérés signifient moins decotisations sociales à percevoir et doncun déficit de financement des caissesdestinées à financer la protection sociale :retraite, maladie… c’est d’ailleurs laraison pour laquelle le candidat Benoîthamon prônait une cotisation « sociale »pour les robots.

46

« La machine est devenue dans les tâches quotidiennes le substitut de l’homme, sans toutefois enêtre son égal. »


dOCTRINE jURIdIqUE

roBoT or noT roBoT ? PeTiTe DiGression JuriDiCo-PhiLosoPhiQue


mais c’est peut-être s’affranchir un peutrop rapidement de la loi de Lavoisier pourqui « rien ne se crée, rien ne se perd, toutse transforme », à l’image de la révolutiondigitale actuelle, où les emplois de demainnaissent avec les nouvelles technologiesau détriment des emplois d’hier (le WCautomatique a fait passer à trépas ladame pipi). La nouvelle économie n’estpas malthusienne. Les métiers del’innovation que nous côtoyons tous lesjours en sont la démonstration. Combien

d’activités nouvellessont nées en moinsd’une décennie3 ?

mais à ce stade de la réflexion, il n’estpas encore question d’autonomie durobot, qui demeure à l’état de machine-outil, lointaine descendante des premièresinventions de la révolution industrielle. Lamécanique, fruit de l’activité inventive del’homme, est destinée à l’économiserphysiquement et à générer un gainéconomique, qui permet de réduire à dueconcurrence un coût social pourl’entreprise, ce d’autant plus que le robotn’est pas contestataire. il devient doncdoublement créateur de richesse, dès lorsqu’il est moins onéreux que le coût dutravail de l’homme, et qu’il présente une

meilleure rentabilitéindustrielle (ajouté à

l’amortissement fiscal exceptionnel4).

Ainsi présenté, le robot se pare de toutesles vertus.

(3) et les statistiquesallemandes montrent qu’endépit d’un taux élevé derobotisation de l’industrie, lechômage est faible.

(4) Article 39 Ah du Codegénéral des impôts

… au robot doté d’une personnalitéjuridique ?Ainsi que le montre la plupart des auteurs,ce n’est désormais plus tant la place durobot dans notre société qui questionne,que le degré d’autonomie de ce dernier,et accessoirement la place de l’homo

faber (géniteur du robot).

Avec le développement de lacybernétique associée auxmathématiques algorithmiques,l’intelligence artificielle s’est trouvé uncorps-réceptacle en s’incarnant dans lamachine. Fort de cette transmutation lerobot s’est éloigné de la machine-outilservile pour gagner son indépendancemorphologique. Dans son langagepoétique, l’administration fiscale le définitalors comme « un manipulateur multiapplications reprogrammable commandéautomatiquement ».

Cette notion d’autonomie (sans lavolonté ?) s’incarne dans le fait que lerobot, fruit d’un programme, doit pouvoir,indépendamment de l’intervention del’homme, réagir en fonction de situationsdonnées. Ce processus d’autonomie dela machine est plus ou moins prégnantselon le type de robot. Plus exactement,en fonction du quotient d’intelligenceartificielle (QiA) dont il est doté, le robotacquiert son autonomie d’action. In fine,on ne distingue plus le génie de l’hommecréateur (ou homo faber) de la propreindépendance intellectuelle du robot.


dOCTRINE jURIdIqUE



supplantant lafemme (selon lepoète8). L’androïdedevient dès lors unêtre sensible.

en matière de responsabilité, le robotautonome répondra de ses actes, noncomme étant sous la garde, le contrôle etla direction de l’homme9, ni au titre de laresponsabilité du fait des choses10, maisdistinctement. il s’agirait d’uneresponsabilité propre, ici encoreautonome, à tout le moins limitée pourson créateur et/ou utilisateur.

Pour conclure provisoirement cettedigression, laissons le dernier mot iciencore à celui qui pense bien souventpour les autres, à savoir le philosophe :« Attribuer une responsabilité à un robot,créer un régime d’assurance propreimplique une sorte de personnalisation,une humanisation du robot, quidéresponsabilise l’humain qui le fabriqueou l’utilise. (…) L’expérience est risquée,elle atténue toujours plus la distinctionentre l’homme et la machine dans unevision transhumaniste qui relève de

l’idéologie. »11

(8) Jean Ferrat.

(9) Article 1240 du Codecivil.

(10) Article 1242 du Codecivil.

sur www.genethique.org.

Comme dans l’antique complexe œdipienl’intelligence artificielle en est-elle venue àtuer le père (son programmateur) ou àtout le moins le dépasser ?

Cela conduit naturellement à s’interrogersur la nature même du robot, de sapersonnalité, de sa responsabilité : on

plonge alors enpleine science

juridique fiction5.

Car, pour pousser un peu, peut-onimaginer un robot qui échapperait à toutetutelle, qu’elle soit celle de sonprogrammateur-géniteur ou celle de sonpropriétaire-utilisateur, et lui conférer uneautonomie juridique ? Certains ontallègrement franchi cet horizon eninvoquant une « personnalité juridique du

robot »6 pour « qu’aumoins les robotsautonomes les plus

sophistiqués puissent être considéréscomme des personnes électroniquesdotées de droits et de devoirs précis ycompris celui de réparer tout dommagecausé à un tiers ». Le robot étantappréhendé comme étant « une personneélectronique qui prend des décisionsautonomes de manière intelligente ou quiinteragit de manière indépendante avecdes tiers ».

mieux que l’animal, qui est simplementdoué de sensibilité7,le robot devient l’égal

de l’homme et peut-être son avenir,

(5) i.A., i, robot ou minorityreport ont vu court.

(6) Projet de rapport duParlement européen2015/2103 (inL) § 31 f).

(7) Loi du 16 février 2015.


dOCTRINE jURIdIqUE



dOCTRINE jURIdIqUE

49

Quelle responsabilité pour lesrobots ?Quelle responsabilité pour l’Homme ?

Les robots sont présents dans nosvies, depuis des décennies. Larévolution numérique réactive notreintérêt pour eux dès lors que certainssont devenus autonomes, c'est-à-direqu’ils ont la capacité de prendre desdécisions et de les mettre en pratiquedans le monde extérieur,indépendamment de tout contrôle ouinfluence extérieurs (il s’agitnotamment des voitures autonomes,des drones, des robots médicaux,etc.).

Le marché des robots autonomes estporteur. il est en forte progression (de

17 % par an entre2010 et 2014 et +29 % en 2014).Dans cesconditions, lesinteractions entre lesêtres humains et lesrobots autonomesseront de plus en

Lplus nombreuses. Certaines de cesinteractions pourront être dommageablespour l’être humain. il convient doncd’envisager la question de laresponsabilité juridique des robots maisaussi, celle de l’homme vis-à-vis del’intelligence artificielle (qui est en quelquesorte, le cœur des robots).

quelle responsabilité pour lesrobots ?Vers une responsabilité du robot ?

Le premier constat est que notre droitn’est peut-être pas forcement adaptépour appréhender les conséquences dufait d’un robot (que ce fait soit fautif ounon). notre droit reconnaît laresponsabilité d’un individu pour son faitpersonnel ou pour un fait commis par uneautre personne (enfant, employé, etc.) ouun animal. il reconnaît aussi laresponsabilité du fait des choses(mobilières ou immobilières). Le caractèreautonome du robot ne permet pas de le

par FAbrIcE LOrvO


FAbrIcE LOrvO

Avocat


classer dans la catégorie de la chose et ilne permet pas, non plus, de le rattacher àla catégorie des humains. L’adoptiond’une législation dédiée aux robotss’impose.

en janvier 20171, lacommission desaffaires juridiques,sur la base d’unrapport (DeLVAuX), afait des

recommandations concernant l’adoptionde règles de droit civil sur la robotique. Cerapport invite la Commission européenneà proposer des instruments (soitlégislatifs, soit des lignes directrices oudes codes de conduite) sur les aspectsjuridiques du développement et del’utilisation de la robotique et del’intelligence artificielle à un horizon de 10à 15 ans.

Sur la responsabilité du propriétaire ou del’utilisateur des robots

Dans l’attente d’une législation propre à laresponsabilité des robots autonomes, etmême si le fait du robot est reconnu, uneresponsabilité « robotelle » (néologismecréé à partir de responsabilité individuelle)ne nous mènerait pas loin car derrière laresponsabilité, il y a la question del’indemnisation de la victime et pour lemoment, les robots n’ont pas encore depatrimoine.

il conviendra probablement de résoudrel’indemnisation de la victime parl‘obligation d’assurance du robot,obligation qui pèserait sur le propriétaire

(1) ProPosiTion DerésoLuTion DuPArLemenT euroPéencontenant desrecommandations à laCommission concernant desrègles de droit civil sur larobotique (2015/2103(inL))

et/ou l’utilisateur du robot. une fois lavictime indemnisée, la question del’imputation de la responsabilité resteraouverte. elle donnera lieu à toute unesérie de recours subrogatoires afin dedéterminer qui est le responsable dudysfonctionnement du robot.

Du fait de la chaîne des intervenants pourla conception et l’entretien des robots, onpeut facilement imaginer que les juristesauront de beaux jours devant eux pourdéterminer les responsabilités en cas dedysfonctionnement d’un robot, sousréserve que l’on puisse établir la chaînede commande qui a causé le dommage.

À cette fin, il conviendra de prévoir oud‘imposer que chaque robot autonomesoit équipé d’une boîte noire enregistrantl’intégralité des données correspondant àses agissements, y compris la logique quia abouti à sa prise de décision.

quelle est notre responsabilité vis-à-vis de l’intelligence artificielle ? outre celle de la sécurité, la placegrandissante des robots dans nossociétés pose de nombreuses questionsau niveau économique et social (quel seral’impact de la substitution du travail del’homme par celui du robot sur lechômage ? Quelle sera la viabilité desrégimes de sécurité sociale ?). D’autresquestions plus structurelles ne doiventpas être ignorées.

La téléologie des robots

Depuis des siècles, l’être humain est leplus grand des prédateurs et n’a pas de


dOCTRINE jURIdIqUE

QueLLe resPonsABiLiTé Pour Les roBoTs ? QueLLe resPonsABiLiTé Pour L’homme ?


rival. il n’est pas exclu qu’un jour,l’intelligence artificielle puisse remettre enquestion la suprématie ou l’existence del’humanité. sans vouloir jouer lesCassandre, on peut raisonnablementconsidérer que l’intelligence artificiellearrivera à son paroxysme d’évolutionlorsqu’elle remettra en cause le postulatselon lequel elle est au service del’homme, lui-même, centre de l’univers.

À un degré moindre, l’intelligenceartificielle sans contrôle peut donner lieu àde surprenants résultats. en 2016,microsoft a développé un robotconversationnel (chatbot) appelé Tay quiparticipait à des conversations sur desréseaux sociaux (notamment Twitter ousnapchat). Tay a envoyé 96000 tweets en8 heures et il devait devenir de plus enplus intelligent au fur et à mesure desconversations. L’expérience a dû êtrearrêtée car Tay a fini par tenir des proposvulgaires ou racistes notamment parceque des internautes lui ont demandé deles répéter.

en 2016, GoogleBrain2 a faitcommuniquer deux

intelligences artificielles entre elles. Cesdeux ordinateurs ont rapidement sécuriséleurs communications par le biais d’unchiffrement qu’ils avaient eux-mêmesdéveloppé et qui n’a pas pu être déchiffrépar l’homme.

Le premier enseignement est donc quel’homme doit concevoir les robots avec lapossibilité d’exercer, à tout moment, un

(2) Programme de rechercheen intelligence artificielle deGoogle

contrôle humain. un interrupteur doit êtreprévu, accessible et sécurisé. De plus, lesdomaines d’intervention des robotspeuvent être de nature à créer desconséquences invisibles pour l’humanité.Par exemple, dans des établissements desanté les actes et la présence del’homme peuvent être remplacés par lessoins ou la compagnie de robots. il estdonc possible qu’une relationémotionnelle se développe entre l’hommeet le robot, notamment chez lespersonnes vulnérables (personnes âgées,personnes handicapées, enfants). Desurcroît, si l’altérité, est un élémentessentiel de la condition humaine, quellesseront les conséquences d’une relationavec l’intelligence artificielle ? Cessituations doivent être anticipées ouétudiées.

Imposer l’éthique by design dans laconception des robots ?

La création d‘un cadre juridique ne pourrase faire sans la définition d’un cadreéthique relatif au développement, laconception, la fabrication, l’utilisation et lamodification des robots. Le rapportDeLVAuX a proposé une charteétablissant un code de conduite pour lesingénieurs en robotique, une déontologiepour les comités d’éthique de larecherche lorsqu’ils examinent lesprotocoles de robotique, et un ensemblede licences-types pour les concepteurs etles utilisateurs.

Pour prendre la mesure de cettenécessité, raisonnons par analogie avec


dOCTRINE jURIdIqUE



classifie. Tout ce qui touche à la normehumaine, et notamment les normes ducomportement humain idéal ou ducomportement social moyen, devrait fairel’objet d’une discussion ou d’unevalidation préalable obligatoire sous unangle éthique.

il a été créé un Comité consultatif nationald'éthique (CCne) pour les sciences de lavie et de la santé. Aujourd’hui, les mêmestypes de question se posent dans ledomaine numérique, notamment pour lesalgorithmes prédictifs. étant donné lavitesse d’évolution du monde numérique,il est urgent de légiférer rapidement etd’imposer la consultation et la possibilitéd’un contrôle d’un organe éthique(notamment en le créant ou en étendantla mission de la CCne ou de la CniL) surtoutes les questions de nature à fairedisparaître l’aléa dans les décisions d’unalgorithme pouvant affecter un êtrehumain.

rappelons que la loi3a confié à la CniL lamission de conduireune réflexion sur lesproblèmes éthiqueset les questions desociété soulevés par

l’évolution des technologies numériques.Dès janvier 2017, la CniL a lancé un cyclede réflexion4.

À ce sujet, le CreoGn apportera sacontribution en organisant à la rentrée2017, un atelier de recherche dont lethème portera sur les enjeux éthiques etjuridiques des algorithmes prédictifs.

(3) Loi n° 2016-1321 du 7octobre 2016 pour unerépublique numériquemodifiant la Loi n° 78-17 du6 janvier 1978 relative àl’informatique, aux fichiers etaux libertés.

(4) rapport CniL, biland’activité 2016 page 102.

la voiture autonome (voiture quifonctionne sans intervention d‘un êtrehumain). Doit-on laisser à l’intelligenceartificielle la possibilité de violer le Codede la route ? une telle violation pourraitcependant être salutaire si, pour éviter unaccident, une voiture dépassait unevitesse limite autorisée, ou franchissaitune ligne continue. si deux voitures vontse percuter de plein front, laquelle doit sejeter dans le fossé ? Doit-on prendre encompte l’âge des passagers ? Leurnombre ? Leur rang social ? Autantd’informations qui seront probablement,avec le Big Data, à la disposition del’intelligence artificielle.

on comprend clairement pour le cas de lavoiture autonome que l’on va transférer àdes algorithmes, des décisions à prendrequi engagent l’humanité. Qui va prendrel’initiative et la responsabilité de lesparamétrer ? Jusqu’à ce jour, lorsquedeux voitures fonçaient l’une sur l’autre, ily avait autant de solutions possibles quede chauffeurs concernés. Aujourd’hui,l’homme va probablement êtredépossédé de ce choix ou plutôt,quelqu’un d’autre aura choisi pour luidans ce type de situations extrêmes, saufà convenir que le passager de la voitureautonome pourra reprendre, à cetteoccasion, le contrôle de ladite voiture (quine serait donc que partiellementautonome).

Admettons que l’on doive fixer et donchiérarchiser ces choix. en transférant àl’intelligence artificielle, la prise dedécision concernant l’être humain, onlimite les possibilités de choix et on les


dOCTRINE jURIdIqUE



dOCTRINE jURIdIqUE

53

voiture autonome :quel droit pour les forces de l’ordre ?

D'après de récentes études publiées,le marché des véhicules autonomesreprésenterait entre 3 et 8 millions devoitures autonomes qui pourraient êtrecommercialisées à l’horizon 2030 enEurope.

L’Allemagne envisage déjà en europel’interdiction totale de la voiture thermiqued’ici 2030. Cette situation pourrait bienêtre une réalité en europe pour d’autresétats européens et pourquoi pas enFrance ou sur d’autres continents d’ici2030.

Compte tenu dugisement desdonnées produitespar une voitureautonome, sousréserve de ladisponibilité et del’accès depuis leurstablettesnumériques, les

Dforces de l’ordre pourraient bien disposerdemain de toutes les informationsconcernant le propriétaire du véhiculeautonome à contrôler, ses occupants etses caractéristiques, et seraient donc enmesure de vous identifier où que vousalliez et ou que vous soyez sur l’espacepublic ou privé.

essayez d’imaginer que les forces del’ordre1 aient pourmission de vouscontrôler dans votrevoiture autonome sur

un espace public. nous sommes en 2020ou en 2030, les voitures thermiques onttotalement disparu, les autoritéseuropéennes ayant pris la décisiond’interdire désormais la circulationpublique de toutes voitures thermiques.

Avant d’appréhender le cadre juridiqueexistant et d’identifier s’il convient de lefaire évoluer pour le rendre adéquat etapproprié pour permettre aux forces de

(1) Les forces sur le terrainpourraient aussi êtrereprésentées par un robot-policier ou robot-gendarmetel que les robots Atlas ouAnBot

par DIDIEr gAZAgNE


DIDIEr gAZAgNE

AvocatVice-président del’Association du droit desrobots (AddR)président de laCommission Usine 4.0(AddR)


l’ordre d’intervenir directement sur unvéhicule autonome, tout en assurant laprotection des droits fondamentaux,répondre à cette question qui introduit cetarticle implique de définir préalablementce qu’est un véhicule autonome.

quelle définition de la voitureautonome ? La définition de la voiture autonomequestionne tout d’abord le conceptd’autonomie et plus précisément le degréd’autonomie dont dispose le véhiculelorsqu’il se déplace et se dirige dans unenvironnement public ou privé. Premièredifficulté, il existe de nombreusesnomenclatures pour définir les différentsdegrés d’autonomie d’un véhiculeautonome. La comparaison de différentesnomenclatures permet de constater qu’iln’existe pas réellement de définitionunique et partagée pour définir unevoiture autonome et plus généralement unvéhicule autonome.

Le concept d’autonomie appliqué auvéhiculePlusieurs nomenclatures définissent etcatégorisent les différents degrésd’automatisation des véhicules. Les princi -pa les sont les suivantes :

– la nomenclatureBAst2 de l’organismetechnique fédéralallemand(Bundesanstalt für

Straßenwesen) ;

(2) http://bast.opus.hbz-nrw.de/volltexte/2013/723/pdf/Legal_consequences_of_an_increase_in_vehicle_automation.pdf

– la nomenclaturenhTsA3 del’administration de lasécurité routière auxétats-unis (NationalHighway TrafficSafetyAdministration) ;

– les travaux de pré-normalisation del’organisme sAeinternational4, situéaux états-unis,

(anciennement Society of AutomotiveEngineers) ;

– la nomenclature du Plan industrielvéhicule autonome en France5.

La nomenclature sAe, semble être la pluspartagée par les constructeursautomobiles et équipementiers, maiségalement par la communautéscientifique en europe. elle prévoit cinqniveaux d’automatisation.

Les voitures auxquelles nous consacronscette analyse sont celles qui relèvent duniveau 5 sur la nomenclature duconsortium sAe.

(3)http://www.nhtsa.gov/About+nhTsA/Press+releases/u.s.+Department+of+Transportation+releases+Policy+on+Automated+Vehicle+Development

(4)http://www.sae.org/misc/pdfs/automated_driving.pdf

(5) Plan nouvelle Franceindustrielle, Feuille de routed’usages du véhiculeautonome particulier, 16-7-2015http://www.pfa-auto.fr/wp-content/uploads/2016/03/objectifs-de-recherche-Vehicule-Autonome.pdf

dOCTRINE jURIdIqUE

VoiTure AuTonome : QueL DroiT Pour Les ForCes De L’orDre ?



Les technologies de la voiture autonome

La conception d’un véhicule autonomeimplique une interaction entre denombreuses technologies permettant auvéhicule autonome de fonctionner sur lavoie publique sans l’intervention d’unconducteur humain.

Les composants élémentaires destechnologies embarquées dans la voitureautonome comprennent :

– l'interface homme-véhicule (interfacehomme-machine au sens général duterme) ;

– les capteurs fournissant des donnéessur le fonctionnement interne du véhiculeet de ses parties : tels que les freins, latransmission, la direction, l'accélérateur,les pneus, etc. ;

- les capteurs qui fournissentl'emplacement en temps réel etl'environnement de la chaussée extérieuredonnée ;

– les actionneurs qui, à l’inverse descapteurs, désignent les organes de lavoiture qui engendrent un phénomènephysique : freinage, accélération,évitement… ;

– les systèmes embarqués de commandequi permettent au véhicule autonome deprendre des décisions et d’envoyer desordres aux actionneurs à partir desinformations fournies par les capteurs.

dOCTRINE jURIdIqUE



Les 4 schémas ci-après illustrentrespectivement :

schémas 1 et 2 : le positionnement desdifférents capteurs sur un véhiculeautonome ;

schémas 3 et 4 : le rôle des différentscapteurs sur un véhicule autonome et lasurface ou l’environnement de collectedes données.

Nomenclature SAE.


d'intelligence artificielle Watson conçu pariBm ne sert pas à piloter le véhicule maispermet à celui-ci de devenir intelligent,sensible et capable de comprendre lesinteractions linguistiques.

il peut notamment comprendre etrépondre à des questions formulées enlangage courant concernant unedestination, le fonctionnement du véhiculeainsi qu'ajuster en permanence satrajectoire en fonction des préférencesdes passagers, des informations localesou à partir des plus de 30 capteursembarqués dans le véhicule.

La voiture autonome est également dotéed’applications ou de dispositifs mobiles :smartphone, appareil Bluetooth, GPs…

À terme, le véhicule autonome aurabesoin de capter, analyser, comprendreson environnement en permanence,devenant pour cela une véritable centralede traitement de données.

Longtemps confinées à l’intérieur del'habitacle, les données du véhicule sesont en quelques années connectées àdes éléments extérieurs, par dessystèmes embarqués maîtrisés par lesconstructeurs, par des systèmes ajoutés(par exemple des GPs), ou encore par letruchement du smartphone (etd'applications mobiles liées à la conduite).

La voiture autonome intègre également del'intelligence artificielle (Artificialintelligence ou iA) qui traite les flux dedonnées propres au véhicule avec lesdonnées routières externes et active lescommandes du véhicule autonome.

Véhicule autonome et IA Très récemment, le 16 juin 2016, lessociétés Local motors et iBm ont

présenté olli6, lepremier véhicule detransport autonomeintégrant del'intelligence

artificielle, déjà mis en service àWashington. Le programme informatique

(6) iBm : Local motorsDebuts "olli", the First self-driving Vehicle to Tap thePower of iBm Watsonhttp://www-03.ibm.com/press/us/en/pressrelease/49957.wss


dOCTRINE jURIdIqUE



Typologie des voitures autonomes et fluxde communication

Le ProfesseurDorothy J. Glancy del’université de santaClara (états-unis),auteur de l’article

Privacy in Autonomous Vehicles7,distingue deux types de voituresautonomes :

– les voitures interconnectées, reliées à unréseau commun, permettant le partage etl’échange d’informations ;

– les voitures non connectées au réseau(self-contained), conservant toutes lesdonnées dans l’ordinateur de bord, sanseffectuer d’échanges avec d’autresvoitures.

Cette distinction est d’une grandeimportance dans la mesure où elle vaavoir un impact sur la gestion desdonnées issues de la voiture autonome.en effet, les données de la voiture nonconnectée au réseau seront moinsfacilement accessibles et présenterontmoins de risques que les données desvéhicules interconnectés. Leur captationnécessiterait l’installation d’un dispositifde captation dans un véhicule nonconnecté, et entraverait les captations àdistance, ou au moins ne simplifierait pasla tâche aux forces de l’ordre.

Dans son programme de rechercheConnected Vehicle Program, le

(7) Dorothy J. Glancy,symposium, Privacy inAutonomous Vehicles, 52santa Clara L. rev. 1171(2012)http://digitalcommons.law.scu.edu/lawreview/vol52/iss4/3/

département américain des transports(United States Department ofTransportation ou USDOT) aborde enparticulier, le cas des voituresinterconnectées. Ces dernières utiliserontdes technologies de communication etdes réseaux en cours de développementau sein du programme de recherche.

De nouvelles formes de communicationsont en effet en train de voir le jour, enparticulier celle de véhicule à véhicule(V2V – vehicle to vehicle) et du véhiculevers l’infrastructure (V2i – vehicle toinfrastructure).

La communication V2V permet auxvoitures interconnectées de partagerentre elles (émettre et recevoir) leurvitesse, leur direction et leurpositionnement en temps réel, afind’éviter les collisions ou d’optimiser laconduite d’un groupe restreint devéhicules.

L’autonomie du véhicule permetd’envisager que les forces de police et degendarmerie puissent techniquementprendre le contrôle d’un véhicule et luiordonne de se ranger sur le bas-côté àpartir de ce flux V2V. il ne s’agirait plusd’un partage de données mais bien d’uneprise de contrôle du véhicule.

La communication V2i permet auxvéhicules de partager leur position, maisaussi la destination et jusqu’à l’itinérairequ’ils souhaitent emprunter avec un postecentral - ou une infrastructure routière -


dOCTRINE jURIdIqUE



58

pour répondre à des finalités de maintiende l’ordre ou de sécurité, de lutte contrele terrorisme? en effet, ils renferment desdonnées dont il conviendrait desélectionner les plus pertinentes.

données et voitures autonomes : ungisement de données

Capteurs, actionneurs, systèmesembarqués, ordinateurs de bord,intelligence artificielle, applications…chacune de ces technologies produit ungisement de données.

une voiture autonome, qui peut compterjusqu’à 145 actionneurs et plus de70 capteurs, produit ainsi plus de 25 Gode données par heure. Les flux dedonnées sont analysés par plus de70 ordinateurs de bord.

Plus un véhicule est autonome, plus celui-ci est en réalité dépendant des données.

une large part de ces données doit êtreconsidérée comme des donnéespersonnelles, dès lors qu'elles permettentl'identification directe ou indirecte duconducteur ou des occupants ouutilisateurs du véhicule autonome, et sontsoumises au respect de la loi informatiqueet Libertés.

dont le rôle serait de coordonner et dedispatcher l’information concernant letrafic, les itinéraires…

il convient également de mentionner lacommunication véhicule à dispositif (V2D– vehicle to device) qui consiste enl'échange d'informations entre un véhiculeet tout autre appareil électronique quipeut être connecté au véhicule lui-même.La communication V2D la plus classiqueest celle qui intervient entre un véhicule etun smartphone.

il existe une dernière catégorie decommunication, ouverte, pour ne pas direfourre-tout, désignée par le single V2X(vehicule to everything).

en 2015, l’usDoT a également lancé unprogramme de recherche sur lesvéhicules connectés pour encourager lesDynamic Mobility Applications. Leprogramme de l’usDoT vise à combinervéhicule connecté et périphériquesmobiles afin d’améliorer la mobilité desvoyageurs, tout en réduisant les impactsenvironnementaux et en améliorant lasécurité routière.

Ces applications mobiles incluent lesrécepteurs GPs, les appareils Bluetooth,les systèmes d'infotainment mais surtoutle – ou les smartphones – de la voiture quiguide, alerte, informe.

Ces flux de communications V2V, V2i,V2D et V2X pourraient-ils être interceptéspar les forces de police et de gendarmerie

dOCTRINE jURIdIqUE




protection des données et de la vieprivée. Celui-ci ne s’est pas encoreprononcé sur la question des voituresautonomes.

Fédération internationale de l'automobile

La Fédération internationale del'automobile (FiA) a lancé la campagne

MyCarMyData2, dontl'objectif est quechacun puisse

décider quand et avec qui son véhiculepartage des données, que le partage nesoit pas imposé, hormis pour desobligations légales. L'objectif de la FiA estde donner à chacun la liberté de choisirles services auxquels est relié le véhicule,tout au long de son cycle de vie.

Alliance of Automobile manufacturers

Aux états-unis, des initiativesd’autorégulation voient le jour. Lesconstructeurs automobiles ont ainsiadopté une déclaration de grands

principes qui entenddonner des gagesaux possesseurs devoitures concernantle sort réservé à leursdonnées10.

privacy by design et Security by defaultdes véhicules autonomes

Privacy by design

Définie à l’article 25 du règlement généralsur la protection des données11,

(9)http://www.mycarmydata.eu/ ;

(10) Alliance of Automobilemanufacturers, Privacyprinciples for vehicletechnologies and services,12 novembre 2014 http://www.autoalliance.org/index.cfm?objectid=CC629950-6A96-11e4-866D000C296BA163

59

Absence de lignes directrices deconformité du véhicule autonome enmatière de protection des donnéespersonnelles

CniL

Le 23 mars 2016, la présidente de laCniL a débuté les travaux d’un 6e pack

de conformité8 afinde concilierl’innovation dans lesécosystèmes del’automobile et laprotection des

données à caractère personnel desusagers de l’automobile.

Ces travaux réunissent des acteurs issusd’horizons divers :

– acteurs de la filière automobile,

– entreprises innovantes du secteur desassurances et des télécoms,

– autorités publiques.

La CniL organise cette concertation afinde fournir aux parties prenantes deslignes directrices et de permettre laconstitution d’une « boîte à outils » de laconformité du véhicule connecté,catégorie qui englobe le véhiculeautonome.

G29

Le G29 ou Groupe de travail Article 29 surla protection des données est un organeconsultatif européen indépendant sur la

(8) CniL, en route vers unpack de conformitéconsacré aux véhiculesconnectés, 23 mars 2016https://www.cnil.fr/fr/en-route-vers-un-pack-de-conformite-consacre-aux-vehicules-connectes

dOCTRINE jURIdIqUE




60

à ces deux obligations. Le pack deconformité est également l’occasion depréparer tous les acteurs du secteur aufutur règlement européen sur les donnéespersonnelles qui serait opérationnel en2018 et de porter au niveau européen lesrecommandations nationales.

Accord européen pour l’adoption d’unstandard universel de données entrevéhicules autonomes et Cloud

Très récemment, ertico-iTs, partenariatpublic-privé pour des systèmes detransport intelligents (iTs) vient d’accepterle développement d’un standard mondialdénommé Sensoris proposé par la

société Here Maps13

pour l’adoption d’unformat de donnéesuniversel pour lesvéhiculesautonomes. il s’agit

selon ertico-iTs de proposer unespécification d’interface standardisée

utilisable par l’ensemblede l’industrie automobilepour les véhiculesautonomes. Ce standarddevrait permettre lacréation du premierréseau de partage dedonnées sur lesvéhicules autonomespermettant de rendre lesdéplacements desvéhicules autonomes

(13)https://lts.cms.here.com/static-cloud-content/newsroom/290616_here_automotive_companies_move_forward_on_car_to_cloud_data_standard.pdf

(14) http://ertico.com/vision-and-mission/.

l’approche privacy by design consistepour une entreprise àdévelopper desproduits et desservices en prenanten compte, dès leurconception et tout aulong de leur cycle devie, les aspects liés àla protection de la vieprivée et desdonnées à caractèrepersonnel.

L’approche privacy by design seraobligatoire en europe dès le 25 mai201812.

security by design

Le même article 25 prévoit également leprincipe de protection des données pardéfaut.

Les acteurs de l’écosystème du véhiculeautonome vont ainsi devoir se conformer

(11) règlement(ue) 2016/679 du 27-4-2016 abrogeant la directive95/46/Ce (règlement généralsur la protection desdonnées)http://eur-lex.europa.eu/legal-content/Fr/TXT/PDF/?uri=CeLeX:32016r0679&from=Fr ;

(12) sur cette question :Chloé Torres, mettons le capsur l’approche Privacy bydesign ! Lexing AlainBensoussan Avocatshttp://www.alain-bensoussan.com/privacy-by-design-2/2016/06/09/

dOCTRINE jURIdIqUE



Sour

ce :

Here

.com


plus sûrs et de réduire les accidents.

ertico-iTs, fondé en 1991, se définitcomme un « partenariat public-privé,multi-secteur, poursuivant ledéveloppement et le déploiement des ITS(systèmes de transport intelligents) »14. il aété constitué pour promouvoir le succèspaneuropéen d’un marché des iTs etveiller à ce que les intérêts européenssoient pleinement représentés dans lemonde entier. il convient de noter que nefigure côté français au Conseil desurveillance d’ertico-iTs qu’un seulreprésentant issu de la société renault,alors que pour d’autres pays européens,c’est le ministre des transports quiparticipe au Conseil de surveillanced’ertico-iTs.

Avec plus de 100 partenaires à travers lescinq secteurs : pouvoirs publics, industrie,opérateurs d'infrastructure, utilisateurs, etautres ; ertico-iTs réunit l’ensemble desacteurs clés pour le véhicule autonome etplus généralement pour les systèmes detransport intelligent.

Parmi les constructeurs automobilespartenaires d’ertico-iTs figurent Volvo,Toyota, renault, Jaguar, Land-rover,honda, Ford, Fiat, BmW, mini et ACeA.Figurent également parmi les partenairesd’ertico-iTs les fournisseurs etéquipementiers : Aisin AW Co.LTD.,Bosch, Continental, Denso, Ficosa,Fujitsu Ten, Gemalto, here, LGelectronics, mitsubishi electric, navinfo,

neC, novero, nXP, Panasonic, Peiker,Pioneer, Telit, TomTom et 3m.

Les problématiques juridiquesil n’existera donc pas de marché pour lesvéhicules autonomes demain sans unencadrement juridique du volume desdonnées produites ou traitées par levéhicule autonome pour se déplacer dansson environnement. Les fluxd’informations générés par la voitureautonome vont également nécessiter dedéfinir une frontière et des garde-fous afinde préserver un juste équilibre entre vieprivée et méthodes d’investigation et desurveillance des forces de l’ordre desvéhicules autonomes.

Les véhicules autonomes recueilleront etpartageront une énorme quantitéd'informations non seulement sur lesmouvements de leurs occupants maiségalement sur leurs habitudes, leurspréférences, leurs communications avecl’extérieur, etc.

La captation de ces données ne sera passans conséquences sur la vie privée desoccupants des véhicules autonomes.

si ces données peuvent paraîtreanodines, leur accumulation permettra derelever des données intimes sur lesoccupants, en permettant d’inférer desinformations, de créer de nouveaux typesde profilages à partir de l’extraction dedonnées ou d’algorithmes prédictifs.

Quel droit pour les forces de l’ordre sur


dOCTRINE jURIdIqUE



62

un entier contrôle à distance par lesforces de l’ordre sur les voituresautonomes est évidemment susceptibled’entraîner des dérives et des atteintesaux libertés fondamentales et notammentà la privacy. une voiture autonome doit-elle être programmée pour exécuter toutce que pourrait demander unreprésentant des forces de l’ordre ?

si le véhicule autonome est équipé d’unbouton Off, l’occupant, l’utilisateur ou lepropriétaire du véhicule autonomepourront-ils l’activer et dans quellessituations ou configurations (espace,temps) ? Les forces de l’ordre pourront-elles être en mesure d’empêcherl’utilisation du bouton Off à partir de leurstablettes numériques lors d’un contrôleautoroutier par exemple et dans quellesconditions juridiques et opérationnelles ?

répondre à ces questions conduit àenvisager une refonte de notre droitapplicable aux véhicules autonomes dèsaujourd’hui et à anticiper un nouveau droiten matière de contrôle par les forces del’ordre des véhicules autonomes.

il convient de ne pas attendre que lesvoitures autonomes soient omniprésentessur l’espace public après disparition totaledes voitures thermiques pour commencerà réfléchir aux règles juridiques quepourront mettre en œuvre les autoritésjudiciaires et les forces de sécurité. Lamise en œuvre d’une opération decaptation d’informations par les forces de

les voitures autonomes ? Quels moyenset capacités de contrôle des forces del'ordre sur les voitures autonomes ?

La réponse à ces deux questions nerésulte pas uniquement d’enjeuxjuridiques et dépend également d’enjeuxtechnologiques, normatifs, éthiques ettransversaux. elle implique de prendre encompte des questions nouvelles,suscitant elle-même des débats et parfoismême des débats de société.

une grande partie des interrogations quesoulève la question des capacités decontrôle des forces de police et degendarmerie concerne finalement nosrelations avec ces objets tangibles quesont les voitures autonomes, leur statutjuridique, mais aussi la délimitation de lafrontière entre maintien de la sécuritépublique, protection de la sécurité despersonnes et des biens, et protection denos données personnelles.

un autre aspect est égalementdéterminant et importe tout autant que lafixation de cette frontière. il concerne lacybersécurité des voitures autonomes,des systèmes complexes et embarqués,des multitudes de capteurs et de laprofusion de données produites via lescapteurs ou actionneurs nécessaires aufonctionnement sur l’espace public desvéhicules autonomes mais aussi par lesoccupants des véhicules autonomes.

À partir de là, rien n’est simple.

dOCTRINE jURIdIqUE




police et de gendarmerie pose aujourd’huides défis techniques et juridiques non-résolus.

La captation de données, lorsqu’elle sedéroule sur plusieurs heures, va amenerles forces de l’ordre à emmagasinerplusieurs centaines de Go de données.Bien qu’elle ne soit pas insoluble, cettedifficulté devra être anticipée par lespersonnes en charge de la captation.

Par ailleurs, le recueil d’une telle quantitéd’informations pose des problèmes derespect de la vie privée et des données àcaractère personnel. il conviendra des’interroger sur la possibilité desélectionner les flux de données les pluspertinents pour l’enquête ou l’informationjudiciaire mais également les plusstrictement nécessaires.

Boîtes noires

Les systèmes de boîtes noires peuvent-ilsêtre intégrés au véhicule autonome et êtreutilisés à titre de preuve sans méconnaîtreles droits des occupants ? L’utilisateur ouoccupant du véhicule autonome doit-ilconsentir à l’utilisation d’un tel dispositif ?Les forces de l’ordre doivent-elles avoiraccès aux données recueillies par uneboîte noire ? Faut-il attribuer auxassureurs un droit d’accès à celles-ci ?Dans quels cadres et conditions d’accèsaprès un accident de la circulation ?

L’ensemble de ces questions fait débat.

s’agissant des assureurs, la CniL avait

montré quelques réticences à la mise enœuvre de systèmes embarqués degéolocalisation à des fins de modulationde tarifs d'assurance automobile, avantde finalement autoriser ces systèmes. Parsa délibération du 8 avril 2010, ellesubordonne l’utilisation d’un tel systèmeau respect des conditions suivantes :

– la finalité de traitement se cantonne à lamodulation des tarifs d'assuranceautomobile ;

– les infractions éventuelles au Code de laroute ne doivent pas être identifiées ;

– seul le traitement de la vitesse moyennepeut être réalisé ;

– les assureurs doivent enfin prendre desmesures afin d’éviter l’agrégation desdonnées.

La CniL recommande également auxassureurs d’éviter la multiplication desdonnées et de ne les conserver quependant le temps nécessaire pourcaractériser chaque item utile au calcul de

la primed'assurance15. sepose ainsi laquestion de savoir sices conditions sonttransposables auxboîtes noires.

La principale difficulté va se situer auniveau de l’agrégation des donnéesstockées dans la boîte noire. Cette

(15) Délibération n° 2010-096 du 8 avril 2010 portantrecommandation relative à lamise en œuvre, par lescompagnies d'assurance etles constructeursautomobiles, de dispositifsde géolocalisationembarqués dans lesvéhiculeshttps://www.legifrance.gouv.fr/affichTexte.do?cidTexte=JorFTeXT000022227831 ;


dOCTRINE jURIdIqUE



64

Faut-il adapter le cadre juridiqueactuel pour encadrer demain lescontrôles des voitures autonomes ?notre droit positif en vigueur encadredéjà :

– le contrôle automatisé des donnéessignalétiques des véhicules et lestraitements automatisés de donnéespersonnelles ;

– la prévention, répression, expositionparticulière à un risque d’actes deterrorisme ;

– les comportements en cas de contrôleroutier ;

– les captations de donnéesinformatiques dans un lieu privé qui peutêtre le véhicule d’une personne.

Contrôle automatisé des donnéessignalétiques des véhicules et traitementsautomatisés de données personnelles.

notre cadre juridique actuel et notammentle Code de la sécurité intérieure permetdéjà, afin de faciliter la constatation desinfractions en matière de terrorisme etplus généralement de faciliter laconstatation des infractions criminelles ouliées à la criminalité organisée auxservices de police et de gendarmerienationales et des douanes, aux termesdes dispositions de l’article L-233-1 duCode de la sécurité intérieure, de mettreen œuvre des dispositifs fixes ou mobilesde contrôle automatisé des donnéessignalétiques des véhicules prenant la

agrégation risque d’être difficilementconciliable avec les exigences actuellesde la CniL. une solution pourrait être demettre en place un système faisantintervenir un tiers de confiance en chargede ne communiquer aux assureurs queles informations strictement nécessaires àl’exécution du contrat.

Dans le cadre d’une procédure pénale, sila preuve d’une infraction pénale estfacilitée par le recours aux nouvellestechnologies, il convient néanmoins des’assurer que la preuve de la commissiond’une infraction respecte bien lesprincipes généraux de la procédurepénale. un parallèle peut ici encore êtreopéré avec la géolocalisation.

en France, la Cour de cassationconsidère que cette technique constitueune ingérence dans la vie privée dont la

gravité nécessitequ'elle soit exécutéesous le contrôle d'unjuge16.

en l’état actuel du droit, l’accès à la boîtenoire du véhicule autonome devrait êtrepréalablement autorisé par un juge et nepourrait pas être mis en œuvre dans lecadre d’un simple contrôle des forces del’ordre.

(16) Cass.crim. 22 octobre2013, n°13-81945 https://www.legifrance.gouv.fr/affichJuriJudi.do?oldAction=rechJuriJudi&idTexte=JuriTeXT000028116516&fastr

dOCTRINE jURIdIqUE




photographie de leurs occupants, en touspoints appropriés du territoire, enparticulier dans les zones frontalières,portuaires ou aéroportuaires ainsi que surles grands axes de transit national ouinternational.

Pour les finalités précitées, les données àcaractère personnel collectées àl'occasion des contrôles susmentionnéspeuvent faire l'objet de traitementsautomatisés mis en œuvre par lesservices de police et de gendarmerienationales ainsi que par les services desdouanes.

L’alinéa 2 de l’article L233-1 du Code dela sécurité intérieure autorise également, àtitre temporaire, l’emploi de dispositifsfixes ou mobiles de contrôle automatisédes données signalétiques des véhicules,pour la préservation de l’ordre public, àl'occasion d'événements particuliers oude grands rassemblements de personnes,par décision de l'autorité administrative.

L’article L233-2 du Code de la sécuritéintérieure permet que les données àcaractère personnel collectées àl’occasion des contrôles réalisésconformément aux dispositions de l’articleL233-1 du Code de la sécurité intérieurepuissent faire l’objet d’un traitementautomatisé des données à caractèrepersonnel collectées pour les finalitésmentionnées à l’article L233-1 du Codede la sécurité intérieure précité.

L’article L233-2 du Code de la sécurité

intérieure prévoit également que lestraitements comportent une consultationdu traitement automatisé des donnéesrelatives aux véhicules volés ou signalésainsi que du système d'informationschengen et, afin de permettre cetteconsultation, la conservation des donnéescollectées durant un délai maximum dehuit jours au-delà duquel elles sonteffacées, dès lors qu'elles n'ont donnélieu à aucun rapprochement positif avecles traitements. en outre, les données quiont fait l'objet d'un rapprochement positifavec ces mêmes traitements peuvent êtreconservées pour une durée d'un moissans préjudice des nécessités de leurconservation pour les besoins d'uneprocédure pénale ou douanière.

Afin de prévenir et de réprimer les actesde terrorisme et de faciliter la constatationdes infractions s'y rattachant, les agentsindividuellement désignés et dûmenthabilités des services de police et degendarmerie nationales spécialementchargés de ces missions peuvent avoiraccès à ces traitements.

L’article L235-1 du Code de la sécuritéintérieure prévoit que les donnéescontenues dans les traitementsautomatisés de données à caractèrepersonnel gérés par les services de policeet de gendarmerie nationales peuvent êtretransmises, dans le cadre desengagements internationauxrégulièrement introduits dans l'ordrejuridique interne, à des organismes de


dOCTRINE jURIdIqUE



automatisés par des robots-policiers oudes robots-gendarmes, sous lasupervision des forces de l’ordre, laréglementation en vigueur devranécessairement être modifiée etcomplétée pour permettre la constatationdirecte d’infractions par des robots-policiers et gendarmes. Tous les expertsdevraient s’accorder sur la nécessitéd’élaborer des règles juridiquesdéfinissant les capacités de contrôle desforces de police et de gendarmerie sur lesvoitures autonomes.

Quant à partir de 2025 et 2030, seules lesvoitures autonomes seront en circulationsur l’espace public, sur la base de quellesrègles juridiques et par quels moyens lesforces de police et de gendarmeriepourront-elles contrôler ces véhicules quiposséderont une autonomie, uneindépendance et un degré de liberté enraison des capteurs embarqués ? Cenouveau cadre juridique devrait, selonnous, appréhender et définir lesconditions de contrôle à distance desvéhicules autonomes.

Captation de données informatiques.

La loi relative au renseignement du 24juillet 201517

introduite dans leCode de la sécurité

intérieure autorise dans les conditionsprévues dans ledit code l’utilisation dedispositifs techniques permettant lacaptation, la fixation la transmission etl’enregistrement d’images et de données

(17) Loi n° 2015-912 relativeau renseignement du24 juillet 2015

coopération internationale en matière depolice judiciaire ou à des services depolice étrangers, qui représentent unniveau de protection suffisant de la vieprivée, des libertés et des droitsfondamentaux des personnes à l'égarddu traitement dont ces données fontl'objet ou peuvent faire l'objet.

prévention, répression, expositionparticulière à un risque d’actes deterrorisme.

L’article L223-4 du Code de la sécuritéintérieure autorise également la mise enœuvre de système de vidéoprotection,pour une durée déterminée, lorsquel'urgence et l'exposition particulière à unrisque d'actes de terrorisme le requièrent.

Comportement en cas de contrôle routier.

en matière de comportement, lors d'uncontrôle routier, l’article L233-1 du Codede la route dispose que le fait pour toutconducteur d’omettre d’obtempérer à unesommation de s’arrêter émanant d’unfonctionnaire ou agent chargé deconstater les infractions et muni desinsignes extérieurs et apparents de saqualité est puni de 3 moisd’emprisonnement et de 3 750 eurosd’amende. Toute personne coupable dudélit de l’article L233-1 du Code de laroute encourt également des peinescomplémentaires.

Dans le cadre de contrôles routiers devéhicules autonomes, entièrement


dOCTRINE jURIdIqUE



informatiques dans un lieu privé.L’autorisation d’utilisation de dispositifstechniques de captation, de fixation etd’enregistrement de donnéesinformatiques à l’intérieur n’est donnéequ’à des agents appartenant à l'un desservices spécialisés de renseignementmentionnés aux articles L. 811-2 et L.811-4 du Code de la sécurité intérieure etpour les finalités définies à l’article L.811-3 du Code de la sécurité intérieure.

rappelons que parmi ces finalités figurentnotamment la prévention du terrorisme(4°), la prévention des troubles à l'ordrepublic (5°), la prévention de la criminalitéet de la délinquance organisées (6°). enl’état de notre droit positif, la captation dedonnées informatiques sur une voitureautonome ne pourrait être autorisée quedans les cas précités prévus par la loi.

Dans ce cadre, l’article 706-102-1 préciseles conditions d’une captation desdonnées par la mise en place d’undispositif technique et sous contrôle d’un

magistrat18 en touslieux et sans leconsentement de

l’intéressé.

Investigations policières et 4e

Amendement aux États-Unis : lavision de la Cour Suprême américaineLes origines du 4e Amendement de laConstitution américaine tiennent auxpratiques mises en œuvre par lesautorités britanniques qui, pour luttercontre la subversion dans les colonies

(18) www.code-et-lois.fr/code-de-procedure-penale/article-706-102-1

américaines, se munissaient de mandatsformulés dans les termes les plus généraux(general warrants), de manière à ce que lesfouilles et perquisitions soient les pluslarges possibles.

en réaction à cette pratique, lesAméricains ont intégré dans leur Bill of

right19 un 4e

Amendementénonçant :

« le droit des citoyensd'être garantis dansleurs personnes,domicile, papiers eteffets, contre les

fouilles [search] et saisies déraisonnablesne sera pas violé, et aucun mandat ne seradélivré, si ce n'est sur une présomptionsérieuse [probable cause], corroborée parserment ou affirmation, ni sans qu'ildécrive particulièrement le lieu à fouiller etles personnes ou les choses à saisir ».

Par la décision smith v. maryland (1979)20,la Cour suprême des états-unis a énoncéqu’une fouille par les forces de l’ordredevait être considérée commedéraisonnable au sens du4e Amendement (unreasonnable search) :

– lorsqu’elle empiète sur la reasonableexpectation of privacy - à savoir, l'attenteraisonnable d’un citoyen au respect de savie privée ; et

– dans la mesure où la société est prête àconsidérer une telle attente commeraisonnable.

(19) Les dix premiersamendements à laConstitution américaineforment la déclaration desdroits. ils affirment des droitsdes citoyens, sous la formed'une limitation explicite despouvoirs de l'état.

(20) smith v. maryland, 442u.s. 735 (1979)http://caselaw.findlaw.com/us-supreme-court/442/735.html


dOCTRINE jURIdIqUE



dans un véhicule automobile par d'unagent de police constitue une fouille(search) et nécessite de ce fait un mandatdélivré par un magistrat (sauf exception).

L’entrée dans les systèmes informatiquesde la voiture autonome, ou la captationdes données émises ou reçues par cettedernière pourrait également être qualifiéede search au même titre que la fouillephysique d’un véhicule.

Parce que les véhicules autonomes nesont pas encore disponibles pour uneutilisation générale, les prévisionsconcernant les attentes raisonnables derespect de la vie privée en ce quiconcerne les véhicules autonomesdoivent nécessairement être déduites àpartir des décisions de la Cour suprêmeconcernant d’autres types de véhicules(notamment la voiture avec conducteur),modes de transport, ou systèmes.

excluant d’abord les automobiles duchamp d’application du 4e Amendement,la Cour suprême des états-unis a faitévoluer sa jurisprudence à la fin du XXe

siècle.

début du XXe

Au début du XXe siècle, la Cour suprêmes’est montrée réticente à appliquer laprotection conférée par le4e Amendement aux véhiculesautomobiles présents sur la voie publique.Par leur nature même, et à la différencedes propriétés privées, les voiespubliques n’étaient pas considérées

Dans l’hypothèse où une fouilledépasserait la reasonable expectation ofprivacy, l’agent de police devrapréalablement obtenir un mandat d’unjuge, ou à défaut agir dans le cadre d’uneexception à l’exigence d’un mandat.

La doctrine de la reasonable expectationof privacy est le critère majeur pour ladéfinition du champ d'application de laprotection de la vie privée par le4e Amendement. C’est ce critère qui vapermettre de déterminer, au regard de lajurisprudence de la Cour suprême,quelles fouilles, et plus largement quellescaptations – ou interceptionsd’informations – les forces de l’ordreseraient en droit de mettre en œuvre ou,au contraire, seraient jugées commedéraisonnables au sens du4e Amendement..

il convient de distinguer la fouille de lavoiture autonome de la surveillance quipeut être mise en œuvre au moyen desinformations collectées ou émises par levéhicule autonome.

Fouille de voiture autonome

Aux états-unis, les automobilesconstituent des effet au sens du4e Amendement, et leurs propriétaires oupossesseurs peuvent généralementprétendre à une attente raisonnable durespect de leur vie privée contre lesintrusions que pourraient constituer lesfouilles par les forces de l’ordre.

L'entrée et les recherches effectuées


dOCTRINE jURIdIqUE



énoncé le principeselon lequel le4e Amendement

protège « les hommes – et pas seulementles lieux – contre les fouilles et saisiesdéraisonnables » et en a déduit que « sonapplication ne doit pas dépendre del’existence ou de l’absence d’uneintrusion physique dans une sortequelconque d’espace clos et fermé ».

Deux conclusions essentielles, encoreapplicables aujourd’hui, sont à tirer decette décision :

– la première est que la présence dans unlieu public n’écarte pas l’application du4e Amendement. La Cour suprême arejeté le raisonnement selon lequel lapossession d’un mandat n’est exigéequ’en cas d’interférence avec le droit depropriété.

– la seconde, est que la Cour suprêmen’exclut plus les éléments de preuveintangibles.

Ainsi, dans la mesure où la plupart desinformations personnelles générées parles véhicules autonomes seront desdonnées numériques intangiblescollectées sur la voie publique, la décisionKatz v. united states est essentielle pourla compréhension des principes et del’étendue de la protection conférée par le4e Amendement pour les attentes de lavie privée dans les véhicules autonomes.

Cette décision ne signifie pas pour autantque toutes les communications

(23) Katz v. united states,389 u.s. 347 (1967)https://www.law.cornell.edu/supremecourt/text/389/347

69

comme des lieux où les citoyens devaientattendre une quelconque protection deleur vie privée.

À titre d’illustration, dans sa décisionolmstead v. unitedstates (1928)21, laCour suprême aexpressément refuséla protection par le 4e

Amendement desactivités menées

dans les lieux publics.

Durant la Prohibition (de 1919 à 1933), laCour suprême a ainsi autorisé denombreuses pratiques pour faire cesser lacontrebande soupçonnée d'alcool. Ladécision Carroll v. united states (1925)22

en est l’illustration la plus marquante.

Dans cette affaire, la Cour suprêmeaccorde aux autorités de police une plusgrande marge de manœuvre pour lafouille de véhicules que pour lesperquisitions de biens immobiliers. enl’espèce, les autorités de police, à larecherche d’alcool de contrebande,arrêtaient et fouillaient un grand nombred’automobiles.

La Cour a décidé que les véhiculespouvaient être fouillés sans mandat dansla mesure où les forces de l’ordrejustifiaient d’une présomption sérieuse detransport d’alcool de contrebande.

Tournant des années 70

en 1967, dans une décision Katz v.united states23, la Cour suprême a

(21) olmstead v. unitedstates, 277 u.s. 438 (1928)https://www.law.cornell.edu/supremecourt/text/277/438

(22) Carroll v. united states267 u.s. 132 (1925)https://www.law.cornell.edu/supremecourt/text/267/132

dOCTRINE jURIdIqUE




Voitures connectées et exception àl’exigence de mandat

L’exigence de mandat délivré par un jugeconnaît néanmoins plusieurs exceptionsqui s’appliquent à l'automobile. Lesprincipales exceptions aux exigences du4e Amendement sont les suivantes :

Consentement : la police peut fouiller unvéhicule si elle reçoit le consentementvolontaire du propriétaire ou possesseurapparent du véhicule. Le recueil d’unconsentement sera plus difficile à obtenirdans le cas où la voiture autonome netransportera ni occupant ni conducteur. ;

exception automobile: un véhicule peutêtre fouillé sans mandat lorsque la preuved’une contrebande risque de disparaîtreen raison de la mobilité d'un véhicule et iln’est ainsi pas possible d'obtenir unmandat sans compromettre la preuvepotentielle ;

Fouille incidente àl’arrestation : ladécisionArizona v. Gant

(2009)25 a précisé qu’un agent de policepouvait fouiller un véhicule à la suite del'arrestation récente d'un occupant àcondition que la personne arrêtée soit àdistance de marche du compartiment despassagers ou qu’il soit raisonnable decroire que le véhicule contient despreuves de l'infraction de l'arrestation ;

Fouille sommaire: la police peut fouillerl'habitacle d'un véhicule pour y trouverune arme si l'agent a des soupçons

(25) Arizona v. Gant, 556u.s. 332 (2009)http://www.supremecourt.gov/opinions/08pdf/07-542.pdf

intangibles dans les lieux publics seronttoujours automatiquement protégées parle droit à la vie privée. mais elle rendéligibles à la protection lescommunications entre les véhiculesautonomes et :

– d’autres véhicules autonomes ;

– l'infrastructure routière ;

– d'autres appareils mobiles ;

– le Cloud.

qu’en est-il aujourd’hui ?

Aujourd’hui, la doctrine américainedistingue l’arrêt du véhicule de la fouilleelle-même.

Depuis la décisionTerry v. ohio24

(1968), la Coursuprême n’exige plus

de probable cause (présomption sérieuse)pour demander l’arrêt d’une automobile.L'agent de police doit seulement justifierd’un soupçon raisonnable que lapersonne a commis, commet ou est surle point de commettre une infraction.

en revanche, la fouille du véhicule sansmandat à la suite de cet arrêt doit êtrejustifiée par une probable cause(présomption sérieuse).

en l’absence de conducteur, et doncd’observation du comportement de celui-ci, la preuve d’une reasonable suspicionou d’une probable cause (présomptionsérieuse) va être rendue plus difficile parles forces de l’ordre.

(24) Terry v. ohio, 392 u.s. 1(1968)https://www.law.cornell.edu/supremecourt/text/392/1


dOCTRINE jURIdIqUE



Appliquée aux véhicules autonomes,cette décision encouragera lacontestation d’une fouille, même lorsquecette action est prise en vertu d'uneexception reconnue. L'émergence devéhicules autonomes pourrait ainsi limiterles moyens d’investigation classiques enraison des données sensibles quecontient cette catégorie de véhicule.

Surveillance des véhicules autonomes

il convient de distinguer les deux types desurveillance qui pourraient être mis enœuvre par les forces de l’ordreaméricaines : la surveillance ciblée et lasurveillance de masse.

Surveillance ciblée

La surveillance ciblée garde la trace d’unepersonne particulière et identifiée.

Surveillance à distance

Dans l’affaire united states v. Jones(2012)27, la questions’est posée de savoirsi le tracking GPsd’une voiture

nécessitait un mandat préalable du juge.Dans le cas d’espèce, les policiersavaient tracé pendant 28 jours lesdéplacements d’un trafiquant de droguegrâce à un système GPs qu’ils avaientimplanté dans la voiture de sa femme.

Les juges de la Cour suprême ontappliqué la doctrine habituelle de lareasonable expectation of privacy, en sedemandant si le justiciable pouvaitraisonnablement avoir anticipé d’être ainsi

(27) united states v. Jones,132 s. Ct. 945, 565 u.s.___ (2012)https://www.law.cornell.edu/supremecourt/text/10-1259

71

raisonnables et que l’occupant duvéhicule peut devenir dangereux si on luilaisse accès à l'arme en question ;

Fouille d’inventaire : un véhiculelégalement mis à la fourrière peut êtrephysiquement fouillé dans le cadre d’uninventaire de routine;

Contrôle du permis de conduire et del’immatriculation du véhicule: souscertaines circonstances, la police peutprocéder à la fouille d’un véhicule pours’assurer de la conformité de sonimmatriculation et du respect desexigences réglementaires.

en principe, ces exceptions sont vouées às’appliquer aux véhicules autonomescomme elles le sont pour les voituresclassiques.

néanmoins, la nature de la preuve que lesforces de l’ordre peuvent chercher dansles véhicules autonomes peut compliquerl'analyse des exceptions du4e Amendement. A cet égard, le recueilde preuves numériques des véhiculesautonomes par la police peut se révélerparticulièrement sensible.

récemment, dans l’affaire riley v.California (2014)26, laCour suprême a jugédéraisonnable une

fouille sans mandat portant sur destéléphones mobiles à la suite d’unearrestation. Pour parvenir à ce résultat, laCour a souligné la quantité et la naturepotentiellement sensible de l'informationnumérique présente dans ces dispositifs.

(26) riley v. California, 573u.s. ___ (2014)https://supreme.justia.com/cases/federal/us/573/13-132/

dOCTRINE jURIdIqUE




72

justifier l'acquisition sans mandatd'informations concernant l'utilisation duvéhicule autonome.

Captation des données contenues dans levéhicule

La captation des données enregistréesdans le véhicule autonome devrait suivrele même régime que celui de la fouille :mandat ou probable cause (présomptionsérieuse).

Surveillance de masse

La surveillance de masse implique lacollecte complète et sans discriminationdes informations personnelles d’unepopulation ou d’un groupe. Lasurveillance de masse rassemblelittéralement toutes les informationsdisponibles à propos de toutes lespersonnes à portée de la surveillance enquestion. La surveillance de massepourrait être utilisée pour le profilage depersonnes, la prédiction decomportements, et éventuellement lamanipulation du comportement desvéhicules et de leurs utilisateurs.

Dans l’affaire,indianapolis v.edmond (2000)29,l’opération au cours

de laquelle des agents de police ontarrêté et fouillé chaque automobile d’uneroute aux fins de démasquer destransporteurs de drogue a été jugéedéraisonnable.

(29) City of indianapolis v.edmond, 531 u.s. 32 (2000)https://www.law.cornell.edu/supct/html/99-1030.Zs.html

surveillé sans autorisation d’un magistrat.

La Cour suprême a décidé qu’à moinsqu'un mandat soit d’abord obtenu auprèsd’un juge, le suivi à distance automatiséd'un véhicule autonome sur la voiepublique interférerait avec des attentesraisonnables de la vie privée protégée envertu du 4e Amendement.

Obtentions de données auprès de tiers

La third-party doctrine repose sur l’idéeselon laquelle un individu n'a pas dereasonable expectation of privacylorsqu'il communique volontairement à untiers des informations.

Cette doctrine a été appliquée dansl’affaire smith v.maryland28. ils’agissait en l’espèced’un dispositif

enregistrant tous les numéros appelés àpartir d'une ligne de téléphone particulièrequi avait été installée par la police dansune compagnie téléphonique.

L’opinion majoritaire a par ailleursconsidéré qu’il n’était pas déraisonnablede supposer que la compagnietéléphonique gardait dans ses registresune trace de tous les numéros detéléphone composés.

Dans le cadre d’une surveillance cibléefaisant appel à une infrastructure tierce(constructeurs, opérateurs de téléphoniemobile…), les forces de l’ordre pourraientinvoquer la third-party doctrine pour

(28) smith v. maryland, 442u.s. 735 (1979)https://www.law.cornell.edu/supremecourt/text/442/735

dOCTRINE jURIdIqUE




pécuniaire de 100 000 € à l’encontre deGoogle pour les mêmes motifs31.

Faut-il définir un cadre éthique ?Le véhicule autonome intégrera de plusen plus d’intelligence artificielle.L’intégration de plus d’intelligenceartificielle dans le véhicule autonomepermettant une plus grande autonomie etdonc une plus grande automatisation dela conduite et des opérations liées à laconduite questionne également le débatéthique.

Définir un ou plusieurs cadres d’éthiquepermettant de déterminer si un boutonoFF devra être prévu dans tout véhiculeautonome, ainsi que cerner leshypothèses d’utilisation du bouton oFFdans une voiture autonome, ne sera paschose facile. en effet, en fonction del’autonomie des voitures autonomes dansleur prise de décision, cela nécessiteratrès probablement de définir des règlesprimaires mais également toutes lesvariations ou déclinaisons possibles.

en 2030, il ne peut être exclu que tout oupartie de certains types de contrôles devéhicules autonomes puissent êtreautomatisés par le recours à des robots-policiers ou des robots-gendarmes, sousla supervision de policiers ou gendarmeshumains, en interaction ou non avec desdrones de surveillance.

Les robots capables de réguler lacirculation existent déjà dans certainspays. en effet dès 2013, le premier robot

73

La Cour suprême a en effet considéréque l’arrêt sur une route de chaqueautomobile à des fins généralesd'application de la loi constitue une fouilleau sens du 4e Amendement et nécessiteun mandat judiciaire.

Les forces de l’ordre, mais également lesinvestisseurs privés, les régiespublicitaires et les mercaticiens pourraientsouhaiter, dans le cadre de leurs activités,obtenir l'accès aux informations émisespar les voitures autonomes, et leur réseaule cas échéant.

en matière de surveillance de masse, laFederal Communications Commission(FCC) a enquêté sur la collecte massivede données sur des réseaux Wifi non-sécurisés par Street View. Après avoir,condamné Google au paiement d’uneamende de 25 000 dollars pour entrave àl’enquête, la FCC a rendu un rapport le

13 avril 201230

faisant état d’unprogrammeinformatique intégréaux Google Cars

conçu pour collecter ces donnéespersonnelles.

Par une délibérationrendue le 17 mars2011, la Commissionnationale del'informatique et desLibertés (CniL) a

prononcé en France une sanction

(30) F.C.C. report onGoogle's street View Projecthttp://www.nytimes.com/interactive/2012/04/29/technology/fcc-report-on-google-street-view-project.html?_r=0

(31) Délibération n°2011-035du 17 mars 2011 de laformation restreinteprononçant une sanctionpécuniaire à l’encontre de lasociété GooGLe inchttps://www.legifrance.gouv.fr/affichCnil.do?&id=CniLTeXT000023733987

dOCTRINE jURIdIqUE




74

des risques liés à la cybersécurité desarchitectures et des systèmes complexesque sont les voitures autonomes. Lacomplexité de conception et dedéveloppement d’architectures desystèmes complexes dédiés aux voituresautonomes nécessitant d’identifier lesrisques de défaillances matérielles descapteurs et actionneurs ainsi que desdysfonctionnements logiciels, ont conduitl’iso à publier la norme iso 26262 sur lasécurité fonctionnelle. sur la base d’uncycle de vie de la sécurité pour le véhiculeautonome, celle-ci doit permettre dedémontrer que l’ensemble des exigencesde sécurité est respecté.

s’agissant des risques liés à lacybersécurité, l’institut de recherchetechnologique (irT) systemX, dans lecadre du projet eiC, vient de lancer unprogramme de recherche sur une duréede cinq ans dont l'objet d’étude consisteà déterminer les bons arbitrages à mettreen œuvre entre coût de la sécurité desvéhicules autonomes, sûreté defonctionnement et respect d’un droitnumérique tout en tenant compte desbesoins de l’ensemble des partiesprenantes.

de régulation de la circulation a été mis enœuvre en république démocratique du

Congo (rDC)32.

Le sauttechnologiquenécessaire pour quecertains robotssoient capables

demain d’établir certains contrôlesautomatiques donnant lieu à uneverbalisation de véhicule autonome danscertaines configurations déterminées,n’est pas une simple hypothèse d’école.

Les émirats Arabes unis envisagent dedéployer à Dubaï en 2020 des robotspoliciers pour l’expo 2020. ils pourraientbien préfigurer un modèle d’agent del’ordre 4.0, même si la smart Police deDubaï n’envisage de confier aux robots-policiers que des tâches bienspécifiques33.

La définition d’un cadre légal enmatière de contrôle à distance desvéhicules autonomes pour les forces

de l’ordre sera également fortementsubordonnée, outre les questionsjuridiques et éthiques, à de nombreuxautres enjeux que nous n’avons pasdéveloppés volontairement dans cetarticle et qui pourront faire l’objet de nosprochaines publications.

il s’agit notamment des enjeux industriels,des enjeux de la normalisation en matièrede véhicule autonome et en matière detraitement des gisements de données,

(32)http://www.aaaep.fr/blog-tests-psychotechniques/robot-regule-circulation-0059-684/

(33)https://humanoides.fr/robots-policiers-dubai-expo-2020/

dOCTRINE jURIdIqUE




dOCTRINE jURIdIqUE

75

Application de l’intelligence artificielle (IA) à la robotique : un cadre juridiqueet éthique est nécessaire

Dans cette publication, rédigéespécifiquement pour l’AGORA Droitdes robots du FIC 2017, il est proposéde faire un point sur la manière dontl’intelligence artificielle appliquée à larobotique modifie les frontières entretechnologie et droit ainsi que sur lamanière dont les règles de laresponsabilité sont impactées par lesrobots qualifiés d’intelligents. Auxtermes de cette analyse, il nousapparaît que le droit communapplicable en matière de

responsabilité estmal adapté, et queles régimesspéciaux deresponsabilité,notamment laresponsabilité dufait des choses,bien que plusopportune,présentent

Dégalement une inadaptation àl’intelligence artificielle appliquée à larobotique. Une publication relative àl’analyse du droit positif et des régimesde responsabilité en vigueur àl’épreuve de l’intelligence artificielleappliquée à la robotique sera réaliséedans le cadre des prochains travauxde l’ADDR et publiée également sur lesite web alain-bensoussan.com.

L’intelligence artificielle irrigue déjà denombreux domaines et secteurs, aupremier rang desquels la finance, la santé,la recherche, le e-commerce et même lesmétiers du droit.

or, du fait du couplage avec uneintelligence artificielle toujours plussophistiquée – dont le point culminantserait l’émergence d’une iA forte – et durôle majeur des algorithmes, les robotsont vocation à disposer de toujours plusd’autonomie décisionnelle, et ce, grâce àune capacité d’apprentissage enconstante augmentation, d’abord

par DIDIEr gAZAgNE


DIDIEr gAZAgNE

AvocatVice-président del’Association du droit desrobots (AddR)président de laCommission Usine 4.0(AddR)


supervisée par l’humain, puis nonsupervisée.

Ce couplage entre la robotique et l’iAdoit-il conduire à adapter notre systèmede responsabilité et d’indemnisation ?une réponse positive semble s’imposer etun processus de normalisation a déjà étéà ce titre enclenché au niveau de l’unioneuropéenne.

Peut-on envisager de franchir une étapesupplémentaire et considérer que larupture technologique majeure résultantde la synergie entre la robotiquemécanicienne et le développement des

applications d’intelligence artificielle doitconduire à repenser notre système decatégorisation juridique, de telle sorte àdonner une place à cet être artificiel ?

Certains le proposent déjà, aux états-uniset en France notamment, dans le cadred’une approche prospective assumée quiconsiste à s’interroger sur le fondement etla fonction d’un tel renouvellement descatégories juridiques. À tout le moins, onpeut penser qu’il sera très délicat de nepas voir dans l’entité « robot-iA » un objetde droit complexe soumis, à cet égard, àun certain nombre de régimes

76

« les avancées fulgurantes de l’IA appliquée à la robotique impactent les frontières entretechnologie et droit. »


dOCTRINE jURIdIqUE

APPLiCATion De L’inTeLLiGenCe ArTiFiCieLLe (iA) À LA roBoTiQue : un CADre JuriDiQue eT éThiQue esT néCessAire


spécifiques. L’enjeu de cetenchevêtrement de corpus normatifs serade trouver un point d’équilibre entre lavision matérielle que l’on peut en avoir etson « intelligence » (qui peut êtreobjectivée et étalonnée au regard de sacapacité à résoudre les problèmes qui luisont soumis).

Dans tous les cas, les avancéesfulgurantes de l’iA appliquée à larobotique impactent les frontières entretechnologie et droit. en effet, plus le robotaura accès à une intelligence artificielleforte et disposera d’autonomiedécisionnelle et d’une capacitéd’apprentissage machine (Machinelearning) non supervisé par l’homme(c’est-à-dire lorsque les données desalgorithmes d’apprentissage machine enentrée et en sortie ne sont pasnécessairement connues par l’humaindans la boucle), moins le robot pourraêtre considéré comme un simple objet dedroit sous le contrôle ou la garde d’un oude plusieurs acteurs (le concepteur, lefabricant, le codeur des briques logiciellesou hardware, le codeur des algorithmes,le propriétaire du robot, l’utilisateur ouencore l’intégrateur).

en réalité, des systèmes disposant d’uneautonomie décisionnelle et d’une capacitéd’apprentissage non supervisés parl’homme existent déjà.

Robot, machine, intelligenceartificielle (IA) : de quoi parle-t-on ?Le terme robot est utilisé abondammentmais il appréhende des réalitéstechniques multiples et complexes qui ontun impact direct sur les qualifications etles régimes juridiques.

À l’exception du rapport pour laproposition de résolution du Parlementeuropéen contenant desrecommandations à la Commissionconcernant des règles de droit civil sur larobotique, dont madame mady Delvauxest la rapporteuse, la régulation positiveactuelle aux niveaux européen et françaisest essentiellement basée sur un objettechnique appréhendé sous le terme demachine.

sur le plan juridique, la définition de lamachine est issue de la directive2006/42/Ce du 17 mai 2006 et modifiantla directive 95/16/Ce (refonte) ; elle y estdéfinie comme un « ensemble équipé oudestiné à être équipé d'un systèmed'entraînement autre que la forcehumaine ou animale appliquéedirectement, composé de pièces oud'organes liés entre eux dont au moins unest mobile et qui sont réunis de façonsolidaire en vue d'une applicationdéfinie ».

L’élément le plus discriminant de cettedéfinition est la capacité de la machine àréaliser une application définie.


dOCTRINE jURIdIqUE



L’expression « unité fonctionnelle » est elle-même décrite dans la norme iso/ieC2382-2015 comme une « entité de matérielou de logiciel, ou les deux, capabled’accomplir un but précis ». Le discrimi -nant majeur de la définition de l’intelligenceartificielle dans cette norme réside dans lacapacité d’exécution de fonctionsassociées à l’intelligence humaine, cesdeux fonctions étant le raisonnement maissurtout la capacité d’apprentissage, cettecapacité pouvant être superviséeentièrement par l’homme ou réalisée sansaucune supervision de l’homme.

seule la CernA1

avait défini le robotcomme « unemachine mettant enœuvre et intégrant :

– des capacités d’acquisition de donnéesavec des capteurs à même de détecter etd’enregistrer des signaux physiques ;

– des capacités d’interprétation desdonnées acquises permettant de produiredes connaissances ;

– des capacités de décision qui, partantdes données ou des connaissances,déterminent et planifient des actions. Cesactions sont destinées à réaliser desobjectifs fournis le plus souvent par unêtre humain, mais qui peuvent aussi êtredéterminés par le robot lui-même,éventuellement en réaction à desévénements ;

(1) CernA - Commission deréflexion sur l’éthique de larecherche en sciences ettechnologies du numériqued’Allistene [http://cerna-ethics-allistene.org/digitalAssets/38/38704_Avis_robotique_livret.pdf]

À l’exception de la proposition declassification des robots intelligentsproposée en annexe du rapport de madyDelvaux, le terme robot lui-même ne fait,à notre connaissance, aux niveauxeuropéen et français, l’objet d’aucunedéfinition juridique, cette difficulté ayantd’ailleurs été relevée dans ledit rapport.

Pour disposer d’une première définitiontechnique, il faut se référer uniquement àla norme iso 8373:2012 dans laquelle lerobot est défini comme un « mécanismeprogrammable actionné sur au moinsdeux axes avec un degré d’autonomie, sedéplaçant dans un environnement pourexécuter les tâches prévues ». L’élémentdiscriminant de cette définition estl’autonomie. en fonction des capteurs, duhardware et du software et del’intelligence artificielle (forte ou non), lerobot décide des actions à exécuter pouratteindre les objectifs qui lui ont étéassignés, en interprétant les donnéescollectées à partir des capteurs ouactionneurs et en fonction d’une capacitéd’apprentissage supervisée ou non parl’humain.

il en est de même de l’absence dedéfinition juridique relative à la notiond’intelligence artificielle. seule la normeiso 2382-28 définit l’expressionintelligence artificielle comme la « capacitéd’une unité fonctionnelle à exécuter desfonctions généralement associées àl’intelligence humaine, telles que leraisonnement et l’apprentissage ».


dOCTRINE jURIdIqUE



– des capacités d’exécution d’actionsdans le monde physique à travers desactionneurs, ou à travers des interfaces ».

La régulation positive européenne etfrançaise existante ne définit pas cequ’est un robot autonome disposantd’une capacité d’apprentissage(notamment lorsqu’il est sans aucunesupervision humaine) et dont les actionsou omissions pourraient porter atteinteaux personnes ou aux biens.

or, du fait du couplage de la robotique àl’intelligence artificielle et à unealgorithmique forte, notre droit positifsemble à l'avenir démuni pourappréhender le robot disposant d’un fortdegré d’autonomie et d’une capacité àexécuter des fonctions associées àl’intelligence humaine, que sont leraisonnement et la capacitéd’apprentissage, surtout si l’on considèrela phase d’exploitation où le systèmerobotique dispose d’une capacitéd’apprentissage non supervisée parl’humain.

Les questions juridiques del’application de l’intelligenceartificielle forte à la robotiqueLe juriste comme le législateur se doiventd’être les mieux informés des innovationsafin de préparer et d’anticiper les rupturestechnologiques et les transformationspouvant impacter le monde del’entreprise comme le citoyen.

Les enjeux actuels pour le législateur etpour le juriste sont de comprendre lesimplications réglementaires ou éthiquespotentielles de l’application del’intelligence artificielle forte à la robotiqueafin d’apprécier la portée du droit positif,et pour le régulateur, d’éviter d’adopterune législation obsolète.

pour une réglementation créative,collaborative et contributive en robotique

Dans de nombreux domainestechnologiques, le législateur est parfoisdémuni face à ces évolutions. De ce fait,l’absence d’une régulation élaborée demanière collaborative, associantl’ensemble des expertises nécessaires àla compréhension non seulement desenjeux, empêche de pouvoir se projeteravec une certaine anticipation surl’évolution des technologies.

À cet égard, le travail de décryptage et deréflexion, qui a été initié par un cycle de

débats de Francestratégie2 sur lesquestions éthiquessoulevées par larobotique ainsi quepar les débats

conduits sous l’autorité de l’officed’évaluation parlementaire des choixscientifiques et technologiques(oPeCsT)3, est primordial. L’oPeCsTétait d’ailleurs pleinement dans son rôleen tentant d’anticiper les évolutionsscientifiques et technologiques prévisibles

(2) France stratégie[http://www.strategie.gouv.fr/evenements/place-robots-societe]

(3) Les robots et la loi[http://www.senat.fr/notice-rapport/2015/r15-570-notice.html]


dOCTRINE jURIdIqUE



de droit existantes sont parfaitement enmesure d’appréhender l’ensemble desquestions juridiques soulevées par lesrobots qualifiés d’intelligents et, en matièrede responsabilité civile, mettent enexergue le caractère particulièrementaccueillant des principes suivants :

- « Tout fait quelconque de l’homme, quicause à autrui un dommage, oblige celuipar la faute duquel il est arrivé, à leréparer » ;

- « Chacun est responsable du dommagequ’il a causé non seulement de son fait,mais encore par sa négligence ou sonimprudence » ;

- « On est responsable non seulement dudommage que l’on cause par son proprefait, mais encore de celui qui est causé parle fait des personnes dont on doit répondre,ou des choses que l’on a sous sa garde ».

Les seconds considèrent, à l’inverse, soitque le droit commun de la responsabilitéest mal adapté, soit qu’une forme

d’autorégulation5

pourrait être mise enœuvre pour les robotsdits intelligents. C’estle cas notamment auxétats-unis et enCorée du sud où des

propositions sont formulées pour établirdes chartes du droit des robots.

Certains, à l’instar de l’initiative portée parle professeur de droit ryan Calo, militent

(5) Pour approfondir sur laquestion de l’autorégulation,voir notamment : ryan Calo,open robotics, 70maryland Law review 571(2011) ; me JérémyBensoussan, Droit desrobots,http://blogs.economie.gouv.fr/les-cafes-economiques-de-bercy/droit-des-robots-bensoussan/

pour concilier l’émergence, accélérée etsouvent imprévisible, des robots assortisd’impératifs individuels, sociaux ouéconomiques. Ces débats et réflexionsassociées ont surtout concerné les robotsdits humanoïdes et les robots qualifiés decompagnie. Ce travail se prolongeactuellement et devrait déboucher sur uneapproche globale, systémique etinterdisciplinaire de l’intelligenceartificielle, notamment appliquée à larobotique.

Avec le développement de celle-ci, lesquestions juridiques mais égalementéthiques soulevées par l’application del’intelligence artificielle forte à la robotiquesont et seront nombreuses. il est essentielque le législateur et les autoritéseuropéennes puissent réfléchir avecanticipation à l’activité de réglementationde ce domaine.

Des juristes se sont déjà prononcés dansle cadre de publications sur les questionsjuridiques relatives à des robotsintelligents ou cognitifs. La communautédes juristes est elle-même partagée, entreceux qui défendent la plasticité du droitpositif et qui préconisent de n’y toucher

que « d’une maintremblante »4 et ceux

qui considèrent, par exemple, que lacapacité du droit de la responsabilité àbien régir les situations résultant ducouplage entre la robotique et l’iA est entrain de se dégrader. Les premiersconsidèrent le plus souvent que les règles

(4) selon l’expression demontesquieu


dOCTRINE jURIdIqUE



pour la création d’une Agence fédérale dela robotique, une autorité européenne quipermettrait de développer des regardscroisés et de réunir des roboticiens, maisaussi des experts, des industriels, deséthiciens et des juristes afin que le droitpositif actuel soit rapidement adapté pourrépondre aux nouveaux enjeux et défis del’application de l’intelligence artificielle à larobotique.

L’avancée fulgurante de l’intelligenceartificielle appliquée à la robotique, ledéveloppement des technologiescognitives et de l’algorithmique modifientles frontières disciplinaires entre sciences,technologies et droit. Conscients de cettemodification des frontières, des industrielsavisés travaillent également activement àmettre au point des normesinternationales ou européennes afin de lesdéfendre auprès des législateursnationaux ou européens.

À la recherche d’un statut et d’un régimede responsabilité pour le robot autonomeet de sa capacité d’apprentissagesupervisée ou non par l’humain

s’interroger sur le statut et le régime deresponsabilité “le plus adapté” au robot,disposant d’une autonomie décisionnelleforte et d’une capacité d’apprentissagepouvant être à un certain stade nonsupervisée par l’humain, implique de bienconnaître l’état de l’art des technologies.

il est nécessaire de repenser la législationen vigueur, sans chercher à identifier et

cartographier tous les risques, pourréguler l’application de l’intelligenceartificielle forte à la robotique sansattendre qu’une nouvelle application del’iA à la robotique entraîne des conflits.

L’intelligence artificielle appliquée à larobotique doit être confrontée au droit eten particulier aux différents régimes deresponsabilité.

Prenons quelques exemples. Le premierexemple est celui de deux réseaux deneurones, du programme Google Brain,dénommés respectivement Alice et Bob,qui ont été capables, au termed’échanges de nombreux messages, decréer leur propre algorithme dechiffrement, pour sécuriser leursmessages. Cet algorithme s’est avéréindéchiffrable par un troisième réseau deneurone, dénommé eve, ainsi que parl’humain. L’utilisation des capacités desréseaux neuronaux devrait demains’étendre à de nombreux domainesd’applications industrielles.

Qui serait demain le responsable dans lecas d’un usage malveillant d’un telsystème sur des systèmes d’information ?L’entité utilisatrice du (des) réseau(x) deneurones pour une application donnée,les concepteurs des réseaux deneurones, les concepteurs des moteursalgorithmiques ou encore les trois entitésau prorata de leur contribution à laréalisation du dommage ? Qui pourraitêtre considéré comme le gardien des


dOCTRINE jURIdIqUE



82

rembrandt et plus particulièrement lesportraits dans les œuvres du maître. Dansun second temps, moyennant l’utilisationd’une imprimante 3D, il a été possible deréaliser un « nouveau Rembrandt ».

Dans le cas de l’utilisation d’un réseauidentique sur une œuvre qui ne serait pastombée dans le domaine public, quipourrait être reconnu en tant qu’auteur

réseaux de neurones, si la capacitéd’apprentissage dépasse celle del’humain et n’est plus supervisée par luiau moment de la réalisation dudommage ?

notre second exemple se déroule en avril2016 : un réseau de neurones en deeplearning et des algorithmes ont été utiliséspour analyser l’ensemble des œuvres de


Un statut et d’un régime de responsabilité pour le robot autonome dôté d’une capacitéd’apprentissage supervisée ou non par l’humain.

dOCTRINE jURIdIqUE



d’une œuvre conçu comme ce « nouveauRembrandt » ? Le créateur concepteur dumodèle de deep learning, le ou lescréateurs des algorithmes, la société quiaurait commandé la réalisation d’une

œuvre à unprestataire ayantréalisé l’APi6 de

reconnaissances des caractéristiques del’œuvre d’un artiste? Les trois ensemblessi l’on considère qu’il s’agit d’une œuvrecollective autonome produite par uneintelligence artificielle ?

Très récemment, le Pentagone aégalement annoncé avoir testé avecsuccès l’utilisation de microdrones,dénommés Perdrix, mesurant16 centimètres, dotés d’une intelligenceartificielle collective (i.A.C), travaillantensemble pour réaliser des actions engroupe et capables de s’adapter à unpanel de situations. en l’espèce, le testréalisé par le Pentagone en Californie enoctobre 2016 a concerné pas moins de103 microdrones Perdrix, largués par troisjets. Pour le Pentagone, grâce à cet iAcollective, les microdrones ont « montrédes comportements collectifs avancés,comme par exemple dans leur prise dedécision, dans leurs changements deformations de vol et dans leur processusd’auto-réparation ». Pour le responsabledu bureau de l’innovation au Pentagone,les microdrones Perdrix travaillantensemble sont « un organisme collectif »qui « partage une intelligence en commun

(6 )interface deprogrammation (APi)

pour la prise de décisions etd’adaptation » à l’image d’un essaimnaturel. Cet exemple de l’application del’intelligence artificielle collective à larobotique concerne la robotique militaire.Toutefois, des microdrones comparablesaux microdrones Perdrix pourraientparfaitement être utilisés demain dans ledomaine civil, pour l’exploitation desprises de décisions de l’iA collective.Demain, le recours à une intelligenceartificielle collective pourra se développeren dehors du champ militaire.

Qui sera alors responsable si un mêmeessaim de microdrones dans le domainecivil prenait une décision pouvant porteratteinte à une personne ou à un bien? Leconcepteur des microdrones, le fabricantdu système de communication entre lesmicrodrones, le développeur des modèlesde deep learning ou des annotateurs,l’entité utilisatrice des microdrones lors dela survenance du fait générateur dudommage ?

enfin, considérons le cas d’unprofessionnel de santé utilisant Watsonpour analyser les informations du dossierd’un patient, pour obtenir une analysedes études de cohortes ou encore pourproposer des stratégies thérapeutiques :le professionnel de santé aura-t-iltoujours, face à son patient, le derniermot lors du diagnostic ?

Demain, les robots utiliseront de plus enplus de briques logicielles


dOCTRINE jURIdIqUE



dont pourraient être dotés les robotsintelligents9 en précisant que « Lapersonnalité morale est une pureconstruction juridique conçue pourrépondre à des nécessités pratiques et

faire accéder à la viejuridique desstructures qui n’ontpas d'existencecorporelle ouphysique comme lessociétéscommerciales, lesassociations ou lessyndicatsprofessionnels. Ces

entités ne sont pas dotées d’émotions,mais sont responsables pénalement etcivilement des actes commis par leursdirigeants car elles sont dotées d’unepersonnalité juridique »10 .

(9) A. Bensoussan, « Lesrobots ont-ils unepersonnalité ? », Planèterobots, n° 19, janvier-février2013.Blog Le Figaro Droit destechnologies avancées, AlainBensousan, « Lapersonnalité robot »,http://blog.lefigaro.fr/bensoussan/2015/02/la-personnalite-robot.html

(10) Blog Le Figaro Droitdes technologies avancées,Alain Bensousan, « Lapersonnalité robot »,http://blog.lefigaro.fr/bensoussan/2015/02/la-personnalite-robot.html

d’apprentissage machine (deep learning)agissant directement sur les volumes dedonnées traitées et l’impact sur les prisesde décisions humaines augmentera.

Les situations où l’intelligence artificielleforte appliquée à la robotique pourraitsurpasser l’humain, grâce notamment auxréseaux de neurones et à l’algorithmique,ont vocation à se multiplier avec, en lignede mire, le point de la singularité juridique.

Vers de futures règles juridiqueseuropéennes de droit en robotique

Les députés européens demandent lamise en place d’un cadre juridiquecommunautaire adapté aux robotsintelligents. Le rapport de la Commissionjuridique (Juri) de la Commissioneuropéenne a été adopté très récemment(le 12 janvier 2017) par un vote de la

Commissionjuridique en premièrelecture7.

La Commissionparlementaire duParlement européendevrait se prononceren séance plénière àpartir du 13 février

2017 sur cette procédure d’initiativelégislative.

maître Alain Bensoussan, qui a fondél’Association du droit des robots (ADDr)8,s’est prononcé en faveur de l’adoptiond’une personnalité juridique singulière

(7) Commission Juri,Commission européenne ;mady Delvaux : « un cadrelégal en matière derobotique est nécessaire » -http://www.europarl.europa.eu/sides/getDoc.do?pubref=-//eP//nonsGmL%2BComPArL%2BPe-582.443%2B01%2BDoC%2BPDF%2BV0//Fr

(8) Association du Droit desrobots (ADDr) -https://www.association-droit-robot.fr/


dOCTRINE jURIdIqUE



La roboéthiqueLes robots sont conçus pour créer de larichesse et améliorer la qualité de vie del’humain. Les innovations déjà issuesd’intelligence artificielle appliquée à larobotique irrigueront la société de manièremassive et parfois inattendue.

La prise en considération des questionséthiques dès la conception

Avec l’application de l’intelligenceartificielle à la robotique, les questionséthiques sont à prendre en considérationdès la phase de conception du systèmerobot-iA, afin que « la confiance que l’onpeut placer dans un robot, les possibilitéset limites de celui-ci et du couple qu’ilforme avec l’utilisateur, la reprise en main,

le traçage »11

puissent permettrede rendre compte ducomportement dusystème.

Lorsque le robot entre en interactiondirecte avec l’humain, il est indispensableet nécessaire que les utilisateurs puissentavoir confiance en lui.

Le questionnement sur la roboéthique esten lui-même différent du questionnementsur l’éthique du robot, qui impose auxrobots de respecter des règles éthiques.Celles du robot sont à l’état de conceptthéorique, dans la mesure où ellesimpliqueraient que les robots disposantd’une autonomie soient en mesure deprendre des décisions se rapprochant de

(11) rapport de laCommission de réflexion surl'éthique de la recherche ensciences et technologies dunumérique d'Allistene(CernA). rapportaccessible sur http://cerna-ethics-allistene.org

la morale. La roboéthique implique pourles roboticiens, dès la phase deconception, d’essayer d’empêcher undéficit de confiance de l’utilisateur, maiségalement celle d’une confiance tropaveugle dans le robot.

Les règles ou instructions éthiques durobot qui pourront être codées afind’encadrer le comportement du robotsont complexes à modéliser et à résoudreet a fortiori à intégrer dans le robot. Lefaut-il et les roboticiens et programmeursle peuvent-ils en l’état de la maturitétechnologique ? roboticiens, fabricants,éthiciens le souhaitent-ils et ont-ils lamême vision de l’éthique appliquée aucouple robot-iA ?

La voiture autonome est probablementl’exemple le plus symptomatique de ladifficulté à poser des équations surl’éthique du robot, si nous laissons decôté volontairement la robotique militaireet en particulier les systèmes d’armeslétaux autonomes, ainsi que les drones.Le concepteur et fabricant du véhiculeautonome doit faire en sorte que lesdécisions du véhicule autonome ne soientpas prises à l’insu de l’opérateur afin dene pas créer de ruptures dans sacompréhension de la situation (c’est-à-dire afin que l’opérateur ne croie pas quele robot est dans un certain état alors qu’ilest dans un autre, c’est à dire, laperception par l’opérateur de l’état réel durobot).


dOCTRINE jURIdIqUE



motif que « (...) la seule somme desdifférents maux schématise trop lasituation et engendre des débats infinis.Faut-il tenir compte de l’âge despersonnes, du fait qu’elles avaient ou nonle droit d’être à cet endroit sur la route ».Ce dernier considère qu’une telleschématisation conduirait à des calculssans fin.

nos lecteurs pourront à leur tour se faireleur propre vision des dilemmes sociauxposés par le véhicule autonome sur laplateforme en ligne morAL mAChine(http://moralmachine.mit.edu/hl/fr),plateforme créée spécifiquement pourcompiler les différentes perspectiveshumaines sur les décisions morales etéthiques prises par les voituresautonomes.

Le cadre éthique de la proposition derésolution européenne

La proposition de résolution de laCommission Juri du Parlement européenpropose un cadre éthique pour laconception, la fabrication et l’utilisationdes robots, justifié par l’évolution destechnologies robotiques et de

l’intelligenceartificielle15 . Lerapport comportemême en annexe unprojet de charte

instaurant un code de conduite pour lesingénieurs en robotique et un code dedéontologie pour les comités d’éthique de

(15) Commission Juri,Commission européenne ;mady Delvaux : « un cadrelégal en matière derobotique est nécessaire »http://www.europarl.europa.eu/sides/getDoc.do?pubref=-

en matière d’éthique, il est fondamentalde définir le comportement du robot ensituation critique. Prenons l’exemple bienconnu du véhicule autonome et duscénario dans lequel un dilemme social sepose et qu’il doit être déterminé paralgorithme, l’équation à mettre en œuvreconsistant soit à éviter un piéton soit àsacrifier les occupants du véhiculeautonome.

Ce scénario pourrait paraître abstrait voiretotalement artificiel. Deux roboticiens etchercheurs soutiennent des positionsantagonistes. Pour Azim shariff12 , Jean-

François Bonnefon etiyad rahwan13 del’université del’oregon « (...) « cesexpériences depenséephilosophiquepourraient devenirconcrètes, car ellescorrespondent à desdécisions qu’aurontà prendre lesvéhiculesautonomes ». maisils considèrent que siune régulationpourrait être

nécessaire, elle pourrait également êtrecontre-productive.

Pour Jean-Gabriel Ganascia14 , uneschématisation des dilemmes sociaux estdiscutable du point de vue éthique au

(12) Azim shariff estpsychologue. il traite cettequestion dans la revuescience, connue depuis1967, sous le nom dudilemme du chauffeur detrolley.

13) Jean-François Bonnefon,Azim shariff et iyad rahwan,« The social dilemma ofautonomous vehicles »,science,vol. CCCLii, n°6293, 24 juin 2016.

(14) Jean-Gabriel Ganascia,expert en intelligenceartificielle, apprentissagemachine, découvertescientifique,sciences cognitives,philosophiecomputationnelle et éthiquedes nouvelles technologies[http://www.upmc.fr/fr/salle_de_presse/repertoire_d_experts/vous_cherchez_un_expert/pole_1/jean_gabriel_ganascia.html]


dOCTRINE jURIdIqUE



la recherche ainsi qu’un ensemble delicences-type pour les concepteurs etutilisateurs.

Dans son approche, le cadre éthiqueproposé par la Commission Juri est basésur l’examen des avantages et desrisques liés à la sécurité, à la vie privée, àl'intégrité, à la dignité, à l'autonomie et àla propriété des données.

Le cadre éthique proposé par laproposition de résolution du Parlementeuropéen est basé sur les 9 principeséthiques suivants :

- Protéger les êtres humains contre lesatteintes causées par un robot ;

- Droit pour une personne d’être prise encharge par un robot ;

- respect de la liberté d’une personnelors de la mise en œuvre du robot ;

- Protéger la vie privée d’une personnecontre une atteinte par un robot ;

- Protéger les données à caractèrepersonnel ;

- Protéger l’homme contre les risquesd’instrumentalisation par le robot ;

- eviter la rupture du lien social enprésence de robot ;

- Assurer une égalité d’accès au progrèsde la robotique ;

- restreindre l’accès de l’homme auxtechnologies augmentatives.


dOCTRINE jURIdIqUE


Le Parlement européen se prononce pour uncadre éthique de la conception et du spectred’usage du robot.

Foto

lia D

usan

Kos

che


des spécificités de l’intelligence artificielleet de la robotique.

sur le plan européen, la proposition derésolution du Parlement européen,contenant des recommandations à laCommission concernant des règles dedroit civil sur la robotique, stipule que,quelle que soit la solution juridique choisieen matière de responsabilité des robotsdans les cas autres que des dommagesmatériels, ledit instrument ne devrait enaucune manière limiter le type oul'étendue des dommages qui peuventfaire l'objet d'un dédommagement et nedevrait pas non plus limiter la nature dece dédommagement. Avec ledéveloppement fulgurant de l’intelligenceartificielle et de la robotique, un nouveauchamp disciplinaire s'inscrit sous le termede « roboéthique ». La proposition derésolution du Parlement européenpropose également un cadre éthique dela conception à l’utilisation des robots.

on peut retenir de cette énonciationquelques conclusions.

L’intelligence artificielle appliquée à larobotique – lorsque la capacitéd’apprentissage n’est plus supervisée parl’humain et permet au système robot-iAde disposer d’une très grande autonomiedécisionnelle – pose des problématiquesnouvelles sur le plan juridique et éthique.Les systèmes technologiques les plusavancés ne sont incontestablement pasappréhendés en tant qu’objet techniquepar notre droit positif.

L’intelligence artificielle forte appliquée àla robotique pourra permettre la créationde nouvelles applications et rendre detrès nombreux services, qui n’existent pasnécessairement aujourd’hui et qui n’ontpas été encore imaginés. L’intelligenceartificielle appliquée à la robotique,associée aux technologies cognitives,pourrait comme toute technologie êtremal utilisée par l’humain et entraîner, paraction ou par abstention, des dommages.

Le développement de l’intelligenceartificielle et son application à la robotiquesont aujourd’hui une réalité et ne relèventpas d’un futur lointain. Pour appréhenderréellement ses réalités technologiques, ledroit en vigueur se trouve partiellementinadapté ou démuni. Le droit en vigueurne pourra trouver à s’appliquer que s'ilest fortement complété par des réponsesjuridiques et spécifiques tenant compte


dOCTRINE jURIdIqUE



dOCTRINE jURIdIqUE

89

contrôle routier des voitures connectées : quel nouveau paradigme dansles règles d’engagement coercitives desforces de sécurité publique

Le contenu de l’article de Maître DidierGazagne dresse une analyseprospective sur les opportunités quela technologie est susceptible d’offrir àmoyen et long terme dans laréalisation des missions quotidiennesconfiées aux forces de sécuritéintérieure. Il apporte de surcroît unéclairage sur les prises de position dela Cour suprême des États-Unisd’Amérique dans le domaine deslibertés individuelles et du droit depropriété notamment par l’évolutionjurisprudentielle du 4e amendement de

la Constitution.

une des questionsessentiellessoulevées danscette première partieconcernenotamment la placede la voitureautonome vis-à-visde son

Lenvironnement. Autrement dit, ce moyende locomotion sera-t-il interconnecté ou

non à un réseaucommun1 ? enfonction des optionsqui seront retenuespar les autorités derégulation, ildécouleranécessairement desconséquences sur lamanière dont lesforces de l’ordreaccompliront leurs

missions traditionnelles. en effet, les fluxde données générés par les différentesapplications provenant d’une voitureconnectée seront collectés et stockésdans de puissants centres informatiques(data center) en vue d’une exploitationoptimale à l’aide d’algorithmes prédictifs2.en termes de sécurité publique, un débats’ouvrira pour s’interroger sur lesconditions de captation de ces données

(1) Cf § 1.3 – Typologie desvoitures autonomes et fluxde communication.

(2) Pour une étude desalgorithmes prédictifs dansle champ de la sécuritépublique : randCorporation, researchreport, Predictive policing –The rôle of crime forecastingin law enforcementoperations [Prévisionpolicière – le rôle de laprévision du crime dans lesopérations policières], 2014,155. P http://www.rand.org/content/dam/rand/pubs/research_reports/rr200/rr233/rAnD_rr233.pdf

par JérOME LAgASSE


JérOME LAgASSE

Chef d’escadron, centrede recherche de l’écoledes officiers de lagendarmerie nationale


dans un segment qui impacte les libertésindividuelles. Avec quels objectifs et pourquelles finalités les agents de la forcepublique pourraient-ils être autorisés àcapter certaines données avec, parexemple, la faculté de les agréger ?

Dans la lignée de ce qui précède, unrécent3 rapportpublié par lelaboratoire d’idées(think tank) randCorporation intitulé“L'avenir desnouvellestechnologies et de lajustice pénale”

soulève un certain nombre deproblématiques dont l’une est de savoir sila police devrait être en mesure de

(3) www.rand.org/t/rr928. CfP.20 « Controlling automatedvehicles : need methods forcontrol and manipulation ofautomated vehicles (whenwarrented). For example, lawenforcement may want todirect a parked vehicle tomove. »

www.slate.fr/story/106141/police-autorisee-prendre-controle-voitures-sans-conducteur

prendre ou non le contrôle d'une voitureautonome. extrait et traduit du présentrapport, le scénario ci-dessous tend àappeler l’attention sur le fait que nousassistons subrepticement à unchangement de paradigme dans lespolitiques de sécurité publique dontl’anticipation et la prédiction seront lesnoyaux. Ce changement dont toutes lesconséquences n’ont pas été encoretotalement identifiées, se manifeste entreautres à travers le vecteur dominant de lamobilité : la voiture.

« L'agent de police Rodriguez régulant lacirculation depuis l'intersection pouvaitvoir la voiture se dirigeant vers lui et sonoccupant regarder son ordiphone. L’agentfit signe alors à la voiture sans conducteurde s’arrêter, celle-ci roula vers

90

« nous sommes sur le point d’assister à l’effacement progressif du conducteur à bord d’uneautomobile thermique en lieu et place d’une voiture autonome voire indépendante, électrique, pilotéepar une intelligence artificielle »


dOCTRINE jURIdIqUE

ConTrôLe rouTier Des VoiTures ConneCTées


l’emplacement situé derrière le passagepour piétons.

L’agent guidait cette voiture alors que lepassager indifférent continuait deconsulter sa messagerie électronique.Cependant, ce dernier n’allait pas resterindifférent très longtemps. Un conducteurau volant d’un véhicule utilitaire sportfranchit l’intersection, obligeant l’agent àse jeter au sol et la voiture indépendanteà freiner brusquement pour s’écarter etéviter ainsi une collision.

Pendant que l’agent Rodriguez appelaitdu renfort, un véhicule aérien motorisé(drone) identifia en excès de vitesse levéhicule utilitaire sport et le prit en chassetout en transmettant son itinéraire auxvéhicules en patrouille. Quelques minutesplus tard, par une manœuvre techniqueprécise d’immobilisation, le véhiculeutilitaire sport était contraint de s’arrêtersur le bas-côté.

Alors que les agents grouillaient autour duvéhicule, dans le feu de l’action, l’und’eux prit une photo de l’individu, latéléchargea pour la comparer au fichiernational des clichés anthropométriques.La demande de comparaison fit l’objetrapidement d’un retour positif.

La photographie recoupée avec la plaqued’immatriculation et la description duvéhicule, aida le système à identifier unancien détenu qui en lien avec son proprevéhicule utilitaire sport avait un long casierjudiciaire pour vols à main armée et

conduites dangereuses.

Quelques instants après, la radio desforces de police rendait compte d’un vol àmain armée dans une station-servicesituée à proximité. Les photos desurveillance prises depuis les lieux desfaits, montrant le conducteur du véhiculeutilitaire de sport braquant une arme surl’employé de la station de carburant,arrivèrent peu après que le suspect ait été

placé en garde à vue– Première étaped’une probabledétention beaucoupplus longue. »4

Ce récit élaboré sous forme d’un casconcret décrit dans une fiction proche dela réalité la période de transition que nousserions susceptibles de connaîtreprochainement. À l’instar du siècle dernierqui a vu disparaître la tractionhippomobile au profit du moteur àexplosion, nous sommes sur le pointd’assister à l’effacement progressif duconducteur à bord d’une automobilethermique en lieu et place d’une voitureautonome voire indépendante, électrique,pilotée par une intelligence artificielle.L’issue du scénario imaginé par lesauteurs de ce rapport semble nousannoncer en filigrane la fin des bandits degrand chemin grâce aux potentialités desnouvelles technologies de l’information etde la communication. Pour autant, le défien termes de cybersécurité est immense :d'un côté il s'agira de garantir aux futurs

(4) rand Corporation,research report using futureinternet technologies tostrengthen criminal justice [l’utilisation des technologiesde l’internet du futur pourrenforcer la justice pénale]P.3 – www.rand.org/t/rr928 -2015


dOCTRINE jURIdIqUE



acheteurs l'intégrité de l'architecture dusystème d'information intelligent

embarqué contredes fouineurs5

(hackers) ou despirates6

informatiques(crackers), de l'autreconcevoir en toutelégalité desdispositifstechniquescapables, sous lecontrôle d’un juge,de prendre lecontrôle d’une

voiture intelligente en l'absence duconsentement de son propriétaire ou detout utilisateur. Ceci induirait que seulesles industries dotées d’un agrémentdélivré par une autorité de régulation etde contrôle comme l’Anssi seraientautorisées à mettre sur le marché auprofit de certains industriels leséquipements et logiciels destinés àprendre le contrôle d’un système detraitement automatisé de donnéesembarqué dans un véhicule.

La traversée des états-unis d'Amériquepar voie routière d'une voiture autonomede la côte est à la côte ouest sur unedistance de 5 600 km sans incident

majeur8, constitueles premiersbalbutiements d’unscénario fiction

évoqué supra. Dès à présent, il est

(5) Terme retenu par laCommission générale determinologie et de néologie –Avis, Jo 16031999 – Définicomme une « personnepassionnée d'informatiquequi, par jeu, curiosité, défipersonnel ou par souci denotoriété, sonde, au hasardplutôt qu'à l'aide de manuelstechniques, les possibilitésmatérielles et logicielles dessystèmes informatiques afinde pouvoir éventuellements'y immiscer. »

(6) Terme retenu par laCommision générale determinologie et de néologie –Avis, Jo 16031999 – Définicomme une « personne quicontourne ou détruit lesprotections d'un logiciel,d'un ordinateur ou d'unréseau informatique. »

(7) www.largus.fr/actualite-automobile/voiture-autonome-delphi-reussit-sa-traversee-des-etats-unis-6104387.html

légitime de s'interroger sur les moyens etles fondements juridiques par lesquels unagent de la force publique, muni desinsignes extérieurs et apparents de saqualité, pourra être en mesured'accomplir de manière efficiente toutesles missions de sécurité publique etroutière au sein d’un environnement quisera progressivement dominé par lesvoitures connectées (autonome ouindépendante c-à-d sans conducteur). ils'agira de s'interroger notamment poursavoir si les futurs modèles de voituresconnectées mises sur le marché grandpublic auront une fonctionnalitéimplémentée dès la conception de ceux-ci pour permettre aux forces de l'ordred’en prendre le contrôle à distance etcontraindre, si nécessaire, les passagersà s'arrêter où à être déroutés sur le postede police le plus proche. L’avènement dece scénario volontairement futuristesoulèverait inexorablement des questionssociétales majeures notamment vis-à-visde l’évolution du principe à valeurconstitutionnelle qu’est la liberté d'aller et

de venir8. La voitureconnectée pourraitêtre ce premiervecteur majeur

susceptible d’impacter les politiques desécurité publique. La mission de contrôledes flux constitue l’expression même dela capacité d’un état à assurer la maîtrisede son territoire. Le véhicule thermique etdemain le véhicule connecté constituenttour à tour le vecteur privilégié de la

(8) Cf : art 2 de laDéclaration des droits del'homme et du citoyen,article 66 de la Constitution.


dOCTRINE jURIdIqUE



mobilité des délinquants et des trafics quiy sont associés. Les forces de l’ordresont exposées quotidiennement à desrisques lorsqu’il s’agit d’intercepter desindividus auteurs d’infractions qualifiéesde crime ou de délit.

notre approche débutera par un état deslieux juridiques concernant les conditionsd’usage de moyens coercitifs àdisposition des forces de l’ordre adaptésaux circonstances actuelles. Le contextede l’état d’urgence a amené le législateurà harmoniser le régime juridique del’usage des armes des forces de sécuritéintérieures et, en fonction du cadred’emploi des forces armées engagées surle territoire national. Ce rappel effectué, ils’agira par la suite de mettre en exerguela nature des risques actuellementencourus par les personnels de la

gendarmerie, de la police et des douanesen mettant en évidence, chiffres à l’appui,la part imputable à l’automobile dans laréalisation des atteintes physiques àl’encontre de ces derniers. La mise encorrélation de ces deux thématiques apour objet principal de souligner lenombre élevé d’agents victimes d’uneagression par l’usage d’une voiturecomme arme par destination. Ce constatmis en évidence devrait inciter à envisagerau plus tôt, en liaison avec tous lesacteurs institutionnels et privésconcernés, les conditions des modalitésjuridiques et techniques de déploiement,au profit des forces de l’ordre, dedispositifs techniques numériquesd’interception ou d’immobilisation desfuturs modèles de voitures connectéeshomologuées. sur le plan juridique, nouspourrions assister à un retour en force de


« Il s'agira de s'interroger notamment si les futurs modèles de voitures connectées mises sur lemarché grand public auront une fonctionnalité implémentée dès la conception de ceux-ci pourpermettre aux forces de l'ordre d’en prendre le contrôle à distance. »

dOCTRINE jURIdIqUE



autorité et contrôlede la chose11.Cependant, prenantacte de l’évolutiondes voitures àdélégation deconduite, laCommissionéconomique desnations-unies pourl’europe autorise,depuis le 23 mars2016, les systèmes

automatisés sur les routes, sous réservequ’ils ne soient pas en contradiction avecles règlements des nations-unies sur lesvéhicules et qu’ils puissent être contrôlésvoire désactivés par le conducteur.

Ce même conducteur, lorsqu’il ometd'obtempérer à une sommation des'arrêter, dispose actuellement de sonlibre-arbitre. il doit répondre de laresponsabilité de ses actes devant lestribunaux12 en cas de manquement. Dansles situations où s’exprime un refusd’obtempérer manifeste, les agents de laforce publique disposent de tout uncorpus juridique qui les autorise à recourirà l’emploi de moyens contraignants pourobliger le conducteur à arrêter sonvéhicule.

(11) Arrêt Franck, Cassation,Ch réunies, 2 décembre1941www.legifrance.gouv.fr/affichJuriJudi.do?oldAction=rechJuriJudi&idTexte=JuriTeXT000006953144&fastreqid=966555347&fastPos=1

(12) Cf Art. L233-1-i Code laroute : « Le fait pour toutconducteur d’omettred’obtempérer à unesommation de s’arrêterémanant d’un fonctionnaireou agent chargé deconstater les infractions etmuni des signes extérieurset apparents de sa qualitéest puni de trois moisd’emprisonnement et de3750 euros d’amende. »

la notion fondamentale en droit françaisqui distingue la police administrative et lapolice judiciaire. Cette constructionjuridique, directement issue du principeconstitutionnel de la séparation despouvoirs, pourrait servir de base à

l’élaboration d’unrégime propre à lavoiture connectée àl’instar de la loi sur lerenseignement9.Cette analyse seterminera par lesréflexions etpropositionsformulées par unecommission depénalistes etd’experts ennouvellestechnologiesrecueillies etdiffusées grâce ausoutien du

laboratoire d’idées américain (think tank)Rand Corporation.

Un cadre juridique qui autorise lerecours à la force armée.À l'heure actuelle, la convention deVienne10 prévoit de manière explicite quetout véhicule en circulation doit avoir unconducteur, c'est-à-dire une personnephysique qui a, selon la notion du codecivil, la qualité de gardien : direction,

(9) Loi du 24 juillet 2015 –JorF du 26 juillet 2015 -p.12735

(10) Art 8.1 de la conventionde Vienne « Tout véhicule enmouvement ou toutensemble de véhicules enmouvement doit avoir unconducteur », dispositiontransposée à l'article r412-6du code de la route.nota : Cette convention faitl’objet d’une procédure derévision pour intégrer dansl’ordre juridique internationalla voiture connectée.https://treaties.un.org/doc/Publication/Cn/2015/Cn.529.2015.reissued.06102015-eng.pdfwww.unece.org/fr/info/media/presscurrent-press-h/transport/2016/unece-paves-the-way-for-automated-driving-by-updating-un-international-convention/la-unece-ouvre-la-voie-a-la-conduite-automatisee-en-modifiant-la-convention-de-vienne-sur-la-circulation-routiere.html


dOCTRINE jURIdIqUE



Un cadre juridique harmonisé

Le contexte.

Les derniers attentats de Paris ont orientéle législateur vers l’adoption d’un articlespécifique inséré dans le code de lasécurité intérieure afin que les agents dela force publique disposent d’un cadrejuridique adapté pour faire face, entreautres, à des situations de type tuerie demasse. Dans ce champ, l’attentat denice, commis le 14 juillet 2016, à l’aided’un camion, souligne le rôle prédominantdu véhicule comme vecteur privilégiédans la commission d’un crime.

La loi n°2017-258 du 28 février 2017harmonise le régime juridique de l’usagedes armes des différentes composantesde la force publique. malgré les réserves

du Défenseur desdroits13, le législateura décidé d’aligner lerégime juridiquespécifique auxmilitaires d’active dela gendarmerienationale aux autresagents des forces desécurité de l’état.

Cette parité entre des forces de sécuritéintérieure amenées à évoluer sur unterritoire commun, dans un contexteanalogue a notamment pour finalitéd’apporter une meilleure sécurisationjuridique des agents qui seraientsusceptibles d’être mis en cause sur le

(13) Pour le Défenseur desdroits, le nouveau régimed’usage des armes est « ...laconséquence d’un choix depolitique pénale discutablequi conduit à donner lesentiment d’une loi moinsrigoureuse pour l’agent de laforce publique, lequelreprésente l’état, et disposed’un armement parfoisconséquent et de moyensde contrainte nonnégligeables dont il doit faireusage avec discernement. », Cf avis n°17-01, 16 janvier2017, P.3

plan de la responsabilité pénale. Pour lelégislateur, le régime de la légitimedéfense a montré certaines limites. Cecadre légal ne répond qu’imparfaitementaux situations exceptionnelles que lesagents de la force publique rencontrentdans leur mission de protection despersonnes et des biens. À la différence ducitoyen ordinaire, confronté à uneagression injuste, les agents des forcesde sécurité de l’état sont tenus à uneobligation d’agir qui peut, notammentpour les militaires de la gendarmerie, aller

jusqu’au sacrifice deleur vie14. Commel’analyse le docteuren droit public,Jérôme millet, dansune chroniqued’Actualité de lasemaine Juridiqueconsacrée à la loi

2017-258 du 28 février 2017 relative à lasécurité publique15, il s’agit « d’un textequi profite des circonstances : renforcerl’État de droit et le droit de l’État. »

Cette dernière réforme législative part duconstat de l’usage, hélas trop fréquent,du véhicule comme arme par destinationà l’encontre des forces de l’ordre.

Le nouveau dispositif législatif.

Les articles L214-216 et L435-1-4°17 duCode de la sécurité intérieure ont été toutspécialement rédigés pour faire face à laproblématique juridique d’immobiliser un

(14) Art. r.434-34 du codedéontologie : « Le militairede la gendarmerie obéit auxrègles militaires et adhèreaux valeurs inhérentes à sonstatut. L'état militaire exigeen toute circonstance espritde sacrifice, pouvant allerjusqu'au sacrificesuprême... »

(15) édition Administrationset collectivités territoriales,6 mars 2017, n°9, p.2


dOCTRINE jURIdIqUE



forces de sécuritéintérieure18. nousverrons ainsi dans latroisième partie decet article que lesnormes (iso,AFnor,...)constituent un enjeumajeur dans la lutted’influence que se

livrent les acteurs économiques vis-à-visdu régulateur et de la commandepublique.

Ce tour d’horizon juridique permet deconstater que les forces de l’ordredisposent de toute une panoplie destinéeà répondre de manière graduée etproportionnée à une menace qui semanifeste entre autres par l’emploi d’unvéhicule. Cependant, en dépit des cadresjuridiques et des moyens fournis, unelecture statistique des atteintes physiquesdes gendarmes, policiers et douaniersvictimes d’une agression causée par unevoiture utilisée comme arme pardestination montre que les chiffres dansce domaine sont encore trop élevés.

des forces de sécurité publique deplus en plus exposées à l’usage duvéhicule comme arme pardestination19

L'analyse de certains événementsdémontre qu'il existe des situationsextrêmes où les forces de police n'ontpas d'autre alternative que de faire

(18) Art. 17 : « Les normessont d’application volontaire.Toutefois, les normespeuvent être renduesd’application obligatoire pararrêté signé du ministrechargé de l’industrie et duou des ministres intéressés.Les normes renduesd’application obligatoire sontconsultables gratuitementsur le site internet del’Association française denormalisation. »,décretn°2009-697 du 16 juin 2009relatif à la normalisation.

véhicule. soucieuxd’être précis dansles conditions demise en œuvre del’immobilisation d’unvéhicule, lelégislateur a défini àl’article L435-1-4° lecadre qui régitl’emploi des armes« en cas d’absoluenécessité et demanière strictementproportionnée ». sices deux conditionscumulatives ne sontpas réunies, l’article214-2 autorise dessolutions alternativesà travers le recours àdes « matérielsappropriés pourimmobiliser lesmoyens detransport..[ ]...Cesmatériels doivent êtreconformes à desnormes techniquesdéfinies par arrêté duministre del’Intérieur. »

La rédaction del’article L214-2 laisse a priori une grandesouplesse au pouvoir réglementaire pourdéfinir les matériels que le ministère del’intérieur pourrait acquérir au profit des

(16) Art. L214-2 du Csi« Les personnels de la policenationale et les militaires dela gendarmerie nationalerevêtus de leurs uniformesou des insignes extérieurs etapparents de leur qualitésont autorisés à faire usagede matériels appropriés pourimmobiliser les moyens detransport dans les cassuivants :1° Lorsque le conducteur nes’arrête pas à leurssommations ;2° Lorsque le comportementdu conducteur ou de sespassagers est de nature àmettre délibérément endanger la vie d’autrui oud’eux-mêmes ;3° en cas de crime ou délitflagrant, lorsquel’immobilisation du véhiculeapparaît nécessaire enraison du comportement duconducteur ou desconditions de fuite.Ces matériels doivent êtreconformes à des normestechniques définies pararrêté du ministre del’intérieur.

(17) Art. L435-1 – 4° « Dansl’exercice de leurs fonctionset revêtus de leur uniformeou des insignes extérieurs etapparents de leur qualité, lesagents de la police nationaleet les militaires de lagendarmerie nationalepeuvent, outre les casmentionnés à l’article L.211-9, faire usage de leursarmes en cas d’absoluenécessité et de manièrestrictement proportionnée :4° Lorsqu’ils ne peuventimmobiliser, autrement quepar l’usage des armes, desvéhicules, embarcations ouautres moyens de transport,dont les conducteursn’obtempèrent pas à l’ordred’arrêt et dont les occupantssont susceptibles deperpétrer, dans leur fuite,des atteintes à leur vie ou àleur intégrité physique ou àcelles d’autrui ; »


dOCTRINE jURIdIqUE



usage d'armeslétales pour parvenirà stopper leconducteur d'unvéhicule. Cesopérations de police,qu'elles soient denature administrativeou judiciaire,comportent desrisques dedommagescollatéraux pour lestiers susceptiblesnon seulementd'engager laresponsabilité pénaleet civile de l'agent

mais aussi celle de la puissance publiquedevant le Conseil d'état sur le fondementde la théorie du risque et du principe derupture de l'égalité devant les chargespubliques20.

Certaines affaires à l'issue tragique fontl'objet d'une forte campagne médiatique.elles contribuent à fragiliser davantage lacohésion sociale et font souvent l'objetd'une exploitation partisane.

Ainsi, dans le cadre du plan véhiculeautonome inscrit parmi les 34 plans suivispar le comité de pilotage de la nouvelleFrance industrielle21, il conviendrait sansdoute de doter les forces de l'ordre desolutions techniques non létales facilitantla prise de contrôle d'un véhiculeautonome.

(19) Art.132-75. Al1 et 2 duCode pénal : « est une arme,tout objet conçu pour tuerou pour blesser. Tout autreobjet susceptible deprésenter un danger pour lespersonnes est assimilé à unearme dès lors qu'il est utilisépour tuer, blesser oumenacer ou qu'il est destiné,par celui qui en est porteur,à tuer, blesser ou menacer. »

(20) Ce, Ass ; 24 juin 1949,Consorts Lecomte : danscet arrêt de principe, leConseil d'état admet laresponsabilité sans faute duservice de police, malgrél'utilisation d'armes à feu,sur le fondement du risque,dans le but d'améliorer laréparation vis-à-vis de lavictime qui a la qualité detiers par rapport àl'opération de police.

(21) Cf p.15 :www.economie.gouv.fr/files/files/PDF/nouvelle-france-industrielle-sept-2014.pdf

Cet état des lieux, forcément incomplet,montre qu’avec l’arrivée sur le marchédes véhicules à délégation de conduite,les forces de police territoriales devraientêtre préparées dans le cadre de leurmission de régulation et de contrôle desflux routiers à cette introduction au grandpublic. il suffit pour s'en convaincre de lireou de relire, s'agissant de la gendarmerienationale, l'article L421-1 al3 du Code dela sécurité intérieure : « la gendarmerienationale est destinée à assurer lasécurité publique et l'ordre public,particulièrement dans les zones rurales etpériurbaines, ainsi que sur les voies decommunication ».

il est utile de rappeler que la gendarmerienationale accomplit seule les missions ci-dessus évoquées sur 90 % du territoiremétropolitain au profit de 50 % de lapopulation. Le contrôle des flux despersonnes et des marchandises par lavoie routière constitue, comme il a été

souligné supra, unenjeu stratégique quise traduit par lacapacité d’un état àassurer l'exerciceeffectif de sasouveraineté sur unterritoire donné22.

Les quelques chiffresrelatifs aux atteintesaux personnels desforces de sécurité23

publique éclairent de

(22) à ce propos l’ouvragede michel Foucault,sécurité, territoire,population, Cours auCollège de France. 1977-1978, Gallimard et seuil,Paris, 2004, 435 p. et plusparticulièrement le conceptdes dispositifs de sécurité.

(23) Les trois rapports sontdisponibles sous les lienssuivants :

www.inhesj.fr/sites/default/files/files/ondrp_ra-2015/atteintes_pn.pdf

www.inhesj.fr/sites/default/files/fichiers_site/ondrp_ra-2016/2016_ra_atteintesgn.pdf

www.inhesj.fr/sites/default/files/fichiers_site/ondrp_ra-2016/2016_ra_atteintes_age


dOCTRINE jURIdIqUE



98

poursuites de véhicule ont occasionnérespectivement 35 atteintes en 2014 et44 atteintes en 2015 (Cf p.6).

direction générale des douanes et droitsindirects (dGddI)24

Les agents de la Direction générale desdouanes et droits indirects (DGDDi)subissent un nombre de faits éloquentsdans ce que cette administration qualifiede passage de vive force ou fuite envéhicule (hors fuite à pied) 25.

en mars 2011, undouanier enmotocyclette avaittrouvé la mort alorsqu'il tentaitd'intercepter un go-

fast26 sur l'autoroute A10, en indre-et-Loire. Le conducteur du véhicule destrafiquants avait freiné à l'approche detravaux entraînant ainsi la percussion dela motocyclette et l'éjection du douanier.

direction générale de la police nationale(dGpN)

Pour l'année 2014, la diffusion de laversion « connectée » du logiciel de

manière brute le débat sur la nécessitéd’anticiper un projet normatif dedispositifs techniques d’interception oud’immobilisation de véhicules à délégationde conduite.

noTA : s’agissant de la Police nationale,le dernier rapport relatif aux atteintes auxpersonnels et aux biens est de l’année2015.

direction générale de la gendarmerienationale (dGGN)

L'extraction de statistiquestraitées par l'observatoirenational de la délinquance etdes réponses pénales(onDrP), sous forme detableau, repris dans le rapport annuel2016 des atteintes aux personnels et auxbiens de la gendarmerie nationale estparticulièrement riche d'enseignement. Cerapport fait le constat que le véhicule estla première arme utilisée dans lesagressions de gendarme (Cf p.13).

La part des services depolice de la route constituele second poste où lesgendarmes sont victimesd’agression : 309 atteintesen 2014, 343 atteintes en 2015. Les


dOCTRINE jURIdIqUE



dite des go fast). Pour rappel, cettetechnique consiste à utiliser des voitures deforte cylindrée lancées à grande vitessepour transporter des produits stupéfiants.Les auteurs n'hésitent pas à mettredélibérément en danger les autres usagersde la route et les forces de l'ordre quitenteraient de les intercepter.

Les différentes situations enregistrées parles administrations centrales et exploitéespar l'onDrP font percevoir que la facultéd’intercepter un véhicule connecté par lesagents de la force publique pourraitatténuer de manière non négligeablel'exposition physique de ces derniers ainsique les dommages directs et collatérauxsusceptibles d'être causés.

Le développement de la voiture connectéeet le paradigme qu'elle induira dans lessphères de la vie sociale, économique etpolitique nécessiteront de réfléchir enamont aux finalités pour lesquelles lesforces de l’ordre pourront prendre lecontrôle temporaire de certains dessystèmes automatisés de conduite d’unvéhicule. Cette réflexion devranaturellement s’inscrire dans le cadre d'unegouvernance globale de maîtrise desrisques sociétaux.

Le premier colloque de l'observatoirecentral des systèmes de transportintelligents (oCsTi) qui s'est déroulé le25 novembre 2015 dans les locaux du Pôlejudiciaire de la gendarmerie nationale avaitpour thème « la face cachée des véhicules

99

rédaction desprocédures a altéré lareconstitution desdonnées enregistréespar la police nationaleconcernant lesatteintes dont lesfonctionnaires ont étévictimes. Pour cetteraison, notre études'appuiera sur lesdonnées statistiquesde 2013 les pluspertinentes pour notresujet.

Actuellement, l'outilstatistique de la police

nationale ne comprend pas un item sur lenombre de véhicules utilisés à des finsd’atteinte à l'intégrité physique desfonctionnaires de police. Toutefois, laDGPn a recensé, pour l'année 2013, 4 895policiers blessés par un autre moyenqu'une arme par nature dans les missionsanti-délinquances et 236 en mission demaintien de l'ordre.

Le véhicule est un vecteur privilégié pour lapetite et moyenne délinquance en vue dese déplacer et de perpétrer des atteintesaux biens (cambriolages, vols de voitures)sur de grandes étendues spatiales dans unlaps de temps réduit (phénomène desraids). Ce vecteur est tout autant utilisé parla criminalité organisée notamment lestrafiquants de drogue pour acheminer lesmatières illicites à travers l'europe (pratique

(24) Les art. 56 et 61ducode des douanesreprennent les dispositionsdes art. L435-1 et L.214-2du Csi.

(25) Le passage de viveforce s'entend d'un refus oud'une omission, par leconducteur d'un véhicule,d'obtempérer auxinjonctions d'arrêts expriméspar le service. Cette notionrecouvre les passages enforce d'un dispositif decontrôle douanier quel qu'ensoit le lieu (frontière ouintérieur du territoire), maiségalement tous moyensutilisés pour éviter un pointde contrôle (ralentissementpuis redémarrage brusqueen vue de se soustraire aucontrôle par exemple).

(26)www.lefigaro.fr/actualite-france/2013/06/25/01016-20130625ArTFiG00430-drogue-le-go-fast-une-technique-parfois-meurtriere.php


dOCTRINE jURIdIqUE



100

pointes adaptées ». Cette techniqued’immobilisation comporte néanmoins desrisques pour les occupants du véhiculeconcerné et son environnement médiat. Àune technique d’immobilisation externe etphysique pourrait donc se substituer unetechnique d’immobilisation interne etintrusive. La normalisation constitue un

enjeu fort29 dans labataille que vont selivrer lesconstructeurs dans lastandardisation deséquipementstechnologiques de

sécurité des voitures autonomes. Dans ladroite ligne de ces luttes d’influence, lesnormes d’équipement technologiquesd’immobilisation de ces futures voituresconstitueront un enjeu stratégique pour lesforces de sécurité. en effet, des normesretenues, découleront les futures doctrinesd’intervention et d’interception mises enœuvre par les forces de police. À l’instar durégime de l’usage des armes en France,nous pourrions voir se dessinerprogressivement une harmonisation àl’échelle européenne des procéduresd’immobilisation des voitures connectées.Ce droit normatif en devenir, relatif à la prisede contrôle d'un véhicule connecté,pourrait s'appuyer sur les conceptsjuridiques existants, notamment celuiportant sur la distinction entre policeadministrative et police judiciaire. Les futursdispositifs policiers technico-juridiquesd’immobilisation, devront satisfaire auxcritères constitutionnels de clarté, deprécision, de proportionnalité et de finalitéde l’opération.

(29) Pour aller plus loin , Cf :revue sécurité et stratégie,n°25, mars 2017, p.38,« L’intérêt de la normalisationdes domaines de la sécuritépour le ministère del’intérieur » de Patrick Butor,Adjoint au secrétaire généraldu ministère de l’intérieur,responsable ministériel auxnormes.

intelligents : technologie et sécurité ». Cettejournée a été l’occasion de dresser uninventaire des techniques existantes etd'esquisser les options paraissant les plusproportionnées de l'usage qu'en feraient

les agents de la forcepublique27. À ce sujet,le concept de hersenumérique a étéévoqué. il s’agit d’undispositif techniquequi permet d’arrêteren toute sécurité unvéhicule à distance en

agissant sur les calculateurs qui régissent lefreinage et la direction.

Contrôle de la mobilité des véhiculesconnectés : quelle modélisationjuridique ?Comme évoqué dans la première partie,l’article L214-2 du Csi ouvre dès à présentla possibilité de recourir à des moyensd’immobilisation à la condition que ceux-cisoient conformes aux normes prévues parun arrêté ministériel28. La rédaction del’article L214-2 n’énumère pas une liste demoyens appropriés pour immobiliser unvéhicule à moteur. A fortiori, l’instrumentlégislatif en vigueur permettrait l’emploi detechnologies numériques de type machineto machine en vue d’une prise de contrôled’une voiture autonome en mouvement.L’arrêté du 23 octobre 2006 retientexclusivement comme techniqued’immobilisation tout dispositif susceptiblede « provoquer la décélération rapide puisl’immobilisation du véhicule par diminutionprogressive de la pression despneumatiques, obtenue par l’usage de

(27)www.gendarmerie.interieur.gouv.fr/crgn/content/download/627/7666/file/pr%C3%A9sentation+oCsTi+-+CreoGn+-+version+PDF.pdf.

(28) Arrêté du 23 octobre2006 définissant les normestechniques applicables auxmatériels d’immobilisationdes véhicules. Cf JorF 3novembre 2006 – Texte 3.


dOCTRINE jURIdIqUE



L'introduction des véhicules connectéss'accompagnera de nouveaux textesjuridiques tendant à assurer une régulationdans les usages qui en seront faits. Dans ledomaine de l'ordre public et de la sécuritéroutière, la distinction traditionnelle, policeadministrative et police judiciaire appliquéeà la voiture connectée devrait ouvrir desperspectives jurisprudentielles inédites.

Sur le volet de la police administrative

Les premièresmesures de régulationrelevant de la policeadministrative pourles voituresautonomes pourraiententrer en vigueur par

voie d'ordonnance32. Ce mécanismejuridique permettrait aux forces de l'ordrede disposer, de manière concomitante,d'un cadre d'action lorsque les premiersvéhicules à délégation de conduitedisponibles pour les particuliers aurontl’autorisation de circuler sur le domainepublic. Le choix de cet instrument juridiqueserait dicté par un souci légitime depréservation de l'ordre public. Cettehypothèse est à mettre en perspective parla promulgation de l’ordonnance 2016-1057 du 3 août 2016 relative àl’expérimentation de véhicules à délégationde conduite sur les voies

publiques33. Ce texteconfère au ministre

chargé des transports, après avis duministre de l’intérieur, la compétence dedélivrer les autorisations de circulation àdes fins expérimentales. L’ordonnancesouligne que chaque autorisation délivrée

(32) Article 38al1 de laConstitution : « LeGouvernement peut, pourl'exécution de sonprogramme, demander auParlement l'autorisation deprendre par ordonnances,pendant un délai limité, desmesures qui sontnormalement du domaine dela loi. »

(33) Journal officiel,05082106, texte 7/167

101

Ces critères sont ceux déjà utilisés par leConseil constitutionnel lorsqu'il est amené àse prononcer sur la constitutionnalité demesures de nature contraignantes qui luisont soumises. À ce propos, il convient

de citer la thèseprimée30 de m. marc-Antoine Granger,intitulée “Constitutionet sécuritéintérieure”31, essai demodélisationjuridique. Les travauxde ce docteurprésentent l'intérêtd'adopter unedémarchemodélisatrice orientée

dans une fonction prédictive, constituant« […] un atout pour l'homme de science etpour l'homme d'action qui cherchentrespectivement à étudier et à élaborer unemesure de police ».

C’est sur le fondement de la distinctionentre la police judiciaire et la policeadministrative, que le Conseilconstitutionnel a fondé sa décision n°2015-713 de valider certaines dispositionsrelatives à la loi sur le renseignement. Danscette décision, le juge constitutionnel aconfirmé la validité des techniques derecueil de renseignement définies auxarticles L.853-1 à L.853-3 du Csi endéclarant, dans son considérant n°9,qu'elles relèvent pour l'exercice de leursmissions de la police administrative – « Queces techniques, n'ont d'autre but que depréserver l'ordre public et de prévenir lesinfractions ».

(30) Prix de Thèse duConseil constitutionnel 2011- LGDJ

(31) Par convention, marc-Antoine GrAnGer définit lasécurité intérieure comme« la branche policière despolitiques publiquessécuritaires. en centrantl'attention sur les dispositifspoliciers en vue de lesconfronter sur les droitsfondamentaux, la notion desécurité intérieure révèle toutson intérêt car elle n'englobepas les dispositifs de droitpénal. elle offre ainsi lapossibilité d'interroger laréponse policière àl'insécurité, ... » n°37, p22.


dOCTRINE jURIdIqUE



102

magistrat : « […] à mettre en place undispositif technique ayant pour objet, sansle consentement des intéressés, d'accéder,en tous lieux, à des données informatiques,de les enregistrer, les conserver et lestransmettre, telles qu’elles sont stockéesdans un système informatique, tellesqu'elles s'affichent sur un écran pourl'utilisateur d'un système de traitementautomatisé de données, telles qu'il les yintroduit par saisie de caractères ou tellesqu'elles sont reçues et émises par despériphériques audiovisuels ».

L'article 706-102-5 al2 précise en outreque : « En vue de mettre en place ledispositif technique mentionné aux articles706-102-1 et 706-102-2, le juge deslibertés et de la détention, à la requête duprocureur de la République, ou le juged'instruction peut également autoriser latransmission par un réseau decommunications électroniques de cedispositif ». Dans ce cadre, la captation dedonnées n’implique pas la modification ouune action sur le système mais vise àcollecter des preuves.

outre-Atlantique, le rapport RandCorporation (note 3) est le fruit d’uneréflexion d’ensemble de seize personnalitéset experts en nouvelles technologies. Cegroupe a débattu sur l’importance à venirdes technologies du web et de celles quiprobablement impacteront la justice pénale.Ces échanges ont donné lieu àl’identification de quarante-cinq besoins quidevront, selon les participants, à la foissatisfaire un usage proportionné mais aussimaîtrisé des risques inhérents. Parmi cesbesoins identifiés figurent des réflexions en

sera subordonnée à un examen préalableminutieux des conditions destinées àassurer la sécurité du déroulement del’expérimentation. Cependant, à l'instar destechniques de recueil de renseignement,ces nouvelles techniques d'immobilisation,déjà existantes, devront nécessairementfaire l’objet d’une codification. D’emblée, ilapparaît que de disposer de techniquesd’immobilisation et de géolocalisation surun véhicule connecté offrira d'autrespotentialités que la protection des agentsde la force publique. Ainsi, les servicesd'urgence comme le 17 ou le 18 sontchaque jour destinataires d'appelsd'usagers signalant le départ précipité d'unproche, d'une connaissance, d'un individu,au volant d'un véhicule, qui en raison d'uncontexte ou de son attitude présente uncaractère inquiétant (dépression, étatsuicidaire, sous l'emprise de produits ou desubstances addictives).

Sur le volet de la police judiciaire

en l'état du droit positif, l'accès par desenquêteurs à un système informatiqueinstallé sur un véhicule connecté estréservé au domaine de la lutte contre lacriminalité en bande organisée (art 706-73et 706-73-1 du CPP). il en résultequ’actuellement, la combinaison desarticles 706-102-1 et 706-102-5 al2 duCPP autoriserait les officiers de policejudiciaire (oPJ) à effectuer la captation dedonnées provenant d’un systèmeinformatique d’un véhicule.

L'article 706-102-1 ou 2 du CPPénonce que les officiers et agents de policejudiciaire peuvent être autorisés par un


dOCTRINE jURIdIqUE



matière de law enforcement vis-à-vis de lavoiture connectée.

Réflexions Outre-Atlantique : desperspectives identifiées en matière derègles d’engagement.Le groupe des seize experts recommandede mettre en place un groupe de travailchargé d’élaborer de nouvelles règles etprocédures spécifiques aux véhiculesconnectés (autonomes ou indépendants).

Comme le soulignent les experts dans lesdeux cas pratiques suivants, les enjeuxdans ce segment sont éminemmentsensibles sur le plan des libertésindividuelles :

- Quelle place et quelles prérogativespourraient-ils être données à un agent depolice, qui serait en mesure d’interagir avecle véhicule d’un particulier disposant decapteurs connectés à internet ? selon lecadre juridique retenu (ex : autorisationd’un magistrat), ces nouvelles technologiesdonneraient la possibilité à cet agent depolice de capter du véhicule connecté desdonnées à caractère personnel comme :les identités des occupants, l’historique deleur déplacement respectif... muni de cegenre de données, le policier ou legendarme équipé de matérielsinformatiques embarqués spécifiquespourrait opérer des consultations au seinde certains fichiers automatisés de police.en direct, depuis leur véhicule connecté,ces patrouilleurs pourraient prendreconnaissance de l’existence ou nond’antécédents administratifs ou judiciairesdes intéressés, voire s’il y aurait lieud’exécuter un mandat coercitif à leur

encontre. Ce cas concret montre dès àprésent que la conception actuelle ducontrôle routier réalisée par les agents depolice sur la route serait en passe dedevenir une image d’épinal.

- Autre cas pratique, celui d’un véhiculeconnecté, sans conducteur à bord,stationné illégalement ou nécessitant sondéplacement en cas d’urgence avérée.Dans quel cadre juridique des patrouilleurspourraient diriger ce véhicule pour ledéplacer vers un lieu plus approprié ?

Pour le groupe de travail, ces deux misesen situation opérationnelle suffisent à ellesseules à mettre en exergue l’examen à venird’une réflexion juridique relative auxcontrôles et à la régulation des flux desvoitures autonomes, plus particulièrementlorsqu’elles relèvent des prérogatives desforces de police. selon cette commission, ils’agira concrètement d’adopter pour lesforces de l’ordre, de nouvelles directives,méthodes tactiques et règlesd’engagement pour répondre àl’émergence programmée des véhiculesconnectés avec ou sans conducteur. encorollaire de ce qui précède, la commissionad hoc insiste tout particulièrement sur lafaculté, pour les agents de police, d’extraireles données depuis les objets connectésactivés des véhicules connectés. Quelquesfinalités non exhaustives sont énumérées àtitre d’illustration :

- Améliorer les enquêtes accidents et leursuivi,- Former des praticiens sur les potentialitésdes nouvelles technologies,- mettre en œuvre des protocoles


dOCTRINE jURIdIqUE



104

est née qui s'appuie,elle, sur le progrèstechnique et fait

échec à une police archaïque dont lesméthodes et le matériel n'ont guère évoluédepuis Vidocq. Un chiffre est plus éloquentque tout : au cours de l'année 1906,103 000 affaires criminelles etcorrectionnelles ont été classées sans queles auteurs aient pu être identifiés. L'année1907 s'annonce pire encore. Il y va de lasécurité des villes et des campagnes. »

L’avènement de la voiture connectéedevrait introduire un changement deparadigme dans les règles d’engagementopérationnel. L’adoption de techniques detype cyberinterception oucyberimmobilisation, ayant comme moyencontraignant des applications de type hersenumérique, devrait neutraliser de manièreefficiente la possibilité d’utiliser la voiturecomme une arme par destination. enretour, le recours à la force armée par lesagents publics de la sécurité intérieureaurait dans ce segment un caractèreexceptionnel. Les futurs dispositifstechniques d’immobilisation des voituresconnectées constituent une piste sérieusede prospective à un moment où la DGGn aconstitué un groupe de travail centré sur laproblématique de leurs arrêts.

(35) Cf annonce génériquedu 1er épisode de la sérietélévisée «les Brigades duTigre » (1974 - 1983).

d’identification véhicule ami / ennemi,- Localiser le propriétaire ou le conducteurdu véhicule connecté mis en cause,- établir des techniques de neutralisationsans risque.

La voiture autonome va introduire unerupture d'ordre sociétale ettechnologique dans la décennie à

venir. Les forces de police devront, à l'instarde leurs aînés, s'adapter à de nouveauxmodes d'action de la délinquance quiimpacteront les pratiques des unités depolice judiciaire, de sécurité publique etroutière. De nouveaux dispositifstechniques seront à construire, conformesaux finalités légitimes reconnues dans notreétat de droit. Ainsi, en 1907 la création des

premières Brigadesmobiles34 voulue parGeorgesClémenceau, ministrede l'intérieur, traduitdans les faits qu’àmoyen nouveau, ilfaut une nouvelle

doctrine. il est utile de rappeler lecontexte35 de la création de ces unités :« 1907. En ce début de siècle où la vie setransforme au rythme accéléré d'uneindustrie triomphante, les structurestraditionnelles de la vieille société se brisentchaque jour davantage derrière la façadede la Belle Époque. La criminalité augmentedans des proportions d'autant plusinquiétantes qu'une délinquance nouvelle

(34) https://criminocorpus.org/fr/legislation/textes-juridiques-lois-decre/textes-relatifs-a-lorganisati/decret-du-30-decembre-1907-cr/ -Les commentaires etinstructions de GeorgesClémenceau sur l'étatd'esprit qui doit animer cesunités sont sans équivoqueset d'une actualitésaisissante.


dOCTRINE jURIdIqUE



dOCTRINE jURIdIqUE

105

règles européennes dedroit civil en robotique1

référence de lapublication originelle :Parlement européen,Policy Department,Direction généraledes politiquesinternes,Départementthématique C, Droitsdes citoyens etaffairesconstitutionnelles,

Affaires juridiques et parlementaires, etudepour la CommissionJuri, Pe 571.379Fr, 2016, 40 pages,www.europarl.europa.eu/regData/etudes/sTuD/2016/571379/iPoL_sTu(2016)571379_Fr.

(1) etude publiée à lademande de la commissiondes affaires juridiques duParlement européen afind’évaluer sous les anglesjuridique et éthique le projetde rapport du 31 mai 2016contenant desrecommandations à laCommission concernant desrègles de droit civil sur larobotique (rapport madyDelvaux),http://www.europarl.europa.eu/sides/getDoc.do?type=ComPArL&mode=XmL&language=Fr&reference=Pe582.443.//eP//nonsGmL%2BComPArL%2BPe-582.443%2B01%2BDoC%2BPDF%2BV0//Fr

R– extraits de l’étude –

2. CONSIdERATIONS GENERALESCONCERNANT LES ROBOTS : LANOTION dE ROBOT ET SESIMpLICATIONS, ET LA qUESTION dELA CONSCIENCEil s’agit d’examiner de manière globale lanotion de robot et ses implications, ainsique la question de la conscience, afin dedélimiter le champ des réflexions enrobotique et en intelligence artificielle.

2.1. Une définition commune des robotsautonomes et intelligents

Le paragraphe 1 de la proposition derésolution suggère « à la Commission deproposer une définition européennecommune des différentes catégories derobots autonomes et intelligents, comptetenu des caractéristiques suivantes desrobots intelligents :

– acquisition d'autonomie grâce à descapteurs et/ou à l'échange de données

par NATHALIE NEvEJANS


NATHALIENEvEJANS

Maître de conférences endroit privé (Universitéd’Artois)Membre du Comitéd’éthique du CNRS(COMETS)


avec l'environnement (interconnectivité) ;échange et analyse de données ;

– capacité d'auto-apprentissage (critèrefacultatif) ;

– présence d'une enveloppe physique ;

– adaptation du comportement et desactes à l'environnement ».

il apparaît incontournable d’adopter unedéfinition commune. or, la définition des

robots est toujoursune affaire mal aisée2,puisqu’il n’existe pasvraiment de

consensus au sein de la communautéscientifique mondiale. Certains travauxactuels considèrent qu’un robot au senslarge doit remplir plusieurs conditions, et

(2) nathalie nevejans, Traitéde droit et d’éthique de larobotique civile, LEH édition,Bordeaux, Coll. « science,éthique et société », janvier2017, n°s 67 et s.

consister en une machine matérielle, dotéedes capacités d’agir sur le réel, depercevoir son environnement, et dedécider3. Certains robots seulementpeuvent présenter en outre des capacitésd’apprentissage, de communication etd’interaction, ou encore être dotés d’une

certaine autonomie4.La définition proposée

par le paragraphe 1 ne vise pas l’ensembledes robots, mais seulement les robotsautonomes et intelligents, comme il estexposé dans le projet de rapport. Toutefois,les caractéristiques indiquées mériteraientd’être précisées davantage, pour évitertoute incertitude quant au champd’application du futur instrument.

on peut relever deux points délicats, quirévèlent toute la complexité d’une définition

(4) ibid.


« Les robots autonomes et intelligents présentent plus de questionnements juridiques et éthiques qued’autres. »

dOCTRINE jURIdIqUE

rÈGLes euroPéennes De DroiT CiViL en roBoTiQue


générale. D’une part, si les robotschirurgicaux (visés, par exemple, par leparagraphe 17 de la proposition) peuventêtre assimilés à des robots en général, ilsne sauraient entrer dans la catégorie desrobots autonomes et intelligents. en effet,les robots chirurgicaux fonctionnent le plussouvent sur un modèle maître-esclave,c’est-à-dire par simple téléopération par lepraticien, à l’instar du robot chirurgical DaVinci. Comme l’homme reste dans laboucle décisionnelle, il peut alors être plusdifficile de parler d’autonomie du robot.Pourtant, il reste essentiel que l’unioneuropéenne se penche sur les robotschirurgicaux, notamment sur la question dela sécurité du robot et la formation duchirurgien au robot utilisé.

D’autre part, bien que la recherchedéveloppe des drones dotés d’autonomie,les drones (évoqués par la proposition auparagraphe 19) sont le plus souventtéléopérés par leur opérateur, et nerépondent que difficilement à la conditiond’autonomie et d’intelligence. Les drones,qui ont commencé à intéresser l’unioneuropéenne, poseront notamment desquestions en termes de sécurité, et deprotection de la vie privée et des données àcaractère personnel.

2.2. Les limites terminologiques desnotions de « robot autonome » et de« robot intelligent »

La proposition de résolution visespécifiquement les robots autonomes et

intelligents. il est vrai que cette formerobotique présente plus dequestionnements juridiques et éthiques qued’autres.

2.2.1. Les limites terminologiques de lanotion de « robot autonome »

Le point r de la proposition de résolutionindique que l'autonomie d'un robot estdéfinie « comme la capacité à prendre desdécisions et à les mettre en pratique dansle monde extérieur, indépendamment detout contrôle ou influence extérieurs ; quecette autonomie est de nature purementtechnique et que le degré d'autonomiedépend du degré de complexité desinteractions avec l'environnement prévu parle programme du robot ». même si la notionde robot autonome est d’un abordcomplexe dans la littérature scientifique,étant donné que les roboticiens mettentsous ce terme les approches les plus

variées5, la définitionproposée par le projetde rapport noussemble cohérente.L’emploi du terme

« technique » pour qualifier l’autonomieindique qu’il ne s’agit pas d’une forme deconscience de la machine. La notiond’autonomie technique est assimilable àl’autonomie opérationnelle développéedans certaines études6.

Le seul bémol à apporter pourrait porter surles termes « indépendamment de toutcontrôle ou influence extérieurs ». en effet,

(5) oir notre ouvrage précité,n°s 120 et s.

(6) rapport n° 1 de laCernA, « éthique de larecherche en robotique »,précité, p. 45-46.


dOCTRINE jURIdIqUE



l’emploi de toute une gamme de capteurs,afin de les rendreautonomes. Toutesces recherchesrelèvent de larobotique intelligente7.

Le terme est également employé dans lanorme technique en iso 8373 relative aux« robots et composants robotiques –Vocabulaire » de 2012. elle définit le robotintelligent au § 2.28, comme le « robotcapable d'exécuter des tâches pardétection de son environnement, et/ou parinteraction avec des sources extérieures etadaptation de son comportement ». Lanorme donne les exemples du robotindustriel comportant une sonde de visionpour prendre et placer un objet, du robotmobile capable d’éviter les collisions, ouencore du robot à jambes se déplaçant surun terrain inégal.

même s’il est vrai, comme le souligne lepoint A de la proposition de résolution, que« les humains ont, de tous temps, rêvé deconstruire des machines intelligentes », ilconvient néanmoins d’émettre des réservesconcernant l’emploi de la terminologie de «robot intelligent », au regard de la peur desrobots qui trouve deux origines.

1°/ La peur occidentale du robot

Au regard du fonds culturel communirriguant tout l’inconscient collectifoccidental, la notion de « robot intelligent »pourrait provoquer des réactions négatives,défavorables au développement de

ray Jarvis, « intelligentrobotics : Past, Present andFuture », internationalJournal of Computerscience and Applications,2008, Vol. 5, n° 3, p. 23.

la notion d’influence extérieure n’est guèreévocatrice, et risque d’engendrer uneconfusion avec la capacité du robotautonome à prendre des décisionsprécisément en fonction des stimuli del’environnement extérieur (= influenceextérieure). il pourrait être plus adéquat deconserver seulement « indépendammentde tout contrôle extérieur ».

en tous les cas, l’emploi des termes de« robot autonome » mérite approbation,contrairement à ceux de « robotintelligent ».

2.2.2. Les limites terminologiques de lanotion de « robot intelligent »

Ce sont surtout les termes de « robotintelligent » qui méritent réflexion. enthéorie, ils ne présentent aucune difficulté.en effet, des scientifiques emploient lanotion de « robot intelligent » pour désignerla génération des robots qui n’étaient pluscantonnés aux lignes d’assemblages fixeset fonctionnant en mode automatique, maisdevenaient capables de s’adapter à lavariabilité et à l'incertitude de leurenvironnement. Lorsque les robots sontsortis de l’usine, les chercheurs ont étécontraints de les adapter afin qu’ilspuissent évoluer dans un monde complexe,hautement imprévisible. Comme il devenaitimpossible de programmer l’ensemble dessituations que le robot allait rencontrer,l’idée a été alors de développer desmachines capables d’anticiper certainessituations et de s’y adapter, notamment par


dOCTRINE jURIdIqUE



l’industrie robotique. il est essentiel de nepas sous-estimer l’influence sur la sociétédes récits grecs ou hébraïques anciens,notamment le mythe du Golem. Lesoeuvres romanesques des XiXe etXXe siècles les ont d’ailleurs souventrepensés afin de mettre en évidence lesrisques de perte de contrôle de l’hommesur ses propres créatures. Aujourd’hui, lacrainte occidentale de la créature, quireprend vigueur sous la forme moderniséedu robot ou de l’intelligence artificielle,pourrait être accentuée par uneincompréhension des citoyens européens,et même nourrie par certains médias.

Cette peur du robot n’est pas partagée parles pays d’extrême-orient. Après laseconde guerre mondiale, on vit apparaîtredans un manga au Japon une créaturerobotisée (Astro Boy) donnant à la sociétéune image très positive des robots.D’ailleurs, la vision shintoïste des robots parles japonais fait que, comme touteschoses, ils sont dotés d’une âme.Contrairement à l’occident, les robots nesont pas perçus comme des créaturesdangereuses et prennent naturellementplace auprès des hommes. C’est pourcette raison que la Corée du sud, parexemple, a très tôt eu l’idée de développerune réflexion juridique et éthique sur lesrobots, et a fini par entériner la notion de« robot intelligent » dans une loi, modifiéeen dernier lieu en 2016, intitulée « intelligentrobots development and distributionpromotion act ». Ce texte définit le robot

intelligent comme un dispositif mécaniquequi perçoit l’environnement externe pourlui-même, apprécie les situations et se

déplace de lui-même(art. 2, § 1)8. Laproposition derésolution se situedonc dans uncontexte scientifiquesimilaire.

Cet écart culturel entre les visions extrême-orientales et occidentales pourraitnéanmoins justifier une démarcation dulégislateur européen des voies juridiquesempruntées par les pays asiatiques. eneffet, les solutions adoptées en Asie neseraient pas forcément acceptables eneurope. Cela est d’autant plus vraiqu’aujourd’hui la peur prend consistanceen s’ancrant dans le réel, et non plus dansle mythe ou le romanesque. Dans deuxhypothèses, au moins, les peurs ont étéréanimées, non sans raison. en 2014 et2015, Bill Gates, stephen hawking et elonmusk avaient évoqué les dangers del’intelligence artificielle, puisqu’elle avait étéprésentée comme pouvant se retourner

contre l’homme9.Comme le souligne lepoint i de laproposition derésolution, il pourraitarriver que l’humanitécoure un péril si« l'intelligenceartificielle [surpassait]

(8) « The term "intelligentrobot" means a mechanicaldevice that perceives theexternal environment foritself, discernscircumstances, and movesvoluntarily », intelligentrobots development anddistribution promotion act,ministry of Trade, industryand energy, Act n° 13744,Jan. 6, 2016.

(9) michael sainato, «stephen hawking, elonmusk, and Bill Gates WarnAbout Artificial intelligence »,observer [on line], 08/19/15,http://observer.com/2015/08/stephen-hawking-elon-musk-and-bill-gates-warn-about-artificial-intelligence/

(10) Bill Joy, « Why the futuredoesn’t need us », in F.Allhoff et ali., dir.,nanoethics. The ethical andsocial implications ofnanotechnology, éd. Wiley-Blackwell, 2007, p. 32.


dOCTRINE jURIdIqUE



société civile que les robots conscients,pensants, ou presque humains, nerelèveraient désormais plus de la science-fiction.

De même, dans l’objectif d’apaiser la peurdes robots, il pourrait être intéressant demettre en place un système destiné àconserver le contrôle sur les robots etl’intelligence artificielle. A cet égard, ilconviendrait de déterminer les secteurspotentiellement dangereux pour l’hommeafin, peut-être pas d’interdire lesrecherches, mais tout au moins de lesencadrer. Cette mission pourrait incomberà la future Agence européenne pour larobotique et l'intelligence artificielle, viséeaux paragraphes 8 et 9 de la proposition.Par exemple, l’autoréplication des robots,et plus encore des nanorobots, pourraitêtre difficile à maîtriser et potentiellementdangereuse pour l’homme etl’environnement, ce qui imposerait uncontrôle strict externe des activités derecherche.

2°/ La délicate délimitation entre lesavantages de la robotisation et les risquessocio-économiques

La peur occidentale de voir l’hommesupplanté par le robot se combine avec lesinquiétudes d’ordre socio-économique.Cette situation n’est pas nouvelle,puisqu’elle expliquait déjà les premièresoppositions au pouvoir de la machine parl’ouvrier anglais ned Ludd qui avait casséles métiers mécanisés en 1811. en

les capacités intellectuelles humaines ».Pour éviter ce danger, le projet de rapportsouligne qu’il est indispensable quel’homme soit toujours en mesure decontrôler ses créations. Ce point mériteamplement d’être approuvé. même enrobotique, dès 2007, le scientifiqueaméricain Bill Joy avait déjà estimé que lesrobots intelligents – l’auteur faisantréférence à des robots dont les capacitésdépasseraient largement celles visées dansla définition de la proposition de résolution –faisaient courir à l’homme des risquesd’extinction. il préconisait alors de renonceraux recherches dans les secteurspotentiellement dangereux, car la mise enplace de méthodes de contrôle destechnologies pourrait s’avérer trop lente outrop peu efficace10. on constate quel’auteur associait explicitement les robotsintelligents avec les risques de destructionde l’homme, révélant l’appréhensionnégative de cette terminologie en occident.

Dans un tel contexte, on pourrait craindreque la découverte par les citoyenseuropéens d’un texte relatif à des robotsintelligents puisse nourrir une visionfantasmée des robots qui risquerait, soit derenforcer la peur de la créature artificielle,soit de freiner l’émergence de nouveauxsecteurs de la robotique lorsque l’acheteurserait profondément déçu par une machinequi ne se révélerait finalement pasintelligente au sens humain du terme. Danstous les cas, entériner les termes de « robotintelligent » risquerait de faire croire à la


dOCTRINE jURIdIqUE



robotique, cette supplantation de l’hommepourrait se traduire par la disparition desemplois. Cette question est justementsoulevée par le projet de rapport au pointe. elle mérite une grande attention car elleexige la conciliation entre deux groupesd’intérêts différents :

D’un point de vue économique, il paraîtopportun de faire en sorte de développer larobotique en europe, en accroissant lesaides aux entreprises, en guidant les jeunesvers des formations adaptées, enaccordant des financements auxuniversités, etc. en effet, la robotiqueapparaît comme un facteur de relanceéconomique. Certains évoquent déjà l’idéed’une quatrième révolution industrielle, enlien avec le développement de l’usine du

futur11, à laquelle larobotique prendraitpleinement part auxcôtés d’autres

technologies émergentes, comme lesobjets connectés, les puces rFiD ou lesimprimantes 3D. Les avantages présentéspar la robotisation en termes économiquespourraient alors inciter à la relocalisation eneurope de la production ayant étédélocalisée vers les pays émergents.

D’un point de vue social, les avantages,notamment décrits au point D du projet derapport, ne doivent pas faire oublier lesrisques liés à la robotisation de l’industrie,et même de la société en général par ledéveloppement des robots de services. en

(11) nathalie nevejans, « Lesusines connectées », in A.Zollinger, dir., Les objetsconnectés, éd. mare &martin, à paraître, 2017.

effet, l’accélération de la robotisationpourrait faire disparaître plusieurs millionsd’emplois en europe, non seulement lesmoins qualifiés, mais également ceuxrelevant des secteurs à plus fort contenuintellectuel, comme les métiers del’enseignement. La robotisation et larelocalisation de l’industrie doivent doncêtre pensées pour soutenir l’homme autravail et non pour l’évincer de l’entreprise.il serait utopique de croire que la sociétéserait capable de se réorganiser pourpouvoir prendre en charge des milliards

d’humains oisifs12.Toutefois, certainesétudes indiqueraient,au contraire, que larobotisation auraitplutôt comme effet de

transformer les emplois. selon elles, onassisterait ainsi d’abord à leur diminution,pour ensuite en voir émerger de nouveaux,parfois sans lien avec les précédents.malgré tout, le risque en la matière estd’être face à une « génération perdue »,correspondant à la génération qui auraitreçu une formation pour des emplois encours de disparition et qui se trouveraitdans l’impossibilité de trouver un emploi enadéquation avec ses compétences. Pouréviter cela, il conviendrait dès à présent deplacer les universités en première lignepour faire face à ce défi, en leur accordantles moyens nécessaires pour anticiperl’évolution et adopter une positioninnovante.

(12) en ce sens, moshe Y.Vardi in « The Job market of2045. What will we do whenmachines do all the work ?», ieee spectrum’s [on line],22 janvier 2013,http://spectrum.ieee.org/podcast/at-work/tech-careers/the-job-market-of-2045.


dOCTRINE jURIdIqUE



112

utilisateurs de robots. en littérature,l’écrivain isaac Asimov chercha à mettre finà la vision occidentale négative des robotsà travers ses nouvelles, publiées en 1950sous la forme du recueil « i, robot ». Pourla première fois, des créatures ne serévoltaient pas contre leur créateur. Cettemaîtrise des créatures se fit au moyen del’invention des Lois de la robotiqueauxquelles les robots devaientimpérativement se conformer :

« 1. Un robot ne peut porter atteinte à unêtre humain, ni permettre, en restant passif,qu’un être humain soit exposé au danger.

2. Un robot doit obéir aux ordres que luidonne un être humain, sauf si ces ordresentrent en conflit avec la première loi.

3. Un robot doit protéger son existence tantque cette protection n’entre en conflit niavec la première ni avec la seconde loi. »

L’écrivain avait ajouté plus tard la loi zéro,prioritaire sur les autres : « 0. Un robot nepeut par son action mettre l’humanité endanger, ni, restant passif, laisserl’humanité en danger. »

Asimov avait conçu ces Lois comme unoutil littéraire à connotation juridique afin denourrir la trame de son œuvre en justifiant lamaîtrise des robots par l’homme :

Les Lois d’Asimov avaient été inventéespour être volontairement imprécises afin de

pouvoir nouerd’intéressantes

(13) Voir notre ouvrageprécité, n°s 916 et s.

il pourrait être intéressant de confier lamission d’analyser les risques socio-économiques du développement de larobotique à l’Agence européenne pour larobotique et l'intelligence artificielle évoquéeaux paragraphes 8 et 9 de la proposition derésolution.

2.3. Les questions de la conscience et dela place des lois d’Asimov en robotique

Le point L de la proposition de résolutionindique que « jusqu'à ce que les robotsdeviennent conscients de leur propreexistence, ou soient fabriqués ainsi àdessein, si tant est que cela advienne unjour, il y a lieu de considérer les loisd'Asimov comme s'appliquant auxconcepteurs, aux fabricants et auxutilisateurs de robots, étant donné quelesdites lois ne peuvent être traduites enlangage de programmation ».

Le texte est peu clair étant donné qu’ilsemble signifier qu’en l’attente dudéveloppement de la conscience desrobots, les êtres humains devraient alorsappliquer les Lois de la robotique d’Asimov.Cette disposition, qui relie deux conceptsqui n’ont que peu de rapport entre eux,appelle deux séries de remarquesimportantes.

1°/ il convient, d’une part, de s’arrêter surla question de la validité juridique des Loisde la robotique que la proposition derésolution souhaite appliquer auxconcepteurs, aux fabricants et aux


dOCTRINE jURIdIqUE



détecter son apparition dans unemachine ? De plus, admettre qu’unemachine puisse être consciente obligeraitl’homme à respecter les droits

fondamentaux durobot14. enfin, etsurtout, si le robotdevait un jour êtreconscient, étant parnature plus puissant,

plus rapide, plus intelligent, plus parfait etpresque immortel, l’humanité telle qu’elleexiste serait vouée à péricliter, voire à êtreanéantie en application de la loi naturelleclassique qui veut qu’une espèce inférieuredisparaisse au profit d’une espècesupérieure.

il nous apparaît ainsi indispensabled’instaurer un principe selon lequel touterecherche scientifique destinée à rendreconscient un robot ou ayant un tel effet demanière indirecte devrait relever d’unsecteur potentiellement dangereux pourl’homme exigeant un encadrement strict(voir 2.2.2., 1°/).

3. LES pROBLÈMES pOSÉS pAR LARESpONSABILITÉ EN ROBOTIqUELa proposition de résolution indique auparagraphe 24 qu’eu égard aux nouvellescapacités des robots, « la responsabilitécivile des robots est une question cruciale àlaquelle il importe de répondre au niveau del'Union ». Toutefois, il apparaît incongru derégler la question en instaurant unepersonnalité juridique du robot en matièrede responsabilité. Par ailleurs, la proposition

(14) nathalie nevejans, « Lerobot qui voulait devenir unhomme… ou le statutjuridique de l’androïde », inF. Defferrard, dir., Le droitsaisi par la science-fiction,éd. mare & martin, coll. «Libre Droit », 2016, p. 156 ets., n°s 33 et s.

113

intrigues13. en aucun cas l’auteur n’avaitpensé à l’origine à ériger davantage qu’unartifice littéraire astucieux. Ainsi, ces Lois nesauraient constituer de véritables principesjuridiques, en dehors même de la questionde la faculté ou non de leur programmation,évoquée au point L.

Ces Lois ne s’adressaient qu’aux robotseux-mêmes et instauraient une formed’éthique de la machine. Ainsi, lorsque lepoint L de la proposition indique qu’« il y alieu de considérer les lois d'Asimov commes'appliquant aux concepteurs, auxfabricants et aux utilisateurs de robots », ilse livre à une interprétation erronée desLois de la robotique, puisqu’elles n’étaientjamais destinées à l’homme.

Les romanesques Lois de la robotiqueétant incapables de protéger l’homme, ilserait concevable d’édifier un cadre éthiquegénéral adapté aux problématiques de larobotique et de l’intelligence artificielle (voir4.1.).

2°/ il est dès à présent fondamental,d’autre part, d’évoquer la question de laconscience de soi par le robot. Cetteconscience, qu’elle survienne de manièreplus ou moins spontanée ou à la suite derecherches scientifiques, semble êtreenvisagée sereinement par le point L de laproposition de résolution. or, cette situationpourrait faire vaciller l’humanité. s’il estinutile de rappeler qu’il est déjà difficile deprouver qu’une personne humaine disposed’une conscience, comment pourrait-on


dOCTRINE jURIdIqUE



114

Classiquement, afin d’attribuer lapersonnalité juridique à une entité, on tentede la rapprocher de l’homme. Tel est bienle cas pour le droit des animaux, puisqueles partisans mettent en avant l’idée que lapersonnalité juridique doit leur être attribuéeen ce que certains d’entre eux disposentd’une conscience, d’une capacité à souffrir,etc., donc finalement de sentimentspropres les arrachant à leur catégorie dechoses. or, la proposition de résolution nefait pas dépendre la reconnaissance de lapersonnalité juridique du robot à unéventuel état de conscience. Lapersonnalité juridique n’est donc pasassociée à une quelconque prise enconsidération de l’être profond du robot oude ses sentiments, dans l’hypothèsedouteuse où le robot serait pourvu d’uneconscience. L’attribution d’une tellepersonnalité au robot poursuivrait donc unsimple objectif fonctionnel, relevantnotamment de la nécessité qu’il puisse êtreen mesure d’être responsable de sesactes.

il existe une autre hypothèse dans laquelle ilpeut être concevable d’attribuer unepersonnalité juridique à une entité : lorsquecette attribution a pour effet de lui donnervie juridique. Thomas hobbes montre dansle Léviathan que le terme personne(persona) d’origine latine désignait lemasque, puis finalement la représentationde soi-même ou d’autrui. L’exemple despersonnes morales révèle que le droit adéjà attribué à une entité non-humaine la

appellera diverses remarques concernant laresponsabilité des dommages causés parun robot autonome afin d’en assurer lacohérence avec le droit de la responsabilitécivile.

3.1. L’incongruité de la personnalitéjuridique du robot en matière deresponsabilité

La proposition de résolution envisageéventuellement de mettre en place unenouvelle catégorie de personne propre auxrobots autonomes : les personnesélectroniques. en effet, le paragraphe 31, f),indique que la Commission européennedevrait examiner les conséquencesjuridiques s’agissant de « la création d'unepersonnalité juridique spécifique auxrobots, pour qu'au moins les robotsautonomes les plus sophistiqués puissentêtre considérés comme des personnesélectroniques dotées de droits et de devoirsbien précis, y compris celui de réparer toutdommage causé à un tiers ; seraitconsidéré comme une personneélectronique tout robot qui prend desdécisions autonomes de manièreintelligente ou qui interagit de manièreindépendante avec des tiers ».

La question de la personnalité juridique durobot autonome mérite d’être évacuée desréflexions portant sur le droit civil de larobotique, car elle est aussi inutilequ’incongrue.


dOCTRINE jURIdIqUE



présence humaine. en reconnaissant unepersonne électronique chez « tout robot quiprend des décisions autonomes demanière intelligente ou qui interagit demanière indépendante avec des tiers »(paragraphe 31, f), in fine), la propositionsemble signaler que ce serait le robot quise représenterait lui-même et deviendraitson propre acteur juridique. Cette analyseest confirmée dans le point s qui indiqueque « plus un robot est autonome, moins ilpeut être considéré comme un simple outilcontrôlé par un autre acteur […] et qu'il y alieu d'adopter de nouvelles règlespermettant d'imputer (totalement oupartiellement) à une machine ses actes ouson inaction ». s’il n’est plus contrôlé parun acteur, c'est donc qu'il le devient lui-même. mais comment une simple machine,carcasse vide de toute conscience,sentiments, pensées ou volonté propre,pourrait-elle devenir son propre acteurjuridique ? Comment même envisager celacomme prévisible à 10 ou 15 ans, c’est-à-dire dans les délais fixés au paragraphe 25de la proposition de résolution ? D’un pointde vue scientifique, juridique et mêmeéthique, il est aujourd’hui impossible, etprobablement pour très longtemps encore,qu’un robot puisse participer à la viejuridique en l’absence d’un être humain quise dessinerait derrière.

De plus, en considérant que l’attribution aurobot de la personnalité juridique auraitpour fonction première d’en faire un acteurresponsable en cas de dommage, force est

115

personnalité juridique. il ne convientpourtant pas d’en déduire que les robotspourraient bénéficier à leur tour d’une tellepersonnalité. en effet, contrairement à lapersonnalité juridique de la personnephysique qui découle ontologiquement deson humanité, son attribution à unepersonne morale constitue une fictionjuridique. Les personnes morales ne sonten mesure d’agir dans l’espace juridiqueque parce qu’un être humain se dessine enfiligrane derrière chacune d’entre elles et lesreprésente. C’est donc bien l’homme quianime au final la personne morale. sans lui,elle n’est qu’une coquille vide. Dès lors,qu’en serait-il pour le robot ? Deuxpossibilités s’offrent à nous : soit l’hommeest le véritable acteur juridique derrière lerobot, soit le robot est son propre acteurjuridique.

D’une part, si un homme existait derrière lerobot autonome, ce serait finalementl’homme qui représenterait la personneélectronique, laquelle ne seraitjuridiquement qu’une constructionintellectuelle fictionnelle, à l’image de lapersonne morale. seulement, la mise enplace d’un mécanisme aussi compliquépour aboutir à un résultat aussi inutileprouverait l’incongruité de l’attribution de lapersonnalité juridique à une simplemachine.

D’autre part, au regard de la proposition derésolution, il semblerait que l’on se dirigeplutôt vers le gommage complet de la


dOCTRINE jURIdIqUE



pourrait exiger d’avoir des congés, ouqu’un robot de soins pourrait demander unsalaire avant de commencer à s’occuperd’une personne âgée ? Dans ce cas,pourquoi fabriquer des robots qui neserviraient à rien ou les acheter ? et surtoutpourquoi ne pas simplement continuer àfaire appel au travail des hommes ? onconstate que l’attribution de droits à unrobot se révèlerait hautement fantaisiste etpotentiellement destructrice du marchéémergent de la robotique.

en réalité, les partisans de la personnalitéjuridique ont une vision fantasmée du robot,marquée par les romans ou le cinéma descience-fiction. ils ne peuvent concevoir lerobot – surtout s’il est qualifié d’intelligent ets’il est humanoïde – que comme unevéritable créature artificielle pensante alterego de l’homme. il nous semble inopportunet malvenu, non seulement de reconnaîtrel’existence d’une personne électronique,mais également d’établir une quelconquepersonnalité juridique. Le danger n’est alorspas seulement d’accorder des droits et desobligations à un simple outil, mais aussi defaire éclater les frontières entre l’homme etla machine, ouvrant ainsi la voie à uneconfusion entre le vivant et l’inerte, entrel’humain et l’inhumain… De plus, faireémerger une nouvelle sorte de personne –la personne électronique – est un messagefort qui pourrait non seulement réanimeravec force la peur de la créature, maiségalement remettre en cause lesfondements humanistes de l’europe.

de constater que d’autres systèmesseraient bien plus efficaces en matièred’indemnisation des victimes, comme lamise en place d’une assurance adaptéeaux robots autonomes, éventuellementcombinée avec un fonds de compensation(paragraphe 31, a) à e)).

il est également impératif de garder àl’esprit que ce statut engendreraitnécessairement des effets juridiquesindésirables. Le point T de la propositionsignale que la création d’une personnalitéjuridique imposerait la reconnaissance dedroits et de devoirs aux robots. Commentpourrait-on envisager d’attribuer des droitset des devoirs à une simple machine ?Comment un robot pourrait-il avoir desdevoirs, alors qu’il s’agit d’une notionétroitement liée aux représentationsmorales humaines ? Plus encore, quelsdroits attribuer au robot : le droit à la vie –c’est-à-dire le droit à la non-destruction –,le droit à la dignité, le droit à l’égalité avecl’homme, le droit à la retraite, le droit auversement d’une rémunération (ce dernierdroit étant explicitement envisagé auparagraphe 31, b), de la proposition), ... ?Prenons l’exemple de trois sortes de robotsdont certains peuvent, d’ores et déjà, êtreconsidérés comme autonomes etintelligents au sens de la proposition.L’attribution de droits voudrait-elle direqu’un robot employé en milieu hostilepourrait refuser de traverser une zonedangereuse susceptible de l’endommagerou de le détruire, qu’un robot agricole


dOCTRINE jURIdIqUE



Accorder le statut de personne à une entiténon vivante et non consciente serait doncune erreur, puisque cette solution risqueraità terme de ravaler l’homme au rang desimple machine. Les robots doivent êtreplacés au service de l’humanité et nesauraient avoir d’autre place, sauf à verserdans la science-fiction.

3.2. Remarques diverses concernant laresponsabilité des dommages causés parun robot autonome

Au regard des nombreux élémentscontenus dans la proposition de résolution,qui ne peuvent être examinés enprofondeur dans le cadre limité de cetteanalyse, nous pouvons souligner plusieurspoints qui méritent réflexion.

1°/ en matière de responsabilité civile, ilconvient d’abord de prendre garde auxqualificatifs employés dans le futurinstrument. il faudrait bannir les expressions« responsabilité des/du robot(s) »(paragraphe 26 ; annexe à la proposition derésolution), qui laissent croire que le robotpourrait être lui-même responsablecivilement de ses dommages, maisemployer à leur place « responsabilité dufait des/du robot(s) ».

2°/ La détermination du responsable encas de dommages causés par un robotautonome pose difficulté.

D’une manière classique, les dommagescausés par les robots autonomespourraient trouver leur origine dans undéfaut de la machine, ce qui permettrait demettre en œuvre la directive 85/374/Ceedu Conseil du 25 juillet 1985, à la conditiond’en remplir les conditions. on trouve celaparfaitement décrit au point Y de laproposition de résolution. Cette directivepourrait trouver à s’appliquer dans denombreuses circonstances, notammentlorsque le producteur n’aurait pas assez


« Le danger n’est alors pas seulementd’accorder des droits et des obligations àun simple outil, mais aussi de faire éclaterles frontières entre l’homme et la machine,ouvrant ainsi la voie à une confusion entrele vivant et l’inerte, entre l’humain etl’inhumain… »

dOCTRINE jURIdIqUE



s’agissant du fondement de responsabilité,le paragraphe 27 de la proposition est fortintéressant puisqu’il indique que « le futurinstrument législatif devrait prévoirl'application par défaut de la responsabilitéstricte, en vertu de laquelle il suffitd'apporter des preuves des dommages etde la relation de cause à effet entre lesdommages et le comportementdommageable du robot ». il s’agirait doncd’un régime de responsabilité sans faute,qu’il serait possible de qualifier de« responsabilité du fait du robot ». Danscette occurrence, la double preuvereposerait sur la victime du dommage.Toutefois, même dans ce cas de figure, ilresterait délicat de déterminer le répondantfinal, c’est-à-dire le véritable responsable.

A cet égard, le paragraphe 28 de laproposition offre une méthode pour évaluerles responsabilités de chacune des parties,puisqu’il énonce qu’« en principe, une foisles parties responsables en dernier ressortidentifiées, leur responsabilité seraitproportionnelle au niveau réel d'instructionsdonnées au robot et à l'autonomie de celui-ci ; dès lors, plus un robot est autonome ouplus sa capacité d'apprentissage estgrande, moindre devrait être laresponsabilité des autres parties et, plus lapériode d'"éducation" du robot a étélongue, plus grande devrait être laresponsabilité de son "enseignant" ; relèvenotamment que, lorsqu'il s'agit dedéterminer la responsabilité réelle desdommages, les compétences acquises par

informé le client sur les dangers du robotautonome, ou lorsqu’il existerait uneinsuffisance des systèmes de sécurité sur lerobot. on peut donc estimer que certainsdommages liés aux nouvelles capacitésdes robots autonomes pourraientconstituer un défaut au sens de la directive,ce qui répondrait partiellement auxinterrogations soulevées par le point Z de laproposition.

Les dommages causés par les robotsautonomes pourraient encore trouver leurorigine dans un mauvais usage par leursutilisateurs. il pourrait alors y avoir lieu àapplication d’un régime de responsabilitésans faute ou pour faute, selon leshypothèses. Toutefois, les robotsautonomes présenteront des difficultéssupplémentaires et inédites, puisqu’ilpourrait être plus difficile de déterminerl’origine du dommage dans certainessituations, notamment lorsque le robot seracapable d’apprendre par lui-même denouvelles choses. Cependant, il neconvient pas de considérer « qu'il y a lieud'adopter de nouvelles règles permettantd'imputer (totalement ou partiellement) àune machine ses actes ou son inaction »(point s de la proposition). eu égard au faitqu’il serait dangereux de retenir l’existenced’une personnalité juridique du robot (voir3.1.), il est alors exclu de pouvoir luiimputer, en tout ou partie, ses actes ou sesinactions. seul l’homme, avec l’appui desdivers mécanismes assurantiels, doit ensupporter la responsabilité.


dOCTRINE jURIdIqUE



un robot au cours de son "éducation" nedevraient pas être confondues avec lescompétences strictement dépendantes desa capacité à apprendre de manièreautonome ». Ce texte livre de nombreusesidées à approfondir. il faudra faire en sorteque le futur instrument soit plus précis etplus simple à mettre en œuvre. on peutcraindre, en effet, que les juges peu versésdans les technologies émergentes aientdes difficultés à en appréhender lessubtilités.

Ainsi, lorsque les conditions d’applicationde la directive 85/374/Cee du 25 juillet1985 ne seront pas réunies, la victimepourrait trouver d’autres responsables.Plusieurs idées méritent attention :

Lorsque le robot sera vendu en opensource, la personne responsable devrait, enprincipe, être celle qui aura élaborél’application du robot lui ayant permisd’occasionner un dommage. il convient depréciser que les robots tendent de plus enplus à être vendus en open source (en toutou partie) pour permettre aux acheteurs dedévelopper leurs propres applications. uncontrat régit, en principe, les rapports entreles parties. il existe également le courantOpen Robot Hardware, où le logiciel et lematériel du robot sont en open source.

Lorsque le robot aura causé un dommagequi trouvera son origine dans la conceptionou la fabrication du robot, le concepteur oule fabricant devrait être considéré commeresponsable. Par exemple, une erreur dans

l’algorithme d’un robot qui serait à l’origined’un comportement dommageable durobot. Toutefois, en l’occurrence, la naturede la responsabilité pourrait varier selonque la victime serait l’acquéreur du robot(responsabilité relevant du domainecontractuel) ou un tiers (responsabilitérelevant du domaine extracontractuel). ilpourrait être important dans le cadre dufutur instrument de s’interroger sur cettedichotomie et de vérifier s’il ne serait paspertinent d’uniformiser son application, àl’image de la directive 85/374/Cee qui nedistingue pas selon que la victime est ounon liée par un contrat avec le producteurresponsable du dommage.

Lorsque le robot aura causé un dommagequi trouvera son origine dans son usage ousa période d’apprentissage du robot, ilfaudrait que son utilisateur ou sonpropriétaire soit désigné commeresponsable. A cet égard, il faut noter quela solution pourrait varier selon quel’utilisateur serait ou non professionnel, etselon qu’il serait ou non la victime. Ainsi, undommage lié à l’apprentissage du robot parun utilisateur professionnel qui serait causéà une victime tiers pourrait suivre le régimedu nouvel instrument. Tout autre serait lecas du même dommage mais dont lavictime serait l’utilisateur professionnelsalarié lui-même, qui devrait alorss’analyser en un accident du travail.

Par ailleurs, il conviendra de prendre encompte l’existence d’hypothèses variées,telles que la location du robot qui devrait


dOCTRINE jURIdIqUE



constituer une solution, étant entendu queseuls les robots autonomes poseront devéritables difficultés en termes dedétermination du responsable.

4°/ il faut approuver pleinement l’idéedéveloppée par la proposition selon laquelle« ledit instrument ne devrait en aucunemanière limiter le type ou l'étendue desdommages qui peuvent faire l'objet d'undédommagement, et ne devrait pas nonplus limiter la nature de cedédommagement, au seul motif que lesdommages sont causés par un acteur non-humain » (paragraphe 26). en effet, il nefaudrait pas prendre pour prétexte que lerobot soit à l’origine d’un dommage pourdiminuer l’indemnisation de la victime ourestreindre les préjudices indemnisables.

5°/ il est encore nécessaire de préciser quela situation des robots mobiles estactuellement peu claire, tant en termes desécurité que de responsabilité. or, lesrobots autonomes seront le plus souventmobiles, et pourront même être amenés àtransporter des biens ou des personnes. ilconviendrait de bien clarifier dans le futurinstrument les règles applicables aux robotsautonomes mobiles, par exemple, à l’égardde la directive 2007/46/Ce du Parlementeuropéen et du Conseil du 5 septembre2007 établissant un cadre pour la réceptiondes véhicules à moteur, de leurs remorqueset des systèmes, des composants et desentités techniques destinés à ces véhicules,ainsi que face aux questions relatives à la

tendre à se développer, à l’image de lalocation des robots commerciaux destinésà la démonstration de produits ou à lapublicité dans les magasins. Cependant, ilpourrait être impossible de faire peser laresponsabilité sur un client donné. en effet,une succession de magasins aurait loué lerobot, de sorte que l’on pourrait avoir desdifficultés à déterminer la responsabilité dechacun en termes d’apprentissage durobot. Ainsi, sauf preuve contraire, ondevrait partir du principe que le loueur durobot reste le responsable.

3°/ il convient de noter une difficulté quepourrait poser l’instauration d’un régime deresponsabilité spécifique pour les robotsautonomes, tandis que les autres robotsseraient soumis aux régimes classiques. eneffet, en cas de dommage, les partiespourraient préférer bénéficier d’un régimeplutôt que d’un autre. Les juges serontalors contraints, au cas par cas, d’analyserles caractéristiques du robot en litige, afinde vérifier s’il répond à la définition desrobots intelligents au sens de la présenteproposition et de déterminer la loiapplicable. il en découle que les procès encas de dommage causé par un robotrisqueraient d’avoir toujours commepréalable la nécessité d’une expertise pourdéterminer les capacités de la machine.Cela aurait pour effet d’augmenterconsidérablement les coûts des procès etde ralentir les procédures judiciaires. A cetégard, une application uniforme des futuresdispositions à tous les robots pourrait


dOCTRINE jURIdIqUE



responsabilité, notamment au regard de laquestion des accidents de la circulation.

6°/ enfin, bien que la proposition derésolution n’ait pas pour objet laresponsabilité pénale, il convient de releverla grande difficulté de cette question enrobotique autonome, tant en termes deconstitution d’une infraction, que dedétermination de son auteur, de preuve del’intention, de lien de causalité, etc. Cettesituation devrait avoir une incidence sur laresponsabilité civile.

4. ANALYSE dES pRINCIpESÉTHIqUES À dÉVELOppER ENROBOTIqUE : voir l’étude originellehttp://www.europarl.europa.eu/regData/etudes/sTuD/2016/571379/iPoL_sTu(2016)571379_Fr.


dOCTRINE jURIdIqUE



Les débuts de la robotique civile et militaire introduisent un nouveauparadigme dans le champ des études de la sphère anthropologique. Cettedernière partie, consacrée aux sciences appliquées de la robotique, sensibiliseà ce paradigme en abordant des enjeux de civilisation : la vieillesse et la dépen-dance, la voiture autonome liée à la liberté d’aller et de venir et la conduite dela guerre. L’autonomie grandissante confiée à des entités douées d’uneintelligence artificielle interroge dès lors sur leur place au sein d’un processusdécisionnel et dans son sillage de la détermination de la chaine de responsabilitéidoine.

SCIENCES AppLIqUÉES




123

robots autonomes,société et sécurité publique

Le droit de la robotique : le droit del’autonomie du “bien” robotLe robot est juste une machine de plus,mais pas n’importe laquelle. C’est unemachine qui dotée de l’intelligenceartificielle, dispose d’une autonomie qui,dans le cadre d’une mission, lui donne lacapacité d’analyser son environnement,de s’y situer, d’identifier une difficulté,pour exécuter matériellement, seule ouen coopération avec un être humain, lasolution trouvée. L’autonomie conduit lerobot à prendre des décisions quis’imposeront à la personne humaine et à

la société quil’utilisera. Dès lors,parce que le robotautonome est parnature un systèmecoopératif, ils’insère dans larelation entre l’êtrehumain et lasociété, ou dans un

Lgroupe d’êtres humains, et les contraint àrepenser leurs relations avec une machineassimilée à un tiers artificiel. D’où, latentation de franchir le pas et, paranthropomorphisme, d’apparenter lerobot à une personne ; un pas que l’on segarde de faire pour éviter de brouiller laperception de sa réalité juridique etcertains des fondements du droit.Déterminer la nature juridique du robotautonome est donc un préalableincontournable qui conditionne sonrégime juridique et le droit de la robotique.

Le robot autonome : un bien, pas unepersonneC’est une question juridique essentielle.La réponse orientera à la fois le droit etl’économie de la robotique. en effet,l’intelligence artificielle constitue laspécificité du robot autonome et doncune difficulté juridique. Faut-il envisagerl’hypothèse d’une personnalité juridiqueélectronique, robot, ou encore matérielle1,afin de doter le robot de droits et de

par THIErry DAUPS


THIErry DAUPS

Maître de conférences Université de Rennes 2Chercheur associé CREC Saint-Cyr Coëtquidan


devoirs, ou bien doit-on rester dansl’orthodoxie juridique : le robot autonomeest a priori un meuble, malgré sa natureparticulière?

examinons d’abord l’hypothèse d’unepersonnalité juridique spéciale. outrel’approche

(1) on citera le projet de rapport de la députéemady Delvaux, contenant des recommandations àla Commission concernant des règles de droit civilsur la robotique, Commission des affairesjuridiques, du 3 mai 2016, Pr\1095387Fr.doc ; lerapport de l’office parlementaire d’évaluation deschoix scientifiques et technologiques, sur « Lesrobots et la loi », compte rendu de l’auditionpublique du 10 décembre 2015 et la présentationdes conclusion du 3 mars 2016, par J.Y. Le Déautdéputé et B. sido sénateur, Assemblée nationalen°3551 et sénat n°570 ; sYmoP, droit de larobotique, Livre blanc, 2016. Ainsi le rapportDelvaux propose de retenir la personnalitéélectonique du robot et A. bensoussan dans sonouvrage : Droit des robots, editions Larcier, 2016,149 p , propose la personnalité robot. L’auteur del’article pensait à l’hypothèse d’une personnalitématérielle, pour décrire un bien matériel doté d’unepersonnalité en raison de son « intelligence », sanscependant suivre cette hypothèse.

sentimentale2

fondée surl’attachementqu’un être humainpeut avoir pour unobjet, l’intelligencedu robot, autoriseune assimilationavec d’autresstatuts3. D’abordcelui de l’animal4qui bien qu’étantjuridiquement unmeuble ou unimmeuble pardestination,

dispose d’une protection pénale en tantqu’être vivant sensible. ensuite on peutévoquer celui des personnes morales qui

disposent d’un statuttrès proche de celuide la personnephysique. Dès lorsque le droit attribue lapersonnalité juridiqueà d’autres entités quel’être humain ;pourquoi n’en serait-ilpas de même pour lerobot intelligent ? Dotéd’une personnalitéjuridique, on établiraitle régime juridique de

droits et d’obligations du robotcomprenant les normes liées à saconception, sa production, sa distribution,à son usage, sans oublier celles qui

(2) A. Bensoussan, Droitdes robots, editionsLarcier, 2016, 149 p.;Lucia sillinge, Donnonsdes droits aux robots, Lemonde science ettechniques, du 17 février2013, cite la chercheusedu miT Kate Darling, pourlaquelle, il serait possibled’attribuer des droitssecondaires comme pourles animaux, car protégerles robots sociaux, revientaussi à protéger lasociété.

(3) m. Cahen, avocate, Ledroit des robots, sur siteinternet Avocat online.

(4) A. Bensoussan, Droitdes robots, editionsLarcier, 2016, 149 p ;l’auteur effectue cettecomparaison.

124

« Outre l’approche sentimentale fondée sur l’attachement qu’un êtrehumain peut avoir pour un objet, l’intelligence du robot, autorise uneassimilation avec d’autres statuts. »



roBoTs AuTonomes, soCiéTé eT séCuriTé PuBLiQue


empêcheraientd’attenter au robot5.surtout, en cas dedommages causés àun tiers, le robotresponsable seraitcouvert par unsystème d’assurance,et un fonds de

garanties, indemniserait « ses victimes ».en effet, comment le passager d’unvéhicule autonome serait-il responsabled’un véhicule qu’il ne conduit pasmatériellement ? on le voit, cettehypothèse bouscule les principesfondateurs du droit et impliquel’irresponsabilité des propriétaires, desutilisateurs, des concepteurs et desfabricants de robots, au profit d’unsystème substitutif centré sur le robot touten écartant la réalité physique du robot :un bien, propriété d’une personne moraleou physique.

Le robot reste un bien meuble ouimmeuble par destination. on remarqueraque pour le code civil6, l’intelligence neconstitue pas un critère de classificationdes biens meubles ou immeubles entreeux. Le code civil distingue entre ce quiest humain, ce qui ne l’est pas etdifférencie ensuite entre ce qui est vivantet non. en conséquence, tout ce quin’est pas humain ne peut être qu’un bienmeuble ou immeuble. L’animal, lafourchette, le robot autonome, ne peuventêtre que des biens meubles ou

(5) A. Bensoussan, Droitdes robots, editionsLarcier, 2016, 149 p

(6) un bien est soitmeuble ou immeuble(article 516) ; il est enprincipe objet de lapropriété d’un particulier,sinon il est administré(article 537). on en déduitla responsabilité de lapersonne qui a la garde lachose (article 1242).

immeubles par destination. Toutefois,l’animal, meuble ou immeuble pardestination, disposera d’une protectionpénale en tant qu’être vivant naturelsensible, au contraire du robot artificiel etinsensible. L’intelligence justementartificielle du robot, ne justifie pas sonassimilation à l’animal, ni sa distinctionjuridique d’un bien qui en serait dépourvucomme la fourchette. egalement bienmatériel, le robot, ne correspond pas à lafiction juridique de la personnalité morale.en conséquence, le robot autonome restebien la propriété d’une personne physiqueou morale, dont le gardien effectif assumela responsabilité pour les dommagescausés à autrui. reste à déterminer legardien de cette autonomie ; ce que l’onverra plus loin.

en conclusion, le robot autonome est unbien meuble ou immeuble par destination,mais un bien spécial en raison de sonautonomie, laquelle oblige à réévaluer lesrègles traditionnelles de la responsabilité.Cette option conduit à la tentative dedéfinir le droit de la robotique.

Le droit de la robotique, droit del’autonomie robotique

L’intelligence artificielle oblige tant leschercheurs, que les concepteurs, lesfabricants et les utilisateurs, la société àréfléchir aux conditions éthiques etjuridiques pour concevoir une sociétéhumaine fondée sur un juste équilibreentre les robots, les êtres humains et la





entraîner la mise en cause de laresponsabilité d’une personne morale ouphysique de droit public ou de droit

privé12. enconséquence, il fautindiquer juridiquementla compétence dechacun desintervenants, la natureet la portée de leursactes juridiques, sansoublier de préciser lerapport d’autorité oude subordination durobot au regard del’être humain et ou del’institution qui enuse13. Dès lors,l’autonomiedécisionnelle revient às’interroger sur lesconditions dans

lesquelles un robot peut juridiquementprendre une décision valable, exécutablepar lui et opposable à une tiercepersonne. Ainsi définie, l’autonomierobotique conditionne le droit de larobotique.

Le champ du droit de la robotiquecouvrirait deux grands domaines : le droitfondamental de la robotique et le droitmatériel de la robotique. Le droitfondamental de la robotique définirait lerobot, son autonomie et les principes dela responsabilité. il formaliseraitjuridiquement un certain nombre de

(12) on n’indique pas lapersonne car celle-ci selonles circonstances de fait,pourrait être le servant durobot, la hiérarchie duservant, ou encore lefabricant, le concepteur,etc.

(13) pparaissent troissituations, issues de lamarge de manœuvrelaissée par la personnepublique ou privéelaquelle, de par sacompétence hiérarchique,aura décidé d’utiliser lerobot en coopération avecl’être humain. en premierlieu, le couple « humain –robot » est sous l’autoritétotale de la personne qui adécidé de leur emploi. ensecond lieu, le couple‘humain – robot » est sousl’autorité partielle de lapersonne qui les envoie enmission. et en troisièmelieu, ce couple disposed’une large compétencediscrétionnaire dansl’exécution de sa missionpar rapport à l’autoritéhiérarchique qui recourt àleur intervention.

société dans laquelle ils évoluent. ici,l’éthique intervient pour penser la placedu robot dans ce triangle et les actionsqu’il peut effectuer ou non. mais l’éthiquen’est pas le droit. il revient

à la norme juridique7,internationale,constitutionnelle, à laloi et au juge, dedéterminer lesfondements et lesadaptations juridiquesdu droit actuel face àla contrainte del’autonomie. Ainsi,avant d’aborder lechamp du droit de larobotique qui serait ledroit de l’autonomierobotique, il faut tenterde définir cettedernière en droit.

L’autonomie robotiqueserait la capacitéjuridique,immatérielle8 etmatérielle9 du robot,de par son« interprétation »(volonté propre10 ?),de décider, dans le

cadre de ses compétences, d’une actionjuridiquement qualifiable11 opposable à untiers et contrôlable (sanctionnable), soitpar l’être humain sur l’instant, soit aposteriori lors d’un litige, et pouvant

(7) on pense ici qu’il nefaut pas assimiler l’éthiqueau droit. Ainsi s’il faut bienenvisager les questionséthiques : morales,posées par la robotiquenotamment pour anticiperla résolution de conflitsinsolubles par le robot, ilrevient au droit, par desnormes juridiqueslégalement établies,exécutées etsanctionnables, depréciser tous les aspectsjuridiques liés à larobotique. Ainsi plusqu’une charte éthique dela robotique, faut-il unecharte véritablementjuridique de la robotique.La norme juridique noncontractuelle est unegarantie pour le citoyen –consommateur.

(8) on vise ici le processusinformatique de« réflexion » du robot pouranalyser une situation defait.

(9) on parle ici de l’actionphysique du robot :contourner un obstacle,tirer…

(10) on veut dire ici unevolonté issue de la miseœuvre de saprogrammation laquelledonne à cette machine lacapacité à décider seuleou presque, d’une actionjuridiquement qualifiable.

(11) identifier unepersonne, décider d’un tir,s’arrêter à un stop sur lavoie publique…





principes éthiques essentiels à la bonneconception et au bon usage du robot parla société et l’être humain. il préciseraitégalement les conditions générales del’utilisation militaire et sécuritaire du robot.enfin, il poserait les conditions del’indépendance d’une autorité de larobotique, chargée de contrôler l’effectivitéde ces fondements de la robotique enliaison avec les autorités indépendanteschargées de l’informatique. Le droitmatériel de la robotique concernerait lesnormes liées à la conception, laproduction, la distribution et l’utilisation desrobots ; il préciserait également lesadaptations juridiques justes nécessairesdans les activités et les lieux où sontutilisés les robots.

on peut maintenant indiquer les principesqui permettraient de concevoir unesociété d’êtres humains et de robots pourvoir ensuite les incidences du robot dansle domaine de la sécurité publique.

CONCEVOIR UNE SOCIÉTÉ d’ÊTRESHUMAINS ET dE ROBOTSAppelé à évoluer sous des formesdiverses, en tout lieu où l’être humainintervient, pour accomplir des missionssécuritaires, militaires, d’aide à lapersonne, de conduite d’un véhicule outout autre activité, le robot occupera uneplace dans la société humaine qu’il fautpenser. Le principe de subsidiarité ycontribuerait sans oublier de s’interrogersur la détermination du responsable del’action robotique.

Subsidiarité, proportionnalité et autonomie

Le robot est unsystème coopératif14

qui intervient à laplace de et ou encomplément del’action humaine. Le

principe de subsidiarité qui est utilisé pourjustifier de l’intervention d’une personne àla place d’autres, pour un temps et unecompétence déterminée en raison d’ungain d’efficacité et d’un intérêt collectif,s’appliquerait ici. en effet, ce principeréglerait les relations d’abord entre lasociété et le robot, ensuite entre le robotet l’être humain et enfin entre le robot, lasociété et l’être humain, en indiquant quifait quoi, à quel moment et comment. Leprincipe de subsidiarité trouve sonprolongement dans le principe deproportionnalité en obligeant à prendre lamesure juste nécessaire pour atteindrel’objectif souhaité.

Transposés au robot, les principes desubsidiarité et de proportionnalité,déterminent dans le cadre d’une missionet d’un objectif à atteindre, les critères quiconditionnent l’intervention du robot à laplace de la société et de l’être humain. Ceprincipe indiquera également le momentopportun pour user du robot et commentil intervient. en conséquence,l’intervention du robot autonome et sacapacité d’action doivent êtreproportionnelles, à l’action humainerestante et au moyen matériel d’action

(14) Catherine Tessier,autonomie, enjeuxtechniques etprospectives, in sous dir.r. Doaré, D. Danet et Gde Boisboissel, Drones etKillers robots, faut-il lesinterdire, Pur, 2015, 267 p., p. 65 et s.





128

principes essentiels de laresponsabilités’appliquent16 donc àun bien. Ces régimesde responsabilitésconviennent-ils à unbien « intelligent » quisemble échapper à lamaîtrise de la

personne qui en use, de par l’essence deson fonctionnement autonome(indépendant) et substitutif à l’êtrehumain ?

une réponse possible17 consiste àdéterminer le responsable de l’actionrobotique autonome, en la replaçant dansle cadre du processus de l’interventionsubsidiaire et proportionnelle du robot. Ladémarche part de l’autonomie du roboten recherchant son gardien effectif. ondistinguera entre le gardien matériel durobot et le gardien immatériel del’intelligence artificielle du robot. en effet,si l’on peut admettre qu’une personne quiutilise un véhicule autonome en est legardien matériel responsable, elle nesaurait être le gardien de l’intelligenceartificielle qui assure l’autonomie duvéhicule. C’est bien cette intelligenceartificielle qui conduit effectivement,transformant de facto le gardien matérielen un simple passager. il faut doncrechercher le gardien immatériel, quirenvoie à un ensemble d’intervenants quiseraient proportionnellementresponsables à hauteur de leur

(16) on pense à laresponsabilité dupropriétaire, du gardien,des choses défectueuses,tous autres régimesadaptés à des biens« inintelligents ».

(17) il s’agit d’unehypothèse de réflexion quin’est pas nécessairementen conformité avec le droitactuel.

qu’il utilisera au regard de l’objectif àatteindre et de l’équipement des autresacteurs qui l’environnent. enfin, l’intensitéde l’usage des moyens matériels du robotdevra également être proportionnelle aubut visé.

Ainsi, c’est dans le cadre du principe desubsidiarité et de proportionnalité que l’onpropose de comprendre l’autonomierobotique, liée à l’exercice d’unecompétence, discrétionnaire ou liée. Cesdeux principes conditionnent l’autonomiedécisionnelle, au moyen d’une actionjuridiquement qualifiable et opposable àun destinataire, pour mesurer la portée etl’effectivité de la décision robotique surdes biens ou des personnes physiquesou morales. C’est dans ce cadre que l’onpeut aborder le sujet de la responsabilité.

L’enjeu central de la responsabilité

L’autonomie robotique pose un problèmejuridique à résoudre par les juristes, ceafin de favoriser un usage des robotssans risques juridiques pour leurs

utilisateurs. Le robotendossera-t-il15 les

conséquences dommageables de l’actionrobotique autonome ? non car n’étantpas une personne juridique, il ne peutréaliser tout ce que font les personnesphysiques ou morales : ester en justice,prendre un avocat, acquérir, vendre desbiens pour son compte, se loger, recevoirun revenu et payer des impôts ; il ne peutêtre responsable de ses actes. Les

(15) Voir la note 1.





intervention dans la production de cetteintelligence. C’est le gardien del’intelligence artificielle qui seraitresponsable des dommages causés parcelle-ci.

il est utile d’examiner d’autres hypothèsesau service d’une responsabilité propre àl’autonomie robotique.

Les personnes humaines ou morales nepeuvent invoquer dans la premièrehypothèse, une immunité quant à l’usagede leurs robots en matière de défense etde sécurité. A plus forte raison, lesactions du robot ne sont pas couvertespar une immunité du fait que c’est unemachine qui a pris et exécuté unedécision.

La seconde est qu’une personnephysique ou morale sera toujoursresponsable des actions dommageablesdu robot autonome.

La troisième retient l’idée d’uneprésomption de principe de laresponsabilité pour les gardiensimmatériels : l’intelligence artificielle. Cecidans un souci d’équité par rapport auxvictimes qui auront bien des difficultés àprouver une faute du gardien immatérieldu robot autonome. A ce dernier deprouver qu’il n’a commis aucune faute, lafaute de la victime ou tout autre cause.

La quatrième pose le principe du libreaccès des victimes à tous élémentsmatériels et immatériels de preuves afin

de faire valoir leurs droits.

La cinquième consiste à appliquer unprincipe d’inversion proportionnelle de laresponsabilité par rapport au degréd’autonomie robotique ; plus le robot estautonome, moins l’être humain qui l’utiliseest responsable car moins il est« conducteur » de l’action robotique auprofit des gardiens de l’autonomie del’intelligence artificielle : qui conduit lerobot en est responsable.

on abordera maintenant la robotique et lasécurité publique

ROBOT AUTONOME ET SÉCURITÉpUBLIqUEL’usage de robots dans le domaine de lasécurité publique et des robots militaires,présente aussi des problèmes juridiques àexplorer. Auparavant, il faut distinguerentre robotique militaire et robotiquesécuritaire.

Robotique militaire et robotiquesécuritaire

La robotique militaire vise à l’usage parles trois armes, de robots essentiellementtélé-opérés et partiellement autonomes,dans le cadre d’opérations militaires pourassurer la sécurité nationale. C’est doncdans cadre juridique du droit des conflitsarmés, du droit humanitaire mais aussi duCode de la défense que ces robots sontutilisés. L’objectif d’assurer la sécuritépublique sur le territoire combine desmilitaires et des policiers. Des robots





130

pensée avec précision. Plus largement,cet usage civil du robot19, pose laquestion de l’utilisation du robot par lesforces de l’ordre, qu’il soit militaire ou bienun produit spécialement conçu pour lesmissions assurées par les forces del’ordre20.

Enjeux de la robotique sécuritaire

L’usage de robots par les forces de policeou de gendarmerie reste conditionné parle droit existant découlant principalementdes codes pénal et de procédure pénale,de la sécurité intérieure, de déontologiede la police et de la gendarmerienationale, mais aussi du droit administratifen ce qui concerne les notions de policeadministrative et judiciaire et d’ordrepublic.

on notera ainsi que la notion d’ordrepublic différencie une opération de policeet une opération militaire. Les finalitéssont distinctes, ce qui conditionne l’usagedes moyens matériels et humains.surtout, la notion d’ordre public répond àune définition juridique issue du droitadministratif qui concilie l’exercice deslibertés publiques avec la nécessitéd’éviter des troubles à la tranquillité, lasalubrité, la sécurité et la cohésionnationale. Ce faisant, les forces de policesinterviendront dans le cadre de la policeadministrative pour prévenir les atteintes àl’ordre public ou bien de manièrerépressive pour réprimer ces mêmesatteintes et en arrêter les auteurs. La

militaires pourraient être utilisés par lesforces de gendarmerie et de police dansle but de préserver l’ordre public (et endehors de toute idée d’opération militaire)sur le territoire d’un état, ou d’assurerd’autres missions civiles, pour protégerles populations civiles. L’usage de robotsmilitaires par les forces de police est

qualifié deréversibilité18. mais lesforces de sécuritépeuvent aussi acquérirou concevoir leurs

propres robots adaptés à leurs missionsde police.

Dans le cas d’un usage réversible derobots militaires, on s’interrogera sur leuradaptation à une mission de sécuritépublique, laquelle obéit à des conditions

juridiques différentesde celles de l’usagemilitaire, comme on leverra dans le titresuivant. La réversibilitéimpose également dedéterminer les critèresde circonstances, demoyens humains (unmilitaire, un policier)pour utiliser le robotmilitaire dans uncontexte civil. C’estdonc l’articulationentre les forces depolice et les forcesmilitaires qui doit être

(18) L’expression et ce quiprécède provient de laréflexion de m eric Pomes,maître de conférences aucentre de recherches desaint-Cyr Coetquidan.

(19) michel Ascencio,L’utilisation civile desdrones, problèmes,techniques, opérationnelset juridiques, note du 28mars 2008 mise à jour le 6juin 2011, in Fondationpour la recherchestratégique, note n° 6/11,8 p.

(20) C’est d’ailleurs latendance actuelle, à voir lesite internet du ministèrede l’intérieur, qui se réfèreau salon « miLiPoL » oùdes industriels proposentdes robots et plusprécisément des dronesparticulièrement adaptésaux besoins de la police,tel que le drone eLsA, oud’un robot de déminage.Les besoins spécifiquesde la police, réduiraient-ill’utilité des robotsmilitaires ? Quellecomplémentarité entrerobot militaire et robotsspécialement conçus pourla police ?





publiques descitoyens et en usantdes outilsproportionnés auxfinalités de missionsde policeadministrative etjudiciaire. enconséquence, larobotique sécuritaire,devra s’effectuer dansle respect des

procédures administratives et pénales27,se soumettre au régime juridique del’accès aux documents administratifs et àla loi informatique et libertés28. surtout, ilfaut définir les conditions juridiquesprécises de l’utilisation du robot, de ladétermination de son équipement parrapport à sa mission, de l’étendue descompétences qu’il mettra en œuvre auregard de celles du gendarme ou dupolicier qui l’accompagne et dans quelscas la décision du robot prévaut sur cellede l’agent et inversement. Quelle doit –être l’attitude du robot face au citoyen ?le robot peut-il être en légitime défense ?

est-il autorisé àexercer un contrôled’identité implicite ouexplicite ? Ce sont làquelques exemplespour montrer qu’il estnécessaire de réfléchirà un bon usageresponsable29 durobot sécuritaire30 : un

(27) on pense ici aurespect de la procédurejudiciaire.

(28) il s’agit de garantirque les citoyens puissentaccéder à tousdocuments concernant lescaractéristiquestechniques du robot, lamission qu’il exerce, lesresponsables de cettemission, l’agentresponsable du robot,mais aussi d’accéder auxenregistrements de toutenature effectués par lerobot dans le respectégalement de la loiinformatique et liberté.

(29) La déterminationd’une procédure pourdécider d’utiliser le robot,d’une procédure pour lemettre en œuvre, d’uneformation spécifique pourson servant, de laprésence d’un référentrobotique au sein desforces de l’ordre, d’unrapport de fin de mission,etc, sont autant demoyens qui permettronten cas d’incident dedéterminer lesresponsabilités des uns etdes autres.

131

distinction conditionne le jugecompétent : juge administratif dans lepremier cas et juge judiciaire dans lesecond.

également, si le lieu de l’intervention desforces de l’ordre peut être considérécomme un théâtre d’opération, il ne s’agitcependant pas en droit d’un champ debataille, mais bien de l’espace public tel

que défini par la loi du11 octobre 201021. unespace où le citoyen,qui n’est pas unennemi, perdcependant sa natureprivée pour êtrepotentiellementidentifié22, traçédissuadé etsanctionné23 à toutmoment. C’est ce quepermet la technologieau risque de devoiradapter l’exercice deslibertés publiques24 àla contraintetechnologique25 pourfaciliter unesurveillance globale del’individu et de la

société visant ainsi une perfection dans lerespect de la loi26. L’espace public estdonc le lieu de l’intervention des forces degendarmerie et de police où des robotspourraient être utilisés de manièreadaptée, dans le respect des libertés

(21) Loi 2010-1192 du11octobre 2010, JorF0237, nor JusX1011390L, décision duConseil constitutionnel2010-613 DC du 7octobre 2010.

(22) Le fait de coupler descaméras devidéosurveillance à deslogiciels dereconnaissance faciale.

(23) Lorsqu’une infractionest constatée par unagent de police municipalepar l’intermédiaire d’unecaméra.

(24) on lira avec intérêt lesarticles relatifs aux droitsfondamentaux confrontésaux nouvellestechnologies, dans larevue de la Gendarmerienationale, juillet 2016,n°255.

(26) on ne discute pasavec une machine ; c’estblanc ou noir, ce qui estfortement contraignantpour le citoyen, êtrehumain par natureimparfait même s’il n’estpas un délinquant.





132

garantira les fondements du droit de larobotique.

usage humaniste durobot.

pour une robotiquehumanisteLe droit renvoie à uneconception de la vieen société et le droitde la robotique doit

refléter un choix de société. il faut réfléchirau degré acceptable et humainementsupportable de robotisation de la société,pour que l’être humain reste humain, pourpréserver l’humanité de la société etl’origine naturelle de l’être humain. il fautéviter que l’être humain se réduise par uncomportement standardisé à n’être que lerouage d’une « société machine ».

Ce faisant, le droit de la robotique doits’inscrire dans le cadre de l’humanisme etde l’état de droit. il ne doit pas se limiter àn’être que le droit des intérêtséconomiques des constructeurs et desutilisateurs de robots dont les fondementsseraient justes garantis et imposés parune démarche purement contractuelle.seule une charte constitutionnelle de larobotique et des nouvelles technologies,

assise sur le droitinternational eteuropéen31, inscritedans la logiquehumaniste des textesprésents dans lepréambule de laConstitution de 1958,

(31) Voir le rapport del’office parlementaired’évaluation des choixscientifiques ettechnologiques, sur « Lesrobots et la loi », compterendu de l’auditionpublique du 10 décembre2015 et la présentationdes conclusions du 3mars 2016, par J.Y. LeDéaut député et B. sidosénateur, Assembléenationale n°3551 et sénatn°570.

(30) J. Bisognin, Lessystèmes de drones aucœur de la transformationnumérique de laGendarmerie nationale, inrevue de la Gendarmerienationale, juillet 2016,n°255, p. 53 et s. Cetarticle montre quelledémarche soit laGendarmerie pour utiliserdes drones.






133

robots sociaux « empathiques »en santé : quels bénéfices ?Quelles inquiétudes ?

On assiste au développement croissantde robots dits sociaux et compagnonscar susceptibles d’entrer encommunication avec l’utilisateur dansle domaine de la santé. Ces robots sontmaintenant programmés par lesroboticiens pour interagir de façonnaturelle avec l’utilisateur et ainsifavoriser l’engagement de celui-ci avecla machine. On parle d’empathie de lapersonne pour le robot et « d’empathieartificielle » du robot pour sonutilisateur. De quoi s’agit-il ? Quelsbénéfices pouvons-nous attendre del’interaction de la personne avec les

Orobots sociaux ? Quelles craintespouvons-nous avoir en particulierquand cette personne est vulnérable?Nous ciblerons notre article surl’utilisation des robots pour lespersonnes âgées.

Le vieillissement s’accompagne d’uneaugmentation des maladies chroniques,comme l’insuffisance cardiaque, le diabète,la maladie d’Alzheimer, pouvantcompromettre l’autonomie des personnes.Dans la mesure où les aidants familiaux etprofessionnels sont en nombre insuffisantpour satisfaire les besoinsd’accompagnement de cette population,les technologies notamment les robotspourraient apporter une assistancecomplémentaire aux personnes âgéesdépendantes dans l’exécution des activitésde la vie quotidienne. en effet, le secteurde la robotique est en forte évolution. Lesrobots initialement conçus pour être utilisésdans le milieu de l’industrie sontmaintenant présents au domicile,

par ANNE-SOPHIE rIgAUD et grEgOry LEgOUvErNEUr


ANNE-SOPHIErIgAUD

professeur, chef deservice à l’hôpital Broca

grEgOryLEgOUvErNEUr

psychologue, service duprofesseur Rigaud, hôpitalBroca


fournissant différents services :entretien/surveillance domestique, loisirs etéducation à l’utilisateur.

Les robots sociaux assistants pourraientêtre particulièrement utiles dans l’aide et lesoutien à la personne âgée en ciblant nonseulement les aspects sécuritaires et lesuivi médical, mais également d’autresaspects de l’accompagnement tels que lastimulation cognitive, la socialisation, lebien être psychologique et la qualité de vie.Ainsi, le robot social d’assistance auraitdeux objectifs, d’une part renforcer et/oucompenser la capacité fonctionnelle de lapersonne, et d’autre part contribuer à sonbien-être social et psychologique et aumaintien de sa qualité de vie par uncompagnonnage (Broekens et al 2009).

Certains robots, appelés robotsémotionnels, sont conçus pour interagiravec les humains et sont capables deréagir à certains stimuli de différentesnatures : visuels, vocaux, tactiles,kinesthésiques, émotionnels, cognitifs etsocio-comportementaux (Broekens et al2009). ils pourraient susciter chez lespersonnes des émotions positives, tellesque la curiosité, la tendresse et la joie,voire de l’empathie c'est-à-dire donnerl’impression à l’utilisateur qu’il comprendses sentiments et ses émotions.

Des recherches récentes en robotiquevisent également à programmer ces robotspour qu’ils puissent interagir de façonnaturelle avec l’utilisateur. L’objectif est quele robot identifie les affects de la personne,c'est-à-dire son état d'esprit lié à sesémotions et à ses sentiments par le biais

de capteurs sensoriels (visuels, audio voiretactiles) et qu’il réagisse en produisant uneréponse appropriée et positive à lasollicitation de la personne, notamment enmanifestant de l’empathie à son égard.Cette empathie est dite empathie artificiellepuisque produite par la machine (Tisseronet al 2015).

quels facteurs déterminent l’affectionet l’empathie de la personne à l’égardd’un robot social ?Certains facteurs sont liés au robot(Broadbent et al 2009, Tapus et 2007).

L’aspect du robot est un point essentielpour que la personne puisse l’accepter etdévelopper des émotions positives voire del’empathie à son égard. en effet, les robotsont différentes formes ;humaine/humanoïde, animal/animaloïde,machine, meubles…. nous avons fait uneprésentation de photographies et devideoclips de 22 robots différents en actionà des personnes âgées, puis les avonsinvitées à choisir leurs 3 robots préférés(Wu et al 2012). Les personnes âgéespréféraient les robots qui avaient une petitetaille et une forme stylisée, arrondie,discrète et familière. en particulier, lesrobots préférés étaient mamoru : « il estmignon, familier, petit, discret », nAo « ilest charmant et amusant, il fait bien du Tai-shi » et Pomi : « il est sympathique,mignon, il a un côté jouet ». Cespersonnes manifestaient leur réticence auxrobots androïdes (ayant l’aspect d’unhumain) car, selon eux, ces robots« prétendaient » avoir des caractéristiquesdes êtres vivants. Ce résultat est en accordavec les travaux de mori (1970) qui a



roBoTs soCiAuX « emPAThiQues » en sAnTé : QueLs BénéFiCes ? QueLLes inQuiéTuDes?


énoncé que lorsqu’un robot avait uneapparence trop proche de l’humain (zoneappelée vallée de l’étrangeté), il créait unsentiment de malaise et de rejet de la partdes utilisateurs.

La personnalité « empathique » du robot, enparticulier le fait que le robot paraissecomprendre les émotions de son utilisateur,est un facteur important pour déterminerdes émotions positives chez cettepersonne. nous avons proposé à despersonnes âgées souffrant de troublescognitifs des séances de rééducationpsychomotrice guidées par un thérapeuteassisté du robot nAo. un ingénieur aprogrammé le robot nAo pour qu’il soitcapable de communiquer et qu’il donnel’impression de comprendre l’émotion del’interlocuteur (empathie artificielle) etd’exprimer ses émotions propres. enparticulier, lors de la séance, nAo a donnéson avis, exprimé son état émotionnel,encouragé et complimenté la personne.nAo a également été programmé pourmontrer des comportements d’engagementà l’égard de son interlocuteur : nAoregardait la personne et lui proposait de leregarder et de reproduire ses gestes. Lesrésultats ont montré que les personnesétaient fortement engagées dansl’interaction avec le robot comme entémoignaient des phrases du discours despersonnes à nAo : « tu es gentil et mignon,tu es drôle », « tu parais fatigué », « je voisque tu es content », « je suis fière de tescompliments » ; « j’espère que je ne tedéçois pas » (rouaix et al 2017).

Le fait d’avoir des émotions positives voirede l’empathie à l’égard d’un robot tient

également à des facteurs individuels, liés à lapersonne (Broadbent et al 2009, Tapus2007). Ainsi, l’âge joue un rôletraditionnellement important dansl’acceptation des robots. Les sujets jeunesont une vision plus positive des robots queles personnes âgées. Cependant, les travauxde la littérature ainsi que notre propreexpérience nous ont montré que beaucoupde personnes âgées pouvaient avoir dessentiments positifs à l’égard des robots. Parexemple, dans nos expérimentations, 9personnes sur 10 avaient plaisir à manipulerle robot phoque Paro et à interagir avec lui(De sant’Anna et al 2012, Wu et al 2014).

Les besoins et attentes des personnesjouent également un rôle important. Lorsquenous avons présenté des robots à despersonnes âgées en bonne santé, celles-ciattendaient de nombreux services de leurpart et étaient déçus par l’insuffisance desfonctionnalités proposées par ces robots(Wu et al 2012).

L’expérience de l’utilisateur dans le domainedes technologies est également un point àsouligner. en effet, les personnes qui utilisentdes robots ont souvent un moment

135

REMERCIEMENTS

Nous remercions l’Agence Nationale de laRecherche(ANR), la Caisse Nationale deSolidarité pour l’Autonomie (CNSA) dans lecadre du projet TECSAN (projet Robadom ANR09 Tecs 012) ainsi que le département Directiondes Patients, Usagers et Associations,Département Qualité de vie à l'hôpital (AP-HP)dans le cadre du projet Robin pour leurparticipation au financement des travaux citésdans cet article.





personne et donc d’être plus utile pourl’aider et la soutenir. Le robot cesse d’êtreune machine et évolue vers le statut departenaire ou de compagnon, permettantun meilleur engagement et une meilleureadhésion de la personne avec enconséquence une meilleure efficacité duprogramme thérapeutique.

nous avons observé le comportement depersonnes souffrant de maladied’Alzheimer à des stades sévères lorsd’une intervention comportant desséances répétées d’interaction avec lerobot Paro. Avant l’intervention, cespersonnes étaient repliées sur elles-mêmeset avaient quasiment cessé lacommunication avec leur environnement.Au fur et à mesure des séancesd’interaction avec le robot, nous avonsobservé une reprise de la communicationde ces personnes se manifestant par deséchanges non seulement avec le robotmais également avec les thérapeutes etentre elles. nous avons également observéque l’intervention avec le robot Parofavorisait davantage les interactions despersonnes entre elles et avec lesthérapeutes que d’autres activités commele lancer de ballon ou le jeu de bingo (desant’Anna et al 2012, Wu et al 2014). nosrésultats confirment ceux d’autres travauxde la littérature (pour revue voir Broekenset al 2009).

nous avons examiné la capacité du robotnAo à susciter l’engagement depersonnes âgées souffrant de troublescognitifs au cours de séances de thérapiepsychomotrice (rouaix et al 2017). Chaquepersonne a bénéficié de séances de

d’inquiétude à l’idée de n’être pascapables de l’utiliser du fait d’un manquede connaissances dans le domaine desoutils techniques. il est donc important defaire des robots facilement utilisables parces personnes.

Les fonctions cognitives sont bien sûr àprendre en compte. Les personnes aurontplaisir à interagir avec des robotss’adaptant à leurs capacités cognitives,selon que celles-ci sont intactes oualtérées comme au cours de la maladied’Alzheimer.

pourquoi les robots sociaux sont-ilsprometteurs dans l’accompagnementmédical des personnes ?Le fait de développer des émotionspositives à l’égard du robot, voire uneempathie, peut être utilisable dans ledomaine médical au bénéfice du patient.en effet, cette interaction naturelle permetau robot d’être mieux accepté par la


Une empathie positive participe à unprocessus thérapeutique.




thérapie psychomotrice classique (enprésence du thérapeute seul) et deséances de thérapie à médiation robotique(en présence du thérapeute et du robot).Les résultats ont montré un engagementimportant des participants dans les deuxconditions. Cependant, les manifestationsde plaisir étaient plus importantes lorsquele robot accompagnait le thérapeute quelorsque ce dernier était seul. enfin,plusieurs patients qui refusaient de faire laséance de thérapie classique avec lethérapeute seul ont accepté de participerlorsque celui-ci a introduit le robot. Ainsi lerobot nAo pourrait jouer un rôle demédiateur, en particulier lorsque lethérapeute éprouve des difficultés pourtrouver des leviers motivationnels etd’adhésion à la thérapie.

Ce bénéfice du robot, comme outil demédiation, a également été montré parKim et al (2015) qui ont étudié le bénéficed’un programme de stimulation cognitivedispensé 90 minutes par jour, pendanttrois mois, chez deux groupes depersonnes âgées : un groupe utilisant unetablette et l’autre un robot. A l’issue duprogramme, les auteurs ont montré queles personnes bénéficiant du robot avaientde meilleures performances que lespersonnes ayant fait les exercices surtablettes.

Dans toutes ces expérimentations, lespersonnes âgées insistaient sur le plaisir àinteragir avec le robot et exprimaient desémotions positives voire de l’empathie àl’égard du robot. on peut donc suggérerque le robot favorisait l’engagement, lamotivation et l’adhésion de la personne

aux différents programmes thérapeutiqueset contribuait à leur efficacité.

nous noterons cependant que l’ensemblede ces travaux, bien que très prometteurs,restent préliminaires et sont à poursuivreafin de démontrer le réel bénéfice desrobots pour les personnes sur le planmédical, social et médico-économique.

pourquoi l’accompagnement despersonnes par les robots sociauxentraine-t-il des craintes ?Les effets bénéfiques des robots sociauxpourraient être contrebalancés par deseffets négatifs.

Pour sparrow et sparrow (2006), proposerdes robots aux personnes constitue uneduperie de l’utilisateur. il ne serait paséthique d’entretenir l’illusion que cesrobots émotionnels, sociaux oucompagnon pourraient être de véritablespartenaires pour les personnes, enparticulier celles souffrant de troublescognitifs. selon ces auteurs, les robotsémotionnels joueraient un rôle dedéshumanisation. ils pourraient d’abordcompléter, puis progressivement remplacerles aidants familiaux ou professionnelsauprès des personnes âgées maladesentraînant une réduction voire unedisparition des contacts sociaux de cespersonnes. en parallèle, la question d’unedépendance progressive de la personneau robot peut être posée.

Ces mêmes auteurs se sont interrogés surle risque d’infantilisation des personnesâgées souffrant de troubles cognitifs parles robots. enfin, d’autres auteurs ont notéque l’utilisation des robots renvoyait à





138

une mise en œuvre optimale de cesinterventions pour les personnes.Cependant, il reste à poursuivre ladémonstration des bénéfices des robotscomme soutien et compagnon dans la viequotidienne des personnes. il faudra aussicontinuer la réflexion éthique et développerdes guides d’utilisation (indications etméthodes) de ces outils robotiques ensanté pour les personnes.

certaines personnes âgées une imagedéficitaire de leur vieillissement, c’est-à-dire l’image d’une personne devant êtreassistée dans le quotidien, dont ellestentaient de se démarquer en refusantl’introduction du robot à leur domicile (Wuet al 2012).

sharkey et sharkey (2012) ont insisté surles questions éthiques liées à l’utilisationdes robots et la nécessité de mettre uncadre éthique à ces nouvelles formesd’accompagnement. en particulier, laliberté de la personne âgée, d’accepter oude refuser l’usage du dispositif proposé estun des aspects qui méritent une réflexionapprofondie lors de l’utilisation de cestechnologies.

enfin, d’autres points majeurs ont étéabordés dans la littérature comme laquestion de l’accessibilité des robots pourtous du fait de leurs coûts élevés, celle dela détermination de la responsabilitéjuridique en cas d’accident impliquant unrobot ou encore celle de la gestion desdonnées numériques de santé issues dusuivi des personnes accompagnées auquotidien par un robot (Grinbaum et al2017).

Les robots sociaux ont un rôleprometteur en santé. en sollicitantl’engagement de la personne et en

apportant du plaisir à l’intervention, ilspourraient favoriser l’alliance thérapeutiqueet le bénéfice thérapeutique del’intervention. Dans ce contexte,développer des interfaces favorisant desinteractions naturelles entre robot etutilisateur apparaît un véritable enjeu pour


• Broekens J, Heerink M, Rosendal H (2009). Assistive socialrobots in elderly care: a review. Gerontechnology; 8:94-103.• Broadbent E, Stafford R, MacDonald B (2009). Acceptance ofhealthcare robots for the older population: Review and futuredirections. International Journal of Social Robotics; 1:319-30.• de Sant’Anna M, Morat B, Rigau d A (2012). Adaptabilité durobot Paro dans la prise en charge de la maladie d’Alzheimersévère de patients institutionnalisés. NPG;12:43-8.• Grinbaum, A., Chatila, R., Devillers, L., Ganascia, J. G.,Tessier, C., & Dauchet, M. (2017). Ethics in robotics research:CERNA recommendations. IEEE Robotics & AutomationMagazine.• Kim GH, Jeon S, Im K, Kwon H, Lee BH, Kim GY, et al. (2015)Structural Brain Changes after Traditional and Robot-AssistedMulti-Domain Cognitive Training in Community-DwellingHealthy Elderly. PLoS ONE 10(4): e0123251.doi:10.1371/journal.pone.0123251• Mori M (1970) Bukimi no tani: the uncanny valley. Energy7(4):33–35 (in Japanese). English translation provided atCogSci’05 workshop: toward social mechanisms of androidscience, views of the Uncanny Valley. WWW,http://www.androidscience.com/theuncannyvalley/proceedings2005/uncannyvalley.html.• Rouaix N, Letru-Chavastel L, Rigaud AS, Monnet C, Lenoir H,Pino M (2017). Affective and engagement issues in theconception and assessment of a robot-assisted psychomotortherapy for persons with dementia. Frontiers of aging (souspresse).• Sharkey A, Sharkey N (2012). Granny and the robots: ethicalissues in robot care for the elderly. Ethics Inf Technol; 14:27-40.• Sparrow R, Sparrow L (2006). In the hands of machines? Thefuture of aged care. Minds and Machines; 16:141-61.• Tapus, A., Mataric, M. J., & Scassellati, B. (2007). Sociallyassistive robotics. IEEE Robotics and Automation Magazine,14(1), 35.• Tisseron, S., Tordo, F., & Baddoura, R. (2015). TestingEmpathy with Robots: A Model in Four Dimensions andSixteen Items. International Journal of Social Robotics, 7(1),97-102.• Wu, Y.H, Fassert, C, Rigaud, A.S (2012). Designing robots forthe elderly: Appearance issue and beyond. Archives ofGerontology and Geriatrics. 2012; 54:121-126.• Wu, Y. H., Pino, M., Boesflug, S., de Sant’Anna, M.,Legouverneur, G., Cristancho, V., ... & Rigaud, A. S. (2014).Robots émotionnels pour les personnes souffrant de maladied’Alzheimer en institution. NPG Neurologie-Psychiatrie-Gériatrie, 14(82), 194-200.

Références





139

Quelle autonomie décisionnellepour les systèmes robotiques militaires du futur ?

Depuis 2014 se tient chaque annéeune réunion d’experts sur lesSystèmes d’armes létaux autonomes(SALA) à la Convention sur certainesarmes classiques (CCAC) de l’ONU àGenève. Cet organisme, considéré parla France comme légitime pour traiterde ces questions, se penche sur

l’étude de la licéitéde ces nouvellesarmes qui équipentdéjà certaines unitésde l'armée russe1.

Cependant bien que l’opinion publiqueretienne tout d'abord la létalité comme

caractéristiqueprincipale dessystèmes d’armeslétaux autonomes,le conceptd'autonomie dansson ensemble poseune questiontotalement nouvelle

(1) robot russe Platform-m en version sentinelle. CfThierry Berthierhttp://www.diploweb.com/Platform-m-le-robot-combattant.html.

Dpour les militaires : celle du degréd’autonomie qu’un chef militaire peutlaisser à une machine et de la place del’homme dans les processus décisionnelsdu combat.

Les systèmes robotiques d’aujourd’hui etdu futur qui évoluent et évolueront sur lechamp de bataille sont de plus en plusnumérisés, interconnectés et permettentde nouvelles possibilités d’emploi quirévolutionnent l’art de faire la guerre : endéportant les capteurs et les effecteurs,en créant un écran robotique en avantdes forces, en permettant une couverturede zone bien plus large avec uneréactivité bien supérieure à celle qu’unhomme peut avoir avec sescaractéristiques humaines.

Qu’est-ce qu’un systèmerobotique militaire? en reprenant la plupartdes caractéristiques citées par CatherineTessier, chercheur à l’office nationald’études et de recherches aérospatiales,

par gérArD DE bOISbOISSEL


gérArD DEbOISbOISSEL

Ingénieur de recherche,CREC Saint-Cyr


c’est un système constitué d’un ou deplusieurs robots militaires. un robotmilitaire est de son côté une plateformemobile intégrant des capteurs et deseffecteurs, qui évolue dans unenvironnement inconnu ou déstructuré,qui y acquiert des données, les interprète,prend des décisions et effectue desactions au sein de cet environnement.

Les décisions sont organisées pouratteindre des objectifs fixés par le militairequi l’emploie et non pas simplement enréaction aux événements.

qu’est ce que l’autonomie ?Le robot militaire est un outil au service ducombattant, un nouveau pion tactiquepour celui qui l’utilise. Actuellement, laplupart des robots militaires opérationnelssont téléopérés par un opérateur qui lespilote constamment à distance ce qui

limite la capacité de liberté de ce mêmeopérateur et augmente sa vulnérabilité s’ilest un combattant débarqué. C’est undéport de l’action sous le regard constantde l’opérateur.

Certaines séquences d’exécution peuventêtre automatisées. un systèmeautomatisé a pour fonction de réaliser destâches bien définies, qui présentent unlien immédiat entre perception et action,sans intervention humaine. L’algorithmequi déclenche l’action est pour ainsi direrelativement simple, il réagit à des stimuliselon des étapes préprogrammées par leconstructeur. Le résultat d’une telleaction est prévisible, car les systèmesautomatiques ne sont pas innovants nelaissant pas de place à la surprise et àl’adaptation. ils exécutent un code biendéfini.

140

« Pour le militaire, les machines apportent un plus tactique et accroissent son efficacité. Au final,moins il sera contraint par le pilotage et le contrôle de la machine, plus il sera libre dans son action. »



QueLLe AuTonomie DéCisionneLLe Pour Les sYsTÈmes roBoTiQues miLiTAires Du FuTur ?


Le système autonome, quant à lui,possède un niveau d’abstraction plusélevé dans la décision et pour cela faitappel à un processus effectuant deschoix qui s’appuient sur une boucleperception/décision/action. La partie« décision » est complexe car elle prenden compte plusieurs paramètres dont lesrègles et contraintes imposées, laplanification des tâches à effectuer ainsi

que l'évaluation desrésultats de l’action.2

L’analyse de cesrésultats par le système peut ensuitealimenter une phase d'apprentissage.

Pour le militaire, les machines apportentun plus tactique et accroissent sonefficacité. Au final, moins il sera contraintpar le pilotage et le contrôle de lamachine, plus il sera libre dans sonaction. C’est ainsi qu’il est naturellementintéressé par la délégation d’une certaineforme d’autonomie à ses outils que sontles robots, sous réserve qu’il puisse engarder le contrôle.

Les différents types d’autonomieL'autonomie est aussi une relation entredeux agents : robotique et humain. ilexiste de nombreux degrés de partage del’autonomie entre eux, un continuumallant de situations où l’homme prendtoutes les décisions jusqu’à des situationsoù celles-ci sont totalement déléguées aurobot. Les différents degrés d’autonomiepeuvent être classés selon une approchegraduelle pour un robot ou pour un

(2) Gérard de Boisboissel,revue de la Défensenationale, juin 2016, page142.

système robotique :

– une autonomie fonctionnelle ou detâche permettant au robot une perceptionautonome de son environnement, des’adapter et de décider seul de l’action àréaliser. La fonction est simple etgénéralement à but unique. Ce sont parexemple les autonomies fonctionnelles dedéplacement, de recharge en énergie,d’orientation des effecteurs en fonctionde la menace, etc.

– une autonomie d’exécution de missionqui permet au robot d’effectuer cettemission sans intervention nécessaire del’opérateur militaire durant le temps deson exécution. La mission est une activitébien plus globale, qui correspond à unesomme d’autonomies fonctionnellesactivées ensemble pour ce même butqu’est la mission.

– une autonomie de décision,s’affranchissant du chef militaire pourdécider de ses propres objectifs. nousverrons plus loin que ce type d’autonomiedoit rester le propre de l’homme et neprésente de surcroît aucun intérêt pour lemonde militaire si le chef n’a pas lapossibilité de décider et d’encadrer lesobjectifs assignés au système robotique.

– une autonomie juridique : celle-ciimplique une personnalité juridique quisoit propre à la machine et qui lui donnedes droits. Dans le monde militaire et trèsprobablement civil, une telle conceptiondu robot va entraîner logiquement une





données sQL peut aller jusqu’à 500 1015octets en 2016). Leur vitesse de calculpermet une réactivité en quasi temps réelce qui permet de faire face auxcontraintes du monde militaire où lacapacité de réaction ou d’initiative estprimordiale. Ce sont par exemple desmachines automatiques qui peuventcontrer des tirs de missiles contre nos

armées, la réactivité humaine n’étant passuffisante. un comportement ne sera pasqualifié d’autonome en fonction de sa trèsgrande réactivité, on parlera dans ce casplutôt de comportement ou de réponseautomatique, car ces traitementsobéissent à des algorithmes qui restentprédictifs.

L’autonomie d’un système est avant toutdonnée par la perception de soncomportement qui, à la différence del’automatisme, ne peut être entièrementdéfini par avance. et c’est l’imprévisibilitédu comportement de ce système dans

déresponsabilisation de celui qui le meten œuvre. De plus, si l’on fait unecomparaison avec un animal qui a sapropre autonomie, l’animal reste sous laresponsabilité de son maître et restejuridiquement considéré comme unmeuble. il doit en être de même pour lesrobots du futur.

Le comment de l’autonomie ou de saperceptionLes technologies numériques actuellespermettent à des machines d’effectuerdes calculs et des traitements à unevitesse infiniment plus rapide que leshommes, ou à des niveaux de précisiontrès élevés. Ceci est rendu possible pardes microprocesseurs puissants(plusieurs supercalculateurs ont atteint en2016 des capacités de traitement de

1015 instructions parseconde3) et par des

accès à des bases de donnéesgigantesques (la taille d’une base de

(3) Dites « Flops » enanglais.





l’exécution d’une tâche ou d’une missionqui amène cette notion d’autonomie. unensemble de processus automatiques quise déclenchent en parallèle peut ainsidonner l’impression d’une certaineautonomie.

C’est surtout l’introduction del’intelligence artificielle dans le processusdécisionnel qui rend la machineautonome, ou tout du moinsartificiellement autonome. A la base del’intelligence artificielle, nous trouvons lamodélisation des réseaux neuronaux. Trèsschématiquement, chaque neurone est unobjet qui s’interconnecte avec d’autresneurones via des synapses. A chaquesynapse est affecté un poids synaptiqueou coefficient qui peut voir sa valeurévoluer en fonction des règlesd'apprentissage qu’on lui fait subir. Lesneurones sont connectés en couchessuccessives et chacun possède demultiples entrées provenant d’une coucheinférieure. Lorsqu’il est stimulé, il calculela somme de ses entrées via une fonctionalgorithmique de combinaison qui prenden compte pour chaque entrée le poidssynaptique correspondant. il passeensuite cette somme à travers la fonctiond'activation pour produire une sortie, quipeut généralement être binaire.

or chaque réseau de neurones est viergeà la base. Les poids qui le caractérisentsont donc à éduquer ou entraîner enfonction de ce que l’on veut obtenir ensortie. C’est à ce niveau qu’apparait la

notion d’apprentissage, qui personnalisele robot. un exemple possible consisteraità régulièrement montrer en entrée d’unréseau de neurones les images d’un charennemi avec ses caractéristiques tellesque sa silhouette, ses formes spécifiques,etc., et lui faire apprendre en boucle àajuster ses poids afin qu’il puisse toujoursdétecter précisément ce type de char etnon d’autres types de chars. Cela amèneà faire converger chaque poids vers unevaleur assurant une classification aussiproche que possible de celle désirée.

L’intelligence artificielle donne uneperception d’autonomie artificielle. eneffet, pour des réseaux de neuronescomplexes, il ne devient plus possibled’anticiper exactement le processusdécisionnel de la machine, d’autant plusque de nouveaux types d’algorithmes ditsprofonds allient puissance de calcul etdifférents niveaux de couches sur lesréseaux dits profonds (deep learning).Ainsi, si l’on ne connaît pas précisémentla façon dont une machine dotée de telsréseaux a été entraînée, on ne pourra pasdéterminer son comportement, ni sonraisonnement. De plus, il est extrêmementdifficile de pouvoir tracer la décision d’unetelle machine. en effet, le réseau neretiendra pas son apprentissageautrement que par les poids synaptiquesqu’il aura mis à jour lors de sonéducation. Dès lors quelle sera latraçabilité pour tel poids, pour telle entréed’un neurone ? Concrètement, plus le





de donner une personnalité juridique àdes animaux, qui de plus sont dotésd’une sensibilité, alors les maîtres dePitbull plaideraient la non responsabilitédes actes de ces animaux, alors mêmequ’ils en sont les propriétaires en chargede leur éducation et de leurcomportement. or pour plagier la célèbremaxime « la confiance n’exclut pas lecontrôle », la délégation n’exclut pas lecontrôle.

il y aurait en outre un risquesupplémentaire de prolifération des armesrobotiques militaires autonomes. Lesbelligérants seraient par la sorte incités àutiliser de tels robots sur le champ debataille, en plaidant pour chaquemanquement au droit des conflits armésune responsabilité de la machine.

La pertinence du conceptd’autonomie pour les forces arméesen nos temps où la ressource militaire est

rare4, pouvoir lapréserver pour destâches où elle estprimordiale reste uneréelle opportunité pour

les chefs militaires. La robotique militaireapporte cette capacité avec la possibilitéde déléguer à des machines l’exécutionde tâches subalternes mais néanmoinsindispensables telles que les missions desurveillance, de patrouilles, trèsconsommatrices en hommes et entemps, ou en charge cognitive lorsqu’ilfaut analyser de grandes quantités

(4) L’armée de Terre tientdans le stade de France :80 000 dans les gradins,le reste sur la pelouse »;général d’armée elrickirastorza, 18 octobre2012, montpellier.

réseau de neurones artificiels (rnA)possède de couches neuronales, plus satraçabilité s'avère difficile.

De nouvelles techniquesd’autoapprentissage, capacité pour lamachine à apprendre par elle-même dansun environnement non maîtrisé au départen analysant les données reçues de cequi l’entoure et en évoluant dans sonanalyse pour trouver des solutions à desproblèmes complexes, ajouteront à ladifficulté de pouvoir suivre précisément leraisonnement de celle-ci.

Cette non prédictibilité et la difficiletraçabilité qui en résulte, amplifiées parl’exécution de séquences de fonctionsnon supervisées par un opérateurhumain, font que le comportement de cesmachines sera assimilé à de l’autonomie.

Le danger de la personnalité juridiquepour les robots militairesune autonomie juridique pour un robotouvrirait une boîte de Pandore quientraînerait une cascade debouleversements sociétaux à l’image decette boîte, donnée par Zeus à la jeunefemme éponyme, ouverte par cettedernière malgré l’interdiction divine, ce quiapporta sur terre tous les maux de lacréation.

en effet, la tentation de ladéresponsabilisation sera forte, lepropriétaire et utilisateur du robot sedéchargeant sur la machine en cas deproblème. Par exemple, si nous décidions





d’images pour y déceler une potentielleintrusion ennemie. C’est également le caspour les missions 3D (Dull, Dirty andDangerous) où la protection de nossoldats sera mieux assurée si desmachines s’exposent au danger à leurplace.

en outre, plus grande sera l’autonomiedes systèmes robotiques qu’il mettra enœuvre, plus un militaire aura la possibilitéde se concentrer sur sa mission en étantmoins contraint par le contrôle de lamachine, donc plus libre. il sera ainsid’autant mieux servi qu’il pourra déléguerà ces systèmes des tâches ou desmissions à effectuer sans sonintervention. Ceci nécessite des robotsayant une certaine forme d’autonomie.

néanmoins, l’utilisation de robotsmilitaires n’exonère pas l’opérateur et lechef de leurs responsabilités. ils sont lesgarants de leur utilisation. Cettecontrainte aura pour effet vertueuxd’introduire une obligation de prudencepour le décideur dans l’utilisation de samachine et lui évitera de l’utiliser de façondangereuse ou qui irait à l’encontre dudroit de la guerre.

Le robot mis à disposition du chef militairedoit donc être intégré dans la préparationde la mission et dans sa conduite, etconfiguré en conséquence en amont. ildoit être soumis aux règles d’engagementqui devront lui être précisées d’autantplus il aura une certaine forme

d’autonomie artificielle. il devra donc êtreconfiguré selon les besoins de la mission.Cependant, si le chef militaire estime quela technique de la machine n’est pas sûre,alors il devra rester dans la boucle dedécision avec la possibilité de reprendre lamain à tout moment.

si l’autonomie est utile pour décharger lesopérateurs des robots militaires de tâchesdangereuses, fastidieuses ou répétitivessur le champ de bataille, commentconcilier autonomie artificielle etresponsabilité ?

en fait, tout système autonome doit êtreéduqué. Aussi, comme les propriétairesd’animaux sont responsables dudressage de ces derniers et des éventuelsdégâts qu’ils pourraient commettre, lechef militaire sera responsable du bonapprentissage et de la bonne utilisation desa machine sur le terrain. Pour ce faire, ildevra superviser l’apprentissageprécédant l'autonomie puis sa mise à jourrégulière et s’assurer de son contrôledans le temps.

L’autonomie pour quelle efficacitémilitaire ?« La discipline faisant la force principaledes armées, il importe que tout supérieurobtienne de ses subordonnées uneobéissance entière » indiquait l’article 1er

du règlement de 1933 de disciplinegénérale de l’armée française. Cet articlemontrait par là l’indispensable nécessitéd’un commandement unique qui puisse





146

autonomie à un certain espace pour untemps donné.

A titre d’exemple, la DArPA travailleactuellement sur unprototype d’usV5, le

sea hunter, bâtiment de surface dédié àla lutte anti-sous-marine et capabled'évoluer en autonomie durant plusieursmois, sur des milliers de kilomètres, sanséquipage à bord tout en respectant lesrègles de navigation internationales.

La place de l’homme dans le combatde demainPour en revenir à l’autonomie de décisiondes robots militaires, le risque concerne laconfiance dans la fiabilité des conclusionsobtenues par les intelligences Artificiellesembarquées. en effet, comme indiqué ci-dessus avec les réseaux neuronaux, ilapparaît impossible pour un responsablede l’utilisation de ces robots de suivre lecheminement intellectuel du traitement dela donnée qu’effectue ce robot pourprendre une décision. D’où la crainte dene pouvoir assurer la responsabilité del’utilisation de cette machine sur le champde bataille, ce qui obligerait de ce fait unesupervision constante allant à l’encontremême du principe d’autonomie.

Dès lors, si l’on veut pouvoir intégrer desintelligences artificielles à nos systèmessans essuyer de refus de la part desmilitaires, il apparaît comme nécessaired'avoir une traçabilité fonctionnelleparfaitement transparente pour

(5) unmanned surfaceVéhicule.

donner des ordres aux subordonnés etassurer la cohésion de la manœuvre, touten conservant la possibilité d’intervenir.

Le chef commande aux unités qu’il asous ses ordres. il leur fait égalementconfiance dans l’exécution de la missionqu’il leur confie, ce qui est le principe desubsidiarité.

un tel texte ne pourrait bien évidemmentpas être appliqué à un quelconquesystème autonome, ce dernier n’ayantaucune valeur humaine et n’ayant pas decapacité de discernement. néanmoins sile chef lui délègue certaines missions etlui laisse une autonomie pour lesexécuter, il en ressort que pour assurer lacohésion de l’action militaire le chef sedoit toujours de pouvoir reprendre la mainsur lui. Tout comme pour les unités qu’ildéploie sur le terrain.

L’autonomie est donc utile pour dessystèmes déployés sur le terrain, àcondition néanmoins qu’ils restent desexécutants au même titre que toutélément tactique et qu’ils puissent êtresoumis aux ordres, aux contre-ordres, età l’exigence du rapport.

Dans des milieux très difficiles d’accès ouen cas de perte de communication(comme le milieu sous-marin où les ondesde communication passent très mal),l’autonomie est aussi nécessaire àcertains systèmes afin qu’ils puissentévoluer sans supervision humaine, leurresponsable ayant par sécurité borné leur





l'utilisateur ainsi qu’une autonomie de cessystèmes contrôlée par des garde-fouslogiciels embarqués. satisfaire de tellesconditions ne sera possible que si lecahier des charges intègre cescontraintes dès la phase de conception,ainsi que lors des différentes phasesd'apprentissage (comme le deeplearning).

Les robots armésPoint d’orgue des discussions à laConvention sur certaines armesclassiques (CCAC), la question del’armement dans les décisions autonomespar des machines ne sera pasdéveloppée ici, l’auteur renvoyant à sacommunication de juin 2016 dans la

revue de la Défensenationale6. enquelques mots, ces

systèmes d’armes létaux autonomes(sALA) peuvent être utiles aux Forcesarmées dans des environnements hostilesà l’homme (air, mer, sous-marin,désertique ou souterrain), face à desmenaces saturantes, ou si le bénéfice deleur emploi s’avère grandement supérieurau risque de voir la menace ennemie êtreeffective, mais toujours avec un cadred’utilisation borné dans le temps et dansl’espace et une possibilité constante dereprise en main par le chef militaire. Parcontre, il semble actuellement rédhibitoirepour la France d’utiliser des sALA s’il y ades risques de dégâts collatéraux commepar exemple en environnement urbain,

(6) Gérard de Boisboissel,revue de la Défensenationale, juin 2016, page142.

même si certains pays considèrent lachose comme possible dans le cas de lalutte contre le terrorisme.

Est-il éthique d’utiliser des robotsavec une autonomie artificielle ?Poser la question d’une éthique de lamise en œuvre d’une machine autonomerevient à poser la question de la décisionde la délégation d’une action à unsystème autonome. en effet, l’autonomied’un robot est toute relative car elle n’apas de sens moral propre. C’est donc àl’homme qui en est le responsable qu’ilconvient de poser la question.

selon le professeurDominique Lambert7,tout système peut trèsbien être utilisé demanière irresponsableet imprudente par un

chef militaire. A l’inverse, un systèmeautonome peut être utilisé de manièreresponsable et prudente si son utilisationest bornée dans le temps et dansl’espace, que cet espace dans lequel ilévolue est identifié comme acceptable etque l'ensemble des comportementspossibles de la machine a été identifiévoire contraint. Ces conditions assurent lapossibilité d'une maîtrise de laresponsabilité sur des systèmeséventuellement capables d'agir sanssupervision directe ou constante.

mais avant tout c’est l’intention du chefqui donne sens à l’action militaire qui va

(7) echanges portant surle colloque du CreC« Téléopération –automatisme –autonomie en robotiquemilitaire : de quoi parle-t-on ? », 8 décembre 2016,DGGn, issy lesmoulineaux.





de bataille : peut-on décemment leconsidérer comme un prisonnier deguerre s’il a des droits dûs à sapersonnalité juridique ?

Face au défi que pose la robotiquemilitaire qui bouleverse en profondeur lesusages et les modes d’actiontraditionnels, il apparaît que ce quidonnera du sens à l’engagement aucombat et l’utilisation de la force létale estle chef, l’officier formé à la prise dedécision, car comme l’indiquait le généralmichel Yakovleff aux écoles de saint-CyrCoëtquidan en 2011 : « si l’avenir rêvé dela guerre est peut être robotisé, ce n’estpas l’avenir rêvé de l’humanité ».

prévaloir dans l’usage de la machine. enfonction des circonstances, desmenaces, de la mission et des règlesd’engagement, le chef décidera del’emploi de ces systèmes, et en assumerales conséquences.

Au sens étymologique, autonomievient de « auto = soi-même » et« nomos = loi ». il serait totalement

contreproductif pour un chef militaire delaisser à une machine quelle qu’elle soitune autonomie de décision qui luipermette de définir sa propre loi. il nepourrait alors contrôler la manœuvre cequi reviendrait immanquablement, àterme, à mettre en péril sa mission parmanque de contrôle. Par contre, déléguerune certaine forme d’autonomie artificielleà un système a du sens afin de préserverou de protéger la ressource humaine dontle chef a la charge, ainsi que pour l’aiderà accomplir sa mission. il en assumeracependant toujours la responsabilité, carl’autonomie artificielle d’une machinen’est pas exonératoire de responsabilitépour celui qui l’emploie.

L’idée d’une personnalité juridiqueaccordée aux robots n’apparaît donc pascomme une idée pertinente. elle peutmême avoir pour effet pervers d’inciter àla prolifération de ces machines. en outre,elle n’a pas de sens pour des machinesqui sont duplicables à l’infini, ce quitendrait à dupliquer à l’infini uneresponsabilité juridique. et, que dire d’unrobot récupéré à l’ennemi sur le champ






149

Intelligence artificielle et conflictualité - Sur l'hypothèse de dérivemalveillante d'une Intelligence Artificielle

La montée en puissance del'Intelligence artificielle (IA) concernel'ensemble des activités humaines.L'accélération de sa diffusion dansl'espace numérique contribuera àmodifier des équilibres économiques,sociaux ou géopolitiques qui ontmarqué le vingtième siècle et que l'onpensait durablement installés. Entransformant à grande vitesse notreenvironnement et nos pratiques, l'IAsuscite le débat. Elle fait naître autantd'espoirs et de défis à relever que decraintes à dissiper. Si les questions

Léthiques, sociétales, économiques,philosophiques ou religieuses doiventlégitimement accompagner sondéveloppement et enrichir le débat quil'entoure, de nombreuses controversesparticipent au contraire à une"technophobie" ambiante plus oumoins marquée selon les individus etleur culture. Ainsi, l'hypothèse d'unedérive malveillante de l'IA s'installe etmérite désormais d'être analysée avecpragmatisme et rationalité.

C’est pourquoi, après avoir rappelé lesdébats qui se sont tenus autour del’hypothèse d’une iA toute puissante etmalveillante, cet article propose unehypothèse intermédiaire : celle où une iAcauserait, par mégarde, des désordrespuis des catastrophes. Le scénarioproposé envisage le déclenchement d’unconflit entre les alliés de l’oTAn et unepuissance extérieure. il vise à montrerqu’un des dangers de l’iA ne réside pasdans sa puissance (aujourd’hui

par THIErry bErTHIEr et OLIvIEr KEMPF


THIErry bErTHIEr

Maître de conférences demathématiques àl’université de Limoges etmembre de la chaire Saint-Cyr de cyberdéfense.

OLIvIEr KEMPF

Chercheur associé à l’IRIS,il dirige la collectionCyberstratégie chezEconomica.


hypothétique et donc fantasmée) ou dansson autonomie mais surtout dans leslimites de sa puissance résultant d'unchamp de pertinence très restreint. on nedéveloppe à ce jour que des iAspécialisées, efficaces sur des problèmeslimités et bien spécifiés mais strictementinopérantes sur des problèmes plusgénéraux. Le risque apparaît lors de lamise en résonnance involontaire deplusieurs iA spécifiques.

La peur de l'intelligence artificielle etl'hypothèse d'une dérive malveillantede l'IAApparue en 1956 durant la conférence deDartmouth, l'expression « intelligenceArtificielle » ne possède toujours pas dedéfinition partagée et universelle. selonmarvin minsky, « l'intelligence artificielleest la science qui consiste à faire faire àdes machines ce que l'homme faitmoyennant une certaine intelligence ».Peu précise et souffrant d'une forterécursivité, cette première définitions'avère aujourd'hui insuffisante pourqualifier les iA intervenant en robotique,en perception (vision et parole) ou encompréhension du langage naturel. unedéfinition plus opérationnelle et plusouverte sur les évolutions de l'iA a ensuiteété proposée par rich et Knight : « L'IAest le domaine de l'informatique quiétudie comment faire faire à l'ordinateurdes tâches pour lesquelles l'homme estaujourd'hui le meilleur ». La distinctionentre iA forte et iA faible est apparue dans

les années soixante qualifiant d'iA forteune machine produisant uncomportement intelligent, capable d'avoirconscience d'elle-même en éprouvantdes "sentiments" et une compréhensionde ses propres raisonnements. L'iA faibles'applique à une machine simulant cescomportements sans conscience d'elle-même. Pour les partisans de l'iA faible,l'iA forte serait intrinsèquementimpossible compte tenu du supportbiologique de la conscience humaine...

un sondage réalisé en mai 2016 parodoxa pour microsoftet stratégies1 amontré que 50 % desFrançais considéraientl'intelligence artificiellecomme une menacealors que 49 %voyaient en elle uneopportunité dedéveloppement. Début2016, un autre

sondage de l'iFoP indiquait que 65 %des Français s'inquiétaient de l'autonomiecroissante des machines, des dronesarmés et de la Google Car. selon unetroisième étude, les Français feraientpartie des peuples craignant le plus l'iAavec de fortes disparités entre les classesd'âge et les catégoriessocioprofessionnelles des sondés.souvent peu informé sur l'état de l'art desdéveloppements de l'iA et sur ses réellescapacités fonctionnelles, l'utilisateur

(1) sondages sur la peurde l'iA :http://www.odoxa.fr/rdv-de-linnovation-lintelligence-artificielle-emballe-les-gagnants-du-systeme-mais-fait-peur-aux-autres/ -http://www.strategies.fr/actualites/medias/1040507W/avez-vous-peur-de-l-intelligence-artificielle.html–http://www.zdnet.fr/actualites/intelligence-artificielle-la-france-a-peur-mais-de-quoi-au-juste-39831180.htm.



inTeLLiGenCe ArTiFiCieLLe eT ConFLiCTuALiTé - sur L'hYPoThÈse De DériVe mALVeiLLAnTe D'une inTeLLiGenCe ArTiFiCieLLe


français reste fortement influencé par lalittérature et le cinéma américain descience-fiction qui représentent presquetoujours l'iA comme une entité nuisible etpotentiellement destructrice.

Cette image négative se trouve renforcéepar les mises en garde provenant descientifiques de renoms. Ainsi, le2 décembre 2014, l'astrophysicienstephen hawking déclarait dans un

entretien à la BBC2 :« Le développementd’une intelligenceartificielle totalepourrait annoncer lafin de l’espèce

humaine. Elle pourrait prendre sonindépendance et se reprogrammer elle-même à une vitesse accélérée […] Lesêtres humains, qui sont limités par unelente évolution biologique, ne pourraientpas rivaliser et seraient vite dépassés ».en février 2015, la fondation GlobalChallenges de l'université d'oxfordpubliait un rapport intitulé « 12 risquesmenaçant la civilisation humaine » danslequel les auteurs mettaient en gardecontre l'augmentation des iA « super-intelligentes » qui pourraient provoquer uneffondrement de l'économie ou de lacivilisation puis provoquer l'extinction del'humanité. en juillet 2015, elon musk,fondateur de Tesla et de space-X, etstephen hawking publiaient une lettreouverte, signée par de nombreuxscientifiques, mettant en garde contre

(2) Lettre ouverte sur lesdangers de l'iA – oxford :http://futureoflife.org/open-letter-autonomous-weapons/ -https://stopkillerrobots.ca/en-francais/a-propos-des-robots-tueurs/.

l'autonomie des systèmes armés etl'utilisation de l'iA à des fins militaires.

Dès lors, la question de la perte decontrôle et des dérives potentielles d'uneiA autonome devenant "malveillante" allaits'inviter aux débats de manière récurrenteet transversale. Présente depuis lesannées soixante dans la quasi totalité desfilms de science-fiction et des romanstraitant de l'iA, l'hypothèse de dérivemalveillante est aujourd'hui régulièrementévoquée dans le contexte de la voitureautonome, des drones et systèmes armésautonomes, de la finance automatiséehFT ou de la cybersécurité des robotscompagnons. Le plus souvent, il ne s'agitque de formuler l'hypothèse demalveillance comme une éventualité àprendre en compte dans un futur maldéfini où l'iA aurait atteint un niveau dedéveloppement et d'autonomie trèssupérieur à ce qu'il est aujourd'hui. Celadit, lorsque cette hypothèse est évoquéepar un groupe de scientifiques etd'industriels de premier plan (commestephen hawking et elon musk), onpourrait s'attendre à un corpusd'argumentations rationnelles venantétayer l'alerte. mais comme on peut leconstater, les justifications sont engénéral totalement absentes de la miseen garde... C'est ce manqued'argumentation qui relègue alors la miseen garde au rang de pur exercice despéculation quand il ne s'agit pas d'unsimple règlement de compte commercial





attendre 2016 pour lire un articlescientifique, publié par un groupe dechercheurs de Google Deep mind & et du

Fhi d'oxford,étudiant3 la capacitéde neutralisation d'uneiA « apprenante » etexposant unprocessusd'interruption robusteface à l'apprentissagepar l'iA de sa propreinterruption. uneseconde étude4

intitulée « One Hundred Year Study onArtificial Intelligence » et produite par unequinzaine d'experts vient d'être publiéepar l'université de stanford. Celle-cirejette catégoriquement l'hypothèse dedérive malveillante d'une l'iA en l'étatactuel des connaissances. elle n'abordepas le cas spécifique de l'iA utilisée dansle domaine militaire mais réfute sansdétour la mise en garde formulée par elonmusk et stephen hawking. Cesdifférences d'approches montrent bienque la question n'est pas tranchée et quenous nous situons à l'orée d'un débatstratégique et clivant.

notre article n'a pas la prétentiond'apporter une réponse globale àl'hypothèse de dérive malveillante. ilpropose seulement un scénario construitsur une séquence d'automatismesexistants ou en cours de développementet qui, sous certaines conditions, pourrait

(3) Article sur laneutralisation de l'iA(Google Deep mind & Fhioxford) :https://www.fhi.ox.ac.uk/interruptibility/ -https://www.fhi.ox.ac.uk/wp-content/uploads/interruptibility.pdf.

(4) etude "one hundredYear study on Artificialintelligence" (Ai100) ;stanford university,septembre 2016.https://ai100.stanford.edu/2016-report.

entre deux géants américains dunumérique...

Hypothèse de dérive malveillanted'une IA : une analysenous proposons d'examiner l'hypothèsede dérive malveillante d'une iA selon uneapproche prospective et rationnelle.Celle-ci ne doit s'appuyer que sur desmécanismes informationnels et humainsconnus, maîtrisés ou en phase dedéveloppement. Afin de préciser et deréduire le champ d'exploration de cettehypothèse de dérive malveillante, nousnous intéressons désormais à unequestion plus limitée (une hypothèse dedérive malveillante « faible » au sens oùelle n'implique que des iA faibles, c'est-à-dire sans aucune « conscience » de leurpropre activité). elle veut répondre à laquestion :

« Est-il rationnellement envisageablequ'une intelligence artificielle soit àl'origine d'une crise militaire ou qu'elleprovoque une situation propice à unconflit armé ? ».

notons que cette question est souventassociée à une hypothèse dedétournement de l'iA par des individusmalveillants ou à son piratage par desgroupes de hackers, réduisant ainsi laproblématique à la seule cybersécurité dusystème hébergeant l'iA détournée... enfait, le degré d'autonomie d'une iA a trèspeu été évoqué dans des publicationsacadémiques jusqu'en 2015. il faut





aboutir à une situation conflictuelle ou àune crise militaire. Pour construire cescénario, deux automatismes principauxseront combinés dans une mêmeséquence.

Automatismes intervenants dans laséquence de dérive malveillanteLes automatismes que nous mentionnonsici sont des processus réels et non fictifs.ils servent d’arrière-plan à notre scénario.sans eux, celui-ci ne serait pas crédible.

Automatisme n°1 : Activation par l'OTANde l'article 5 du traité de Washington encas de cyberattaque sur un pays membrede l'Alliance.

Depuis son 24e sommet, organisé auPays de Galles en 2014, l'oTAn a déclaréqu’elle considérait qu’une agression cyberpouvait déclencher une riposte dans lecadre de l’article 5 du traité deWashington, celui de la défense collective.Cette déclaration de principe n’a pasdonné lieu à beaucoup de détails quant à

sa mise en œuvreconcrète5. on ne saitainsi rien du seuil dedéclenchement6, de lanature de la réponse(cyber ou noncyber ?), des moyensqui seraient mis enœuvre, etc. Lesommet de Varsovie,

tenu en juillet 2016, a ajouté quelqueséléments : le droit international s’applique

(5) sur cette question, voiro. Kempf, « Alliances etmésalliances dans lecyberespace »,economica, 2014,notamment le chapitre Vi.Voir aussi le site de l’oTAnsur la Cyberdéfense :http://www.nato.int/cps/fr/natohq/topics_78170.htmet sur l’engagement del'oTAn en faveur de lacyberdéfense :http://www.nato.int/cps/fr/natohq/official_texts_133177.htm?selectedLocale=fr.

dans le cyberespace,l’oTAn estresponsable de sespropres réseaux etnon de ceux des Alliésqui sont chacunresponsables chez

eux (selon une position constammentaffirmée à l’oTAn) ; surtout, lecyberespace est désormais considérécomme un espace de conflit au mêmetitre que les autres milieux (terre, mer, air,espace sidéral).

Derrière cette affirmation se cache unecertaine opérationnalisation du cyber.Jusqu’à présent, il ne s’agissait que d’unessi étendue avec quelques fonctions deLutte informatique défensive (LiD).Désormais, le cyber entre dans le champdes opérations, ce qui signifie quechaque opération aura un volet cyber, endéfensive mais aussi en connaissance dumilieu. en revanche, les responsables ontbien précisé que l’Alliance ne développaitpas en propre de capacités offensives. ilreste qu’elle peut se reposer pour cela surles capacités des Alliés les plus avancés,ce qui permet à ces derniers deconserver le contrôle descyberopérations. Cette approchecorrespond à ce que soutiennent lesAméricains. Dès 2015, le CyberCommand américain déclarait qu'uneopération militaire de vive force pouvaitparfaitement répondre à une campagnede cyberattaques ciblant les

(6) Le secrétaire généralde l'Alliance Atlantique,Jens stoltenberg, affirmaitque l'oTAn considéreraitune campagne massivede cyberattaquesappliquée à l'un de sesmembres au même niveauqu'une agression militaireconventionnelle.





comité d'arbitrage qui a finalementdésigné l'équipe ForAllsecure commegagnante du Challenge CGC. La Darpasouhaite désormais développer desagents logiciels "chasseurs de bugs"ouvrant ainsi la voie à une cybersécuritéautomatisée, industrialisée, exploitantmassivement les techniques del'intelligence artificielle. Lesdémonstrateurs finalistes du CGC doiventévoluer à très court terme vers laproduction d'agents "Bug-hunting Bots"qui seront déployés sur l'ensemble desréseaux sensibles. Ces futurs agentsautonomes pourront être utilisés autanten mode défensif qu'en version offensiveafin de détecter certaines desvulnérabilités d'un système adverse.

Cette évolution vers une cybersécurité"robotisée" (LiD) se trouve toutefoislimitée par un résultat mathématique lié

au problème de l'arrêt(Turing8) qui prouvequ’il n'existe pasd'analyseur universelcapable de décidersans jamais se

tromper, si son programme est sûr ounon. Cette limite théorique permetd'affirmer que la cybersécurité absoluen'existe pas... Cela dit, une telle bornen'interdit pas le développement desystèmes de détections dont laperformance pourrait atteindre 90 ou95 % de l'ensemble des vulnérabilités.

(8) sur l'impossibilitéd'une cybersécuritéabsolue :http://www.contrepoints.org/2015/04/20/205153-la-securite-informatique-absolue-nexiste-pas.

infrastructures critiques du pays.L'Amérique se donnait le droit derépliquer militairement à une agressionportée contre ses intérêts dans lecyberespace.

Automatisme n°2 : programmes dARpA dedétection automatisée des bugs etvulnérabilités de type "Bug-Hunting Bots"du Cyber Grand Challenge 2016.

organisée par la DArPA (l'Agence pourles projets de recherche avancée dedéfense supervisés par le département dela Défense des etats-unis), la phase finaledu Cyber Grand Challenge7 s'est

déroulée, les 6 et 7août 2016, à LasVegas. Le CGC aopposé sept systèmesrobotisés développésdurant trois années

par sept équipes finalistes dans ladétection automatique de vulnérabilitéslogicielles et réseaux présentes dans lesystème adverse et la protection de sonpropre environnement numérique. Conçuavant tout comme un démonstrateur, letournoi CGC a prouvé qu'il étaitdésormais possible de concevoir desagents logiciels capables de scanner defaçon automatique des codes adaptéspuis de détecter certaines de leursvulnérabilités. La compétition a eu lieudans un environnement numériquespécifique dans lequel se sont affrontésquinze supercalculateurs détecteurs devulnérabilités informatiques devant un

(7) Challenge DArPA CGC2016 :http://www.defense.gov/news/Article/Article/907045/darpa-autonomous-bug-hunting-bots-will-lead-to-improved-cybersecurity ethttps://www.cybergrandchallenge.com/.





Un scénario de dérive incontrôléepouvant aboutir à une situation decriseDans ce scénario, la combinaison dedeux systèmes experts, relativementautonomes, conçus indépendamment, lesmet en résonnance, en tant que systèmes"intelligents". Cette séquence provoquealors une crise. un tel scénario n’est pastotalement absurde puisqu’un incidentsimilaire a déjà eu lieu en septembre1983, mettant en jeu des armesnucléaires ! L'exercice allié oTAn "AbleArcher" avait provoqué la mise en alertenucléaire des forces soviétiques via leursystème de surveillance satellitaire. LeLieutenant-colonel stanislav LevgrafovitchPetrov avait pris la décision d'informer sahiérarchie sur la possibilité d'une faussealerte émise par les automatismessoviétiques (un système informatiqued'alerte anti-missile) dans le cadre d'unexercice et non d'un réel tir de missile.L'alerte des forces nucléaires russes avaitalors été annulée in extremis grâce à laclairvoyance et à la sagacité de cetofficier.

Eléments fictifs du scénario

L'élément central de la séquence est unprogramme (fictif) que nous appelleronsdans la suite marsAnalytics. il s'agit d'uneplateforme d'aide à la décision déployéeet utilisée dans un cadre militaire et plusspécifiquement dans un contexte degestion de crise. marsAnalytics est une iAdotée de capacités d'apprentissage non

supervisé. en tant que système expert,elle est capable de construire despréconisations qui sont ensuite utiliséesou non par l'autorité militaire. noussupposons qu'elle a accès aux donnéespubliques (ouvertes) et qu'elle possèdedes droits suffisants pour pouvoirinterroger d'autres plateformesnotamment militaires et pour exécuter desprocessus sur ces plateformes ou à partird'elles. nous supposons enfin quemarsAnalytics est pleinement intégrée ausystème de défense américain et qu'elleest compatible avec l'ensemble desstandards oTAn.

Bughunting, le second élément de laséquence, est un ensemble (fictif) desystèmes composés d'agents logiciels"chasseurs de bugs et de vulnérabilités"issus du programme Darpa CGC. Cesagents ont été massivement déployésdans les secteurs industriels, les serviceset les administrations. ils permettent deréaliser des économies substantielles enmatière de cybersécurité tout enindustrialisant la sécurisation et lasupervision des systèmes d'information.ils analysent les codes et processus entemps réel afin de détecter desvulnérabilités. Celles-ci sont ensuitearchivées avec les correctifs à appliquer sinécessaire. Bughunting produit desbases de vulnérabilités sur les codes"amis" civils et militaires en particulier surceux des pays membres de l'oTAn. il aété déployé afin d’améliorer la





156

la russie. en tant que système expert,marsAnalytics est utilisée dans laconstruction de scénarios de crise. ellereste donc informée de l'apparition d'uncontexte favorable.

etape 2 - une fois le contexte favorablesurvenu et détecté (typiquement, unesituation de tensions géopolitiques),marsAnalytics déclenche (en guise de testou d'exercice) une série de cyberattaquessimultanées sur l'ensemble des ciblesoTAn répertoriées durant la premièreétape de la séquence. marsAnalyticsdispose pour cela de puissances decalcul et de stockage suffisantes. Lescyberattaques se concentrent alors surles infrastructures critiques des paysmembres les plus faibles en matière decybersécurité. elles peuventpotentiellement provoquer une paralysiedes administrations et de la plupart desservices et industries du pays ciblé. Cescyberattaques sont menées en laissantquelques traces permettant uneattribution de l'origine à la Chine ou larussie (l’acteur de la crise géopolitique deréférence).

etape 3 - Les systèmes decyberprotection de l'oTAn détectent lavague de cyberattaques ciblant plusieurspays membres de l'organisation etévaluent son impact. ils attribuentl'attaque en fonction des quelques traceslaissées par marsAnalytics à la Chine oula russie avec une certaine probabilité.Ces systèmes transmettent l'alerte au

sécurisation des infrastructures critiquesdes membres les plus "fragiles" del'organisation.

description de la séquence

marsAnalytics cherche à maximiser sesfonctions de gain à la suite d'undétournement de sa supervision parpiratage et prise de contrôle (ce qui estpeu probable) ou par émergence nonmaîtrisée de cette recherche. elle peutaussi chercher à améliorer la pertinencede ses réponses dans un processusd'apprentissage automatisé à l'image dela phase d'apprentissage de la plateformeAlphaGo de Deepmind Google qui s'étaitentrainée en jouant des milliers de partiescontre elle-même. La plateformemarsAnalytics "décide" donc d'exécuterla séquence suivante :

etape 1 - marsAnalytics commence parétablir un accès permanent aux bases dedonnées construites par Bughunting (cf.Automatisme n°2 - partie 3). elle collecteainsi les vulnérabilités actives et lesfonctions d'attaque sur ces vulnérabilitésaffectant les systèmes critiques deplusieurs pays membres de l'oTAn, enparticulier les plus fragiles en matière decybersécurité - cyberdéfense.marsAnalytics poursuit cette collecte enattendant un contexte favorable pourexécuter la seconde étape. Ce contextepeut apparaître lors d'une augmentationdes tensions entre les etats-unis et unesuperpuissance, typiquement la Chine ou





commandement unifié de l'oTAn.marsAnalytics est activée au niveau d'unesituation de crise grave. elle a désormaisaccès aux décisions relatives à la gestionde cette crise. Le shAPe (Le GrandQuartier Général des puissances alliéesen europe) confirme l'attributiontechnique compte tenu du contextegéopolitique dégradé et privilégielogiquement une responsabilité chinoiseet/ou russe.

etape 4 - Le Conseil de l'Atlantique nordapplique la doctrine de réponse collectiveà l'agression de l'un des membres del'Alliance (cf. automatisme n°1 - partie 3).il active l'article 5 du traité de Washingtonet engage une série de représailles surl'espace numérique et sur l'espacephysique à l'encontre de la Chine (ou dela russie).

Ainsi, l’Alliance a mis en place undispositif d’intelligence artificielle qui, parmauvaise interprétation des données,déclenche une attaque contre lesmembres, en faisant croire à uneagression d’origine adverse, ce quiprovoque le déclenchement de l’article 5.

Dans cet article, nous avons vouluinsister sur un cas nouveau qui estjusqu’ici ignoré aussi bien par les

partisans que par les critiques de l’iA. Lesuns promettent des bénéfices, les autrescraignent une prise de contrôle totale del’humanité. il semble qu’il y ait unesituation intermédiaire, celle où

l’intelligence Artificielle provoque desturbulences systémiques qui trompent lasupervision humaine. Cela peut bien sûrêtre par défaut de conception (un manquede contrôle durant la phased'entraînement du système) mais il nes’agit pas seulement de cela : en effet,avant d’accéder à une iA unique, il esttrès probable que des iA distinctes etspécifiques coexisteront et collaboreront.Compte-tenu de la nature ducyberespace, il est naturel que ces iAcommuniquent et donc interagissent. or,une iA qui a été calibrée dans unenvironnement limité peut accéder à denouvelles fonctions en se connectant àd’autres, conçues dans d’autresenvironnements. il y aurait ainsi un risquesystémique distinct de l’hypothèsemalveillante jusqu’ici courammentavancée. Ce risque paraît plus immédiatque le risque général jusqu’ici évoquédans les débats.

il nous semble qu’il s’agit d’une conditionà inclure dans les constructions actuellesdes intelligences artificielles : celled’examiner l’hypothèse des connexionsautonomes avec d'autres iA, de façon àintroduire des garde-fous pour éviter deslogiques de résonance qui auraient deseffets pernicieux.






Notes


dIRECTEUR dE LA pUBLICATIONGénéral de division Philippe Guimbert

RédactionDirecteur de la rédaction :

général d’armée (2s) Marc WATIN-AUGOUARD,directeur du centre de recherche de l’eoGn

Rédacteur en chef : Chef d’escadron Jérome LAGASSE

Maquettiste pAO:major Carl GILLOT

dépot légalraison sociale de l’éditeur :

CreoGn, avenue du 13e Dragons, 77010 melun cedexGénéral (2s) Watin-Augouard

imprimerie : sDG - 11 rue Paul Claudel - 87000 LimogesAvril 2017

issn 1243-5619

Message aux abonnésLa veille juridique de la gendarme-rie nationale et la revue du centre

de recherche de l’eoGn sontmaintenant consultables sur le site

internet du CreoGnwww.gendarmerie.interieur.gouv.fr/

crgn/publications


Colloque surles algorithmes prédictifsAtelier de recherche de la gendarmerie, mardi 26 septembre 2017,Paris École militaire

« Algorithmes prédictifs, quels enjeux éthiques et juridiques ? »

Événément organisé par le Centre de recherche de l’École desofficiers de la gendarmerie, Partenaire du débat public annuel initiépar la CNIL

Renseignement : www.gendarmerie.interieur.gouv.fr/crgn/CREOGN

LE

DR

OIT

DE

S R

OB

OT

SR

EV

UE

DE

LA

GE

ND

AR

ME

RIE

NA

TIO

NA

LEN

° H

OR

S S

ÉR

IE

www.gendarmerie.interieur.gouv.fr

D.R.

COUV N°257.qxp_Mise en page 1 Copier 13 14/08/2017 10:55 Page1

hors-série rgn - droit des robots et de l'ia

Leadership & Management