Photographie Promotion 2020 

Étude des dispositifs mettant en œuvre de l'image interactive pour la 

communication visuelle des marques.  

Dufour Maxime 

Mémoire de master 2 

Dirigé par Franck Maindon 

membres du jury : 

Véronique Dürr, Véronique Figini, Pascal Martin 

ENS Louis-Lumière 

Photographie Promotion 2020 

  

 

 

 

 

 

Étude des dispositifs mettant en œuvre de l'image interactive pour la 

communication visuelle des marques.  

 

 

 

 

 

Dufour Maxime 

Mémoire de master 2 

Dirigé par Franck Maindon 

 

 

membres du jury : 

Véronique Dürr, Véronique Figini, Pascal Martin 

 

 

 

 

 

ENS Louis-Lumière 

 

 

1

Remerciements :  

Je tiens à remercier Franck Maindon pour sa direction et sa patience malgré mes difficultés. Je remercie les membres du jury Véronique Figini, Véronique Dürr et Pascal Martin pour leur lecture attentive. Je remercie également Antoinette Giret pour sa relecture et ses bons conseils, ainsi que ma famille, surtout mes parents et leur soutien qui m’a motivé à terminer. Merci aux professeurs de l’ENS Louis-Lumière et surtout à Véronique Durr pour son ouverture au monde de la 3D. Merci à Alexandre Rivaux pour ses réponses. Merci à Yuki et Mushu.

2

Résumé :  

Avec les améliorations des outils informatiques, une nouvelle façon de concevoir la communication visuelle des marques est apparue. L’image interactive se popularise de plus en plus pour des campagnes publicitaires avec l'émergence de studios de création spécialisés dans l’interaction. Dans ce mémoire de master 2 je souhaite définir les apports de ces nouveaux espaces pour la communication visuelle des marques. mots clés : Technologies, Interactivité, informatique, Marketing interactif, Design, Nouvelles images.

 

Abstract :  

With the improvement of the IT tools, a new approach in brand visual communication

has appeared. Interactive images are becoming more and more popular for advertising with the apparition of creative studios specialized in interactivity. In this

master 2 thesis I would like to define what are the contributions of these new spaces for visual branding.

tags : Technologies, Interactivity, Computer science, Interactive marketing, Design, New images.

3

Remerciements : 3

Résumé : 4

Abstract : 4

INTRODUCTION : 7 Présentation du plan de recherche 11

1.Marketing et interactivité 12 1.1.Créer de l’expérience 12 1.2.Gamification 15 1.3.Vers un “storytelling transmédia” 17 1.4.Comment mesurer l’impact émotif d’une campagne utilisant des médias interactifs 22

2.Émotions, sensations, sentiments 24 2.1.Sentiments, émotions, et sensations 24 2.2.L’immersion : véhicule d’émotions 26 2.3.Sentiment de présence 28

3.Définitions des systèmes interactifs 30 3.1.Définitions et présentation des systèmes interactifs 30

3.1.1.Réalité Augmentée 31 3.1.2.Réalité Virtuelle 32 3.1.3.Web 33 3.1.4.Installation interactive 34

3.2.Créateurs et outils 36 3.3.Studio créatif 38

3.3.1.Coup de phare sur la Kinect 40 composition de la caméra : 41 Carte de profondeur 42 skeleton Tracking 43

4.Etude de cas comparés 45 4.1.Présentations des expériences choisies 45

Cas n°1 : BackLight pour Diesel 2017 46 Cas n°2 : DVTK pour Fiorucci 48 Cas n°3 : Crucial Fx pour Nestlé / Felix 50 Cas n°4 : BonjourLab pour Adidas 51 Cas n°5 : Below the Surface, Resn pour Sea Shepherd 53 Cas n°6 : Field pour Nike : Force of Nature 55 Cas n°7 : NoComputer pour New Balance, Exception Spotted. 56

4.2.Bilan 58

5.Présentation de la partie pratique de mémoire 63 5.1.Interactivité et musée 64 5.2.Protocole 67

Conclusion 70

4

Bibliographie 73 Marketing : 73 Arts et arts numériques : 74 Médias interactifs : 74 Logiciels et Hardware : 74 Psychologie : 75

Outils : 76  

 

 

 

 

 

 

 

5

INTRODUCTION : 

Dans quels buts et pourquoi certaines marques cherchent-elles à renouveler la 

communication visuelle et la publicité grâce aux images interactives ?

Jusqu’à la fin du XXème siècle, la publicité sur écran se cantonnait à des lieux de

diffusions fixes, télévisions, ordinateurs et parfois dans les salles de cinéma.

L’arrivée de la mobilité des écrans avec les smartphones ou encore les écrans et affichages lumineux dans la rue confronte la population à de nouveaux territoires

d’usages pour la publicité. Face à cette multiplication des sollicitations du consommateur et à sa saturation potentielle, les marques et les publicitaires doivent

se renouveler pour toucher autrement le public et engager leurs clients.

L’engagement en marketing est une notion qui a pris énormément d’importance au fil des dernières années, et que l’on pourrait définir par “L’intention du consommateur

de maintenir une relation durable avec la marque. Il est influencé par la confiance

qu’il éprouve à l’égard de la marque et par son évaluation de la valeur que lui

procure la marque”1. Pour créer cet engagement les marques vont tenter de créer de

l’expérience et de l’interaction pour le consommateur afin de le fidéliser. Dans la définition que nous venons de rencontrer, deux termes sont importants: "confiance"

et “valeur”. Ces deux termes font références aux différents affects que peut éprouver un consommateur envers une marque spécifique. Ce sont des notions qui se

construisent au fil du temps. Elles peuvent venir d’un storytelling efficace et

également d’une image particulière qui plaît au consommateur, car elle touche ses sentiments. Le storytelling c’est l’histoire que va raconter une marque pour vendre

un produit. Cette histoire selon Christian Salmon2 sert à mobiliser des émotions primitives afin d’impliquer plus profondément un client, un électeur, un joueur… Le

1 C. Roederer, M. Filser, Le marketing expérientiel : vers un marketing de la cocréation. Magnard-Vuibert, 2015. 2 Christian Salomon, “Une machine à fabriquer des histoires” Le Monde Diplomatique, Novembre 2006

6

Storytelling est aujourd’hui présent dans énormément de domaines, que ce soit le commerce ou la politique. Les notions de “valeurs” et de “confiance” sont justement

plus impactées par des émotions créées par ce type de procédés que par des aspects plus rationnels selon Holbrook et Hirschman (1982)3 et servent à différencier

la marque de ses concurrents alors que les moyens de productions restent la plupart

du temps les mêmes4.

Un changement radical s'est opéré avec l’apparition des réseaux sociaux5 en lignes en termes de marketing expérientiel. Les réseaux sociaux permettent aujourd’hui

aux marques de se rapprocher des consommateurs en leur donnant un espace

d’interaction et en bâtissant une communauté virtuelle afin de créer de l’engagement pour celle-ci. La communication publicitaire fait désormais partie intégrante des

réseaux sociaux. Le but est de faire participer le probable consommateur et de le rendre actif grâce aux “likes”, partage etc. Ces interactions sont les seuls indices qui

existent pour quantifier un engagement.

Selon Lasalle D. et Britton T.A6., les enjeux actuels du marketing sont de faire participer le client afin de créer plus de “confiance” et de “valeur”, de faire de ce

dernier : le co-créateur de l’expérience marketing, de l’intégrer grâce à des interactions mises en places entre lui et la marque pour donner une place de

participant au client. L'interaction est donc la clé pour créer l'expérience qui va

solidifier l'engagement chez le consommateur. On observe alors que la relation consommateur / marque n’est plus unilatérale

(marque → consommateur) nous sommes désormais dans une phase de coopération entre ces deux groupes. Pour reprendre l’exemple des réseaux sociaux,

au-delà des publicités, nous y retrouvons surtout des fenêtres d'interactions entre

consommateurs et marques.

3 M. Holbrook, E. Hirschman, “ The experiential aspects of consumption : consumer fantasies, feelings and fun” dans Journal of Consumers Research, 1982. 4 Stéphane Magne, “Marque et Marketing : Construire la personnalité d’une marque. Dans Les métamorphoses de la marque, presse de l’université de Toulouse 1 Capitole, dir. Jacques Larrieu 5 Mercanti-Guerin, Maria. « Analyse des réseaux sociaux et communautés en ligne : quelles applications en marketing ? », Management & Avenir, vol. 32, no. 2, 2010, pp. 132-153. 6 Lasalle D., Britton T.A, Priceless : Turning Ordinary Products into Extraordinary Experiences, Harvard Business School Press, 2003.

7

Dans ce mémoire, je m'intéresse à l’application de ce principe dans la communication visuelle et publicitaire par le biais de ce que nous nommerons les

images interactives. Cette idée est née à partir de mon expérience personnelle avec les dispositifs interactifs, d’un attrait pour la publicité et du constat qu’il existait

beaucoup de studios de création indépendants s'intéressant aux nouvelles façons de

communiquer grâce aux nouvelles technologies. Ces studios et structures relativement petites mettent en œuvre des capacités techniques au service

d’agences de communications mandatés par des marques. Ce sont des entreprises qui pour la plupart sont assez jeunes et par leurs pratiques, s'interrogent sur des

choix graphiques et esthétiques ainsi que sur des moyens de diffusions différents

des supports traditionnels pour la publicité. Nous regroupons ici : les sites web, la réalité virtuelle, la réalité augmentée / mixte et les installations interactives comme

ce que nous pourrions nommer “nouveaux médias”. Ces groupes variés réunissent des caractéristiques essentielles similaires quant aux différents phénomènes que

peuvent apporter l’interactivité pour la communication visuelle et publicitaire.

L'interactivité dans les médias a été la source de plusieurs recherches et écrits dans le domaine des sciences de l’information et de la communication. Joseph Rézeau

explicite dans un premier temps une différence entre les termes interaction et interactivité. Le premier concerne les relations entre humains alors que le deuxième

concerne les relations hommes-machines. C’est notamment cette relation qui nous

intéresse. Sachant que pour Didier Paquelin7 “l’interactivité est la capacité à soutenir une véritable relation d’échange.” Cette relation a maintenant la capacité,

avec les améliorations des dispositifs techniques, d’instaurer une relation encore plus intense afin de provoquer une expérience immersive et engageante pour

l’utilisateur. L’immersion est totalement liée à ce que nous allons étudier dans ce

mémoire. Émilie Granjon et Laurent Lamarche8 préfèrent parler d’expériences et d’installations “immersives” qui auraient pour particularités d’être interactives. Mais la

relation semble inverse. C’est le degré d’interactivité qui amène la puissance de l’immersion. C’est pour cela que l’on préférera parler d’images interactives en

premier lieu plutôt que d’images immersives.

7 Didier Paquelin, « De l’image au savoir », Xoana,1999, n° 6, p. 122. 8 Émilie Granjon, Laurent Lamarche, “Immersion et interaction dans les arts : de l’expérience virtuelle à la réalité virtuelle”, Arts, technologies et relations hybrides, n°236, Spirale. 2011.

8

L’utilisation de ce type de dispositif à la fois interactif et immersif pour la communication visuelle est finalement assez récent. Mais dans le domaine de l’art,

l’interaction et l’interactivité sont des notions plus anciennes. Franck Popper, historien de l’art et des technologies, parle d’installations interactives dès 1975. Le

but est d'impliquer activement et totalement le spectateur dans l’oeuvre9 afin de lui

donner une place centrale. Aujourd’hui les avancées technologiques, notamment dans l’informatique, permettent de retrouver cette interaction dans les arts

numériques à une plus grande échelle. Les arts numériques ont une relation très forte avec la technologie, comme le souligne cette définition : “L’utilisation du

numérique comme médium artistique suppose que, de sa production à sa

présentation, l’œuvre n’utilise que la plateforme numérique et qu’elle en présente et

explore les potentialités inhérentes. Le numérique est, entre autres, interactif,

participatif, dynamique et personnalisable en fonction des souhaits du

commanditaire, et ces spécificités engendrent une esthétique particulière.” ”10. Il est

important de parler d’art car c’est à travers cet aspect que sont définis les dispositifs

interactifs. Les arts numériques et interactifs sont la porte d’entrée à l’utilisation des images interactives pour la communication visuelle et desservent le même but, celui

de placer le spectateur au centre d’une création afin de produire un fort engagement émotionnel.

9 Franck Popper, Art--Action and Participation, 1975, New York University Press 10 Laurent Diouf, Anne Vincent, Anne-Cécile Worms, Les Arts Numériques, Dossier du CRISP, 2013

9

Présentation du plan de recherche

En première partie de ce mémoire nous allons nous intéresser aux concepts qui lient le marketing et l’interaction, en énonçant des théories sur le marketing expérientiel,

la tendance à la gamification de la société et à la création d’expériences transmédia. Ensuite, nous aborderons des notions liées aux émotions et sensations, à décrire ce

qu’est l’immersion et le sentiment de présence et leurs liens avec notre sujet

d’étude. Ces deux premières parties nous permettront de poser les bases de la compréhension des images interactives et de comprendre pourquoi les marques

bénéficient de l’usage des images interactives pour la communication visuelle et la publicité. À la lumière de ces premières parties nous pourrons ensuite nous

intéresser à la description des différents types d’expériences interactives ( réalitée

virtuelle, réalitée augmentée, web, installations interactives) et aux outils permettant la création de ce type d’expériences, afin d’acquérir une meilleure connaissance à la

fois théorique et technique sur le sujet. S’intéresser aux outils et aux créateurs nous permettra de mieux comprendre l'imbrication de ce type de créations dans le monde

d’aujourd’hui. Ultérieurement, nous commenterons quelques exemples représentatifs de ce qu’il se fait en termes d’expériences interactives au regard de ce

10

que nous avons vu au cours de ce mémoire afin d’y appliquer les éléments théoriques exposés au long de ce mémoire.

1. Marketing et interactivité 

L’intérêt de cette première partie est de répertorier les différents domaines du

marketing liés à l’interactivité. Nous en avons déjà évoqué quelques-uns comme le marketing expérientiel en introduction. Nous nous attarderons également sur

diverses études concernant les médias interactifs dans le domaine de la publicité et

du marketing. Il est important de noter que la littérature disponible sur le sujet de l’interactivité porte pour la plupart sur le web et très peu sur les autres technologies

que nous allons rencontrer, bien que les concepts soient applicables à n’importe quel système interactif.

1.1. Créer de l’expérience

Comme nous l’avons esquissé en introduction, le but du marketing est de créer de la

valeur et de la confiance envers une marque ou un produit. Ces deux valeurs sont de plus en plus difficiles à obtenir avec des arguments rationnels du fait de la

multiplication des produits et des marques et la similarité dans la production. Pour

11

promouvoir un produit ou une marque il faut donc jouer sur les émotions des individus pour créer cette “valeur” et cette “confiance”. L’un des moyens pour y

arriver est de créer de l’expérience pour le consommateur. Lasalle et Britton, en 200311 étudient le fait de transformer un produit ordinaire en une expérience

extraordinaire. Ils évoquent les changements de rapports de valeurs selon différents

champs marketing. Par exemple, au début de la consommation de masse, le rôle du client n’était envisagé uniquement comme un consommateur. Aujourd’hui les

marques cherchent à le faire évoluer vers un rôle plus participatif. Le consommateur serait quelqu’un qui consomme et qui achète sur des bases rationnelles, tandis que

le participant est influencé par l’expérience qu’il va vivre lors de son parcours

d’achat. Cette évolution est parfaitement tangible lorsque l’on prend en compte les avancées des médiums de communication et d’information, comme les réseaux

sociaux. Sur ces plateformes, où la concurrence est rude, les marques tentent de faire participer leurs clients sous diverses formes, commentaires, partages de

publications, etc. L’expérience proposée, selon sa force, va permettre de faire

ressortir une marque ou un produit du lot et d’attribuer, pour le consommateur, une valeur plus forte. Pine et Gilmore12, en 1999, parlent d’une “économie de

l’expérience”. Ils montrent que les marques ont maintenant tendance à mettre en avant leurs services avant leurs produits. Pour illustrer leur théorie, ils prennent le

cas d’IBM, fabricant d'ordinateurs. La marque, dans les années 80, a commencé à

baser sa communication sur ses services, notamment dans la maintenance de ses produits pour se différencier de la concurrence. Le service est le premier moteur de

l’expérience du consommateur, car il fait interagir directement la marque et le client. L’économie de service, selon ces deux auteurs, est donc le fondement et ce qui va

inspirer l’économie de l’expérience, domaine plus large, qui englobe notre sujet.

L’expérientiel place le consommateur dans une position active. La relation devient bilatérale, le consommateur participe, reçoit et échange avec la marque. Pine et

Gilmore caractérisent les domaines de l’expérience pour le consommateur ainsi que son rôle au sein de celle-ci.

Ils en tirent le schéma suivant :

11Lasalle D., Britton T.A, Priceless : Turning Ordinary Products into Extraordinary Experiences, Harvard Business School Press, 2003. 12 J. Pine, Gilmore. J, The Experience Economy, Harvard Business School Press, Boston, 1999.

12

Les domaines de l'expérience selon Pine & Gilmore13 :

Le diagramme est découpé en deux dimensions, que les auteurs appellent “dimensions de l’expérience”. Premièrement l’axe horizontal correspond à la

13 J. Pine, Gilmore. J, The Experience Economy, Harvard Business School Press, Boston, 1999.

13

participation des individus à l’expérience. L’axe vertical correspond lui à la connexion de l’utilisateur par rapport à l’expérience. Ces deux dimensions forment ce

qu’appellent les auteurs “the realms of experience”, que l’on peut traduire par “ les domaines de l’expérience. Ils sont au nombre de quatre : le divertissement,

l’éducation, l'esthétique et l’évasion. Ces domaines sont donc caractérisés par la

place qu’occupe l’utilisateur au sein de l’expérience. Les auteurs montrent ici qu’une expérience n’est pas seulement basée sur le divertissement, ce qui était l’idée

dominante au moment de la parution des écrits de Pine et Gilmore. Ce schéma représente bien les différents aspects que peut avoir l’interaction pour la

communication visuelle des marques. L’expérience interactive idéale serait celle qui

doit couvrir tous les domaines. Le marketing expérientiel a donc pour objectif de faire participer le consommateur,

de l’englober dans une expérience complète et mémorable, de faire de lui un acteur à part entière. C’est ce que Claire Roederer et Marc Filser14 appellent le marketing

de la co-création.

Un des abords importants de l’expérience dans le marketing est son aspect ludique

que nous retrouvons dans l’univers du jeu vidéo. Maintenant, nous allons voir comment les marques s’approprient l’expérience ludique des jeux vidéo à des fins

de communication et de publicité.

1.2. Gamification

Un point important dans l’émergence des images interactives dans la publicité et dans la communication visuelle des marques est la gamification de la société. En

effet, le jeu, et plus particulièrement le jeu vidéo, est devenu l’un des médias les plus

lucratifs et les plus consommés au cours de ces dernières années. Et c’est

14 C. Roederer, M. Filser, Le marketing expérientiel : vers un marketing de la cocréation. Magnard-Vuibert, 2015.

14

également le domaine qui vient naturellement à l’esprit lorsque l’on parle d’images interactives.

Comme le montrent certaines études comme celle du S.E.L.L.15 (Syndicat des éditeurs de logiciels de loisirs)

Presque la moitié des Français jouent régulièrement aux jeux vidéos, tous supports

confondus. Le jeu vidéo est donc rentré dans nos habitudes et n’est plus réservé uniquement à un marché de niche comme les “geeks”. Toute personne ou presque

disposant d’un smartphone y a déjà téléchargé un jeu, au moins. Les marques ont bien compris cela, et font de plus en plus appel à des stratégies, soit en mettant en

place des mécaniques présentes dans les jeux, soit en développant de véritables

jeux visant à créer de l’engagement. Citons par exemple la catégorie des “Advergame ”, contraction anglaise de "Advertisement" (publicité) et “Game” (jeux) ou

les “serious-game”. Ce type de contenu consiste à construire un jeu autour d’une marque pour récolter de l’engagement de la part des joueurs.

15 “L’essentiel du jeu vidéo, Bilan du marché français”, S.E.L.L., février 2019.

15

Le jeux Hellopolys proposé par Orange16

En 2013, la société Orange a sorti un jeu vidéo disponible via Facebook. Dans ce

jeu, le joueur doit entretenir un réseau de télécom comme un réel opérateur. Le but

de ce jeu est clairement d’informer sur le cœur de métier de la société, d’informer tout en créant de l’engagement pour générer du trafic sur les réseaux de la marque.

Le jeux a réunis plus de 7000 joueurs17 en février 2013 à sa sortie. L’aspect ludique du jeu vidéo permet donc un fort engagement envers une marque.

Selon Antoine Dubuquoy le “jeux vidéo n’est qu’une option, un simple moyen, en

aucun cas le socle d’une stratégie de communication”18. Mais les marques ont tout intérêt à intégrer un aspect ludique à leurs communications. Pour les images

interactives, nous retrouvons ce domaine de l’expérience ludique, mais comme nous

l’avons vu, la communication ne peut se baser uniquement sur les jeux vidéos ou encore sur l’image interactive. C’est pourquoi nous allons maintenant évoquer le

concept de la construction d’un discours de marque “transmedia”.

1.3. Vers un “storytelling transmédia”

Un moyen de proposer une expérience engageante pour les consommateurs est de

créer une communication narrative basée sur différents moyens de diffusion. C’est ce que l’on appelle du “transmédia storytelling”. Avec la multiplication des canaux de

16 Source de l’image : https://www.serious-game.fr/hellopolys-le-nouveau-monde-connecte-dorange/ 17 Chiffres venant d’une conférence sur “les jeux vidéos et marketing” de 2013 : https://fr.slideshare.net/jeuvideomarketing/hellopolys-cjvm-20-nov-2013 18 Antoine Dubuquoy, “Jeu vidéo et publicité, deux univers incompatibles ?”, Géoéconomie, éditions Choiseul, 2012.

16

diffusions liés aux nouvelles technologies comme internet, la démocratisation des smartphones et des applications ou encore l’apparition des casques de réalité

virtuelle. Cette stratégie est devenue la panacée des campagnes de publicité pour les grandes marques. L’image interactive intervient dans nombre de ces canaux et

devient un atout considérable pour appuyer le discours ou “storytelling” de la

marque. Henry Jenkins est un des auteurs de références pour ce qui est de l’étude du “transmédia storytelling”. Il parle de “convergence des médias” dans son ouvrage

de 2006 : Convergence Culture : Where old and new Media collide19 et définit cette notion par “un processus dans lequel les éléments d’une fiction sont dispersés

systématiquement à travers de multiples plateformes médiatiques dans le but de

créer une expérience de divertissement unifiée et coordonnée. Idéalement, chaque

médium apporte sa propre contribution pour le développement de l’histoire”20. Cette

façon de construire un récit est donc interconnectée sur différents média. Chaque support apporte également ses propres codes, et enrichit donc l’expérience. Cette

technique de communication permet au consommateur de prendre plus de place

dans le processus de la narration, il en devient alors le co-créateur. Cette co-création est le principe de base actuel dans le marketing expérientiel21. Les

stratégies ne sont plus uniquement basées sur les émotions ou la rationalité des spectateurs passifs, mais sur une participation active où c’est à la cible de faire le

lien en excitant sa curiosité. Dans un article datant de 2014, Binbin Yang et Miltiadis

Zisyadis22 mettent en avant les bénéfices d’une telle communication. Cela permet au spectateur d’être plus actif dans la narration grâce à l’interaction permise par les

nouveaux médias. Ils remarquent aussi un accroissement de la notoriété de la marque (Brand Awareness). Le transmédia storytelling aide également les

consommateurs-participants à se sentir plus immergés dans l’histoire qui leur est

proposée, en brouillant les frontières entre ce qui est réel ou non.

Pour illustrer cette partie portant sur le storytelling transmédia nous allons aborder un exemple d’un tel type de campagne publicitaire réunissant plusieurs expériences

interactives afin de présenter un produit.

19 Jenkins H. Convergence culture: Where old and new media collide. New York: NYU press, 2006. 20 http://henryjenkins.org/2011/08/defining_transmedia_further_re.html 21 C. Roederer, M. Filser, Le marketing expérientiel : vers un marketing de la cocréation. Magnard-Vuibert, 2015. 22 Binbin Yang Miltiadis Zisiadis, Transmedia marketing: strengthening multi platform user participation through storytelling IT Management, 2014.

17

En 2018, la marque Adidas sort une nouvelle ligne de chaussures de sport “Deerupt”. Pour la campagne publicitaire ils décident de prendre une esthétique très

“numérique” avec un rappel de motif comme “the grid” (la grille), rappelant une sorte

de matrice, que l’on peut trouver dans les logiciels 3D par exemple, et jouant avec la déformation de celle-ci. La chaussure étant “disruptive” et sur laquelle on retrouve

cette grille.. On retrouve également l’utilisation de glitchs , effets de bugs informatiques, qui appliqués à l’image, lui donnent un rendu particulier. La

campagne publicitaire s’était déroulée sur un grand nombre de supports différents :

réseaux sociaux, affichage classique et vidéo mais aussi lors d'événements dédiés.

Support de communication pour un événement de lancement à Saint-Pétersbourg. On retrouve les éléments venant de logiciels de 3D avec l’aspect “maille”.

source : https://www.behance.net/gallery/75386499/DEERUPT-adidas-Originals-event-design-art-smm?tracking_source=

search_projects_recommended%7Cdeerupt

Pour ses événements de lancement à travers le monde, Adidas fit créer une série

d’installations interactives visant à animer le spectateur. Le studio Jam3 a quant à lui

18

créé deux espaces interactifs, le premier se composant d’un écran géant, représentant une grille qui au fur et à mesure des mouvements des spectateurs

laisse découvrir la chaussure. Le second étant une série d’écrans permettant aux spectateurs de découvrir les particularités de la chaussure grâce à une

reconnaissance des mouvements des mains.

La première installation Capture d'écran d’une vidéo

source : https://vimeo.com/277202442

19

Seconde installation Capture d'écran d’une vidéo

source : https://vimeo.com/277202442

En parallèle, la marque a fait appel à la réalité augmentée via l’usage d’un développement spécifique dédié aux smartphones. Adidas a proposé à ses fans

d’ouvrir virtuellement une boîte de chaussures (“l’unboxing” est un moment important

pour les fans de baskets). Adidas s’est donc associée avec Annex88 pour créer cet “unboxing” virtuel avant la

sortie matérielle de la basket.

20

L’unboxing virtuel capture d’écran vidéo

source : https://www.youtube.com/watch?time_continue=56&v=DdSgW6dSADg&feature=emb_logo

La campagne Adidas Deerupt a donc submergé énormément de canaux de

diffusions. La marque a choisi de faire appel à de nouveaux supports pour paraître le plus disruptif possible. L’image interactive étant encore assez peu connue du grand

public. Plus de 50 000 unboxing virtuel on été réalisés, la marque a aussi engrangé

110 millions de vues de vidéos sur internet (réseaux sociaux, YouTube) présentant la campagne, et tout cela dans 123 pays.

Il serait maintenant intéressant de s’attarder sur les méthodes de mesures de

l’impact d’une campagne publicitaire sur les consommateurs. Elles pourraient être utilisées pour connaître l’impact d’expériences mettant en scène de l’image

interactive pour une campagne marketing.

21

1.4. Comment mesurer l’impact émotif d’une campagne

utilisant des médias interactifs ?

Il existe différents indicateurs et manières de comprendre l’impact que peut avoir un

média interactif sur les consommateurs. Avec l’émergence et la démocratisation du Web, des indicateurs sont très utiles lorsque l’on parle de communications sur

internet. De nombreux outils permettent de comprendre l’usage qui est fait d’un site

internet. Ces outils permettent d’obtenir des données sur le nombre de clics, le nombre d’utilisateurs, le temps passé, mais aussi le chemin effectué par l’utilisateur

dans le cheminement du site et même après. Ces data permettent de faire des statistiques qui peuvent être organisées selon l’âge, le sexe ou encore d’autres

caractéristiques sociales. Mais qu’en est il pour les autres supports interactifs ? Des

recherches en neurosciences ont déjà été effectuées pour comprendre les comportements du spectateur pendant l’expérience de campagnes marketing

classiques. Ce domaine a pour objectif de passer outre la verbalisation subjective du spectateur pour étudier des facteurs concrets de l’attention.

Dans un article du Journal of Interactive Marketing, les auteurs : R. Ohme, M.

Matukin et B. Pacula-Lesniak23 proposent plusieurs méthodes d'évaluations, issues des neurosciences, sur les émotions des spectateurs qui pourraient être utilisés

dans le domaine du marketing interactif. La première de ces méthodes est l'électroencéphalographie, qui est l’étude des signaux électriques dans le cerveau.

Cette méthode permet d’enregistrer très rapidement les divers changements

électriques et états émotifs du cerveau et de comprendre à quoi ils sont dûs. L'électromyographie faciale permet quant à elle de capter les changements dans

certains muscles faciaux, volontaires ou non, qui traduisent également les émotions des spectateurs. Une autre méthode avancée est le suivi du regard permettant de

comprendre le cheminement de la vision du spectateur ainsi que les endroits

23 R. Ohme, M. Matukin et B. Pacula-Lesniak, “ Biometric Measures for Interactive Advertising Research”, Journal of Interactive Advertising. Mars 2011.

22

auxquels il a le plus porté attention. Les recherches des auteurs montrent qu’il y a bien une forte corrélation entre les émotions captées et les campagnes publicitaires.

Ils mettent également en lumière le fait que même les plus petits détails sont enregistrés par l’activité du cerveau. De telles mesures sont donc réellement

efficaces afin de passer outre le ressenti du spectateur et sur la traduction qu’il peut

avoir sur ces émotions. Au vu de la récente émergence des médias interactifs dans la communication des

marques, il est compliqué d’obtenir des chiffres d’études déjà réalisées. Mais l’utilisation des neurosciences pour des études marketing dans un plus large

domaine est déjà rentré dans les mœurs et permettent donc une bonne base de

départs à de futures études.

Maintenant que nous avons parcouru les différents concepts utiles à la

compréhension des expériences interactives, à travers ceux liés au marketing, nous

allons nous intéresser à des aspects psycho-affectifs : les émotions, sensations et sentiments, afin de leurs donner une définition qui nous servira pour la

compréhension des images interactives.

2. Émotions, sensations, sentiments  

L’image expérientielle s’appuie sur des principes psycho-affectifs. Aussi l’image qu’elle soit animée, fixe ou interactive véhicule des émotions. C’est un point

important que ce soit dans le monde de l’art ou de la publicité. Dans cette partie

nous allons définir plusieurs termes comme les émotions, sensations et sentiments. Nous verrons ensuite en quoi l’utilisation de l’image interactive impacte ces trois

notions.

23

2.1. Sentiments, émotions, et sensations

Dans un premier temps nous allons nous intéresser aux trois notions suivantes : émotions, sensations et sentiments.

Les émotions sont le résultat d’un stimulus extérieur qui se traduit par une action consciente ou non du corps. Cette action peut être un changement d’état au niveau

électrique dans le cerveau ou des mouvements de muscles ainsi que beaucoup

d’autres actions physiques internes ou externes. Les émotions sont donc identifiables et analysables. Le professeur de psychologie Robert Plutchik a proposé

un modèle des émotions afin de les classer. Pour lui, il existe quatres émotions fondamentales : la joie, la peur, la tristesse et la colère. De ces quatres émotions

découle des variations qu’il décrit dans une représentation graphique.

La roue de Plutchik24

24 Source : wikipedia.org

24

De ces quatre émotions primaires, on retrouve quatre autres émotions secondaires qui forment un spectre des émotions qui, selon l’intensité, varient.

Bien que souvent les notions d’émotions et de sentiments soient attribuées l’une

pour l’autre, Antonio Damasio25 en fait la distinction. Pour lui, les émotions sont “des actions”, elles sont physiques et observables. Par contre, les sentiments sont

“privés” et “subjectifs”. Les sentiments peuvent être considérés comme la réaction subjective d’une personne par rapport à ses émotions.

Les sensations, quant à elles, sont considérées comme une donnée élémentaire

basée sur le stimuli des sens. Les sensations sont la base de la compréhension du monde qui nous entoure où les sens (vue, ouïe, toucher, odorat, goût) ont un rôle

d’interface. Pour simplifier la relation entre ces trois notions ont peut la schématiser de la façon

suivante : sensations → émotions → sentiments. Les sensations sont donc la

captations des stimulis extérieurs, l’interface entre le monde et le cerveau. Arrivent ensuite les émotions qui sont l’interprétation physique du corps par rapport aux

25 A.Damasio, Le sentiment même de soi, Corps, émotions, conscience, Odile Jacob, 1999.

25

sensations. Les sentiments quant à eux seraient le résultat de la compréhension subjective des émotions ressenties.

Dans le contexte de la publicité, Robert Zajonc26, psychologue américain, soutient dès 1980 l’importance des émotions dans la construction d’un affect envers une

marque ou un produit. C’est cet affect, qui poussera, en grande partie, un

consommateur à choisir un produit plutôt qu’un autre.

2.2. L’immersion : véhicule d’émotions

“Immersion,

nom féminin

fait de se retrouver dans un milieu étranger sans contact avec son milieu

d’origine.”

Larousse

Un point important dans l’image interactive est le facteur d’immersion. Selon la

définition ci-dessus, cela signifie se retrouver dans un milieu différent de celui dans

lequel on évolue. Selon le type d'expériences, le degré d’immersion change. Il est aisément compréhensible que la réalité virtuelle soit le média le plus immersif, car il

coupe totalement le spectateur de son environnement direct. Cette coupure drastique n’est pas la seule façon d’immerger les individus. On peut retrouver une

forte immersion dans une installation interactive sans avoir l’usage d’un visiocasque.

Phillippe Fuchs, dans sa Théorie de la réalité virtuelle27, distingue deux types d’immersions distinctes : l’immersion proprioceptive, et l’immersion extéroceptive. La

première concerne les sensations liées au corps et à sa position dans l’espace. La

26 Zajonc, R.B. (1980), "Feeling and Thinking : Preferences Need no Inferences", American Psychologist, 35, pp.151-175. 27 P. Fuchs, Théorie de la réalité virtuelle, Les véritables usages. Presses des Mines. 2018.

26

deuxième concerne les sensations extérieures. Fuchs écrit que lors de l’immersion proprioceptive l’état émotionnel du spectateur est plus important et donc les

émotions sont plus fortes. Il évoque que ce type d’expériences est beaucoup plus utilisé dans le champ artistique afin de créer de l’émotion. Dans son ouvrage, il ne

parle pas d’applications marketing, car il s’attarde essentiellement aux domaines

artistiques et de la science. L’immersion permet également de re-territorialiser l’attention des participants.

Théodule Ribot, en 1887, a défini et développé le “mécanisme de l’attention”28. Il décrit deux types d’attention différents, l’attention spontanée et l’attention volontaire.

L’attention spontanée est l’attention naturelle et primitive des individus, ce qui induit

de toucher des émotions plus primitives car l’attention spontanée est un facteur partagé entre l’Homme et l’animal. L’attention volontaire est, elle, construite

socialement, avec de l’entrainement, pour Ribot c’est l’un des résultats de l’évolution de l’Homme. Les émotions ressenties sont plus contrôlées et moins fortes. Pour

expliquer cette différence, prenons l’exemple anachronique par rapport à l’auteur

d’une publicité passant à la télévision. Cette publicité sollicite l’attention que l’on veut bien lui donner, l’attention volontaire donc. Elle pourra amener des émotions au

spectateur, mais elle sera moins forte que si l’attention est happée par l’image. L’immersion virtuelle permet de retrouver une sorte d’attention primitive car l’individu

est coupé de ses repères habituels et redevient un enfant dans ce nouveau monde,

rendant l’expérience plus forte et plus engageante sur le plan émotionnel.

L’immersion est un des facteurs rendant possible le sentiment de présence au sein d’une expérience interactive que nous allons maintenant traiter.

2.3. Sentiment de présence

28 Th. Ribot, “Le mécanisme de l’attention : I. - L’attention spontanée”, Revue Philosophique de la France et de l'Étranger, (Juillet-Décembre 1887 p. 378-394, Presses Universitaires de France.

27

Le sentiment de présence est le fait “d’être là”, d’être présent dans l’espace virtuel. Ce sentiment, déjà présent dans l’art, avec la question de la place du spectateur

prend une toute autre dimension avec l’image interactive et immersive. Pour reprendre l’histoire du concept de la présence dans le virtuel on peut

commencer par Marvin Minsky qui en 1980 avec ce qu’il appelle la “téléprésence”.

Ce concept fait directement référence aux situations de téléopérations comme d’opérer une machine à distance ou une situation de télétravail. Minsky ne parle pas

encore de monde virtuel. C’est Sheridan en 1992, qui propose le terme de “présence virtuelle”, qui fait directement allusion à l’espace numérique. Enfin, le point qui me

semble le plus important est issu de la réflexion de Lombard et Ditton en 1997, en

effet, ils appliquent à la notion de présence, en plus de l’impression “d’être là”, l’impression de non-médiation, donc le fait de pas ressentir l’utilisation d’un dispositif

pour être transporté dans un espace virtuel.

On peut trouver au moins deux facteurs de la présence dans les expériences

interactives : l’immersion et l'interaction. Le premier de ces facteurs concerne l'environnement : le spectateur est- il coupé du monde réel ? Cela repose sur les

limites de l’image, les bords, mais aussi sur l'environnement sonore. On parle alors de seuil pour décrire ce degré d’immersion, qui caractérise la limite entre espace

réel et espace virtuel. Cette coupure avec le monde physique et réel est importante.

Plus celle-ci est forte, plus l’utilisateur vivra l’expérience le plus fortement possible. Nous pouvons remarquer par exemple qu’il n’est pas rare de voir chez certains

utilisateurs lors d’une cession en réalité virtuelle, vouloir esquiver par un mouvement du corps un projectil virtuel. Les expériences en immersion totale impliquent donc

des mouvements de réaction du spectateur à l'environnement vécu.

L'interaction concerne le degré d’impact qu’aura l’utilisateur sur son environnement. Plus celui-ci sera fort, plus le sentiment sera fort. D’après ces deux facteurs, nous

pouvons donc évaluer la force du sentiment de présence. Selon son importance, l’expérience vécue dans l’univers virtuel de l’image se rapprochera, au niveau

cognitif, d’une expérience réelle. L’impact émotionnel sera donc lui aussi plus fort et

marquera l’esprit d’une façon plus profonde qu'au regard d'une expérience passive et externe.

La représentation du corps du participant joue aussi un rôle dans le sentiment de présence. C’est la notion d’incarnation. En 1992 Biocca propose une théorie appelée

28

le dilemme du cyborg. Cette théorie montre l’importance de la relation entre corps biologique et corps virtuel afin de s’identifier au mieux dans l’expérience.

L’expérience est réussie lorsque l’utilisateur arrive à s’identifier à son incarnation. Cette identification n’est pas forcément liée à la fidélité de la représentation du

corps, mais surtout à son impact sur l’espace numérique. Par exemple, même avec

une représentation altérée ou modifiée, l'utilisateur reconnaît son impact grâce à ses actions.

Dans ces deux premières parties, nous avons évoqué des aspects du marketing

interactif à travers la création d’expériences, montré que la relation entre consommateurs et marques est de plus en plus basée sur le côté ludique, et que

l’usage en constante évolution de campagne transmédia, permet une utilisation plus

commune des images interactives. Nous avons aussi vu l’importance des émotions, sentiments et sensations dans le marketing, qui font naître de l’attention et de l’affect

chez le consommateur, et sont encore plus importants lors d’expériences interactives à travers l’immersion et le sentiment de présence notamment. Pour la

suite de ce mémoire, nous allons chercher à définir les catégories qui composent les

images interactives pour ensuite s’attacher aux outils de création ainsi qu’aux créateurs pour mieux comprendre l’origine de ces dispositifs.

29

3. Définitions des systèmes interactifs

3.1. Définitions et présentation des systèmes interactifs

Le but de cette partie est de définir les types d’expériences interactives se basant sur l’image principalement, afin d’en définir les usages et de dresser un bref

historique des technologies mises en place. Avec les constantes évolutions technologiques depuis les années 2000, ces outils sont de plus en plus utilisés dans

beaucoup de domaines, à des fins scientifiques, vidéoludiques, artistiques et bien

sûr, marketings. Ils permettent une création d’expériences marquantes pour les sens et l’esprit.

3.1.1. Réalité Augmentée

30

En 1968, Ivan Sutherland invente l’un des premiers dispositifs de réalité augmentée que l’on connaisse avec Sword of Damocles29. Il s’agit d’un casque superposant un

cube en trois dimensions sur la réalité grâce à une projection sur un écran semi-transparent. Ce casque, très lourd, devait être fixé au plafond à cause du poids

des composants électroniques. Cette invention reste l’une des premières incursions

dans le domaine de la réalité augmentée.

Selon Ronald T. Azuma dans son article “A Survey of Augmented reality” publié en 1997, la réalité augmentée est un contenu interactif qui superpose une substance

virtuelle sur la réalité. Ce concept existe donc bien avant la popularisation des

smartphones ou des visiocasques. Mais avec les avancées de l’informatique, la réalité augmentée se trouve à portée de nos poches. Pour imager ce concept nous

utiliserons deux exemples. Dans le premier cas, une application va se servir de l’appareil photographique intégré pour reconnaître un objet réel et va pouvoir lui

donner ses caractéristiques comme par exemple, taille, prix etc. La seconde

application, à partir toujours de l’appareil photographique du smartphone, va être faite pour incruster un objet virtuel dans la scène que l’on pourra regarder à travers

l’écran. Ces deux exemples permettent d’imager la définition précédemment cité de la réalité augmentée (RA).

En réalité augmentée, l’interaction se fait donc entre un espace partiellement virtuel

qui prend en compte la réalité physique qui entoure l’utilisateur. Le but n’est pas d’immerger totalement l’utilisateur dans un autre univers mais de compléter celui qui

est le sien.

3.1.2. Réalité Virtuelle

29 I.Sutherland "A head-mounted three dimensional display”, Proceedings of AFIPS 68, pp. 757-764 (1968)

31

L’histoire de la Réalité virtuelle commence en 1962 avec le concept du “Sensorama” de Morton Heilig30. Le dispositif consiste en une cabine individuelle qui projette un

film. Cette cabine multi-sensorielle transmet à l’utilisateur des vibrations, des odeurs et des sons. Elle avait pour vocation d’immerger totalement le spectateur, mais

l’interaction n’était pas possible car les films projetés n’étaient pas en temps réel. Le

projet “Sword of Damocles” présenté plus haut est un aussi l’un des piliers de la réalité virtuelle. Dans les années 1990, l’industrie du jeux vidéo fait ses premières

incursions dans le domaine avec dans un premier temps le casque Sega VR (1991) et puis le Virtual Boy de Nintendo (1995). Ces technologies bien qu’à leurs

balbutiements permettent au joueur d’être immergé et de pouvoir interagir avec le

monde qui l’entoure. Aujourd’hui, c’est encore le secteur du jeux vidéo qui est le principal vecteur d’évolution pour la RV. Cependant avec l’amélioration des

technologies nous retrouvons des expériences dans les domaines de l’apprentissage31, de la thérapie32 et bien sûr dans la communication visuelle.

Selon Philippe Fuchs33, professeur à l'École des Mines de Paris (dans le secteur réalité virtuelle / réalité augmentée), la réalité virtuelle permet à un usager “d’agir

physiquement dans un environnement numérique”. Les deux notions importantes pour la RV sont donc l’immersion et l’interaction. L’immersion se fait par un dispositif

tel qu’un visiocasque qui va permettre à l’utilisateur de rentrer dans un monde

totalement virtuel où qu’il regarde. Ce monde virtuel peut avoir été créé en images de synthèse ou capté grâce à un dispositif de vidéo 360°. Pour l’immersion,

l’application doit être en temps réel, et ne pas représenter de latence avec les différentes interactions de l’utilisateur. La coupure avec l'environnement réel et direct

est indispensable pour parler de réalité virtuelle et non pas de réalité augmentée /

mixte. Pour l’interaction, qui est aussi un facteur d'immersion, l'utilisateur peut soit marcher, se déplacer dans le virtuel grâce à de la reconnaissance de mouvement,

ou peut utiliser des manettes pour simuler l’usage des mains ou d’autres dispositifs plus rares permettant des retours d’efforts.

30 http://www.historyofinformation.com/detail.php?id=2785 31 https://blog.laval-virtual.com/quelle-place-pour-la-realite-virtuelle-dans-education/ 32 Levy, F., Rautureau, G. & Jouvent, R. (2017). La thérapie par la réalité virtuelle dans la prise en charge des troubles anxieux. L'information psychiatrique, volume 93(8), 660-663. 33 P. Fuchs, Théorie de la réalité virtuelle, Les véritables usages. Presses des Mines. 2018.

32

Par exemple, parler de réalité virtuelle pour qualifier la vidéo 360° est peut être un abus de langage. En effet, quand on regarde une telle image à travers un casque, il

n’y a pas de réelle interaction avec l'environnement à part le mouvement de tête. Dans ce cas, on ne parlera donc pas de réalité virtuelle mais simplement de vidéo

immersive.

3.1.3. Web

Le World Wide Web est né en 1989 du fait du chercheur britannique Tim Berners-Lee travaillant au CERN34. Le but était de créer une plateforme sur laquelle

les scientifiques pouvaient échanger. On peut encore visiter la première page web que ce chercheur a créé35. Le WEB est une application d’Internet inventée plus tôt

dans les années 1960. Le WEB a depuis beaucoup évolué pour arriver à ce que

nous connaissons aujourd’hui. Cette évolution a été permise par l’amélioration des ordinateurs et des moyens de diffuser l’information (ADSL, Fibre). Un site est

constitué de code HTML organisant la structure de la page, les feuilles de style CSS sont également utilisées pour donner l’habillage souhaité. De nombreuses

technologies ont permis d’afficher un contenu plus dynamique sur les pages web,

notamment grâce au JavaScript, un langage de programmation relativement simple qui permet plus d’interactions entre la page et l’utilisateur. L’arrivée du WebGL en

201536 une “augmentation” de JavaScript, permet maintenant du rendu en temps réel de contenus graphiques en deux ou trois dimensions directement sur le

navigateur.

34 https://home.cern/fr/science/birth-web/where-web-was-born 35 http://info.cern.ch/hypertext/WWW/TheProject.html 36 https://www.khronos.org/news/press/khronos-releases-final-webgl-1.0-specification

33

Par définition un site web est interactif, l’utilisateur choisit les endroits qu’il veut

visiter et les liens auxquels il veut accéder. Mais la plupart du temps l’expérience n’est pas singulière. Certaines organisations cherchent à développer un contenu

plus interactif et plus original, donc une expérience mémorable. L'intérêt, ici, est

qu’une page web est bien souvent la vitrine première d’une marque ou d’une organisation. L’évolution des techniques liées au web et des ordinateurs /

smartphones permettent de nouvelles choses comme du rendu 3D en temps réel, du contenu plus dynamique, des jeux vidéo plus évolués tournent même sur des

navigateurs, montrant que l’interactivité peut être encore plus forte grâce au web.

3.1.4. Installation interactive

Une installation interactive est un dispositif permettant une participation active d’un

spectateur dans un lieu défini et à un moment donné. Contrairement aux formes d’art traditionnelles (peinture, sculpture, photographie, cinéma), le spectateur

participe et engage ici son esprit mais aussi son corps. À travers cette définition on remarque que la notion d’image interactive n’est pas primordiale. Ces types de

dispositifs peuvent prendre énormément de formes, cela peut être uniquement des

sons ou une interaction avec des objets. Dans ce mémoire, nous nous intéresserons plus particulièrement aux installations interactives qui mettent en œuvre de l’image

et surtout de l’image animée. On parle d’installation car ces systèmes sont mis en œuvre dans des lieux particuliers lors d'événements ponctuels. Pour que le dispositif

soit réussi, le plus souvent on assiste à une mise en scène de l’interaction. Par mise

34

en scène, on parle de chemins particuliers, de la mise en place d’une narration. Cette narration est souvent renforcée par la volonté d’immerger le spectateur, en

créant un décor ou bien en supprimant l’espace environnant afin que pour lui, plus rien d’autre n’existe.

Les installations interactives dans l’art existent depuis longtemps, les principaux auteurs de ce type de dispositifs sont pour beaucoup des artistes conceptuels. On

peut citer par exemple Marcel Duchamp et son œuvre nommée Rotary Glass Plates

( Precision Optics) créée en 1920. Cette machine demande à être actionnée par

l’utilisateur pour qu’il puisse observer les effets de moirés que produisent les hélices

en mouvement. Pour Franck Popper, historien de l’art et des technologies, les installations

interactives ont pour but d'impliquer activement et totalement le spectateur dans l’oeuvre37. Au regard des premières installations ou des happenings dont les origines

remontent aux artistes dadaïstes, puis repris plus tard par l’art conceptuel des

années 1960, ce qui change ici, ce sont les moyens, les nouvelles technologies, qui permettent plus de possibilités d’interactions et de génération de stimulis divers.

Pour conclure cette partie, nous allons nous attacher aux créateurs et aux outils liés

à l’image interactive. Pour cela, je vais porter attention aux outils

(software/hardware) permettant cette création ainsi qu’à leurs auteurs. Dans cette communauté, il est fait une grande importance au DIY (Do it yourself) qui exprime la

propension à apprendre et à faire par soi-même. Cela passe également par le détournement d’outils désignés à des fins différentes. Dans ce cas, on étudiera

l’exemple de la caméra Kinect, créée par Microsoft pour les jeux vidéo. Cette

explication nous permettra de mieux comprendre comment fonctionne un des aspects très important dans l’image interactive, la reconnaissance des corps à l’aide

de la computer vision.

37 Franck Popper, Art--Action and Participation, 1975, New York University Press

35

3.2. Créateurs et outils

Il est nécessaire de se pencher sur les outils qu’utilisent les créateurs. Les outils influencent directement la création, et en ce qui concerne les logiciels, Lev Manovich

affirme l’existence d’une culture du logiciel. Il n’existe presque pas de solutions préfabriquées pour les images interactives comme celles que nous connaissons le

plus souvent dans les domaines de la photographie et de la vidéo, avec par exemple

Photoshop ou bien After effect. Ces logiciels sont ce qu’on appelle des WYSIWYG (What you see is what you get). Cet acronyme désigne les logiciels où ce que

l’utilisateur voit à l’écran est ce qu’il obtient au final. Ces logiciels ne demandent pas de connaître de langage informatique pour fonctionner et obtenir des résultats. Tous

les algorithmes permettant d’effectuer des actions particulières sont déjà écrits et

implantés dans le logiciel. L’utilisateur ne peut donc pas, au-delà d’une certaine mesure, moduler à souhait le logiciel. Dans la plupart des cas, quand on parle

d’images interactives, les créateurs ont besoin de fabriquer leurs propres outils. Cette “fabrication” passe par l’apprentissage et l’application de langages de

programmation. Pour Lev Manovich, l’apparition de nouveaux langages de

programmations comme Processing, orientés vers la création graphique en temps réel, ont permis un essor de la culture informatique DIY. On peut penser que c’est

cette apparition qui a favorisé la démocratisation de la création interactive. Dans de nombreuses écoles de graphisme ou de design, il est coutumier d’apprendre au

moins un langage de programmation; bien souvent, il s'agit d’utiliser des outils Open

Source. Nous retrouvons une véritable culture autour de ces logiciels ainsi qu’une

grande communauté. Pour Lev Manovich, le logiciel est un outil culturel à part

entière autour desquels se rassemblent des communautés, où l’on remarque que celles-ci tendent toujours à rechercher plus de liberté au sein des outils. Pour Eric

Schrijver, “la programmation n’est pas qu’une activité ; elle fait partie intégrante d’une culture”. Il parle d’une culture de “hacker”, pas au sens commun actuel qui

désigne des individus malfaisants qui cherchent à pirater nos adresses mails, mais

comme d’une culture cherchant à toujours plus de modularité grâce à la programmation.

36

C’est sans doute de cette culture particulière de l’informatique que viennent les créateurs d’images interactives. Il est donc important de s’intéresser à leurs outils.

Je vais maintenant présenter quelques outils assez communs dans la création d’images interactives.

En ce qui concerne les outils, nous pouvons commencer à dresser une liste non exhaustive mais qui concerne une majorité des expériences. Processing est un des

outils les plus connus pour la programmation orientée vers les arts graphiques. C’est à la fois un environnement de développement et un langage particulier ressemblant

au Java. Il est enseigné dans les écoles de design, car son langage, facile à

comprendre, est une porte d’entrée à la programmation en général. Processing a notamment été utilisé dans l’expérience proposée par BonjourLab pour Adidas

présentée dans la partie suivante. C’est un outil d’une grande versatilité, c’est un logiciel ouvert permettant une augmentation constante de ses fonctionnalités par les

utilisateurs, en créant des librairies, c'est-à-dire un ensemble de nouvelles fonctions

apportées à Processing. On remarque aussi l’utilisation de moteurs de jeux vidéo permettant un usage plus

rapide d’images en trois dimensions rendues en temps réel. Unity ou Unreal Engine sont deux de ces applications les plus utilisées aujourd’hui. L’expérience créée par

Crucial Fx, qui sera cité dans la prochaine partie, est réalisée à partir d’Unity qui

permet l’utilisation d’images issues de caméras pour y ajouter et manipuler le chat virtuel. Dans le champ de l’intelligence artificielle ont peut également citer la

bibliothèque graphique OpenCV appliqué à la Computer Vision, champ qui s’applique au traitement d’images et compréhension de celle-ci par l’ordinateur

grâce à l’usage de l’intelligence artificielle. Cette librairie a été utilisée pour une

expérience de NoComputer afin de reconnaître les motifs, couleurs, des vêtements pour d’estimer les associations les plus inédites. On peut ajouter à cette liste d'outils

Arduino qui, grâce à son environnement de développement et ses microcontrôleurs, permet de faire le lien entre monde numérique et monde physique.

OpenFrameworks qui prend exemple sur Processing mais avec le langage de

programmation C++ permettant de créer des applications plus puissantes que celles faites à partir de Processing. Enfin dans le domaine du son, nous pouvons citer Max

MSP et PureData qui permettent une création générative du son pour des expériences interactives.

37

Dans cette liste non-exhaustive que je viens de donner, on remarque l’importance

des communautés dans le succès de ses logiciels. La communauté joue un rôle très important dans l’apprentissage de ces outils et dans leur popularisation. Ces

communautés forment donc autour du logiciel, comme l’évoque Lev Manovich, une

véritable culture. Ils donnent tous une totale liberté de création à l'utilisateur qui est permise grâce à l’utilisation de la programmation. Les créateurs d’images

interactives font partie intégrante de ces communautés et de cette culture devant utiliser ces outils spécifiques.

Cet aspect communautaire se retrouve dans les propos que j’ai pu récolter en discutant avec l’un des fondateurs du studio BonjourLab présentés en première

partie.

3.3. Studio créatif

Je vais maintenant revenir sur un entretien passé avec le fondateur d’un studio de création français spécialisé dans les images interactives : BonjourLab.

BonjourLab existe depuis 2012. Le studio a été fondé par trois associés qui viennent de la production Web. Ils se sont spécialisés dans un premier temps sur le contenu

38

interactif web en étant inspiré par le succès d’une publicité interactive de la marque Tipp-Ex “ A hunter shoot a bear38”. Ils remarquent alors que le contenu de

l’interaction est finalement assez pauvre avec ce genre d’expérience, tout est finalement très scripté. Venant tous les trois de l’univers des arts numériques, ils ont

alors décidé de se tourner vers l’installation interactive répondant ainsi à une

demande, de plus en plus fréquente, des agences de communications de faire participer le client.

Selon Alexandre Rivaux, ce qui a permis d’entrer dans la course est le fait que les agences et marques cherchent toujours à créer le “buzz” avec des expériences qui

n’ont pas été vues ailleurs.

Le studio BonjourLab possède cette double casquette d’aller vers le monde de l’art et celui de la publicité, ils ont donc une plus grande liberté dans leurs créations,

même s’ils ont beaucoup “d’éducation” à faire vis à vis de leurs clients pour expliquer ce qui est possible ou non.

Chez BonjourLab la polyvalence est très importante pour la création d' expériences.

Ils utilisent tous les langages de programmation les plus répandus aujourd’hui ( Python, Java, C, C++, Javascript) même si les parcours sont assez différents ils sont

tous autodidactes. En ce qui concerne les outils, c'est la communauté directement qui a orienté leurs

choix. Notamment pour le choix d’utiliser Processing qui à l’époque de la création du

studio disposait d’une communauté très forte à Paris. Pour Alexandre Rivaux “L’avantage de l'open source fait que c’est encore plus simple d’apprendre”. Dans

ses propos on retrouve donc l’importance de la communauté dans la création numérique et interactive. On remarque également la volonté des marques de faire

participer activement les individus.

Nous avons ici parlé principalement d’outils “softwares”, outils logiciels, mais il y a une autre catégorie d’outils, ceux-là permettent de faire le lien entre le monde

physique et numérique, ils agissent comme interfaces entre ces deux mondes,

comme médiation. On peut évoquer les casques de réalité virtuelle mais aussi les smartphones et les ordinateurs. Les évolutions technologiques ont permis une

38 Lien d’une vidéo de présentation de la publicité : https://www.youtube.com/watch?v=6RoG6S9WdP4

39

immense démocratisation de tels dispositifs et leurs performances se sont nettement améliorées. Dans la section suivante nous allons nous intéresser à un cas

particulier, celui de la Kinect, caméra de profondeur dédiée à ses débuts aux jeux vidéo. Son usage s'est vite détourné pour être appliqué à d’autres domaines comme

celui qui nous intéresse, les expériences interactives. Nous allons résumer son

histoire pour ensuite voir comment elle fonctionne pour être utilisée comme médiation entre virtuel et réel. Cette démonstration permettra de voir en partie

comment peut fonctionner la computer vision.

3.3.1. Coup de phare sur la Kinect

En parlant maintenant de hardware, je souhaite présenter un des outils les plus communément utilisés dans la création interactive : la Kinect de Microsoft.

La Kinect est une caméra, créée par Microsoft pour la Xbox 360, paru en novembre 2010. Elle fut d’abord dédiée aux jeux vidéos et est rapidement devenue un succès.

Elle permettait au joueur de se débarrasser de la manette et de jouer avec son

propre corps grâce à des capteurs de profondeur et à la reconnaissance des corps. Elle a été déclinée en deux versions, la première pour la Xbox 360 et la seconde

pour la Xbox One. Malgré de bonnes ventes, les jeux utilisant cette technologie se sont vite fait rares. Mais dès la première version de la kinect de nombreux individus

l’ont détournée de son usage principal pour créer de nouvelles applications. Les

avantages de cette reconversion sont le fait que la kinect est l’une des solutions les plus abordables dans le secteur des caméras de profondeur et aussi l’une des plus

commune, car elle était présente dans tous les magasins qui vendaient des jeux vidéos ou des consoles. Quelques librairies open sources ont vu le jour dès la fin de

l’année 2010. Ces libraires viennent de la communauté “hackers” et ont permis

40

l’apparition de nouvelles applications dans de nombreux domaines qu’ils soient artistiques ou scientifiques. L’une des librairies les plus connues est le projet

OpenKinect, qui se définit comme une communauté ouverte qui a vu le jour pour un concours visant à hacker la kinect. Ce n’est qu’en 2012 que Microsoft sortit un outil

de développement officiel et disponible pour tous. La kinect est donc devenu, grâce

à la communautée informatique DIY, un outil utilisable pour la création d’images interactives.

Maintenant nous allons nous concentrer sur les détails techniques de la kinect pour

comprendre un peu mieux comment la vision par ordinateur peut fonctionner, car

c’est l’une des principales méthodes pour faire interagir le numérique avec le physique.

composition de la caméra :

Je ne parlerai principalement que de la Kinect V1 ici car c’est la seule que j’ai pu

étudier de près. La première version de la Kinect est composée de trois parties. Il y a tout d’abord un

capteur RVB classique d’une résolution de 640x480 pixels, pour toutes les

informations de couleurs. Pour l’estimation de la profondeur, la caméra utilise un projecteur de motif infrarouge associé à un deuxième capteur, infrarouge, lui aussi

d’une résolution de 640x480. Pour déterminer la profondeur d’une scène, la kinect première version utilise un

motif infrarouge projeté. Selon les distorsions de ce motif, la caméra sera capable de

créer une carte de profondeur. Pour ce qui est de la seconde version de la Kinect la profondeur se capte grâce à de la détection de phases entre le signal constamment

envoyé par la caméra et celui renvoyé par la scène.

41

Carte de profondeur

Cette image a été réalisée depuis Processing grâce à une librairie nommée SimpleOpenNI, elle apporte des fonctions pour la Kinect venant du projet OpenNi

développé par PrimeSense à l’origine du capteur de la Kinect, pour Processing.

Cette image est l’interprétation brute des données de profondeur récoltées par la caméra. Plus le pixel est sombre plus ce qu’il représente se trouve loin de la caméra.

Cette carte de profondeur est donc la première étape lorsque l’on travaille avec une caméra de profondeur. C’est sur ces données que vont se baser les algorithmes de

reconnaissance des corps, nous appelons ça le skeleton tracking.

42

skeleton Tracking

Pour le skeleton tracking le corps est représenté par un nombre défini de jointures et

de points s'alignant sur le corps des individus. La tête, les bras, les jambes, genoux,

coudes, et nuque par exemple. Chaque point dispose de coordonnées dans un espace en trois dimensions XYZ.

43

Selon Zhengyou Zhang39, chercheur chez Microsoft. La reconnaissance du squelette

se fait grâce à une reconnaissance par pixels de la carte de profondeur, qui va

reconnaître chaque partie du corps. Une fois cette reconnaissance réalisée, le programme va découper l’image du corps du participants pour y placer les éléments.

Le programme de la kinect a été entraîné à réaliser ces actions avec de nombreuses images de profondeur représentant différentes tailles et formes humaines.

La Kinect est donc un formidable outil, peu cher et relativement facile à se procurer,

capable de reconnaître des formes humaines pour les faire interagir avec l’espace numérique. Cet outil qui a été réalisé pour les jeux vidéos puis récupéré par la

communauté informatique, scientifique et artistique montre à quel point ces domaines sont poreux et s’interconnectent entre eux.

Maintenant que nous avons défini les différentes catégories qui définissent les

images interactives, nous allons étudier sept cas différents. Ils sont chacun issus de

39 Zhengyou Zhang, “Microsoft Kinect Sensor and Its Effect”, in IEEE Multimedia, Février 2012

44

studios de création différents et montrent différentes utilisations des médiums cités appliqués à des campagnes de communication visuelles de marques.

4. Etude de cas comparés

45

4.1.1. Présentations des expériences choisies

Maintenant nous allons procéder à une étude de cas comparés. Dans un premier

temps nous présenterons les différents projets pour ensuite étudier les points similaires et divergents.

Cas n°1 : BackLight pour Diesel 2017

Photographie de l’installation par BackLight

On remarque la fausse corniche sur laquelle repose les participants, donnant l’impression de donner sur le vide.

46

Capture d’écran de l’application par BackLight, l’installation physique est parfaitement calée avec ce que l’on

peut voir à l’intérieur du casque renforçant l’immersion.

Le studio BackLight a créé en 2017 une expérience en réalité virtuelle pour un parfum de la marque Diesel dans un centre commercial. Cette expérience

transportait les spectateurs en haut d’un building New-Yorkais. L’application place

les utilisateurs sur une corniche au bord du vide. Le but étant de récupérer un flacon du parfum qui a pour slogan “Only the brave”. L’expérience se déroule sans

contrôleurs, mais un décor a été créé pour l’occasion afin de tromper les sens et que l’utilisateur ait vraiment l’impression de se trouver sur une corniche. L'environnement

New Yorkais a entièrement été recréé en images de synthèses pour l’occasion.

Dans la vidéo faite par le studio pour restituer l’expérience, les créateurs annoncent une augmentation de 120% des ventes de ce parfum dans l’enceinte du centre

commercial et un grand impact médiatique. Des journaux comme Le Figaro et CBNews ont notamment relaté l'événement.

L’application immerge les sens du toucher, de la vue et de l'ouïe, grâce au casque et au décor construit pour l’occasion. Elle place l’utilisateur en situation de danger afin

qu’il se comporte “bravement” (en rapport au nom du parfum). Il interagit directement

avec son corps ce qui renforce l’impression de non-médiation. On retrouve dans cette expérience une forte sensation de présence affectant le corps et l’esprit,

demandant une attention totale de la part des participants. Ce qui permet le bon

47

fonctionnement de cette expérience est la combinaison de l’immersion et de l’interaction. Ce monde virtuel reconstitué dans lequel le participant est immergé, ne

serait pas suffisamment réaliste et demandeur d’attention, sans interactions.

Cas n°2 : DVTK pour Fiorucci

Le studio créatif DVTK situé à Paris et à Londres a créé en 2016 un site internet

retraçant l’histoire de la marque Fiorucci avec des anciens visuels de celle-ci.

Fiorucci est une marque de prêt-à-porter qui a popularisé le jean. L’idée derrière le projet était de créer une page web “teaser” pour le retour de la marque.

L’utilisateur est plongé dans un paysage virtuel sans limite où il peut naviguer entre des images d’archives de la marque à la manière d’un musée virtuel. Pour le choix

de la 3D et de l'interaction, les créateurs évoquent le but de “positionner le retour de

la marque dans un champ plus innovant et moderne pour intéresser les générations X et Y”. Des générations qui ne connaîtraient pas la marque.40

Pour cette expérience, les créateurs ont voulu trouver une nouvelle manière de

permettre aux utilisateurs de parcourir l’histoire de Fiorucci. Elle implique de rendre

le spectateur actif en prenant le contrôle d’une vue à la première personne avançant là où il veut aller. L’utilisateur est directement plongé dans l’esthétique “rétro” de la

marque, jouant sur le contraste entre l’image traditionnelle de Fiorucci et l’image de synthèse soulignant la nouvelle image moderne que veut se donner la marque. Ce

musée teaser permet donc de parcourir de façon ludique et attentive cette histoire,

40 https://dvtk.us/fiorucci-archivio

48

de créer une expérience marquante et disruptive par rapport au simple fait de dérouler une page web.

Capture d'écran du site ‘teaser’ de Fiorucci

49

Cas n°3 : Crucial Fx pour Nestlé / Felix

Extrait de la vidéo de présentation de l’expérience sur le site de Crucial Fx 41

En 2017, le studio Crucial Fx s'associe avec la marque Felix pour construire une expérience interactive au sein d’une gare londonienne, Waterloo Station. Selon

Crucial Fx cette animation aurait rapporté un taux d’engagement à la marque de près de 19% et 95% de commentaires positifs, un temps d’interaction d’en moyenne

2 minutes 30 et plus de deux millions de vues sur internet. Le taux d’engagement se

mesure notamment sur les réseaux sociaux, sous formes de “ likes ” et “partages”.

L’expérience est une installation interactive affichée sur un panneau publicitaire de

40 mètres. Un opérateur contrôle la mascotte de la marque pour se balader dans la gare et interagir avec les spectateurs. Pour cela, il aura été nécessaire de placer des

caméras pour pouvoir capter l'environnement. Le chat créé en image de synthèse

possède un panel d’animations scriptées pour monter sur les personnes, les regarder etc. Pour la réalisation de cette expérience, il aura fallu mesurer les

dimensions des endroits dans lesquels le chat numérique se balade afin de gérer au

41 https://crucial-fx.com/?mgi_92=5278%2Ffelix-waterloo-station#work

50

mieux les perspectives et rendre l’expérience plus réelle. Pour l’occasion, dans la gare de Waterloo, une fausse cuisine a été aménagée en face des écrans. Les

spectateurs étaient invités à entrer dans l’installation pour jouer avec le chat fictif. Ici, on observe une disproportion entre le cadre commun de la cuisine et l’affichage sur

une série d'écrans de plus de 40 mètres. Il peut être bien sûr très impressionnant de

se retrouver sur de tels écrans. Ce petit îlot de cuisine contraste également avec l’univers de la gare ferroviaire qui peut être un endroit stressant pour beaucoup de

personnes. Les créateurs et la marque ont voulu jouer sur ce contraste et soutirer un peu de temps dans un endroit où nous en avons souvent que trop peu. Cela a

apparemment bien fonctionné car le temps d’interaction moyen était de deux

minutes et demi selon Crucial Fx.

Cas n°4 : BonjourLab pour Adidas

En 2018, commissionné par l’agence Pavillon Noir, pour la marque Adidas, à

l’occasion du lancement d’une baskette nommée “Deerupt”, le studio BonjourLab a créé une installation interactive pour un événement se déroulant au Carrousel du

Louvre.

51

Extraits de la vidéo de présentation sur le site de bonjourLab42.

Pour ce deuxième cas, on retrouve une installation interactive qui consiste à scanner

les participants pour les transformer en avatars en trois dimensions. Pour le scan,

42 http://www.bonjour-lab.com/projects/enter-the-grid/

52

deux caméras de profondeur ont été utilisées. Ces caméras, des Kinect, fonctionnent en projetant un motif infrarouge et un capteur captant ces rayons

invisibles à l'œil nu pour calculer le temps que les rayons mettent à revenir. Les données de profondeurs ainsi récoltées permettent de créer un modèle 3D de la

scène et donc des spectateurs. Les participants peuvent repartir avec les images qui

ont été prises sous format numérique pour les inciter à les poster sur les réseaux sociaux.

L’installation est constituée de diverses structures métalliques sur lesquelles sont montés des écrans. Les utilisateurs sont invités à prendre place au milieu de la

scène pour procéder au scan. On retrouve une sorte d’esthétique très

“technologique”, futuriste et numérique avec cette structure faite de métal et d’écrans plats.

Les spectateurs sont scannés et leur double numérique apparaît à l’écran. L’installation fonctionne comme une sorte de photobooth où les utilisateurs sont

intégrés pleinement dans la communication visuelle de la marque. L’intérêt est de

jouer avec son avatar numérique.

Cas n°5 : Below the Surface, Resn pour Sea Shepherd

La Sea Shepherd Conservation Society a fait appel au studio Resn pour créer une application de réalité augmentée sortie en février 2020. Sea Shepherd est connue

pour ses engagements pour la protection de la faune marine. Cette expérience cherche à sensibiliser le public sur le Bycatch, le fait de pêcher par accident des

espèces autres que celles recherchées puis les rejeter à l’eau, mortes ou

mourantes.

53

Capture d’écran issus du site internet du studio Resn43

Cette expérience s’intègre dans la catégorie de la réalité augmentée. Elle fonctionne

directement depuis le navigateur web d’un smartphone pour pouvoir toucher le plus

grand nombre d’appareils, sans prendre en compte les limitations techniques individuelles et sans devoir installer d’application. La scène est réalisée en temps

réel sur le navigateur web ce qui permet l’interaction avec l’utilisateur et son espace. La lumière présente dans l'environnement direct est prise en compte pour le rendu

final, ce qui rajoute un meilleur sentiment d’intégration au réel. À travers cette

expérience, nous pouvons donc nous rendre compte d'à quel point la technologie a évolué pour permettre un rendu d’images en trois dimensions en temps réel en

passant par une connexion internet tout en prenant en compte les interactions de l’utilisateur. L’expérience se déroule en deux temps : premièrement une sphère se

place dans l'environnement de l’utilisateur. Elle représente une étendue d’eau

relativement calme parcourue par un bateau de pêche. La scène est calme et n’apparaît rien de particulier à la surface.

L’application invite l’utilisateur à zoomer dans la scène. Il se retrouve alors propulsé sous l’eau. La vue n’est plus zénithale et nous prenons le point de vue des animaux

sous-marins. L’utilisateur peut tourner son smartphone pour observer les alentours,

43 https://resn.co.nz/#!/work/seashepherd

54

la scène est violente, des animaux se font emprisonner par des filets de pêche et l'eau devient de plus en plus rouge. L'intérêt de la narration ici est de montrer les

deux points de vue à des échelles différentes : une vue aérienne détachée de la réalité et une scène qui place directement l’utilisateur au cœur de l’action. Il est en

quelque sorte emprisonné lui-même.

Lorsque la première vue est en marche, la sphère fait partie de l'environnement de l’utilisateur, il peut physiquement tourner autour pour ensuite choisir de zoomer.

Cette fois, il ne peut plus tourner autour, mais il observe la scène depuis l’intérieur. L’interaction est limitée au rôle d’observateur en quelque sorte impuissant de la

scène. Le seul contrôle que peut avoir l’utilisateur est seulement de choisir où

regarder.

Cas n°6 : Field pour Nike : Force of Nature

Photographie de l’installation, Field, 2015

55

En 2015 à Londres, lors d’un événement annuel consacré à leurs produits, Nike a fait appel au studio Field pour créer une installation interactive en 2015. Elle est en

rapport aux produits Nike pour la course à pied. Cette expérience interactive se sert d’un tapis de course et d’une kinect pour capter

les mouvements de l'individu en train de courir. L’écran qui est situé en face du

coureur affiche un flux de particules qui réagit à ce que capte la kinect et à la vitesse du tapis de course. La Kinect capte toutes les informations de couleurs et la forme

du coureur et c’est la vitesse sur le tapis de course qui agite le flux de particules. L’interaction se fait donc grâce aux efforts physiques du participant. Ce sont tous les

gestes du participant qui sont captés et qui influent sur l’image. Le fait de faire réagir

l’image aux efforts physiques d’un spectateur peut également donner l’envie de se dépasser pour voir jusqu’où l’image pourra évoluer.

Cas n°7 : NoComputer pour New Balance, Exception Spotted.

Photographie de l’installation par NoComputer 44

44 https://medium.com/@nocomputer/exception-spotting-new-balance-227e604c0093

56

Capture d'écran issue de l’installation

En 2019, la marque New Balance a commandé le studio belge NoComputer afin de réaliser une expérience interactive dans les rues de New York. Cette installation a

eu pour but de déceler les exceptions vestimentaires dans la foule.

Cette installation utilise l’intelligence artificielle et la computer vision. La computer vision est un champ spécifique de l’IA. Elle permet aux ordinateurs de comprendre et

de reconnaître ce qui entoure la machine grâce à des caméras. Les créateurs ont dû entraîner un ordinateur à reconnaître les corps, les couleurs des habits ainsi que les

motifs portés.

L’expérience se déroulait directement dans la rue, des écrans étaient placés sur les vitrines d’un magasin. Des caméras filmaient alors les passants, et plus précisément

leur style vestimentaire à la recherche d'une “exception". Cette expérience interactive a investi l’espace urbain en faisant de chaque piétons des participants.

Nous pouvons insister sur l’aspect novateur de cette utilisation de l’interaction entre

utilisateur et expérience grâce à l’utilisation de l'intelligence artificielle. Cette technologie permet de nouvelles possibilités en termes de création d’expériences

uniques et surprenantes.

57

4.1.2. Bilan

L’usage des nouvelles technologies numériques, dans les expériences que nous

avons abordées, permettent de placer le spectateur dans une nouvelle position

encore plus active, en opposition à la position passive que l’on retrouve face aux médias traditionnels comme les journaux, la télévision, etc. et donc par extension à

la publicité présente sur ces canaux. Cette participation active est permise par l’usage d’images synthétiques rendues en temps réel, sur lesquelles le spectateur

peut donc avoir un contrôle ou une influence directe grâce à des capteurs (caméra,

micro, tapis de course, écran tactile, caméra de profondeur). Avec les avancées technologiques dans l’informatique, il est aussi possible de rendre disponible des

expériences sur des canaux personnels, comme c’est le cas pour les expériences de DVTK et Resn.

Les nouvelles technologies créent donc des nouveaux “espaces à interventions”45.

L'utilisation des images interactives est fondamentalement liée aux avancées technologiques dans l’informatique. Ces avancées permettent de plus en plus

d’intégration d’inputs des utilisateurs. Ces nouveaux espaces d’interventions servent à créer une expérience qui engage le spectateur émotionnellement en lui permettant

directement d’interagir avec l’image et de captiver son attention. Pour Mitchel46 En

1979, captiver l’attention d’un utilisateur permet de s’inscrire plus durablement dans sa mémoire.

Nous remarquons également que les expériences citées précédemment cherchent toutes à faire naître des émotions diverses et variées chez le participant. La

participation active permet une plus forte influence sur les émotions, qu’elles soient

positives pour la plupart des cas, comme l'émerveillement, l’amusement ou encore l’attachement. Elles peuvent aussi être négatives, pour l’expérience créée par le

studio Resn qui tente de choquer l’utilisateur en le mettant à la place d’une espèce

45 Naivin, Bertrand. « Le numérique a-t-il déjà modifié notre être ? », Nectart, vol. 4, no. 1, 2017, pp. 129-135. 46 Mitchell, A.A. (1979), "Involvement : A Potentially Important Mediator of Consumer Behavior", Advances in Consumer Research, 6, pp.191-196.

58

en danger. L’importance des émotions dans le marketing a depuis longtemps prouvé son efficacité dans un contexte où les caractéristiques rationnelles n’ont plus de

valeurs, notamment avec la multiplication de l’offre mais le peu de renouveau dans la manière de produire les marchandises. Dès 1982, Holbrook et Hirschman47

mettent en avant le caractère expérientiel de la consommation et montrent que le

consommateur est en quête de "Fantasies, feelings and fun” que l’on pourrait traduire par imaginaire, émotions et amusement. Ces émotions permettent de créer

de l’affect d’une personne pour une marque ou un produit. Les cas que nous avons décrits précédemment et les images interactives en général permettent au

consommateur de retrouver ces aspects dans la publicité et la communication

visuelle des marques en y ajoutant une apparence ludique qui permet la captation de l’attention. Cette combinaison entre attention et affect permet de créer du lien à la

fois émotionnel et mémoriel. En effet, le fait de jouer avec un chat virtuel ne donne pas forcément envie d’en acquérir un, ou d’acheter de la paté, mais lorsque la

question se pose, le lien établit va pouvoir influer sur le choix en ayant impacté la

mémoire et les affects. Pour continuer, avec plus d’interactions entre l’utilisateur et l’image, celui-ci

contribue pleinement à la création qui se présente sous ses yeux. Plus cette co-création est forte, plus l’expérience est mémorable. C’est notamment le cas dans

l’expérience proposée par le studio Field pour Nike où chaque participant influe sur

l’image selon son apparence et sa vitesse de course, participant pleinement aux images en face de lui.

Dans plusieurs de ces expériences comme celles créées par Crucial Fx, Bonjour

Lab et Nocomputer, nous retrouvons la notion de multi participation. Cet aspect

donne une nouvelle dimension à ces installations interactives en leur apportant une

approche plus sociale de l’expérience. En effet, le fait de participer à plusieurs peut servir à renforcer le lien avec l’expérience vécue. Nous pouvons faire ici le lien avec

les jeux vidéo multijoueurs où l’action de jouer avec des amis ou même des inconnus en coopération ou non, permet d’obtenir pour le joueur de meilleures

sensations de jeu, plus marquantes, car elles font partie d’une véritable expérience

sociale.

47 M. Holbrook, E. Hirschman, “ The experiential aspects of consumption : consumer fantasies, feelings and fun” dans Journal of Consumers Research, 1982.

59

Nous pourrions aussi évoquer que ces expériences interactives permettent une expérience transitiviste.

Le transitivisme est une notion venant de la psychologie. Défini par J.-F. Allilaire dans le Dictionnaire de Psychologie sous la direction de Roland Doron et Françoise

Parot. Selon lui le transitivisme est un “ensemble de phénomènes pour lesquels la

distinction entre [...] corps propre et espace ambiant, moi et monde extérieur, viennent à s’altérer. [...] En général, précède ou suit la perte de l’espace vécu et de

sa structure d’organisation.” Cette notion appliquée à des cas cliniques en psychologie peut s’appliquer ici dans une moindre mesure. Dans certaines

expériences les créateurs cherchent à effacer la frontière entre monde numérique et

physique. Laissant même le spectateur “vivre” à travers un écran. On retrouve cela avec l’installation de Crucial FX pour Félix où les participants interagissent avec

l’animal en images de synthèse à travers l’écran. Ils réagissent avec quelque chose qui n’existe pas vraiment dans leur espace physique. En portant attention à l’écran le

monde physique s’altère et s’augmente par la présence numérique.

Les expériences interactives peuvent donc venir bouleverser les sens et la façon

dont les spectateurs vont comprendre et réagir à leur environnement. Dans le cas du studio Field pour Nike les créateurs ont tenté de créer un fort sentiment d’immersion

grâce à la mise en scène ainsi qu’avec la sollicitation de tout le corps. On remarque

qu’une forte immersion crée des bouleversements au niveau sensationnel qui pourraient être envisagés comme des sortes d’expériences initiatiques se

rapprochant d’un état de transe. Frédérique Vincent parle d’une renaissance de “l’homo-religiosus48” en évoquant les mondes virtuels. Nous pouvons aussi parler

d’expériences “magiques” dès lors où une multitude de sensations sont sollicitées.

On retrouve ce phénomène souvent lorsqu’une nouvelle technologie est présentée au public par exemple avec L’arrivée en gare d’un train à la Ciotat film réalisé par

Louis Lumière et projeté en 1895 où selon la rumeur les spectateurs quittèrent la salle en panique bluffé par le film. On retrouve bien cet aspect mystique dans cette

anecdote liée à une nouvelle technologie.

48 Vincent, Frédéric. « Transe et réalité virtuelle. L'homo religiosus à l'ère des nouvelles technologies », Sociétés, vol. 111, no. 1, 2011

60

Les individus sont constamment à la recherche d’expériences “magiques” ou d'événements qu’ils ne peuvent pas réellement expliquer. C’est bien le cas avec les

nouvelles images et technologies. On pourrait comprendre plus globalement ces effets en s’intéressant à des notions

déjà bien étudiées dans le monde des arts numériques, il s'agit des phénomènes de

seuil et de présence. La présence, comme expliqué plus haut est pour les médias interactifs et immersifs,

le sentiment ”d’être là” dans l'environnement virtuel expérimenté par l'utilisateur alors qu’il est physiquement à un autre endroit. Le sentiment de présence est une

problématique importante dans le monde de l’art et se traduit par “quelle place a le

spectateur au sein de l'œuvre ?” entre spectateur et participant. On retrouve quand on parle d’images immersives et interactives une sorte de sentiment quasiment

mystique d’être présent dans un monde qui n’est pas le nôtre, exacerbé par le fait de pouvoir interagir dans ce nouveau monde. La présence prend alors une tout autre

dimension avec les images immersives et interactives.

Le seuil est la limite que l’on retrouve au moment du basculement du monde réel vers le monde virtuel qui amène le sentiment de présence. Dans ce basculement on

retrouve un état presque de transe. Un autre point que l’on retrouve avec la dernière installation présentée est l’impact

sur l’espace urbain que peut avoir un tel type d’expérience. La communication

visuelle des marques a depuis longtemps envahi l’espace urbain. À tel point qu’elle est souvent considérée comme de la pollution visuelle. Un des moyens pour

renouveler cette publicité est d'utiliser la technologie et de faire participer les passants par le biais de l’image interactive. C’est le cas de l’installation de

NoComputer pour New Balance. Pour Julieta Leite, l'augmentation technologique

dans la ville transforme notre rapport avec celle-ci. Les contenus numériques “ nous aident à construire d’autres formes de perception dans l’espace sans forcément

provoquer la rupture des canaux d’interaction sociale.” Ils peuvent “ainsi amplifier nos perceptions sensorielles et nous faire accéder à d’autres formes de spatialité,

au-delà de nos territoires localisés49.” Les contenus interactifs permettent donc de

redécouvrir notre environnement, par exemple redécouvrir une façade d’un magasin différemment ou encore dans le cas de l’expérience de Crucial FX pour Félix : voir

49 Leite, Julieta. « Médiations technologiques dans l'espace urbain contemporain », Sociétés, vol. 111, no. 1, 2011

61

différemment la gare et son aspect stressant. Ce changement de l’espace est permis par une augmentation et non par une transformation où l’on couperait tous les

repères physiques des participants. Nous pouvons alors remarquer deux approches différentes dans les expériences employant l’image interactive. Les expériences où

sont recherchées la plus grande immersion possible et celles qui cherchent à

augmenter l'environnement.

En résumé, les nouvelles technologies permettent une meilleure interactivité entre l’expérience et l’utilisateur afin de pouvoir faire ressentir des émotions plus fortes à

ce dernier. Tout en pouvant transformer ou augmenter son espace. C’est le principe

de l’attention naturelle. De cette relation découle une co-création de l’expérience, l’utilisateur devient un acteur actif plus impliqué dans sa relation avec la marque.

Une des ouvertures possible est aussi l’augmentation du quotidien avec la création d’expériences qui pourraient prendre place au sein de l’espace urbain. Mais aussi la

possibilité de dématérialiser ce genre d’expérience en les rendant accessibles

partout comme avec la réalité augmentée et les sites web.

62

5. Présentation de la partie pratique de mémoire

Le Louvre est un musée national français qui prend ses fonctions après la révolution

française en 1793. Ce musée présente les collections de la couronne au public dans l’optique de l’universalité de l’accès à la culture, bien qu’on ne parle ici que de

culture légitime (bourgeoise). Aujourd’hui ce musée est devenu l’un des lieux les plus visités de France il en est devenu un symbole important et par extension

symbole de l'État français, au-delà du monde de la culture. Dans le contexte actuel

de contestation du pouvoir constant j’ai choisi de revisiter ce symbole pour lui attribuer virtuellement une portée sociale.

Le sujet abordé est principalement les violences policières, dans un environnement où l'État peine à tenir son autorité en utilisant la police plus comme forces de l’ordre

que comme gardiens de la paix.

J’ai choisi de travailler sur une installation interactive virtuelle qui est une solution appropriée à la crise pandémique actuelle. Elle prendra la forme d’une application

pour smartphone pour pouvoir être utilisée chez soi et non pas directement dans le musée plus difficilement accessible dû aux nouvelles normes sanitaires. La

représentation du musée du Louvre que j’ai créée est volontairement partielle et

altérée, elle est un miroir étrange qui représente notre propre réalité où beaucoup de valeurs sont perturbées.

Mon but à travers la réalisation de cette expérience est de donner une vocation plus militante à ce symbole de l’État et de le détourner. Le musée du Louvre est né de la

révolution française, je cherche donc à lui redonner cette vocation sociale.

Dans un premier temps je vais présenter quelques expériences interactives liées à

mon sujet de partie pratique de mémoire. Cela nous permettra aussi de voir de

63

nouveaux horizons pour ces dispositifs, que ceux exposés dans mon mémoire. Ensuite, j’expliquerai le protocole de la création de l’expérience.

5.1. Interactivité et musée

Depuis les années 2000-2010, l’image interactive a fait son entrée dans les musées

sous diverses formes. Cela peut aller du simple écran interactif, présentant des

informations de façon dynamique, que l’utilisateur aura choisi d’explorer, comme cela peut être le cas dans de plus en plus de musées. Ou bien, avec un exemple

plus concret, Le Louvre utilise depuis 2013 des consoles Nintendo 3DS, qui servent de guides virtuels. L’application fonctionne en réalité augmenté et permet, lorsque

l’on scanne une œuvre avec la caméra de la console, d’obtenir des informations

complémentaires. L’image interactive au sein de l’espace muséal peut donc devenir un atout intéressant afin de les parcourir d’une façon plus ludique et de toucher un

plus large public. Si l’on fait le parallèle avec les domaines de l’expérience de Pine et Gilmore, évoqués en première partie, nous pourrions rattacher ce type de dispositif

au domaine de l’éducation. L’intérêt est ici de faciliter l’absorption de l’information en

participant activement. Le musée est aussi la place d’expériences plus amusantes comme celle proposée

par le studio Mosquito, studio spécialisé dans les expériences liées aux musées et au monde de la culture. En 2011, ils ont créé Pupp’Art, installation interactive

permettant au participant d’incarner plusieurs personnages issus de la peinture,

grâce à une reconnaissance des mouvements permise par la Kinect.

64

Image issue du site de Mosquito50

Cette expérience a eu lieu dans plusieurs musées en France, notamment au musée

des Arts Décoratifs et au musée du Quai Branly. L’installation permet de rendre les collections muséales plus vivantes et de former un lien avec le spectateur qui

participe directement à l'œuvre ainsi modifiée.

Outre l’aspect ludique et amusant que peuvent avoir ce type de dispositif, on

retrouve chez certains artistes une volonté de se réapproprier l’espace grâce à l’image interactive.

C’est le cas pour “MoMar”51, une expérience interactive clandestine en réalité augmentée, se déroulant au sein du musée d’art moderne de New York. Le projet

est né en 2011, amorcé par Sander Veenhof et Mark Skwarek, deux artistes

travaillant sur le numérique et les nouvelles technologies. Le concept étant d’utiliser la réalité augmentée pour remplacer des œuvres des collections permanentes par

50 http://www.mosquito.fr/IMG/jpg/img_7563-resp960.jpg?1462123881 51 http://momar.gallery/about.html

65

d’autres images créées par l’occasion. Le but des créateurs est de se réapproprier l’espace du musée et le rendre plus accessible en faisant des spectateurs, des

acteurs à part entière. Le projet est Open Source et ce veut comme une réelle volonté de “hack” de musée, il prend une véritable dimension de démocratisation

revendiquant l’art pour tous et non pas seulement pour une élite.

Extrait de “MoMar” par Damjanski52

À travers cette expérience, nous pouvons voir que l’image interactive peut aussi

servir pour affirmer une réappropriation des lieux communs en passant par le virtuel. Cette réappropriation peut passer par une augmentation du réel mais aussi en s’en

emparant, comme j’ai tenté de le faire dans ma partie pratique de mémoire.

52 https://www.damjanski.com/

66

5.2. Protocole

Afin de recréer l'environnement du Louvre, j’ai choisi d’utiliser la photogrammétrie. Cette technique consiste à prendre une série de clichés d’un objet ou d’un

environnement avec de multiples points de vue. Un logiciel applique ensuite une série d'algorithmes permettant de recréer un objet en trois dimensions à partir

d’images en deux dimensions. Les logiciels utilisent essentiellement la parallaxe qui,

en optique, désigne l’angle entre deux axes optiques visant le même point. J’ai alors réalisé, dans le Louvre, plusieurs prises de vues afin de reconstituer

quelques espaces qui pourraient être reconnaissables. Notamment le tableau d’Eugène Delacroix, La Liberté guidant le peuple qui est une toile qui possède une

portée politique avec son sujet un soulèvement populaire. Pour la reconstruction j’ai

utilisé un logiciel dédié à la photogrammétrie Open Source du nom de Meshroom. La capture d'écran suivante est directement le résultat de la computation des données

issus des images. Les carrés représentent les différents points de vue et positions des photographies réalisées.

67

80 images ont été utilisées pour la reconstruction du modèle avec 15 positions en

arc de cercle autour du tableau. A chaque position j’ai effectué au moins 6 clichés à

différentes hauteurs. Pour la bonne réussite de l'opération il faut avoir au moins 60% d’”Overlapping” c’est-à-dire que pour toutes les images, il faut au moins avoir 60%

de l’image qui se superpose avec la précédente.

68

Exemple des images utilisées pour le scan d’une zone du Louvre.

Le protocole n’a pu être très strict lors du scan des zones du Louvre à cause de

l’affluence dans le musée ainsi que l’impossibilité d’utiliser un trépied.

Après la photogrammétrie, il a fallu importer les objets 3D dans un moteur de rendu en temps réel, afin de pouvoir créer l’application pour smartphone. J’ai choisi

d’utiliser celui d’Unity car pour d’autres projets j’avais déjà eu l’occasion de l’utiliser.

En addition à Unity j’ai utilisé ARcore qui est un plug-in d’Unity créé par Google

permettant d’exploiter les fonctionnalités des smartphones sous Android en terme de

réalité augmentée, par exemple la reconnaissance de plans et de surfaces pour placer les objets 3D. La gestion des performances est une question très importante

quand on gère une application en temps réel. Il faut réussir à faire des compromis

dans la qualité et la rapidité. Si le processeur est surchargé, la fréquence d’images en pâtira, c’est un facteur très important dans la création d’une meilleure immersion.

Les modèles en trois dimensions issus de la photogrammétrie ne disposent pas

69

d’une topologie très propre. On retrouve surtout un grand nombre de polygones qui, pour le calcul de l'éclairage et pour le rendu à l'écran, vont énormément solliciter le

processeur. Deux solutions sont alors possibles : faire de la retopologie, qui consiste à refaire la structure du modèle 3D. Cette technique prend énormément de temps.

La deuxième solution revient à trouver les réglages permettant de réduire l’impact de

l’application sur le processeur. Les principaux réglages que j’ai utilisés concernent la compression de la texture, la gestion des ombres et de l’éclairage, mais également

le niveau d’antialiasing qui permet de réduire les artefacts qui peuvent apparaître à l’écran pour les petits détails.

En ce qui concerne le son, j’ai enregistré plusieurs pistes sonores qui seront

spatialisées. Ces pistes sonores ont été enregistrées lors de différentes visites au Louvre. Le son permet une meilleure immersion pour le participant car en addition à

la vue il coupe le spectateur de son environnement. Pour finir, j’ai constitué un corpus d’images issues de manifestations montrant des

violences policières. Ces images très dramatiques s’accordent bien avec le tableau

de Delacroix, on retrouve une certaine théâtralité dans la mise en scène de ces images qui pourraient faire penser à des œuvres classiques.

Cette partie pratique est pour moi l’occasion de tester les aspects théoriques qui ont

été exposés dans le fil du mémoire. Je cherche à immerger le spectateur pour le

rendre plus conscient des problématiques actuelles. Le contraste entre le symbole classique et les images violentes est présent pour tenter de choquer les participants

et les amener à réfléchir.

70

Conclusion  

Comme nous l’avons vu tout au long de ce mémoire, les images interactives sont tout d’abord plurielles et avec de nombreuses caractéristiques communes.

Réunissant la réalité virtuelle, le web, la réalité augmentée et les installations

interactives, ces différents nouveaux supports sont de formidables outils pour la communication visuelle des marques. Nous avons donc cherché à comprendre

pourquoi il est pertinent de créer ce type d’expériences aujourd’hui. Tout d’abord, avec l’image interactive on cherche notamment à faire participer les individus, à les

rendre actifs, dans un contexte où l’expérience de la marque est de plus en plus

collaborative. Cette collaboration tend à engager, plus fortement, l'utilisateur envers une marque, alors que celles-ci peinent à se différencier dans leurs aspects

rationnels, c'est-à-dire dans la qualité de leurs produits. Les marques jouent donc sur les émotions des spectateurs pour créer de la valeur et de la confiance à travers

un storytelling de plus en plus transmédia. Le fait de rendre l’utilisateur actif, de

l’immerger, de le rendre présent au sein de l’expérience, permet de toucher directement à ses émotions, et ce plus naturellement que lors d’une expérience

passive, comme nous l’avons évoqué avec les mécanismes de l’attention. Les émotions peuvent donc former un affect envers une marque et l’attention permet

d’imprimer la mémoire.

Les avancées technologiques permettent de rendre accessible ces expériences au plus grand nombre d’individus possible en passant par des canaux personnels,

comme les ordinateurs et les smartphones. Cela passe par la constante démocratisation des appareils électroniques et de leurs améliorations perpétuelles

en termes de capacité de calculs. Cette évolution constante, permet à de petites

structures comme les studios de création, spécialisés dans le domaine, de voir le jour et de créer de plus en plus. Les traditionnelles agences de communication n’ont

sans doute pas encore acquis les codes de cette nouvelle création et de sa culture. Ces changements demandent aux acteurs une grande polyvalence dans les outils

techniques. Comme nous l’avons vu avec l’exemple de BonjourLab ou le studio doit

71

faire beaucoup d’éducation sur les outils vis-à-vis de leurs clients. Les expériences mettant en scène de l’image interactive pourraient sans doute s’améliorer du côté de

l’immersion. Il existe déjà des pistes avec des accessoires permettant de ressentir un retour d’effort lors de la manipulation d’objets par exemple. Il reste aussi à

inventer de nouvelles interfaces pour faire le lien entre monde réel et virtuel ou en

tous cas des améliorations. La Kinect de Microsoft a déjà une nouvelle version : la Kinect Azure. Elle possède une meilleure résolution pour une meilleure précision,

mais elle est aussi associée à l’intelligence artificielle pour plus de puissance et de rapidité de calcul.

L’utilisation de l’image interactive pour la communication visuelle des marques pose

encore beaucoup de questions auxquelles il faut encore trouver des réponses. Aujourd’hui, cette utilisation dans le domaine du marketing reste marginale de par

ses aspects techniques différents par rapport à une photographie ou une vidéo, des

moyens conséquents à mettre à disposition pour la mise en place au niveau technologique, acquérir les bons outils, les bonnes connaissances, mais aussi, à un

niveau logistique et infrastructures. Mais elle pourrait prendre une plus grande place, notamment dans l’espace urbain pour être encore plus utilisées et mises en avant.

Ces expériences gardent pour le moment, leur aspect magique de par leurs

nouveautés. Cela restera-t-il ainsi, avec la modernisation et la popularisation croissante des nouvelles technologies ?

Donnons l’exemple du cinéma 3D, il y a une dizaine d’années, il était peu compris par le public et marginalisé, nous imaginions pourtant un essor bien plus important

de celui-ci. Aujourd’hui les projections 3D sont certes plus communes mais n’ont pas

remplacé nos projections classiques. Il peut aussi exister une peur du changement et surtout du remplacement par les

nouvelles technologies, qui est notable dans l’esprit commun. Cette appréhension est aussi explicable par une diabolisation mise en scène dans les romans et films de

science fiction. Ces nouveaux moyens de communication et d’expression nous

fascinent et en même temps viennent nourrir cette peur d’un monde trop futuriste et peu humaniste de ce nouveau meilleur des mondes. Il y a dix ans, voir des vidéos

publicitaires sur des panneaux dans les transports en communs était anecdotique, aujourd’hui c’est pourtant devenu une norme.

72

On remarque déjà une limite : celle de l’inégalité de l’accès au numérique. D’importance considérable, lorsqu’une grande partie des expériences interactives

peuvent se dérouler sur un smartphone ou un ordinateur personnel connecté à internet, auxquels presque 17% de la population n’ont pas accès53. La seconde

limite que nous pouvons énoncer est celle de l’abordabilité de ces nouvelles

technologies, par les connaissances qu’elles requièrent mais aussi par les moyens financiers et techniques qu’elles demandent. En effet, les 5 cas que nous avons

étudiés restent des exceptions et sont abordés par des marques issues de grands groupes.

Cependant il y a une certitude, celle que ces nouveaux dispositifs sont une réelle avancée en termes de publicité, de communication et d’art en général. Ils

regroupent, comme nous l’avons étudié, toutes les caractéristiques nécessaires pour marquer et engager l’utilisateur, qui interagit directement avec un concept, un objet,

un espace ou encore une marque.

Si nous nous intéressons au cas de la communication publicitaire par exemple, nous assistons à une désensibilisation croissante de l’audimat des publicités. Nous en

consommons chaque jour de plus en plus de pub et ce malgré nous, nous avons appris à ignorer ce flux constant d’informations non désirées. La démarche

d’impliquer le consommateur par sa propre volonté est donc une avancée énorme

pour l’avenir de la communication. Le consommateur ne subira donc plus la publicité mais y participera.

Ce même schéma est aussi bénéfique pour les milieux artistiques et associatifs et apporteront, selon moi un, un réel changement dans la manière que nous avons

d’aborder ces milieux. Ils deviendront plus ludiques et accessibles sans perdre leur

essence. Pour finir, dans ma partie pratique de mémoire, j’ai choisi de montrer que les

nouveaux médias interactifs, peuvent aussi être le lieu pour de nouvelles contestations, faisant fi des obligations actuelles tout en permettant une propagation

importante, afin de créer un contrepoids à l’approche mercantile abordée tout au

long de ce mémoire.

53 https://www.vie-publique.fr/en-bref/271657-fracture-numerique-lillectronisme-touche-17-de-la-population

73

Bibliographie 

Marketing : M. Holbrook, E. Hirschman, “ The experiential aspects of consumption : consumer fantasies, feelings and fun” dans Journal of Consumers Research, 1982.feelings and fun” dans Journal of Consumers Research, 1982. J. Pine, Gilmore. J, The Experience Economy, Harvard Business School Press, Boston, 1999. Lasalle D., Britton T.A, Priceless : Turning Ordinary Products into Extraordinary Expriences, Harvard Business School Press, 2003. Christian Salomon, “Une machine à fabriquer des histoires” Le Monde Diplomatique, Novembre 2006 Jenkins H. Convergence culture: Where old and new media collide. New York: NYU press, 2006. M. Mercanti-Guérin, « Analyse des réseaux sociaux et communautés en ligne : quelles applications en marketing ? », Management & Avenir, vol. 32, no. 2,, pp. 132-153, 2010 R. Ohme, M. Matukin et B. Pacula-Lesniak, “ Biometric Measures for Interactive Advertising Research”, Journal of Interactive Advertising. Mars 2011 S. Magne, “Marque et Marketing : Construire la personnalité d’une marque. Dans Les métamorphoses de la marque, presse de l’université de Toulouse 1 Capitole, dir. Jacques Larrieu 2011 Antoine Dubuquoy, “Jeu vidéo et publicité, deux univers incompatible ?”, Géoéconomie, éditions Choiseul, 2012. Binbin Yang Miltiadis Zisiadis, Transmedia marketing: strengthening multiplatform user participation through storytelling IT Management, 2014. C. Roederer, M. Filser, Le marketing expérientiel : vers un marketing de la cocréation. magnard-Vuilbert, 2015.

74

Arts et arts numériques : É. Granjon, Laurent Lamarche, “Immersion et interaction dans les arts : de l’expérience virtuelle à la réalité virtuelle”, Arts, technologies et relations hybrides, n°236, Spirale. 2011. F. Popper, Art--Action and Participation, New York University Press, 1975 L. Diouf, Anne Vincent, Anne-Cécile Worms, Les Arts Numériques, Dossier du CRISP, 2013

Médias interactifs : I.Sutherland "A head-mounted three dimensional display”, Proceedings of AFIPS 68, pp. 757-764 1968 F. Vincent, « Transe et réalité virtuelle. L'homo religiosus à l'ère des nouvelles technologies », Sociétés, vol. 111, no. 1, 2011 J. Leite, « Médiations technologiques dans l'espace urbain contemporain », Sociétés, vol. 111, no. 1, 2011 B. Drouillat, Le design Interactif, du web design aux objets connectés. Dunod, 2016 Levy, F., Rautureau, G. & Jouvent, R., La thérapie par la réalité virtuelle dans la prise en charge des troubles anxieux. L'information psychiatrique, volume 93(8), 660-663. 2017 B. Naivin, « Le numérique a-t-il déjà modifié notre être ? », Nectart, vol. 4, no. 1, 2017, pp. 129-135. P. Fuchs, Théorie de la réalité virtuelle, Les véritables usages. Presses des Mines. 2018.

Logiciels et Hardware : Z. Zhengyou, “Microsoft Kinect Sensor and Its Effect”, in IEEE Multimedia, Février 2012 L. Manovich, Software Takes Command, Bloomsbury Academic, 2013 E. Schrijver, “Culture Hacker et peur du WSIWG” Back Office, Traduit de l’anglais par Redrick Shouhart, 2017

75

Psychologie : Th. Ribot, “Le mécanisme de l’attention : I. - L’attention spontanée”, Revue Philosophique de la France et de l'Étranger, p. 378-394, Presses Universitaires de France, Juillet-Décembre 1887 R. Doron, F. Parot, Dictionnaire de psychologie, Presses Universitaires de France, 1991. A.Damasio, Le sentiment même de soi, Corps, émotions, conscience, Odile Jacob, 1999.

Annexes

76

Outils : Processing : Processing est un environnement de développement orienté vers les

arts graphiques. Il a été créé par Ben Fry et Casey Reas en 2001, alors étudiants au MIT. Le logiciel et le langage de programmation sont Open Source. Les utilisateurs

ont accès à une énorme liste de librairie permettant de rajouter de nouvelles

fonctionnalités. Processing permet de travailler aussi bien avec des images en deux dimensions que des objets en trois dimensions. Comme pour beaucoup d’outils

numériques Open Source une grande communauté se réunit au sein de forums et des utilisateurs participent chaque jours à l’évolution du programme.

Arduino : Arduino rassemble plusieurs éléments. D’un côté il y le langage Arduino et

son environnement de développement Arduino IDE. De l’autre il y a les boards Arduino : des microcontrôleurs programmables pouvant lire des “inputs” numériques

et analogiques pour effectuer tout un tas d’actions. Le projet Arduino est également

open source et l'environnement de développement est basé sur celui de Processing. Le projet à été lancé par Massimo Banzi en 2005. Arduino permet de faire le lien

entre le monde numérique et le monde physique en réunissant le côté électronique et numérique en une seule solution abordable et libre.

OpenCV : OpenCv est une bibliothèque graphique libre développée par Intel originalement parue en 2000 spécialisée dans le traitement d’images, la computer

vision et le machine learning, qui est le fait d'entraîner une machine à exécuter des

tâches en autonomie. Une bibliothèque graphique est un ensemble de fonctions

77

pouvant être incorporées à un programme. OpenCv est compatible avec trois des plus importants langages de programmation actuels : Python, Java et C++. Cette

librairie a d’abord été utilisée à des fins scientifiques mais quelques créateurs s’en sont emparés pour créer des expériences interactives. Elle permet notamment, par

le biais d’une caméra et de l’intelligence artificielle, de reconnaître des parties du

corps ou des objets, de recréer une représentation en trois dimensions d’une image ou encore d’estimer des distances.

OpenFrameworks : OpenFrameworks fut fondé par Zachary Lieberman, The Watson et Arturo Castro en 2005. C’est une boite à outils libre orientée vers la création

visuelle basée sur le langage C++. L’intérêt est, comme pour Processing, d’offrir au

designers une solution simple pour appliquer la programmation à la création graphique. L’aspect communautaire est aussi un des points similaires avec

Processing. OpenFrameworks applique une philosophie du “Do it with other”. La contribution des utilisateurs est fortement encouragée. Grâce à sa base de C++

OpenFrameworks est un outil plus puissant que Processing, il est d’ailleurs possible

de travailler avec OpenCV à l’intérieur de OpenFrameworks.

PureData / Max-msp : Je ne présenterai que brièvement ces deux logiciels, car ils ne sont pas utilisés pour l’image principalement. PureData et Max sont plutôt dédiés à

la synthèse sonore. Max est apparu en premier et c’est un des développeurs qui a

par la suite fondé PureData qui lui est un logiciel Open Source. Ce sont tous les deux des logiciels de programmation graphique. Ils utilisent des modules sous forme

de boîtes représentant les fonctions qu’il faut lier entre elles pour obtenir des résultats. Ces deux logiciels permettent une création sonore programmable à

souhait et évoluant en autonomie. Les créateurs d’expériences interactives qui

emploient du son, utilisent l’un de ces deux logiciels majoritairement.

Unity / Unreal Engine : Unity et Unreal Engine sont tous deux des moteurs 3D temps réels dédiés majoritairement aux jeux vidéo. Ce sont des outils très puissants

permettant de réaliser des applications aussi bien pour le web, la réalité augmentée,

virtuelle que pour des installations. La popularisation de ce type d’outils s’est faite grâce à l'amélioration des ordinateurs permettant de travailler avec des images en

trois dimensions en temps réel, c'est-à-dire que l’ordinateur calcul, dans un temps imperceptible, toutes les composantes des images qui sont affichées à l’écran.

78

Contrairement au rendu pré-calculé qui implique un temps de rendu plus ou moins long, ces deux logiciels ne sont pas libres mais viennent avec une version gratuite

selon la portée des applications et les bénéfices des créateurs. Ils jouissent d’une grande communauté, sans doute attirée par la gratuité des outils. Ils sont ce qui se

rapproche le plus d’une solution WYSIWYG mais la programmation devient

nécessaire lorsqu’il est question d'interactions.

79