REPUBLIQUE ALGEIENNE DEMOCRATIQUE ET POPULAIRE Ministère de l’enseignement supérieur et de la recherche scientifique

Université Larbi Ben M’Hidi Oum El Bouaghi Faculté des sciences de la nature et vie

Département d’informatique et mathématique

MEMOIRE Présenté pour l’obtention de diplôme

Master en informatique Option Vision Artificielle

T h è m e

L A R É A L I T É A U G M E N T É E & Incrustation d’objets virtuels dans une séquence vidéo

Dirigé par: Mme. Zouad Sara Groupe de travail: Admam Mehdi Boudiba Fouzi

Année universitaire 2015/2016

Résumé

Concernant plusieurs technologies actuelles dans la vision par ordinateur, la réalité augmentée est vraiment un domaine très vaste et compliqué mais aussi prometteur. Notre objectif était l’implémentation d’une application de réalité augmentée permettant l’incrustation d’objets virtuels 2D dans une séquence vidéo. Notre travail futur touche essentiellement à l’amélioration des résultats obtenus, pour l’insertion d’objets 3D temps réel.

Personnellement, la réalité augmentée est un domaine passionnant parce qu’elle peut faire ce que je ne pouvais pas imaginer auparavant. Jouer aux échecs avec une personne virtuelle, visiter un ancien château qui a été détruit, choisir le design de sa maison ; cela devient possible avec la réalité augmentée.

Mot clés: la réalité augmenteé, la réalité virtuel, etalon, projection, incrustation, objet,

augmentation.

Remerciements

C’est avec l’aide de DIEU tout puissant que ce modeste mémoire

a pu être réalisé, Dieu qui nous a donné foi raison et lucidité.

Je Tiens à remercier Mon encadreur, Mdm Zouad Sara, de

m’avoir orienté et offert l’opportunité de travailler sur ce

projet. Je la remercie aussi pour son grand soutien

pédagogique, scientifique et moral, pour ses conseils, ses

suggestions et ses encouragements.

Je Tiens à remercier et saluer tous les responsables

de département mathématique et informatique.

JeTiens également à remercier tous ceux et celles qui

,de Près ou de loin, ont contribué de à l’aboutissement

de ce mémoire.

Mehdi et Fouzi

Dédicaces

e dédie ce modeste travail, que le bon Dieu nous a énormément

aidé à faire,

A mes chers parents, pour leur patience et leur soutien pendant

toute ma vie, ce qui n’est pas une mince affaire, dont le rêve était

de me voir toujours réussi

Mes chers parents je vous dis merci parce que tout simplement

sans vous, sans votre conseils et amour, rien de tout cela n’aurait

pu être réalisé

A mon chèr frère :Ziad pour sa présence dans ma vie

A mon petit neveu Saad pour la joie qu’il me procure

et l’ambiance qui crée dans la maison

A mes ancêtres que Dieu me garde

A tous mes oncles et tantes sans oublier la famille Admam

Et Boudiba

A toutes les personnes que j’ai eu la chance d’avoir comme amis,

et frères :

Ziad ,Houssem , Imad ,Taki , Saddam,Fethi,

Marwan, Akram ,bilal, Dja3far

Et tout le personnel de Cyber walid.

A tous mes amis de l’université et toute ma promo

A tous ceux qui sont venus à mon aide de près ou de loin

ET tous ceux que j’ai oubliés et que mon cœur N'oubliera

jamais.

Mehdi et Fouzi

La table des matières

REMERCIMENTS 1

TABLE DES MATIERES 2

TABLE DES FIGURES 3

INTRODUCTION GENERALE 9

PARTIE 1 : ETAT DE L’ART 11

CHAPITRE 1 : GENERALITES SUR LA REALITE VIRTUELLE / REALITEAUGMENTEE

11

1.1 – INTRODUCTION 11

1.2 - LA REALITE VIRTUELLE 11

1.2.1- Définition 11

1.2.2- Les composants d’un système de réalité virtuelle 12

1.2.3- Les moyens de la réalité virtuelle 12

1.2.4- Les applications de la réalité virtuelle 13

1.2.5- Les inconvénients de la réalité virtuelle 14

1.3 - LA REALITA AUGMENTEE 15

1.3.1- Définition 15

1.3.2- Motivation 16

1.3.3- Les différentes approches de la réalité augmentée 16

1.3.3.1- Augmenter l’utilisateur 16

1.3.3.2- Augmenter l’objet 17

1.3.3.3- Augmenter l’environnement 17

1.3.4- Les composants d’un système de réalité augmentée 17

1.3.4.1- Générateur de scène 17

1.3.4.2- Système de piste 17

1.3.4.3- Système d’affichage 17

1.3.5- Les dispositifs d’affichage de la réalité augmentée 18

1.3.5.1- Optique voir à travers HMD 18

1.3.5.2- Vidéo voir à travers HMD 18

Comparaison entre la méthode vidéo et la méthode optique 19

1.3.5.3- Système rétiniens virtuels 20

1.3.5.4- Affichage de projection 20

1.3.5.5- Technologies émergentes 22

1.3.6- Les domaines d’application 22

1.3.6.1- Effets spéciaux 22

1.3.6.2- Education 23

1.3.6.3- Marketing 23

1.3.6.4- Art numérique 25

1.3.6.5- Assistance et aide à la décision 25

1.3.6.6- Sécurité et défense 27

1.3.6.7- Médecine 28

1.3.6.8- Affaires 28

1.3.6.9- Industries 29

1.3.6.10- Annotation 30

1.4 - RV & RA Différences et points communs 30

1.5 - Y a-t-il un avenir pour la réalité augmentée 31

1.6 – Conclusion 31

CHAPITRE 2 : LES PROBLEMES LIES A LA REALITE AUGMENTEE 32

2.1- Introduction 32

2.2- Traking 32

2.3- Recalage 33

2.4- Photoréalisme 34

2.4.1- Gestion de l’occlusion 34

2.4.2- Cohérence d’éclairage 35

2.5- Conclusion 36

PARTIE 2 : APPROCHE PROPOSEE

37

CHAPITRE 1 : CONCEPTION D’UN SYSTEME DE REALITE AUGMENTEE 37

1.1 – Introduction 37

1.2 - En quoi consiste l’augmentation d’une séquence vidéo? 37

1.3 - Description du système 38

1.3.1- Phase de suivi 41

1.3.1.1- Principe et notation 1.3.1.2- Aperçu sur les réseaux de neurones 1.3.1.2.1- neurone formel 1.3.1.2.2 réseaux de neurones

41 43 43 44

1.3.1.2- Etape OFF-LINE 45

1.3.1.3- Etape ON-LINE 48

1.3.1.4- Résultats obtenus dans la phase du suivi 49

1.3.2- Phase d’incrustation 51

1.3.2.1- Le cas 2D 51

1.3.2.2- Solution logicielle 54

1.4- Modélisation du système 55

1.4.1- Spécification des besoins 55

1.4.2- Spécification des composants 56

1.4.2.1- Module de suivi 56

1.4.2.2- Module d’incrustation 56

1.4.3- Diagramme de flux de données 56

1.4.4- Architecture globale du système 57

1.5- Conclusion 57

CHAPITRE 2 : REALISATION DU SYSTEME 58

2.1- Introduction 58

2.2- Les outils 58

2.2.1- l’outile java 58

2.2.1.1- Les avantages 58

2.2.1.2- Les inconvénients

59

2.2.2- Environnement de développement netbeans 59

2.2.3- Open computer vision (OpenCV) 59

2.2.3.1- Fonctionnalités 2.2.4 - OpenGL (Open Graphics Library) 2.3 - Exemple de codes 2.3.1 - Calibration de caméra 2.3.2 – Suivi 2.3.3 – Augmentation 2.4 – Conclusion

60 60 61 61 61 62 63

CONCLUSION GENERALE 63

REFERENCES 64

La table des figures

Fig. n° Titre Page

1 Image médicale augmentée simulée 9

2 Le continuum réel / virtuel 10

3 Le casque de vision stéréoscopique 13

4 Les gants de données (data gloves) 13

5 Optique Voir-À travers HMD 18

6 Vidéo Voir-À travers HMD 19

7 Optique HMD 19

8 Technologie d'écran 22

10 Jeu de morpion en réalité augmentée 24

11 Le système ARIS 25

12 Publicité sur un jeu du football 25

13 Étude d'impact d'un projet d'illumination du Pont Neuf 27

14 Le système ARCHEOGUIDE 27

15 Formation militaire 28

16 La RA peut aider au guidage d'une biopsie par imagerie ultrasonore 29

17 RA s'est appliqué au travail d'entretien 30

18 Fenêtre affichée sur les objets réels spécifiques 31

19 L’objet réel occultant grisé sur l’image 36

20 Exemple de rendu avec ombrage 36

21 Illustration de la problématique de la composition entre réel et virtuel 36

22 Schéma général du processus d’augmentation 40

23 Exemple d’un objet virtuel à insérer / objet réel à augmenter 41

24 La région de référence contenant le motif à suivre dans la 1ere image de la séquence vidéo

43

25 Les perturbations possibles sur la région de référence 44

26 Représentation d'un neurone formel 45

27 Réseaux de neurones 46

28 Vue globale de la méthode proposée 47

29 Apprentissage du réseau de neurones 48

30 Résultat avec des entrées normalisées 49

31 Résultat avec les mêmes entrées non normalisées 49

32 étape on-line 50

33 Quelques images du suivi de la région 51

34 Systèmes de coordonnées de la caméra et du modèle 53

35 Schéma (Spécification des besoins) 56

36 Diagramme de flux de données 57

37 Architecture globale du système 58

38 Architecture de OpenCV 60

39 40 41 42 43

Un traitement de pipeline 3d exécution d’application Bouton Fichier Le Bouton augmentation l’augmentation

62 63 64 65

Introduction générale

La famille des médias numériques poursuit sa croissance et prend de l’étoffe. Alors que les technologies hypertextuelles et hyper médiatiques se développent grâce à la forte poussée de l’Internet et des supports inscriptibles de type cédérom et DVD, d’autres technologies, telles que la réalité virtuelle et la réalité augmentée, avancent de façon plus discrète. Cependant, avec la rencontre entre environnements virtuels, agents virtuels et intelligence artificielle, c'est une véritable révolution qui se prépare au service de l'éducation et de la formation. Des possibilités d’usage nouvelles et particulièrement intéressantes pour les systèmes d’apprentissage sont en émergence. Moins conceptuels que les hypertextes, et plus intuitifs que les systèmes informatiques classiques, les environnements virtuels développent une interactivité proche de l’activité sensori-motrice qui fait l’essence du quotidien de l'être humain.

Fig.1 - Image médicale augmentée simulée

Au cours des dix dernières années, un nombre considérable de travaux a porté

sur les questions de réalité virtuelle et de réalité augmentée. Comme l'écrit Michael

Dertouzos (M. L. Dertouzos (1997). What will be : how the new world of

information will change our lives. HarperEdge, New York.) : " L'idée essentielle

dans les notions de réalité virtuelle et de réalité augmentée est que l'ordinateur au

moyen de casques et autres gadgets perfectionnés (…), sait où nous sommes et dans

quelle direction nous regardons. L'ordinateur présente à nos yeux, à nos oreilles, et

à nos autres sens ce que, de notre place privilégiée, nous verrions dans le monde

virtuel qu'il simule - un autre aspect du monde réel ou un monde imaginaire, en

tous cas fabriqué, qui n'existe qu'à l'intérieur de l'ordinateur. " (1997, p. 68). Selon

cette description, nous pouvons imaginer une gradation

dans les degrés de réalité, qui va du monde réel à un environnement totalement

virtuel grâce à un affinement progressif de nos facultés sensorielles suscitées par les

programmes informatiques.

Fig.2 - Le continuum réel / virtuel [41] .

Ce schéma présente la réalité augmentée comme un exemple de réalité mixte, c'est-à-dire des applications intermédiaires, où la technologie ne crée pas un monde totalement nouveau comme pour la réalité virtuelle, mais transforme uniquement certains aspects du monde réel. Une partie de notre projet consiste à traiter le suivi d'objet planaire. Notre objectif se concentre essentiellement sur l'augmentation d’une scène filmée c-à-dire générer en parallèle à celle-ci une autre séquence dans laquelle existent des objets virtuels intégrés , en conséquence la séquence regardée ne sera plus constituée d’une scène filmée mais de nouveaux objets intégrés avec un rendu qui ne permet pas de les discerner des objets réels. Organisation du mémoire: Notre mémoire est organisé en 2 grandes parties définies comme suit: 1ere partie: état de l'art Cette partie aborde 2 chapitres, le premier présente une vue d'ensemble sur la réalité augmentée, le second cite les problèmes de la réalité augmentée et leurs résolutions. 2eme partie: approche proposée Cette partie aborde à son tour 2 chapitres, le 1er décrit la méthode conceptuelle utilisée et le second explique la réalisation du processus d'incrustation l'objet virtuel dans la séquence vidéo. Pour terminer nous concluons par un bilan de ce qui a été développé dans notre projet et nous présentons les perspectives.

Partie 01 : état de l’art

Chapitre 1 GENERALITES SUR LA REALITE VIRTUELLE / REALITEAUGMENTEE 1.1 - Introduction:

Ce chapitre aborde un nouveau champ de recherche et de développement qui est la réalité augmentée, et comme celle-ci est une variante de la réalité virtuelle, on commence alors par une présentation de cette dernière, ses moyens, ses applications et ses inconvénients. Ensuite nous définissons la réalité augmentée, les motivations, les différentes approches, ses composants, les dispositifs d'affichage puis ses domaines d'applications illustrés par des exemples. Enfin nous concluons ce chapitre par une comparaison entre les deux technologies.

1.2 - La réalité virtuel : 1.2.1 – Définition :

C’est une technologie propre aux systèmes informatiques visant à créer des

environnements qui simulent le monde naturel ou un monde imaginaire et qui

donnent à l'utilisateur l'impression de la réalité. Les systèmes de réalité virtuelle

peuvent être immersifs ou à l'écran. Les systèmes immersifs comportent des

interfaces tels les casques de visualisation ainsi que les combinaisons et les gants

sensitifs à retour tactile et d'effort, qui tendent à couvrir l'intégralité du champ

sensoriel de l'utilisateur d'une façon apparentée à l'environnement naturel. Les

systèmes à l'écran ont des interfaces plus limitées : le champ visuel occupé par

l'environnement virtuel coïncide avec l'écran d'un moniteur, et il peut être amélioré

par le port de lunettes stéréoscopiques permettant de créer un effet de profondeur.

Un système de Réalité Virtuelle est une simulation par ordinateur dans

laquelle le graphisme est utilisé pour créer un monde qui semble réaliste. Le monde

synthétisé n'est pas statique, il répond aux ordres de l'utilisateur (gestes, paroles ou

toutes autres commandes extérieures). La RV implique des interactions à travers de

multiples canaux sensoriels : vision, toucher, odorat, goût [14].

1.2.2 - les composants du système de la réalité virtuelle : Les systèmes de réalité virtuelle ont trois composantes principales :

1) la machine de réalité ; l'ordinateur lui-même, forme le cœur du système et

génère l'environnement virtuel ; il faut y ajouter des composantes matérielles de

traitement de l'information visuelle et sonore. La machine de réalité comporte toutes

les données nécessaires à la constitution et au fonctionnement de l'environnement

virtuel, en particulier une géométrie, qui décrit la nature formelle et la position des

éléments constitutifs (en général objets et acteurs) de l'environnement, ainsi qu'une

dynamique, qui spécifie les relations d'interaction entre ces éléments dans

l'environnement.

2) le logiciel ; Le logiciel détermine les modalités d'interaction entre

l'utilisateur et l'environnement virtuel.

3) différentes interfaces ; elles relient le corps humain et la machine et

établissent le contact entre l'utilisateur et l'environnement virtuel, tels les casques de

visualisation, les combinaisons et les gants sensitifs, auxquels il faut ajouter des

dispositifs qui ne sont pas intégralement immersifs, comme les lunettes

stéréoscopiques, les bras à retour d'effort, et les souris 3D

1.2.3 - Les moyens de la réalité virtuelle :

La réalité virtuelle est mise en place par différents moyens [16] :

Workbench : est une mémoire de traduction commerciale (une banque de

données contenant des segments de texte ainsi que l'équivalent de ces

segments dans une autre langue. Elle permet de pouvoir stocker des

segments de phrase et de les réutiliser conçue pour Windows.

Salle immersive sphérique ou cubique (CAVE, SAS Cube), constituées

d'écrans de rétro projection ou de projection directe stéréoscopiques et

synchronisés. L'utilisateur est immergé dans une pièce où les murs, le sol

et/ou le plafond sont des images projetées qui constituent un environnement

géométriquement cohérent. Par un système de capture de position du

visiteur, la perspective est recalculée en temps réel pour respecter son point

de vue.

Des lunettes de réalité virtuelle : l'utilisateur voit uniquement la scène en

réalité virtuelle, en stéréoscopie. La perspective est recalculée pour

correspondre à son point de vue.

L'utilisateur est équipé de lunettes à impulsion magnétiques qui cache alternativement la vision d'un œil puis de l'autre, l'ordinateur s'occupe d'afficher l'image correspondante de manière synchrone. Pour interagir avec l'environnement virtuel l'utilisateur peut utiliser divers périphériques.

Fig.3 - Le casque de vision stéréoscopique.

Le casque de vision permet l'immersion et la navigation à l'intérieur de l'image virtuelle.

Gant de données :(ou gant électronique, gant numérique, gant sensitif) est un

gant truffé de capteurs, qui permet à un utilisateur de saisir presque

naturellement un objet virtuel et de le manipuler, en numérisant en temps

réel les mouvements de la main. Il est utilisé pour l'interface homme machine

dans la réalité virtuelle .permet la navigation ou la manipulation d'objets

virtuel dans la représentation.

Fig.4- Les gants de données (data gloves)

Wand :( est un dispositif d'interaction utilisé en réalité virtuelle. C'est en fait

une sorte de joystick comprenant des boutons et permettant de déplacer un

pointeur en trois dimensions. Grâce à un capteur et un tracker, l'ordinateur

peut obtenir la position et l'orientation exacte du wand dans l'espace).

marque déposée, dispositif physique de navigation dans une salle immersive.

1.2.4 - Les applications de la réalité virtuelle :

Les applications sont nombreuses [15] :

Formation par simulateur (conduite de véhicules, aérospatiale, médecine)

Applications médicales : traitement des phobies, via la psychothérapie cognitivo-

comportementale, simulation de chirurgie.

Art numérique : création artistiques interactives et immersives

Jeu vidéoTélé-immersion

Visualisation scientifique

Météorologie

Astrophysique

Recherche fondamentale

Architecture-urbanisme

Domotique

Conservation de patrimoine culturel

Visites et présentations de musées et de sites virtuels

Reconstitution d'objets et de sites détruits ou endommagés

Création d'œuvres sonores

Sculpture d'objets virtuels

1.2.5 - Les inconvénients de la réalité virtuelle :

Les limites de la réalité virtuelle tiennent essentiellement aux facteurs suivants : - Les aspects haptiques (toucher) sont techniquement difficiles à développer. - L'étude du transfert des acquis faits en environnement virtuel aux situations réelles doit être approfondie.

- Le retour au réel doit être préparé et accompagné pour que les risques y

soient effectivement pris en compte.

- Dans les situations réelles, la capacité à se concentrer et à faire bien sa tâche

peut être induite par l’existence de risque, de la conscience de la présence des

autres et du savoir que tous les actes entrepris ont un effet sur le réel.

L’apprentissage en environnement virtuel de formation doit reposer sur un

savoir identique différé et intégrer les éléments sociaux spécifiques. Par

ailleurs, ce serait une erreur de penser que ces systèmes permettent de se

passer d’accompagnement humain. Celui-ci doit évoluer en fonction de la

nature de l'outil, de ce qu'il permet et ne permet pas.

- L’utilisation des systèmes de réalité virtuelle n’est pas exempte de tout risque sanitaire. Certaines interfaces peuvent être à l'origine de conflits sensoriels et de malaises. Ainsi, par exemple, si la vision donne des informations de déplacement et d’accélération et que l’oreille interne constate l’immobilité du corps. - L’utilisation prolongée d'interfaces de mauvaise qualité telles que certains casques de vision, peut être à l'origine de désagréments [13].

La réalité virtuelle ne doit pas être confondue avec la réalité augmentée. Avec cette dernière, l'utilisateur interagit avec le monde réel par les voies naturelles et simultanément il

utilise les informations synthétiques qui l'aide à mieux appréhender son environnement. Les informations virtuelles, viennent renforcer la perception de la réalité. Plutôt que de plonger l'homme dans un monde artificiel, la réalité augmentée propose d'enrichir son environnement naturel.

1.3 - La réalité augmentée :

1.3.1 – Définition :

La réalité augmentée (RA) a vu le jour avec les travaux de Sutherland [20],qui a réalisé le premier système dit de réalité augmentée, basé sur un casque suivi par un capteur de mouvement. Avec ce dispositif, l’utilisateur peut alors visualiser et naviguer autour d’éléments virtuels positionnés dans notre espace réel ; un des buts poursuivis par la RA. Durant les années 80 le concept de réalité augmentée a été surtout utilisé dans un cadre militaire, pour l’affichage d’informations virtuelles sur les visières des casques des pilotes d’avions (Head Up Display (HUD)).

Le véritable essor de ce domaine a débuté durant les années 90 (Mackay et al. 1993) qui consiste à "ajouter" de l'information au monde réel. La réalité augmentée caractérise alors tout système améliorant la perception de l'utilisateur vis à vis de l'environnement réel, par superposition de données virtuelles sur des images réelles ou vidéo.

C’est un ensemble de technologies qui induisent de nouvelles formes d’interaction homme - machine. Ces technologies sont basées sur l’association sémantique, spatiale et temporelle d’objets réels et virtuels. L’idée d’augmentation renvoie ainsi à l’enrichissement supposé de l’information véhiculée par les objets virtuels, par référence aux seules informations accessibles à l’utilisateur dans l’environnement immédiat du monde réel.

En générale, les systèmes de RA, aussi bien fixes que mobiles, sont construits sur la base d’une architecture similaire : une caméra filmant la scène visionnée par l’utilisateur ; un ordinateur générant les entités virtuelles ; des dispositifs d’entrée et de présentation d’information ; des capteurs de la position de l’utilisateur et des objets de l’environnement réel [10] [11].

Un système de réalité augmentée n'empêche pas l'utilisateur de rester en contact avec le monde extérieur. Au contraire, il mêle la scène réelle toujours vue par l'utilisateur

à une scène virtuelle générée par l'ordinateur, qui élargit la scène réelle en y

ajoutant des informations ou des fonctionnalités. L'objectif ultime est de créer un

système tel que l'utilisateur ne puisse plus distinguer entre le monde réel et son

augmentation virtuelle ; ou, mieux encore, tel que l'utilisateur puisse intégrer,

combiner, et/ou fusionner les informations fournies par le monde réel avec celles

qui proviennent de son augmentation virtuelle, sans discontinuité.

1.3.2 - Motivations :

La réalité augmentée est motivée par les constatations suivantes [4]:

Les documents avec lesquels nous interagissons peuvent avoir une réalisation

physique (on dit alors qu'ils sont réels) ou une réalisation informatique (on dit

alors qu'ils sont virtuels).

L'interaction avec les documents ne se fait pas du tout de la même manière

suivant le monde (réel ou virtuel) auquel ils appartiennent.

Il existe généralement peu de liens entre les deux mondes.

Certaines opérations sont plus adaptées dans un monde que dans l'autre. Par

exemple, il est plus simple d'effacer, modifier ou déplacer du texte dans un

éditeur de texte que sur papier. En revanche, le papier est plus agréable à lire et à

transporter et est moins cher.

Le défi de la réalité augmentée est donc d'obtenir "le meilleur des deux mondes

réel et virtuel ‘’ pour harmoniser la cohabitation de ces deux mondes, la réalité

augmentée doit briser cette frontière brutale que l’informatique a installer entre les

mondes : plutôt que d'avoir un document soit sous sa forme réelle, soit sous sa

forme virtuelle, le document est

à la fois réel et virtuel. On définit ainsi les termes "réel" (qui a une réalisation

matérielle mais pas de réalisation informatique), "virtuel" (qui a une réalisation

informatique mais pas de réalisation matérielle) et "augmenté" (qui a une réalisation

matérielle et une réalisation informatique, les deux étant liées).

1.3.3 - Les différentes approches de la réalité augmentée :

On distingue trois façons d'aborder la réalité augmentée [5]

1.3.3.1 - Augmenter l'utilisateur : L'utilisateur est équipé d'un dispositif lui

permettant d'obtenir des informations sur les objets qui l'entourent ou sur son

environnement. Ce dispositif est généralement un casque permettant d'ajouter des

informations visuelles ou sonores à ce que l'utilisateur voit ou entends. Cette

utilisation nécessite toutefois de solides méthodes de vision par ordinateur et de

synthèse d'image. Les dispositifs utilisés peuvent aussi être des gants équipés de

capteurs ou tout autre type d'équipement corporel.

1.3.3.2 - Augmenter l'objet : Augmenter l'objet consiste à lui ajouter divers

dispositifs, visant à lui donner des capacités de traitement de l'information, à lui

donner des informations sur son environnement ou à donner à son environnement

des informations sur lui-même. Des exemples d'objets augmentés sont les briques

LEGO les plus récentes, qui peuvent être contrôlées par ordinateur. Le problème de

cette approche est qu'il n'est pas toujours possible d'augmenter un objet tout en

conservant ses qualités (par exemple, il est dur d'augmenter du papier sans

l'alourdir ou le rendre plus cher).

1.3.3.3 - Augmenter l'environnement : Augmenter l'environnement consiste à

équiper un lieu de dispositifs permettant d'augmenter les objets qui s'y trouvent.

Ces dispositifs ont généralement pour but d'obtenir des informations sur les objets et

les personnes (caméras, micros), de leur associer des informations (en utilisant des

vidéoprojecteurs) ou tout simplement de donner des informations sur

l'environnement (haut-parleurs, écrans, etc.).

1.3.4 - Composants de la réalité augmentée :

1.3.4.1 - Générateur de scène

Le générateur de scène est le dispositif ou le logiciel responsable de rendre la scène. Le rendu n'est pas actuellement l'un des problèmes principaux dans RA, parce que quelques objets virtuels doivent être dessinés, et ils ne doivent pas nécessairement être rendus afin d'atteindre les objectifs de l'application.

1.3.4.2 - Système de piste

Le système de piste est l'un des problèmes les plus importants sur des systèmes de RA la plupart du temps en raison du problème d'enregistrement. Les objets dans les réels et virtuels mondes doivent être correctement alignés en ce qui concerne l'un l'autre, ou l'illusion que les deux mondes coexistent sera compromise. Plus sérieusement, beaucoup d'applications exigent l'enregistrement précis, particulièrement sur les systèmes médicaux.

1.3.4.3 - Système d’affichage

IL y a beaucoup de types de dispositifs d'affichage qui peuvent être utilisés dans des applications de RA et la plupart d'entre elles sont HMD (la tête a monté l'affichage). Le plus important est optique Voir-À travers HMD (optique basée), vidéo Voir-À travers HMD (vidéo basée), systèmes rétiniens virtuels, affichage de projection.

1.3.5 - DISPPOSITIFS DE LA REALITE AUGMENTEE (RA) :

Quatre classes principales de RA peuvent être distinguées par leur type d'affichage : Optique Voir-À travers, la vidéo Voir-À travers, les systèmes rétiniens virtuels et l'affichage de projection.

1.3.5.1 - Optique Voir - à Travers HMD

Optique Voir-À travers la RA emploie un affichage par tête monté transparente (miroir) pour montrer l'environnement virtuel directement au-dessus du réel. Ce miroir est semi transmissible donc l'utilisateur peut voir directement le monde réel et il est aussi semi réflexif donc il peut voir les images virtuelles qui viennent du visiocasque (HMD).Un bon HMD permet des ajustements et aussi d'adapter la position d'œil et le confort de différents utilisateurs. Il devrait également être facile de le déplacer à l'écart une fois non nécessaire. Les exemples typiques d'un optique Voir-à travers le système de RA sont les divers systèmes médicaux augmentés.

Fig.5 - Optique Voir-À travers HMD [24]

Fig.6 - Optique HMD [31]

1.3.5.2 - Vidéo Voir-À travers HMD

La vidéo Voir-À travers emploie une camera pour acquérir le monde réel .ces images sont combinées avec les images virtuelles du générateur par un combinateur vidéo .les images combinées sont envoyées a l'écran et affichées pour l'utilisateur. Un HMD spécial est utilise pour montrer la vidéo. Cette approche est un peu plus complexe qu'optique Voir-à travers, exigeant l'endroit approprié des cameras. Cependant, la composition visuelle des vrais et virtuels mondes est beaucoup plus facile.

Fig.7 - Vidéo Voir-À travers HMD

Comparaison entre la méthode vidéo et la méthode optique Ici nous allons présenter les avantages et les inconvénients des techniques

vidéo et optique l’une par rapport à l’autre. L’approche optique présente les avantages suivants par rapport à l’approche vidéo :

- Simplicité : l’approche optique est plus simple et moins coûteuse que l’approche vidéo. En effet l’approche optique n’a qu’un seul flux de vidéo à traiter, à savoir : les images graphiques. Tandis que l’approche vidéo en a deux : les images graphiques et l’image du monde réel. - Résolution : l’approche vidéo limite la résolution de ce que voit l’utilisateur comme images graphiques ou monde réel, à celle du dispositif d’affichage tandis que l’approche optique affiche les images graphiques à la résolution du monde réel, donc la vue de l’utilisateur ne sera pas dégradée.

- Sécurité : dans l’approche vidéo on est obligé d’utiliser des casques fermés, ceci peut présenter un danger dans le cas où le système tomberait en panne ce qui rendrait

l’utilisateur totalement aveugle. Cet incident ne peut se produire dans le cas de l’approche optique, car elle utilise des combinateurs optiques qui permettent à l’utilisateur de voir lui même le monde réel et ceci même s’il venait que le système tombe en panne. - Pas de décalage des yeux : dans l’approche vidéo, la vue du monde réel est fournie par une camera, l’usager doit toujours regarder dans le sens de l’orientation de la camera pour éviter le décalage qui pourra se produire.

Toutefois, dans la plupart des configurations vidéo, la caméra ne se situe pas à une position appropriée par rapport au sens de regard de l’usager. Cet inconvenant ne figure pas au niveau de l’approche optique L’approche vidéo présente les avantages suivants par rapport à l’approche

optique : - flexibilité dans les stratégies de l’augmentation : le problème de base avec l’approche optique est que les combinateurs optiques laissent la lumière passer. Tandis que dans la méthode vidéo l’image du monde réel et des objets virtuels sont dans leur forme numérique, ce qui laisse une grande flexibilité pour traiter et manipuler ces images. Un exemple type de cet aspect, est la difficulté, dans l'approche optique, de prendre en compte la profondeur des objets de la scène lors de l'augmentation. - Facilité de faire la correspondance entre l’éclairage du monde réel et celui des objets virtuels dans l’approche vidéo.

1.3.5.3 - Systèmes rétiniens virtuels

Le VRD (affichage rétinien virtuel) a été inventé à l'université de Washington dans le laboratoire de technologie d'interface humaine (COUP) en 1991. Le développement a commencé

Fig.7 - Système rétinien virtuel HMD

en novembre 1993. Le but était de produire un champ visuel large, une bonne résolution, luminosité intense, affichage virtuel à prix réduit. Le VRD projette un faisceau de lumière modulé (d'une source électronique) directement sur la rétine de l'œil. La visionneuse a l'illusion de voir l'image de source comme s’il /elle tient deux pieds loin devant un moniteur de 14 pouces. En réalité, l'image est sur la rétine de son œil et pas sur un écran. La qualité de l'image qu’il /elle voit est excellente avec la vue stéréo, la pleine couleur, champ visuel large, aucunes caractéristiques clignotantes. Cette technologie a beaucoup d'applications potentielles, des affichages tête-montés (HMDs) pour applications militaires/aérospatiales à la société médicale.

1.3.5.4 - Affichages de projection

Dans la technologie d'écran, les images du monde réel et celles du générateur sont combinées par le combinateur.les images combinées sont ensuite envoyées a l'écran .l'utilisateur voit ces images par des lunettes spécifiques et c'est peut être la moindre installation difficile de RA car il élimine la question d'HMD.

Fig.8 - Technologie d'écran

Fig.9 - Technologie d'écran

1.3.5.5 - Technologies émergentes

On présente ici un certains nombres de nouveaux dispositifs reposant sur des progrès techniques ou des adaptations dédiées à la RA. Hua introduit un prototype de casque a affichage projectif dans un cadre de RA L’approche consiste à utiliser des surfaces rétro réfléchissantes, offrant une solution à fort angle de vue, gérant automatiquement les occultations, et peu de distorsion optique. Kiyokawa propose quant à lui un nouveau type de casque optique semi-transparent gérant aussi les occultations basées sur l’adjonction d’un panneau de LCD positionné dans le prolongement de l’écran optique associé à un ensemble de caméras permettant de reconstruire une carte de profondeur.

La taille et l’inconfort du casque constituent un point très limitant de l’usage de ce système. Dans ce cadre, différentes solutions alternatives ont vu le jour. D’un point de vue plus ergonomique, Micro-Optical a introduit les premiers prototypes de lunettes RA, pouvant, suivant les modèles, se fixer sur de véritables lunettes de vue (aux performances encore fortement limitées). Une nouvelle approche est l’utilisation de la projection rétinienne permettant à l’aide d’une technologie laser modulé, de projeter les informations directement au fond de l’oeil.

En complément, de nouvelles solutions d’écrans portables ont été proposées : on peut citer les assistants digitaux personnels et les tablettes PC. Dans un cadre collaboratif, le système Virtual Showcase reposant sur l’utilisation de la surface de projection d’un Workbench pour restituer un espace de visualisation offre une très bonne solution pour des taches peu interactives telles que des présentations multimédia. Pour le suivi 3D, on a proposer des solutions par vision basées sur de caméras stéréoscopiques offrant une solution alternative.

1.3.6 - Les domaines d’application

La technologie de réalité augmentée a beaucoup d'applications possibles dans un éventail de champs .elle a surtout été utilisée pour des applications médicales (par exemple, la chirurgie assistée par ordinateur), pour le divertissement (studios d'environnement virtuel), pour l'entraînement militaire (affichage numérique dans les cockpits), dans l'ingénierie et le design (prototypes 3D et maquettes), et enfin, dans la fabrication, la maintenance, et la réparation en robotique.

1.3.6.1 - Effets spéciaux, jeu vidéo et divertissement : Les premiers mélanges entre

images filmées et images numériques ont été réalisés pour le film Tron de Steven

Lisberger (1982). Mais le premier film à avoir réellement marqué les esprits pour la

qualité de ses incrustations numériques est Jurassic Park de Steven Spielberg (1993),

dans lequel des dinosaures virtuels

étaient incrustés dans un décor réel de parc d'attractions. Les éléments ajoutés sont généralement des machines, des ustensiles ou des créatures, qui n'existent pas en réalité mais que l'image de synthèse permet de représenter de manière convaincante et à moindres frais. Le jeu vidéo : La possibilité d'insérer des objets virtuels dans l'environnement

réel du joueur peut constituer une expérience ludique amusante et inédite. Exemple : un jeu de morpion reposant sur un plateau de jeu et une moitié de pions réels (voir fig.8), et permettant à l'utilisateur de jouer ``contre l'ordinateur'' dont les pions (virtuels) sont visualisés en relief, par-dessus la

scène réelle. Un écran virtuel est aussi intégré au plateau de jeu réel, qui permet d'afficher divers messages liés au déroulement du jeu. [33]

Fig.10- Jeu de morpion en réalité augmentée[33]

1.3.6.1 - Éducation : Les étudiants pourraient employer ce système pour avoir un

arrangement plus profond sur des choses comme la formation des nuages, de la

structure de l'univers et de la galaxie, etc. par des simulations augmentées

réalistes et facilement compréhensibles de systèmes de réalité.

1.3.6.2 - Marketing :L'évolution des effets spéciaux numériques dans le cinéma a

bien sûr aussi profité à la publicité, qui dispose aujourd'hui de nouveaux outils

pour mettre en valeur les produits à vendre. Grâce aux nouvelles techniques de

composition 3D, il est par exemple possible de montrer une image

artificiellement embellie du produit, tout en l'intégrant dans un décor naturel

pour la rendre plus crédible. On peut aussi transformer plus radicalement

l'apparence du produit, par exemple pour produire un effet comique, ou encore

le placer dans un environnement insolite pour susciter une émotion particulière.

[32]

Exemple1 :

Fig.11 - Le système ARIS permet aux visiteurs d'un site en ligne d'insérer de manière très réaliste des meubles virtuels dans des photographies de leur propre intérieur. [32]

Exemple2 :

L'info-panneau de Princeton a développé un système de réalité augmentée qui permet à des animateurs d'insérer des annonces dans des secteurs spécifiques de l'image d'émission (le schéma). Par exemple, tout en annonçant un jeu de base-ball ce système pourrait placer une publicité dans l'image de sorte qu'il apparaisse sur le mur d'extra-champs du stade. L'info-panneau exige le calibrage au stade en prenant des images des angles d'appareil photo et des arrangements typiques de bourdonnement afin de construire une carte du stade comprenant les endroits dans les images où des annonces seront insérées. En employant les points de référence préspécifiés dans le stade, le système détermine automatiquement l'angle d'appareil-photo étant utilisé et se rapportant aux insertions prédéfinies de carte de stade la publicité dans l'endroit correct.

Fig.12 - Publicité sur un jeu du football. [39]

1.3.6.4 - Art numérique : On peut qualifier d'art numérique toute forme d'art

reposant totalement ou partiellement sur la technologie numérique. Longtemps

ignoré par le monde de l'art contemporain, l'art numérique est aujourd'hui en

plein essor et introduit de profonds bouleversements dans les modes de

production, de diffusion et de conservation des oeuvres d'art

Un ouvrage intitulé L'Art numérique, montre comment l'art numérique et en

particulier la réalité augmentée ont pénétré des domaines artistiques aussi

inattendus que la danse, le théâtre et l'opéra. Par exemple, Carlos Barcena a

mis en scène à l'opéra de Nancy, en 1998, Alcina de Haendel, un opéra dont

la scénographie fait habituellement appel à d'importants changements de

décor. Dans la mise en scène proposée, les chanteurs étaient immergés dans

d'immenses images numériques projetées en deux et trois dimensions, leur

permettant d'évoluer dans des univers magiques et de dialoguer avec des

personnages fantastiques

1.3.6.5 - Assistance et aide à la décision: La réalité augmentée trouve aussi de

nombreuses applications utilitaires dans l'aide à la décision, l'assistance et le

guidage, pour des domaines aussi variés que l'architecture, l'industrie, le

tourisme ... En architecture, elle offre la possibilité d'évaluer si un projet de

construction s'intègrera de façon harmonieuse dans son environnement futur, ce

dont il n'est pas possible de se rendre compte avec une simple maquette

virtuelle. Par exemple, EDF, le Loria et le CRAI ont travaillé en 1998 sur l'étude

d'impact de plusieurs projets d'illumination du Pont Neuf. À partir des plans

papier, une maquette virtuelle du pont a été établie avec des positions, des

couleurs et des réglages de lumières différents pour chaque projet testé. Ce pont

virtuellement illuminé était alors ``projeté'' dans une séquence vidéo du Pont

Neuf, de manière à remplacer le pont réel tout en conservant l'avant-plan et

l'arrière-plan de la vidéo (voir fig.11). Les reflets des sources lumineuses dans

l'eau réelle de la Seine apparaissaient aussi dans le résultat final .

Fig.13 - Étude d'impact d'un projet d'illumination du Pont Neuf. Gauche : image

originale extraite de la séquence à traiter. Droite : image dans laquelle le pont a été remplacé par son homologue virtuel.

De la même manière que nous pouvons visualiser une réalisation

architecturale dans son environnement futur, il est possible inversement de

représenter des monuments disparus sur leur site d'origine, tels qu'ils

étaient du temps de leur splendeur. Un projet nommé ARCHEOGUIDE a

rassemblé des chercheurs de plusieurs universités européennes autour de ce

thème. Le site grec Olympie (lieu de naissance des Jeux Olympiques) a été

choisi comme premier site de tests. Les visiteurs devaient d'abord définir un

profil d'utilisateur (centres d'intérêts, niveau de connaissances) et choisir un

parcours de visite. Munis d'un ordinateur de poche et d'un HMD, ils étaient

alors guidés à travers le site, à l'aide d'informations visuelles ou audio

correspondant à leur profile, accompagnées d'une aide à la navigation. À

certains moments, le système calculait des images 3D des monuments, et les

affichait à travers le HMD.

Fig.14 - Le système ARCHEOGUIDE permet aux visiteurs d'un site archéologique de voir les monuments disparus tels qu'ils étaient dans le passé.

1.3.6.6- Sécurité et défense: Une des utilisations principales des systèmes augmentés

de réalité aux militaires fournit des informations cruciales de soldats de champ au

sujet de leurs environnements aussi bien que les troupes amicales et les mouvements

ennemis dans leur secteur particulier ; Ce système permettra à des dirigeants de

police d'avoir une vue et des informations complètes et détaillées sur une scène de

crime, un secteur de patrouille, ou une ligne suspecte.

Utilisée par les militaires dans le cadre des programmes

d’entraînement des pilotes de chasse et de combat, la simulation a été

beaucoup utilisée par la NASA dans l’entraînement des astronautes. Plus

proche dans la vie quotidienne est l’utilisation dans les simulations des

auto-écoles.

Les militaires avaient employé des affichages d'information au pilote

sur le pare-brise de l'habitacle ou le pare-soleil de leur casque de vol (voir

fig.13). C'est une forme d'affichage de réalité augmentée. En équipant le

personnel militaire des affichages de pare-soleil montés par casque ou d'un

télémètre pour un but particulier les activités d'autres unités participant à

l'exercice peuvent être reflètentes. Tout en regardant l'horizon, par exemple,

le soldat équipé par affichage pourrait voir un hélicoptère se lever au-dessus

de la ligne. Cet hélicoptère a pu être volé dans la simulation par un autre

participant. En temps de guerre, l'affichage de la vraie scène de champ de

bataille pourrait être augmenté avec l'information d'annotation ou accentuer

pour souligner les unités ennemies cachées

Fig.15 - Formation militaire. [40]

1.3.6.6 - Médecine: Un système de réalité augmentée peut améliorer la précision du geste chirurgical, permettre d’avoir un certain confort de travail, et être un outil de formation.

Prenons le cas d’une chirurgie non effractive. Elle repose sur une technique pratiquant des incisions juste suffisantes pour introduire, par un tube très fin, des instruments chirurgicaux et un matériel optique. Cela réduit considérablement la capacité du chirurgien à voir ce qu'il se passe à l'intérieur du patient. Les images captées par le matériel optique sont visualisables sur un écran, ce qui oblige le chirurgien à quitter du regard son patient. Or il est aujourd'hui possible grâce à des outils comme la stratigraphie (technique consistant à réaliser des radiogrammes de couches minces d’objets), l’imagerie par résonance magnétique (IRM) ou encore les ultrasons, de collecter en temps réel des données en trois dimensions précises et spécifiques du patient. Ceci aura comme conséquence des opérations chirurgicales moins risquées et plus efficaces. La fusion de toutes ces données permet la reconstruction du corps du patient en images virtuelles, et leur affichage calé sur le corps réel à l’aide d’un HMD permet au chirurgien de resté concentré sur son opération

tout en accédant aux informations qui le guident dans son travail. Plus simplement, on peut afficher, sur demande, des informations telles que la tension, le taux de globules rouges, …

La faculté de ``voir'' directement à l'intérieur du corps du patient offre de

nouvelles possibilités. Des chercheurs de l'Université de Caroline du Nord

se sont ainsi intéressés au guidage de la biopsie du sein, à l'aide d'images

ultrasonores, directement visualisées par-dessus la poitrine de la patiente.

Fig.16 - La RA peut aider au guidage d'une biopsie par imagerie ultrasonore

1.3.6.6 - Affaires: dans le pétrole et l'industrie minière, il permettra à des

décideurs de prendre des décisions opportunes. La gestion peut décider au sujet de

la façon dont du minerai sera extrait en regardant simplement la superposition du

Fédéral de données de champ par l'équipe géologique d'aperçu par les systèmes

augmentés de réalité.

1.3.6.6 - Industries: (conception, design, maintenance, assemblage, pilotage,

robotique et telerobotique, implantation, étude d'impact,...). Certaines activités

demandent à l’opérateur l’usage de ses deux mains simultanément ou un effort

de concentration constant. Le fait d’être obligé de détourner la tête vers un

manuel (ou autre) implique une perte de temps, un effort de

transposition et une perte de concentration lors de la réalisation de tâches difficiles.

L’opérateur est obligé de quitter ce qu’il fait, pour accéder à des informations nécessaires pour la suite de sa tâche. Un système de RA permet de rendre disponible, sur simple demande de l’utilisateur: - Les ordres de fabrication, fiches de maintenance, listes de vérifications… - Des plans agrémentés de dimensions et commentaires… - Une maquette virtuelle, des vidéos… - Tout logiciel d’aide au travail, d’aide à la décision, de simulation… possédant une interface accessible par d’autres moyens que la souris ou le clavier, qui nécessitent l’usage d’une main et une certaine attention.

L'intérêt de l'utilisation de la RA dans l'industrie a été souligné dès le début des années 90 par le groupe de Steve Feiner de l’Université de Columbia. De son côté, Boeing a développé un système de RA pour aider les techniciens chargés de faire une partie du câblage électrique d’un avion.

Fig.17 - RA s'est appliqué au travail d'entretien.

1.3.6.10 - Annotation: La RA peut aussi être employée pour annoter et visualiser des

objets et des environnements avec l’information publique ou privée. L’annotation

consiste à ajouter des descriptions graphiques ou textuelles à des objets réels.

La figure ci-dessous (fig.17) montre une fenêtre superposée comme une étiquette sur un étudiant, si l’étudiant fait des mouvements, l’étiquette suit son emplacement.

Fig.18 - Fenêtre affichée sur les objets réels spécifiques.

Des systèmes augmentés de réalité peuvent être employés dans presque n'importe quel domaine ou industrie. La nouveauté d'information instantanée couplée à la perception augmentée s'assurera que les systèmes augmentés de réalité joueront un grand rôle dans la façon dont les gens vivent à l'avenir.

1.4 - RV & RA : différences et points communs :

Réalité Virtuelle et Réalité Augmentée sont donc avant tout des systèmes qui

autorisent une interactivité entre l'espace virtuel de l'information numérique et les

informations du monde réel.

Leurs points communs résident dans l'usage d'interfaces (capteurs de

position, de mouvement, de pression, capteur vidéo, son, etc.) et dans l'échange de

données entre sujets humains (ou des organismes biologiques), espace physique réel

et données numériques.

La différence majeure entre la Réalité Virtuelle et la Réalité Augmentée

réside dans le degré et les modalités d'immersion du sujet au sein du monde

virtuel.

Du point de vue des degrés de réalité, la réalité virtuelle va plus loin que la réalité augmentée, mais quand l'on prend en compte le degré d'innovation qu'elle entraîne, la situation est différente. La réalité virtuelle vise en effet l'imitation, la simulation et/ou l'émulation de la réalité physique sur le plan virtuel, en peuplant cette réalité physique de nouvelles entités et/ou d'images virtuelles d'entités vivantes, comme les avatars de personnes réelles. La principale difficulté de conception des systèmes de réalité virtuelle est de créer un monde virtuel aussi semblable au monde réel que possible, et d'y immerger complètement les utilisateurs. Le but principal est de tromper les perceptions sensibles des utilisateurs.

1.5-Y a-t-il un avenir à la réalité augmentée :

Par rapport à la réalité virtuelle (RV), dans laquelle l’utilisateur s’immerge totalement dans le virtuel, la réalité augmentée offre des possibilités nouvelles. L’interaction est possible aussi bien avec des objets réels que virtuels dans un même espace. Les limitations de cette technologie se situent surtout au niveau hardware puisque les affichages de type casques sont soumis à des problèmes d’alignement souvent difficiles à résoudre. De plus, avec l'essor émergeant des nanotechnologies, il est certain que la technologie de réalité augmentée ne va cesser d’être améliorée et de voir ses applications multipliées

1.6 - Conclusion:

Dans ce chapitre on a essayé de donner un aperçu sur la réalité augmentée, en la définissant , présentant ses caractéristiques et quelques domaines d'applications

(médical, militaire, jeu,…..) .Puis on a conclu ce chapitre par une comparaison de celle ci avec la réalité virtuelle.

Chapitre 2 LES PROBLEMES LIES A LA REALITE AUGMENTEE

2.1 – Introduction :

Mélanger réel et virtuel n'est pas chose aisée. Les problèmes soulevés par la RA diffèrent selon le cadre applicatif et le degré d'interactivité avec l'utilisateur souhaité par le concepteur. Construire un système de réalité augmentée nécessite de résoudre plu sieurs problèmes fondamentaux :

2.2 – Tracking :

Les traqueurs (un système pour la localisation de l'opérateur dans son environnement) peuvent être optiques, acoustiques, électromagnétiques ou mécaniques. Les traqueurs actuellement sur le marché sont essentiellement conçus pour les besoins des applications de réalité virtuelle et des captures de mouvements.

Or les besoins sont différents entre les applications de réalité augmentée et celles de RV. Notamment, la précision. En effet, la première difficulté dans la construction d’un système de réalité augmentée est la localisation précise et en temps réel de la position et de l'orientation de la tête de l’utilisateur et des objets du monde réel. Ces localisations sont primordiales pour le positionnement des entités virtuelles en surimpression dans le champ de vision de l'utilisateur. Par exemple, si on désire surimposer un vase sur un bureau, il faut que celui-ci soit sur le bureau et non légèrement dedans, et ce même lorsque l'utilisateur lève légèrement la tête… En RV, les précisions requises sont moindres car on s'occupe de positionnements dans un monde totalement virtuel. Les systèmes de réalité augmentée ont besoin de traqueurs ayant une précision d’à peu près 1mm en position et d’une infime fraction de degré en orientation.

De même, un système de réalité augmentée a besoin d’une plus grande portée qu’un système de RV, la portée étant la distance maximale à laquelle un signal transmis par un appareil émetteur peut être reçu correctement par un appareil récepteur. En effet, en RV, l'utilisateur est assez statique, contrairement à la réalité augmentée où la personne se déplace.

Les traqueurs du marché sont donc peu appropriés à la réalité augmentée. Certains sont précis en position, mais peu souvent en orientation (erreur de quelques degrés non acceptable en réalité augmentée). Afin d’améliorer la précision de la localisation pour la réalité augmentée, les recherches se sont penchées vers des méthodes hybrides, pour lesquelles on combine les données de traqueurs de différentes sortes [6][7][8].

2.3 – Recalage :

Le deuxième problème dans les systèmes de réalité augmentée est celui du recalage des entités virtuelles dans la vision du monde réel. En effet, dans certains cas d’utilisation, l’information aura plus de valeur si elle n’est pas positionnée au hasard. Et pour que l’utilisateur ait l’impression que le monde réel et les entités virtuelles coexistent, il faut absolument que les entités virtuelles soient correctement

positionnées. La précision nécessaire et le nombre de sources d’erreurs font que les erreurs de recalage sont difficiles à contrôler. Il y a deux types d’erreurs : - Statiques (lorsque l’utilisateur ne bouge pas) - Dynamiques (lorsque l’utilisateur est en mouvement). Les quatre principales sources d’erreurs statiques sont : - la distorsion optique (distorsions existant dans la plupart des caméras et des systèmes à base de lentilles), - les erreurs du système de tracking ; L’erreur du système de suivi a été étudiée dans le cadre de capteurs électromagnétiques (sensibles aux distorsions du champ magnétique) .Plusieurs solutions existent telles que des tables de corrections, des fonctions polynomiales globales de corrections. - les erreurs entre les modèles (ou la différence entre les spécifications du matériel et les propriétés réelles des systèmes physiques utilisés) - une mauvaise valeur des paramètres d’observation comme par exemple, le centre de projection, les dimensions de la fenêtre d’affichage, le décalage qu’il y a entre la localisation du traqueur de tête et la localisation des yeux de l’utilisateur, la distance entre les deux pupilles, etc.

La mauvaise estimation des paramètres a été l’erreur la plus étudiée en réalité augmentée. Une estimation fiable nécessite de mettre en œuvre des méthodes robustes basées sur une définition de contraintes, nommée procédure de calibrage [1].A partir d’une modélisation du système, on s’intéresse alors au calibrage de ces différentes parties évalué sur des critères tels que définis .On peut alors utiliser des méthodes automatiques (par vision, auto calibrage) ou des méthodes basées utilisateurs à des solutions simples et efficaces. On peut classer les méthodes part type d’éléments calibrés : – calibrage de casques ou écrans : vidéo [1], optique [2][3]. – calibrage de pointeur [1]. – calibrage d’objets. – calibrage de système de projection.

Les erreurs dynamiques de recalage sont essentiellement dues à la différence de temps entre le moment où le système de tracking prend ses mesures de position et d’orientation et le moment où l’entité virtuelle générée par l’ordinateur pour ces mesures est affichée. Ce délai existe car chaque partie du système de réalité augmentée a besoin d’un certain temps pour effectuer sa tâche. Le temps de traitement du système est la plus grande cause d’erreur de recalage dans les systèmes de réalité augmentée.

Plusieurs voies sont explorées pour réduire ces erreurs dynamiques, en réduisant le retard du système, en réduisant le retard perceptible, en faisant la prédiction de la future localisation ou en faisant un appariement d’images.

Un système basé sur des techniques de la vision par ordinateur et du traitement de l’image peut aider à la résolution du problème de recalage. Il est possible grâce à ces techniques de repérer dans l’image numérisée des amers prévus à cet effet pour renforcer le système de recalage [9].

2.4 – Photoréalisme :

L'objectif de nos travaux est de permettre l'incrustation d'objets virtuels dans des séquences vidéo de la manière la plus automatique possible. Pour assurer le réalisme de la scène composée, il est de plus indispensable que les interactions entre objets virtuels et objets de la scène soient prises en

compte: occultation des objets virtuels par des objets réels, inter réflexion lumineuses (cohérence d’éclairage, même modèle d’éclairage pour le réel et virtuel, avec gestion des ombres) entre objets réels et objets virtuels ...

Nous proposons ici une méthode permettant de gérer les occultations entre objets réels et objets virtuels. Théoriquement, le problème des occultations revient a comparer la profondeur de la scène avec la profondeur de l'objet incrusté.

2.4.1 - Gestion de l’occlusion :

Si un objet doit s’incruster derrière un objet réel, certaines parties ne doivent pas être affichées. Pour cela, on construit une représentation 3D des objets réels proches de l’objet virtuel. Cette opération s’effectue à l’aide de deux (ou plus) images 2D (procédé de reconstruction 3D stéréo). En comparant les coordonnées 3D des objets réels et des points de l’objet virtuel, on peut afficher seulement les parties visibles de celui-ci .

Fig.19 - h. L’objet réel

occultant grisé sur l’image

2.4.2 - Cohérence d’éclairage :

Certaines opérations comme la gestion de la luminosité, de l’ombrage ou des réflexions peuvent être ajoutées si le rendu nécessite encore plus de réalisme.

Fig.20 - Exemple de rendu avec ombrage

Fig.21 - Illustration de la problématique de la composition entre réel et virtuel.

La figure (b) montre un exemple de résultat obtenu lorsque l'image de la

voiture respecte la perspective réelle. On constate toutefois que d'avoir résolu ce

problème ne suffit pas à obtenir une image réaliste : la voiture n'est pas

correctement éclairée, et la partie arrière du véhicule qui devrait être occultée par le

bâtiment photographié, est pourtant projetée par-dessus l'édifice.

La figure (c) montre un résultat de composition où la cohérence

spatiale est prise en compte.

La figure (d) montre le résultat obtenu en tenant compte de la

cohérence photométrique.

2.5 - Conclusion :

Dans ce chapitre, nous avons étudier les différents problèmes qui se posent

lors de la composition d’images (tracking, recalage, interactions photométriques entre monde réel et monde virtuel…). Puis, nous avons décrit dans le détail les solutions que nous avons apporté aux différents problèmes.

Partie 02 : APPROCHE PROPOSEE

Chapitre 1 CONCEPTION D’UN SYSTEME DE REALITE AUGMENTEE

1.1 - Introduction :

Dans ce chapitre nous allons décrire la démarche suivie pour la conception d’un système de réalité augmentée permettant d’insérer un objet virtuel 2D dans une séquence vidéo. Nous allons aussi détailler les différents modules qui composent ce système et les outils mathématiques utilisés pour accomplir l’incrustation et l’alignement de l’objet virtuel dans la scène réelle afin qu’il paraisse stable et réaliste aux yeux de l’utilisateur.

1.2 - En quoi consiste l’augmentation d’une séquence vidéo : L’augmentation d’une scène est l’opération de traitement d’image qui se fait en

arrière-plan d’un flux vidéo réel pour le transformer conformément à un certain objectif. La séquence regardée ne sera plus constituée d’une simple scène filmée mais de nouveaux objets intégrés avec un rendu qui ne permet pas de les discerner des objets réels. Ils seront considérés comme virtuels en raison de leur existence

visuelle limitée au flux vidéo généré. Certaines contraintes sont communément

établies par la communauté de la réalité augmentée comme devant être respectées : a) Exactitude d’insertion des objets virtuels aux emplacements destinataires. C’est

ce qui est communément connu sous le vocable de problème d’alignement

(registration problem.)

b) Augmentation de la scène en temps réel. c) Aspect visuel des objets virtuels de sorte qu’il se rapproche du réel. Cela insinue une apparente adaptation du point de vue de la lumière, de l’ombre, de l’occlusion et de la taille. d) Haut degré d’automatisation avec un minimum d’intervention humaine. e) Possibilité d’interaction avec les objets virtuels par l’ajout d’un sentiment de réel. Des solutions génériques pour cet ensemble de contraintes reste encore un défi.

L’exactitude d’insertion des objets virtuels dépend de la robustesse de la méthode utilisée. Deux catégories existent : Des méthodes à base de marqueurs explicites ; et d’autres à base des Caractéristiques de la scène. L’augmentation est faite relativement aux caractéristiques recherchées et détectées.

Dans le premier cas, les marqueurs ont des formes connues et sont disposés de manière à stabiliser et accélérer le système d’augmentation.

Généralement, ces méthodes ont prouvé leur efficacité malgré leur inconvénient majeur de devoir déformer l’environnement naturel par des marqueurs.

Dans le cas des méthodes sans marqueurs, des algorithmes très complexes sont utilisés. Cela est du au changement de l’apparence des caractéristiques recherchées (lignes, textures, primitives géométriques) dans la scène en fonction du point de vue. La conséquence immédiate est la difficulté d’augmentation en temps réel.

L’objectif de la recherche des caractéristiques de la scène est la détermination de deux types de paramètres de la caméra : intrinsèques et extrinsèques.

Les paramètres intrinsèques déterminent les propriétés internes de cette dernière. Ils sont au nombre de trois : la distance focale, les coordonnées du point principal et la taille des pixels de la caméra qui sont supposés non carrés. Une fois estimés, ils permettent de retrouver la position en pixel d’un point connu dans le repère de la caméra.

Les paramètres extrinsèques sont au nombre de deux et indiquent les transformations (translation et rotation) à faire subir pour un point dans le monde réel pour retrouver ses coordonnées dans le repère de la caméra. Retrouver ces deux paramètres constitue la procédure de calibration de la caméra et c’est ce qui permet la projection des objets virtuels ou la résolution du problème de pose.

1.3 - Description du système :

Fig.22- Schéma général du processus d’augmentation

Le système que nous proposons se classe parmi les méthodes basées vision.

L’alignement l’objet virtuel est réalisé dans la 1ère image de la séquence vidéo, pour

aligner l’objet virtuel dans la suite des images de la séquence vidéo de manière

correcte et réaliste ; il suffit de faire un suivi de la position initiale de l’objet virtuel

dans la 1ère image de la séquence vidéo.

Etant donné une séquence vidéo, et l’objet virtuel 2D à placer dans la

séquence vidéo (voir fig.21), La méthode développée pour assurer une insertion

réaliste de l’objet virtuel 2D consiste à plaquer correctement l’objet virtuel sur un

motif visuel le long de la séquence vidéo.

(a)

(b) Fig.23 - (a) exemple d’un objet virtuel à insérer (b) exemple d’un objet réel à augmenter

Deux questions majeures se posent donc :

Comment identifier et suivre le motif le long de la séquence vidéo ?

Comment insérer l’objet virtuel dans la séquence vidéo ?

En prenant en compte ces deux questions, le système proposé procède en 2

phases pour insérer un objet virtuel d’une manière correcte et réaliste dans une séquence vidéo :

Le Suivi du motif le long de la séquence vidéo : permet de suivre des points extraits de la région la de référence de la séquence vidéo. . .

Le Placement de l’objet virtuel sur le motif : permet d’insérer l’objet virtuel dans la séquence vidéo en utilisant les points extraits et suivis du motif. Cela se fait en calculant la transformation géométrique qui va nous permettre de faire la projection de l’objet virtuel 2D sur la 1ère image, et ensuite faire une projection sur l’image de la scène en utilisant les coordonnées calculées dans la phase de suivi.

1.3.1 - Phase de suivi :

Il a été défini une nouvelle méthode de suivi d’un motif dans une séquence

Vidéo, utilisant les réseaux de neurones pour déterminer la relation entre les

déformations et les déplacements du motif à suivre. Les réseaux de neurones sont

des approximateurs non linéaires ayant l’avantage de réaliser des modèles de

précision équivalente avec moins de données expérimentales par rapport aux

approximateurs non linéaires classiques. L’étape on-line, consiste à présenter une

différence d’images à un réseau de neurones entraîné issu de l’étape off-line. Celui-ci

fournit alors la correction à apporter pour obtenir le motif recherché. Cette seconde

étape permet une mise en Suivre temps réel grâce à un son coût algorithmique très

faible. Une fois la région cible localisé, elle est remplacée systématiquement par

l’objet virtuel.

Les RDN sont des approximateurs universels. Leur avantage par rapport aux

approximateurs linéaires est que le nombre de paramètres pour une précision

donnée croit exponentiellement avec le nombre de variables dans le cas des

approximateurs linéaires par rapport à leurs paramètres, alors qu’il croit

linéairement avec ce nombre pour les approximateurs non linéaires par rapport à

leurs paramètres. En plus, l’avantage des RDN par rapport aux techniques

classiques de modélisation non linéaire réside dans leur capacité à réaliser des

modèles de précision équivalente avec moins de données expérimentales.

1.3.1.1 - Principe et notations :

Soit I(p) la valeur du niveau de gris d’un pixel p de coordonnées x et y d’une

image.

Soit

R = (X1, X2, …Xn) une région contenant le motif à suivre dans une image.

Alors I(R) = (I(X1), I (X2), ..., I (Xn)) est un vecteur contenant les niveaux de gris des

pixels de la région.

Soit µ le vecteur déplacement de la région.

Les perturbations (déformations) de la région R (voir fig.22) seront obtenues en

appliquant N déplacements (µ1, µ2, ……, µN). Pour chaque déplacement µi, une

différence notée δIi est faite entre le vecteur I(Rref) et I(Rcour). I(Rref) représente le

vecteur des niveaux de gris de la région de référence c’est à dire la région de la

première image de la séquence vidéo qui contient le motif à suivre. I(Rcour)

représente le vecteur des niveaux de gris de la région obtenue après un déplacement

µi.

La relation que nous voulons établir est entre les N déplacements (µ1, µ2, ……,µN) et

les N différences (δI1, δI2, ….., δIN) faites après chaque déplacement µi.

Fig.24 - La région de référence contenant le motif à Suivre dans la 1ere image de la séquence vidéo.

Fig.25 – Les perturbations possibles sur la région de référence.

1.3.1.2 APERÇU SUR LES RESEAUX DE NEURONES :

1.3.1.2.1 Neurone formel

Le neurone formel est une modélisation mathématique qui reprend les

principes du fonctionnement du neurone biologique. Il représente une fonction

algébrique non linéaire, paramétrée et à valeurs bornées.

Il peut être représenté (voir fig.24) de la manière suivante :

• (X1, X2, …, Xn) : Variables qui représentent L’entrée du neurone.

(W1, W2, ..., Wn) : Poids du neurone.

• ∑WiXi : Potentiel.

• ƒ : Fonction d’activation. • S = ƒ (∑WiXi) : La sortie du neurone.

Fig.26 – Représentation d'un neurone formel. [34]

1.3.1.2.2 Réseaux de neurones :

L'intérêt des neurones réside dans les propriétés qui résultent de leur

association en réseaux, c'est-à-dire la composition des fonctions non linéaires

réalisées par chacun des neurones. Selon l'existence ou l'absence de retours en

arrière dans la connexion des entrées et sorties des réseaux, on distingue deux types

: feed-forword et feed-back.

Fig.27 – Réseaux de neurones [35]

L'apprentissage des réseaux de neurones consiste à estimer les paramètres

(poids) des neurones du réseau afin que celui-ci remplisse au mieux la tâche qui lui

est affectée. On distingue deux types d'apprentissage : Supervisé et non supervisé.

Dans le premier type, on connaît en certains points la sortie du réseau en fonction

des entrées correspondantes. Le réseau réalise alors une tâche de modélisation

statique ou une régression. Dans le deuxième type, On dispose d'un ensemble de

données, représenté par des vecteurs de grande dimension, et l'on cherche à les

regrouper, selon des critères de ressemblance qui sont inconnus a priori. Cette tâche

s'appelle en statistique l'agrégation (Clustering).

METHODE DE SUIVI UTILISEE :

La méthode utilisée est une méthode qui fait partie de la catégorie des

méthodes basée pixels. Elle est constituée de deux étapes. Une étape off-line qui

permet de trouver une relation entre les déformations et les déplacements du motif

suivi et une étape on-line qui assure le suivi proprement dit du motif à suivre (voir

fig.26). Pour simplifier dans un premier temps la méthode, nous ne prenons en

considérations que les translations. Les rotations et les changements d’échelle feront

l’objet d’un travail futur. [38]

1.3.1.3 - Etape hors ligne (off-line):

Le motif à suivre, dans la première image de la séquence vidéo, est placé dans

une région rectangulaire, donc sa position est donnée par [Xmin, Ymin, longueur,

hauteur].

Soit Rref = (X1, X2, ..., Xn) cette région et I (Rref) son vecteur des niveaux de gris.

Deux phases sont, alors, nécessaires pour réaliser cette étape. Une première

phase pour déterminer les entrées et les sorties du réseau de neurones et une

seconde phase pour entraîner ce dernier.

Fig.28 – Vue globale de la méthode proposée

1) Phase de détermination des entrées et des sorties du réseau de

neurones :

Un ensemble (µ1, µ2, ……, µN) de perturbations est appliqué sur la région

de référence Rref. Pour chaque perturbation µ1, une différence, entre les vecteurs du

niveau de gris de la région Rref et la région obtenue après cette perturbation, est

alors calculée. Nous obtenons, donc, les N différences (δI1, δI2, …, δIN). Les sorties

de notre réseau de neurones est l’ensemble des perturbations Y= (µ1, µ2, ……,

µN).

Tandis que, ses entrées sont le vecteur des différences H= (δI1, δI2, …, δIN).

Chaque perturbation µi est un vecteur à deux éléments [deplX, deplY].

Où deplX représente un déplacement selon l’axe des X et deplY un

déplacement selon l’axe des Y. 2) Phase d’apprentissage du réseau de neurones :

Le réseau de neurones choisi dans notre cas est un perceptron

multicouche avec un apprentissage supervisé. Puisque, nous connaissons en

certains points la sortie du réseau en fonction des entrées correspondantes. Ceci

a été obtenu depuis la phase précédente.

Cette étape consiste en un entraînement du réseau de neurones (voir fig.27).

Nous présentons au réseau la matrice d’entrée H et la matrice de sortie Y

correspondante à H. Ces entrées peuvent être normalisées (ne contenant que

des 0 et 1) pour éviter la domination des grandes valeurs sur les petites et aussi

la normalisation aide l’apprentissage pour être plus rapide et plus performant

(voir fig.28 et fig.29).

Ensuite, nous lui demandons de modifier sa pondération de telle sorte que

l’erreur commise entre la sortie calculée et la sortie connue soit minimisée.

Fig.29 – Apprentissage du réseau de neurones

Fig.30 - : Résultat avec des entrées normalisées

Fig.31 - Résultat avec les mêmes entrées non normalisées

1.3.1.3 - Etape en ligne (on-line) :

Dans cette étape, nous allons suivre réellement le mouvement da la cible.

Cela consiste à mesurer l’erreur entre la Rref à suivre et la région observée à

l’endroit prédit. Puis à exploiter cette différence pour corriger les erreurs entachant

la prédiction. L’étape de correction nécessite l’étape d’apprentissage

Soit Vcour un vecteur de 4 paramètres [Xmin, Ymin, longueur, hauteur] associer à

Rcour.

Nous prenons l’image contenue dans Rcour. Puis, nous calculons δI = I(Rref)

– I(Rcour) qui sera l’entrée du réseau de neurones entraîné. Le résultat sera donc

un vecteur correctif µ utilisé pour apporter une correction au Vcour (voir fig.30).

Après correction, Vcour sera le vecteur de référence pour la prochaine image. Ce

processus sera répété sur toutes les images de la séquence vidéo.

Fig.32 – étape on-line

1.3.1.4 - Résultats obtenus dans la phase du suivi :

La figure (fig.32) représente des extraits d’une séquence vidéo. Cette

séquence contient 100 images.

La région encadrée par le rectangle bleu dans la première image (voir fig.32 -

a) représente la région de référence contenant le motif à suivre. Les images

suivantes (voir fig.31 de b à f) représentent respectivement les images 10, 20, 30, 40 et

100. Le rectangle bleu dans ces images représente la région estimée (qui devra

contenir le motif suivi) par le réseau de neurones.

Nombre de perturbation : 800 Nombre de neurones par couche : 200 et 2 Nombre de couches : 2 (1 cachée et 1de sortie) Fonction d’activation : tansig, purelin Nombre d’itérations : 1000 Goal : 0.000001

Fonction d’apprentissage : training

a)- 1ère image de la séquence d) -30ème image de la séquence b) – 10 ème image de la séquence e) - 40image de la séquence Motif recherché

c) - 20éme image de la séquence f) - 100éme image de la séquence

Fig.33 - Quelques images du suivi de la région

1.3.2 - Phase d’incrustation de l’objet virtuel :

Cette phase consiste à insérer l’objet virtuel dans la séquence vidéo sur le

modèle se trouvant dans la scène. Cette phase est importante et délicate car il

Faut insérer l’objet d’une manière suffisamment précise afin qu’il apparaisse le

Plus naturel possible.

L’incrustation de l’objet virtuel se fait d’abord sur l’image de référence, et ceci

se fait par le calcul de la transformation géométrique entre l’image de référence du

modèle et l’objet virtuel à insérer dans la séquence vidéo.

Ensuite la projection de l’objet virtuel dans la scène se fait à l’aide de La

correspondance calculée précédemment entre l’image de référence et une prise de

vue de la séquence vidéo.

Etant donné une séquence vidéo, il est question de trouver la transformation

géométrique qui permet la projection de l’objet virtuel à un endroit précis sur une

prise de vue donnée de la séquence.

L’outil mathématique qui permet la projection est naturellement une transformation

géométrique. Les transformations géométriques diffèrent suivant l’ordre de

complexité de la projection à effectuer, ceci aura un impact direct sur le nombre de

paramètres nécessaires pour déterminer la transformation géométrique.

1.3.2.1 - Le cas 2D :

Puisqu’il s’agit, dans notre cas, de projeter librement des objets planaires (cas

2D) sur une surface plane appartenant à la scène réelle (voir fig.32), la géométrie

projective est la plus adéquate.

La géométrie projective est caractérisée par une relation d’équivalence entre

points, cette relation est définie comme suit :

Pour le cas d’un espace de 3 dimensions (espace géométrique), un point X= (x, y, z, 1) est en relation d’équivalence avec un autre point X’= (x’, y’, z’, 1) s’il existe un paramètre v tel que : X’=vX

Dans le cas de notre application qui consiste à insérer un objet virtuel 2D sur

un modèle planaire bien défini dans une séquence vidéo, l’utilisation d’une

transformation projective 2D-2D est nécessaire. Ce genre de transformations.

Le problème consiste donc à trouver l’ensemble des correspondances

permettent de placer correctement l’objet virtuel 2D dans la séquence. Pour

positionner l’objet virtuel 2D au niveau de chaque image de la séquence vidéo, il

suffit de faire une projection perspective 2D-2D depuis l’objet virtuel 2D vers le

modèle se trouvant sur l’image de la séquence.

Fig.34 - Systèmes de coordonnées de la caméra et du modèle

En d’autres termes, Si [x y 1] t représentent les coordonnées homogènes d’un

point X de l’objet virtuel par rapport au repère objet virtuel, et [x’ y’ 1] t

*Représentent les coordonnées homogènes de son correspondant X’ par rapport au repère image, X est alors lié à X’ par la relation : Où H est une matrice 3x3.

Cela suppose que le plan du modèle est z=0 dans le système de coordonnées du monde réel. Chaque correspondance génère deux équations linéaires pour les éléments de H. Donc l’équation précédente nous donne : Ces deux équations peuvent s’écrire sous la forme suivante :

Où :

Est la matrice H écrite sous forme de vecteur.

Donc le problème revient à trouver les éléments de la matrice H afin de calculer

pour un point X dans le monde réel son correspondant dans l’espace de l’image.

La détermination des valeurs de la matrice H revient à résoudre un système

d’équations.

Il faut au minimum quatre correspondances générant huit équations linéaires

à résoudre pour calculer les éléments de h, afin de trouver la transformation

géométrique qui relie le système de coordonnées du monde réel à celui du plan

image.

Donc on a pour quatre correspondances :

En utilisant directement les correspondances, cela procure un mécanisme pour

l’augmentation des informations 2D sur le plan se trouvant dans la séquence vidéo.

Donc la projection de l’objet virtuel dans une prise de vue de la séquence

vidéo revient en fait à trouver la matrice H’*H qui représente la transformation

géométrique à effectuer pour incruster l’objet virtuel. Pour assurer une visualisation

réaliste, l’objet virtuel doit apparaître au-dessous de la région suivie auparavant

(zone rectangulaire).

Nous pourrons tirer profit de la connaissance parfaite de ce que serait le motif

sur la scène réelle puisque nous connaissons sa projection géométrique exprimée

mathématiquement sous forme de coordonnées. Ceci va permettre de détecter tout

objet intrus.

1.3.2.2 - Solution logicielle :

Il est question ici d’exploiter les spécificités du langage de programmation

pour réduire temps d’exécution, notamment en ce qui concerne la gestion de

l’espace mémoire (allocation et libération).

Java constitue un très bon exemple pour illustrer cette notion (la solution

logicielle).

Sachant que nous avons implémenté notre système à travers le langages ;

Java :pour la modélisation du système, Java est une énorme calculatrice

mathématique ; ce n’est pas un langage de programmation classique, la notion de

compilation et d’édition de liens n’existe pas, il procède plutôt suivant le mode

interpréteur, instruction par instruction, ce qui a comme effet de rendre le traitement

des programmes manifestement lent surtout dans notre cas qui est le traitement

d’une grande masse de données qui est l’image.

Par contre, l’utilisation des fonctionnalités spécifiques à Java réduit le

problème et permet une amélioration considérable en terme de vitesse de traitement.

En Java, on peut écrire un programme tel qu’il est pris d’un autre langage

séquentiel.

Mais il est aussi intéressant de transformer le programme en une autre forme

plus concise et plus performante à l’aide des fonctionnalités de Java, on aura donc

besoin de penser d’une manière tout à fait différente en ayant comme souci de

bénéficier des possibilités offertes par Java.

1.4 - Modélisation du système :

L’étape de la réalisation du système est importante car elle permet de définir

les besoins et de décrire le système de façon générale.

1.4.1 - Spécification des besoins :

Notre travail consiste en la réalisation d’un système de réalité augmentée qui

permet l’augmentation d’une séquence vidéo avec un objet virtuel 2D.

De là on déduit les entrées de notre système perçu, à ce niveau, comme étant

une boite noire :

La séquence vidéo du monde réel contenant un modèle (image de référence)

l’augmentation.

L’objet virtuel à insérer dans la séquence vidéo.

La sortie du système représente le résultat final du processus d’augmentation, à savoir, la séquence originale augmentée par l’objet virtuel.

Séquence vidéo

Système D’augmentation

Séquence augmentée

Objet virtuel

Fig.35 schéma de la boite noire

1.4.2 - Spécification des composants :

Pour faciliter le travail et lui donner un aspect plus organisé, on décompose le

système en deux modules, qui effectuent chacun un travail bien défini.

L’un des modules utilise des entrées qui peuvent être le résultat de l’autre

module ou des données spécifiées par l’utilisateur.

Notre système se compose principalement de :

Module de suivi.

Module d’incrustation de l’objet virtuel. 1.4.2.1 - Module de suivi : Permet de suivre une région dans l’image de référence de la séquence vidéo.

1.4.2.2 - Module d’incrustation :

Ce module permet l’insertion de l’objet virtuel dans la séquence vidéo en

utilisant les coordonnées calculées dans le module précédent et qui est le suivi.

La méthode d’incrustation consiste à plaquer l’objet virtuel 2D sur la scène

réelle par projection de chaque pixel le constituant à travers les coordonnées

calculées. 1.4.3 - Diagramme de flux de données : Fig.36 diagramme de flux de données

1.4.4 - Architecture globale du système :

Fig.37 Architecture globlae du systéme 1.5 - Conclusion :

Nous avons décrit un système de réalité augmentée pour l’insertion d’objets virtuels 2D dans des séquences vidéo. Nous avons vu que ce système utilise des modèles planaires pour l’augmentation d’objets virtuels, ce qui implique le suivi de ces modèles le long des séquences vidéo.

Pour cela la localisation d’une région était nécessaire et elle est effectuée par une mise en correspondance, entre la première image de la séquence vidéo et l’image de référence. Puis, nous avons donné une description globale du processus d’augmentation.

Chapitre 2 REALISATION DU SYSTEME 1.1 - Introduction :

Dans cette partie nous allons présenter la mise en œuvre des différents composants de notre application. Il s’agit de en premier lieu de présenter le contexte dans lequel le système a été réalisé et la façon dont les données ont été recueillies. Nous définissons ensuite l’architecture globale du système, ensuite de présenter l’environnement de développement et de justifier les outils choisis : langages de programmation. Nous terminons avec les résultats obtenus et une discussion sur nos futures perspectives.

1.2 : Les outils :

1.2.1 : Qu’est-ce que java et pourquoi en ai-je besoin ?

La langage java est un langage de programmation informatique orienté objet

créé par James Gosling et Ptrick Naughton employés de Sun Microsystems,avec le

soutien de Bill Joy (confondateur de Sun Microststems en 1982) présente

officiellement le 23 mai 1995 au Sun World .

La société Sun a été ensuite rachetée en 2009 par la société oracle qui détient

et maintient désormais java.

La particularité et l’objectif central de java est que les logiciels écrits dans ce

langage doivent être très facilement portables sur plusieurs Systems d’exploitation

tels que Unix, Windows, Mac OS, on GNU/Linux ,avec peu ou pas de modification

, pour cela, divers plateformes et Framework associes visent a guider sinon

garantir, cette portabilité des applications développées en java [28] .

1.2.1.1 : Les avantages :

1- Java est aujourd’hui un langage aussi rapide que le c++ pourvu qu’on ne l’utilise pas pour une application très lourde (jeux en ligne, logiciel de traitement d’image, encodage védio etc.…).

2- Java est organisé, il contient des classes bien conçu et bien reparties.

3- Java est connue et donc plus de chance de trouver des développeurs java, pour concevoir ou améliorer une application.

4- Java est gratuit et permet les mêmes avantages que le points 3.

5-Java est portable il suffit juste que la JVM soit installée sur le système pour que l’application fonctionne.

6- Java apporte une approche orientée objet [29].

1.2.1.2 : Les Inconvénients :

1- on dit souvent du java qu’il est «lent ».

2- pas possible de travailler avec des pointeurs.

3- on ne pas gérer soi même la mémoire.

4- le tempe de chargement de la JVM.

1.2.2 Environnement de Développement (IDE) (NetBeans) :

NetBeans est un environnement de développement intégré (IDE) pour java , placé en open source par Sun en juin 2000 sous licence CDDL (common dévelopment and distribution license) en plus de java netbeans permet également de supporter différents autres langages, comme python, C, C++,XML, et HTML il comprend toutes les caractéristiques d’un IDE moderne (éditeur en couleur, projets multi-langage, refactoring, éditeur graphique d’interfaces et de pages web).

NetBeans est disponible sous Windows, Linux, Mac OS [30] .

1.2.3 Open Computer Vision(OpenCV):

OpenCV est une bibliothèque graphique libre initialement développée par Intel spécialisée dans le traitement d’images en temps réel, La société de robotique willow garage assur le support de cette bibliothèque depuis 2008.

Cette bibliothèque est distribuée sous licence BSD [26].

Fig.38- Architecture de Open CV [25] .

1.2.3.1 Fonctionnalités :

- Traitement d’images :

1- Lecture, écriture et affichage d’une image ;

2- Calcul de l’histogramme des niveaux de gris ou d’histogrammes couleurs ;

3- Lissage, filtrage ;

4- Seuillage d’image ;

5- Segmentation (composantes connexes) ;

6- Morphologie mathématique ;

- Traitement vidéo :

Cette bibliothèque s’est imposée comme un standard dans le domaine de la recherche parce qu’elle propose un nombre important d’outils issus de l’état de l’art en vision des ordinateurs tels que :

1- lecture, écriture et affichage d’une vidéo (depuis un fichier ou une caméra) ;

2- détection de droites, de segments et de cercles ;

3- détection de visages ;

4- cascade de classifieurs boostés

5- détection de mouvement, historique du mouvement

6- poursuite d’objets

7- détection de points d’intérêts

8- estimation de flux optique

9- ajustement d’une ellipse à un ensemble de points par la méthode des moindres carrés

1.2.4 OpenGL (Open Graphics Library) :

est un ensemble normalisé de fonctions de calcul d’images 2D ou 3D par Silicon Graghics en 1992. Cette interface de programmation est disponible sur de nombreuses plateformes ou elle est utilisée pour des applications qui vont du jeu vidéo jusqu'à la CAO en passant par la modélisation .

OpenGL permet à un programme de déclarer la géométrie d’objets sous forme de points, de vecteurs, de polygones, de bitmaps et de textures. OpenG effectue ensuite des calculs de projection en vue de déterminer l’image à lécran ,en tenant compte de la distance, de l’orientation, des ombres, de la transparence et du cadrag[27].

Fig.39- Un traitement de pipeline 3D (Graphics Pipeline Process)

1.3 Exemple de codes :

1.3.1 Calibration de Caméra :

public void calibratecamera () {

System.out.println("calibrate camera");

intrinsic.put(0, 0, 1);

intrinsic.put(1, 1, 1);

// calibration

Calib3d.calibrateCamera(objectPoints, imagePoints, savedImage.size(),

intrinsic, distCoeffs, rvecs, tvecs);

this.isCalibrated = true;

1.3.2 Suivi :

public void findAndDrawPoints(Mat frame) {

Mat grayImage = new Mat();

Imgproc.cvtColor(frame, grayImage, Imgproc.COLOR_BGR2GRAY);

Size boardSize = new Size(this.numCornersHor, this.numCornersVer);

found = Calib3d.findChessboardCorners(grayImage, boardSize, imageCorners,

Calib3d.CALIB_CB_ADAPTIVE_THRESH + Calib3d.CALIB_CB_NORMALIZE_IMAGE + Calib3d.CALIB_CB_FAST_CHECK);

if (found)

{

// optimization

TermCriteria term = new TermCriteria(TermCriteria.EPS | TermCriteria.MAX_ITER, 30, 0.1);

Imgproc.cornerSubPix(grayImage, imageCorners, new Size(11, 11), new Size(-1, -1), term);

// save the current frame for further elaborations

grayImage.copyTo(this.savedImage);

// show the chessboard inner corners on screen

//Calib3d.drawChessboardCorners(frame, boardSize, imageCorners, found);

1.3.3 Augmentation : Point p0=new Point(imageFramePoints.get(0, 0)[0], imageFramePoints.get(0, 0)[1]);

Point p1=new Point(imageFramePoints.get(1, 0)[0], imageFramePoints.get(1,

0)[1]);

Point p2=new Point(imageFramePoints.get(2, 0)[0], imageFramePoints.get(2,

0)[1]);

Point p3=new Point(imageFramePoints.get(3, 0)[0], imageFramePoints.get(3,

0)[1]);

Point p4=new Point(imageFramePoints.get(4, 0)[0], imageFramePoints.get(4,

0)[1]);

Point p5=new Point(imageFramePoints.get(5, 0)[0], imageFramePoints.get(5,

0)[1]);

Point p6=new Point(imageFramePoints.get(6, 0)[0], imageFramePoints.get(6,

0)[1]);

Point p7=new Point(imageFramePoints.get(7, 0)[0], imageFramePoints.get(7,

0)[1]);

////////////////augmentation

Core.line(frame, p0, p1, new Scalar(255,0,0), 2 );

Core.line(frame, p1, p5, new Scalar(0,255,0), 2 );

Core.line(frame, p5, p3, new Scalar(0,0,255), 2 );

Core.line(frame, p3, p0, new Scalar(255,0,0), 2 );

Core.line(frame, p0, p2, new Scalar(0,255,0), 2 );

Core.line(frame, p2, p6, new Scalar(0,0,255), 2 );

Core.line(frame, p6, p3, new Scalar(255,0,0), 2 );

Core.line(frame, p1, p4, new Scalar(0,255,0), 2 );

Core.line(frame, p4, p7, new Scalar(0,255,0), 2 );

Core.line(frame, p7, p5, new Scalar(0,0,255), 2 );

Core.line(frame, p6, p7, new Scalar(255,0,0), 2 );

Core.line(frame, p2, p4, new Scalar(0,255,0), 2 );

1.4 Capture D’écran :

Lorsque vous exécutez l'application venir à nous suivre l'interface :

Fig.40 : exécution d’application

Bouton Fichier en nous montrant les boutons suivants :

Fig.41 : le Bouton Fichier

- Start Caméra : bouton pour lancer la caméra.

- Load image : bouton pour sélectionner une image pour augmentée dans la

scène .

- Save image : pour sauvegarder l’image.

- Quit : pour quitter le l’application.

Bouton augmentation en nous montrant les boutons suivants :

Fig.42 : Le Bouton augmentation

- Star Augmentation : pour exécuter l’augmentation.

- Imaging Device : Nous trouvons deux boutons pour choisir ce que vous utilisez

l'appareil photo pour un ordinateur externe et la caméra.

- 2D pour fait l’augmentation 2 dimension.

- 3D pour fait l’augmentation 3 dimension.

Exécution de l’application et fait l’augmentation :

Fig.43 : l’augmentation

1.5 Conclusion : Dans ce chapitre nous avons présenté la mise en œuvre des différents composants

vue dans le chapitre 3 présentant la conception de notre système. Nous définissons

ensuite l’environnement de développement, le choix de langages de

programmation JAVA. Nous donnons quelques exemples d’exécution pour mieux

illustré notre application.

Conclusion générale Concernant plusieurs technologies actuelles dans la vision par ordinateur, la

réalité augmentée est vraiment un domaine très vaste et compliqué mais aussi prometteur.

Avec des progrès obtenus depuis une décade ,la réalité augmentée a été appliquée dans de nombreux domaines de la vie comme réparation mécanique, annotation, enseignement, distraction etc. Pourtant, les techniques de suivi ne sont pas encore assez robustes. C’est pourquoi la réalité augmentée n’est pas encore acceptée dans la médecine, un domaine qui demande strictement l’exactitude du suivi en temps réel. Une autre limitation de cette technologie, c’est que les

applications de réalité augmentée sont encore très chères à cause des dispositifs spéciaux et des efforts de construction. Mais avec l’avancement des technologies, nous pouvons avoir confiance en l’intérêt que cette technologie nous apportera.

Notre objectif était l’implémentation d’une application de réalité augmentée permettant l’incrustation d’objets virtuels 2D dans une séquence vidéo.

Nous avons vu que ce système utilise des objets planaires pour l’incrustation d’objets virtuels, ce qui implique le suivi de ces objets le long des séquences vidéo ,pour cela la localisation d’une région cible était nécessaire.

Toutes ces techniques ont été combinées pour la réalisation d’un système de réalité augmentée assez robuste et avec une augmentation assez réaliste : robuste, notamment envers les changements d’orientation, et réaliste, dans le sens où les objets virtuels présentent une stabilité intéressante et sont augmentés en respectant l’ordre de profondeur des objets de la scène.

Et dans tout ça, nous n’avons pas manqué de renforcer les notions théoriques avec des implémentations concrètes dans le langage JAVA.

Notre travail futur touche essentiellement à l’amélioration des résultats obtenus, pour l’insertion d’objets 3D temps réel. Pour le cas 3D, le problème est plus compliqué, il s’agit de faire une calibration de la caméra, ou autrement dit le processus qui a pour fin de déterminer la matrice de projection 3D-2D depuis l’espace 3D vers l’image. Ce qui nécessite la connaissance des paramètres intrinsèques et extrinsèques de la caméra.

Mais techniquement, le problème peut se ramener à un problème similaire au cas 2D avec cependant le calcul de la matrice de projection avec six paires au lieu de quatre.

Personnellement, la réalité augmentée est un domaine passionnant parce qu’elle peut faire ce que je ne pouvais pas imaginer auparavant. Jouer aux échecs avec une personne virtuelle, visiter un ancien château qui a été détruit, choisir le design de sa maison ; cela devient possible avec la réalité augmentée.

Références (1): Mihran Tuceryan, Douglas S Greer, Ross T. Whitaker, David Breen, Eric Rose, Chris Crampton, and Klaus H. Ahlers. Calibration requirements and procedures for a monitor-based augmented reality system. IEEE Transactions on Visualization and Computer Graphics, 1(3) :255–273, September 1995. (2): Ronald Azuma and Gary Bishop. Improving static and dynamic registration in an optical seethrough hmd. In SIGGRAPH, pages 197–204, 1994. (3): Mihran Tuceryan and Nassir Navab. Single point active alignment method (spaam) for optical see-through hmd calibration for ar. In International Symposium on Augmented Reality (ISAR), (4): Wellner 93 (5) : Mac Kay 98 a (6):Azuma Ronald T., 1995. Predictive Tracking f r Augmented Reality. Ph.D. dissertation, département d’informatique de UNC Chapel Hill. Science technical report TR95-007

(7): Seo Yongduek and Ki-Sang Hong, 2000. Weakly Calibrated Video-Based Augmented Reality: Embedding and Rendering Through Virtual Camera. Proceedings of the IEEE and ACM (8): Simon G., A. W. Fitzgibbonn and A. Zisserman, 2000. Markless Tracking Using Planar structures in the Scene. Proceedings of International Symposium an Augmented Reality 2000 (ISAR2000), IEEE CS Press, Los Alamitos, Californie, p. 120-128 (9): Mellor J.P., 1995b. Realtime Camera Calibration for Enhanced Reality Visualization. Proceedings of Computer Vision, Virtual Reality, and Robotics in Medecina’95 (CVRMed’95), Nice, France, 3, p. 471-475. (10): Azuma, 1997 (11): Azuma, R.T. (1997). A survey of augmented reality. Presence: Teleoperators and Virtual Environments, 6, 355–385. (12): Baber, C. (2001). Wearable computers: a human factors review. International Journal of Human-Computer Interaction, 13, 123–145 (13): BERNAT M. Social aspects of virtual reality: the physiological dangers of this technology http://www.gel.ulaval.ca/mbernat/rapporta/rapangl4.html (14): BEVAN M. Ed. 1997 Proceedings VRET'97 Virtual reality in Education & Training 180p AGOCG (15): Laval Virtual, Rencontres Internationales de la Réalité Virtuelle (16): Siggraph, Rencontres Internationales de l'image numérique et de la Réalité Virtuelle. (17): Yvan E. Sutherland. A head-mounted three-dimensional display. In AFIPS Conference, volume 33, pages 757–764, 1968. (18): Shahzad Malik, Gerhard Roth, Chris McDonald: Robust 2D Tracking for Real-time Augmented Reality. In Proceedings of Vision Interface (2002), Calgary, Alberta, Canada (19): Mark Fiala: Automatic Projector Calibration Using Self-Identifying Patterns. Procams 2005, IEEE International Workshop on Projector-Camera Systems. Saturday June 25, 2005, San Diego, California, USA (20): Gilles Simon, Andrew W. Fitzgibbon and Andrew Zisserman: Markerless Tracking using Planar Structures in the Scene. Proc. International Symposium on Augmented Reality (2000). http://citeseer.ist.psu.edu/344237.html (21): Ronald Azuma, Jong Weon Lee, Bolan Jiang, Jun Park, Suya You, and Ulrich Neumann: Tracking in Unprepared Environments for Augmented Reality Systems. Computers & Graphics, Vol 23, No 6 December 1999, pp. 787-793

(22): Christopher Jaynes and Jing Hou: Temporal Registration using a Kalman Filter for Augmented Reality Applications. University of Kentucky, Department of Computer Science, Metaverse Lab, Vision Interface, May 2000 (23): M. L. Dertouzos (1997). What will be : how the new world of information will change our lives. HarperEdge, New York.)

-BADECHE, Mohamed et BENMOHAMMED, Mohamed. Classification of the Latin alphabet as pattern on ARToolkit markers for Augmented Reality Applications. World Academy of science, Engineering and Technology, 2012, vol. 6, no 9, p. 386-390. (26) : GAO, Xiang, MAO, Hongwei, MUNSON, Eric, et al. Efficient parallel implementation of real-

time airborne target tracking system on heterogeneous multicore SoC. In : SPIE Defense, Security, and Sensing. International Society for Optics and Photonics, 2013. p. 871316-871316-11.

(27) : CAUNTER, Micah. Procedurally Generating Everything. 2012.

(35) : M Nohair, A St-Hilaire et T. B Ouarda, «Schobbens Utilisation de réseaux de neurones et de la régularisation bayésienne en modélisation de la température de l’eau en rivière ». Revue des sciences de l'eau. Journal of Water Science, vol. 21, n° 3, p. 373-382, 2008. (38) : Pérez P., Hue C., Vermaak J. and Gangnet M., “Color based probabilistic tracking”, ECCV’02, 2002, pages 661–675 (24) :http://tpe-la-realite-augmentee.e-monsite.com/pages/ii-fonctionnement-de-la-realite-augmentee/d-outils-de-la-realite-augmentee.html (25) : http://www.opentl.org/architecture.html (28) : https://www.java.com/fr/download/faq/whatis_java.xml . (29) : https://openclassrooms.com/forum/sujet/avantages-de-java-97358 (30) : http://www.techno-science.net/?onglet=glossaire&definition=5346 (31) : http://www.homido.com/fr/shop/produits/homido-hmd (32)(33) : http://webloria.loria.fr/~gsimon/ra/ (34) : http://ia-tpe.over-blog.com/article-les-reseaux-de-neurones-artificiels-67996795.html (39) : http://lenaetalexauxusa.blogspot.com/2014/02/football-americain.html (40) : http://www.crossmedias.fr/fr/2014/02/la-realite-augmentee-au-service-de-la-formation/ (41) : http://webloria.loria.fr/~gsimon/ra/