complexité naturelle et synthèse d’images

* iMAGIS est un projet commun CNRS, INRIA, INPG et UJF.

Complexité Naturelle Complexité Naturelle etet

Synthèse d’ImagesSynthèse d’Images



Fabrice Neyret

iMAGIS* - GRAVIR / IMAG - INRIA

http://www-imagis.imag.fr/

iMAGIS-GRAVIR / IMAG

Simuler les Scènes NaturellesSimuler les Scènes NaturellesSimuler les Scènes NaturellesSimuler les Scènes Naturelles

Cadre : effets spéciaux (réalisme)

réalité virtuelle (temps réel)

Paradigme classique : équations physique + données + gros ordinateur

simulation réaliste

Problème :

ne marche pas si bien !


Les Les scènes naturelles sont scènes naturelles sont complexescomplexesLes Les scènes naturelles sont scènes naturelles sont complexescomplexes


Elles contiennent énormément de détails :


Le détail des mouvements est complexe :


Scènes Naturelles en Synthèse d’ImagesScènes Naturelles en Synthèse d’ImagesScènes Naturelles en Synthèse d’ImagesScènes Naturelles en Synthèse d’Images

Gardner 84Reeves 85

Fournier & Reeves 86

iMAGIS-GRAVIR / IMAGXfrog+PovrayAMAP

Deussen, Hanrahan, Lintermann, Mech, Pharr, Prusinkiewicz 98

iMAGIS-GRAVIR / IMAGAreté Foster & Fedkiw 01

Nishita, Nakamae, Dobashi 96Lee & Musgrave


Problèmes techniques rencontrésProblèmes techniques rencontrésProblèmes techniques rencontrésProblèmes techniques rencontrés

travail de modélisation (de la scène)

stockage

Pour le rendu : temps de calcul aliasing

Pour l’animation : résolution en temps et en espace stabilité, convergence


Problèmes plus fondamentauxProblèmes plus fondamentauxProblèmes plus fondamentauxProblèmes plus fondamentaux

Les modèles physiques sont-ils complets ?

Les paramètres sont-ils disponibles ? A-t-on besoin de cette mer de chiffres ?

(on remarque surtout les effets émergents)

Quel contrôle du résultat global ? (même remarque)


Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !


Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !

que voit-on réellement ?

formes à grande échellerelief: occultations, ombres, parallaxe

illumination et reflets

mouvement :

parallaxe,

+ ?


Exploite-t-on toute la connaissance disponible ?Exploite-t-on toute la connaissance disponible ?Exploite-t-on toute la connaissance disponible ?Exploite-t-on toute la connaissance disponible ?

Il y a de grandes régularités dans les scènes naturelles !


Mon approche pour traiter ces scènesMon approche pour traiter ces scènesMon approche pour traiter ces scènesMon approche pour traiter ces scènes

Complexité spatiale Représentations impressionnistes

(i.e. alternatives aux polygones)

Complexité d’échelles Hiérarchie de modèles

Complexité du mouvement Modèles phénoménologiques

Outils de description et construction



1 1 Représentations impressionnistes (i.e. alternatives aux polygones)

2 2 Hiérarchie de modèles

3 3 Modèles phénoménologiques

44 Outils de description et construction


1.1. Représentations: Représentations: quelques ingrédientsquelques ingrédients1.1. Représentations: Représentations: quelques ingrédientsquelques ingrédients

Codage direct du comportement lumineux champ de réflectance sur la surface

e.g.: BRDF, distribution de normales (NDF)

Codage volumique (e.g. pour pseudo-surfaces) champ de densité

très efficace à cette échelle

Codage texturel (plaquage de motifs) champ de pixels

coût de rendu indépendant du motif revient à factoriser / quantifier la géométrie

( existants: IBR, lightfields, shaders, cartes de Z, surfels... )


Les bonnes propriétésLes bonnes propriétésLes bonnes propriétésLes bonnes propriétés

Ces représentations sont compactes pas plus que l'information visible (impressionisme)

moins de travail inutile pour le graphiste

Elles sont structurantes, ce qui permet l'optimisation du temps de rendu l'anti-aliasing (e.g.: MIP-mapping)


Exemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiques

cube de texture volume (voxels) comportement lumineux

surface à texturer

mapping Kajiya & Kay 89



cube de texture volume (voxels) comportement lumineux

surface à texturer

mapping


Textures volumiques en temps-réelTextures volumiques en temps-réelTextures volumiques en temps-réelTextures volumiques en temps-réel A.Meyer[EWR’98]


F. Sénégas


Exemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiques

pixelFormule analytique de la reflectance totale dans le pixel

A. Meyer [GI’00]


Exemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiques

pixel


Exemple 3: les textures bidirectionnellesExemple 3: les textures bidirectionnellesExemple 3: les textures bidirectionnellesExemple 3: les textures bidirectionnelles

v

A. Meyer P. Poulin [EWR’01]


2.2. Hiérarchie de modèles Hiérarchie de modèles2.2. Hiérarchie de modèles Hiérarchie de modèlesHabiller un modèle global avec un modèle local:

modèle physique de fluideà grande échelle et faible resolution + croute de lave détails qualitatifs à haute résolution

hiérarchie de motifs animéscaractéristiques de chaque échellepour les nuages convectifs / la fumée

surface d’organe interactive+ détails 3D déformables pour la simulation chirurgicale (bronches, intestins)


Exemple: coulée de laveExemple: coulée de laveExemple: coulée de laveExemple: coulée de lave

Modèle de mouvement physique (approché)

large domaine

basse résolution

Simulation à base de particules

D. Stora, P.-O. Agliati, M-P. Cani [GI’99]



Construction d’une surface

peau implicite

voisinages



habillage


3.3. Modèles phénoménologiques Modèles phénoménologiques3.3. Modèles phénoménologiques Modèles phénoménologiques Caractériser les formes et leurs intéractions à grande échelle:

Modéliser directement les phénomènes émergents


Exemple 1: Simulation des ruisseauxExemple 1: Simulation des ruisseauxExemple 1: Simulation des ruisseauxExemple 1: Simulation des ruisseaux

phénomènes émergents: ici, ridules et ondes de chocN. Praizelin[EWAS’01]


vc

c= gh

Typologie des vagues stationnairesTypologie des vagues stationnairesTypologie des vagues stationnairesTypologie des vagues stationnaires

Cas non dispersif:cg = cw = c

onde de choc vc

ondes capillaires créées par une onde de choc

ccgg

ondes capillaires

ccww

ccgg

ondes de gravité (dispersives) ccww

ccgg

cw


Construction géométrique des ondesConstruction géométrique des ondesConstruction géométrique des ondesConstruction géométrique des ondes


3. Add field perturbations3. Add field perturbations3. Add field perturbations3. Add field perturbations


Exemple 2: Exemple 2: animation de nuages convectifsanimation de nuages convectifsExemple 2: Exemple 2: animation de nuages convectifsanimation de nuages convectifs

Modéliser directement les instabilités caractéristiques [EWAS’97]


Exemple 3: rendu de cumulusExemple 3: rendu de cumulusExemple 3: rendu de cumulusExemple 3: rendu de cumulusCaractéristiques lumineuses prévisibles


(travaux préliminaires)(travaux préliminaires)


4.4. Outils de description et construction Outils de description et construction4.4. Outils de description et construction Outils de description et construction

Pour l’habillage (détails, état de surface)

Assez haut niveau

Largement contrôlable (pas trop automatique)

Interactif

Formes issues du mouvement

Textures (mapping, procédurales, animées…)


Exemple 1: textures de dilatationExemple 1: textures de dilatationExemple 1: textures de dilatationExemple 1: textures de dilatationJean Combaz


Exemple 2: Exemple 2: Synthèse de déchiruresSynthèse de déchiruresExemple 2: Exemple 2: Synthèse de déchiruresSynthèse de déchiruresS. Lefebvre


Construction de l’habillageConstruction de l’habillageConstruction de l’habillageConstruction de l’habillage


Exemple 3: plaquage de texturesExemple 3: plaquage de textures& M-P. Cani [SIG’99]

Problèmes: distortion, discontinuité, périodicité


Exemple 4: flownoiseExemple 4: flownoiseExemple 4: flownoiseExemple 4: flownoise & K. Perlin [SIGsketch’01]


5.5. Temps réel Temps réel5.5. Temps réel Temps réelR. Heiss

F. Sénégas

Lombardo & Cani[CA’99]

A. Miné

[TVC’01]


Animation adaptative de l’océanAnimation adaptative de l’océanAnimation adaptative de l’océanAnimation adaptative de l’océan

300x300, 10s de calculRésolution 50x50, 15 fps

D. Hinsinger, M-P. Cani [soumis]


ConclusionsConclusionsConclusionsConclusions il y a une vie en dehors des polygones,

et de Navier-Stokes !

ne pas chercher un modèle universel

aucun modèle n’est bon à toutes les échelles il y a un espoir pour le rendu réaliste rapide des

scènes naturelles (eau, fumée, nuages, cheveux,fourrure…)

* iMAGIS est un projet commun CNRS, INRIA, INPG et UJF.





Fabrice Neyret

iMAGIS* - GRAVIR / IMAG - INRIA

http://www-imagis.imag.fr/


Hydraulique et ressautsHydraulique et ressautsHydraulique et ressautsHydraulique et ressauts C. Dodard



11 Complexité spatiale représentations impressionnistes

(i.e. alternatives aux polygones)

22 Complexité d’échelles hiérarchie de modèles

33 Complexité du mouvement modèles phénoménologiques

44 Outils de description et construction

complexité naturelle et synthèse d’images

Documents