complexité naturelle et synthèse d’images

* iMAGIS est un projet commun CNRS, INRIA, INPG et UJF.

Complexité Naturelle Complexité Naturelle etet

Synthèse d’ImagesSynthèse d’Images

Fabrice Neyret

iMAGIS* - GRAVIR / IMAG - INRIA

http://www-imagis.imag.fr/

iMAGIS-GRAVIR / IMAG

Simuler les Scènes NaturellesSimuler les Scènes NaturellesSimuler les Scènes NaturellesSimuler les Scènes Naturelles

Cadre : effets spéciaux (réalisme)

réalité virtuelle (temps réel)

Paradigme classique : équations physique + données + gros ordinateur

simulation réaliste

Problème :

ne marche pas si bien !

Les Les scènes naturelles sont scènes naturelles sont complexescomplexesLes Les scènes naturelles sont scènes naturelles sont complexescomplexes

Elles contiennent énormément de détails :

Le détail des mouvements est complexe :

Scènes Naturelles en Synthèse d’ImagesScènes Naturelles en Synthèse d’ImagesScènes Naturelles en Synthèse d’ImagesScènes Naturelles en Synthèse d’Images

Gardner 84Reeves 85

Fournier & Reeves 86

iMAGIS-GRAVIR / IMAGXfrog+PovrayAMAP

Deussen, Hanrahan, Lintermann, Mech, Pharr, Prusinkiewicz 98

iMAGIS-GRAVIR / IMAGAreté Foster & Fedkiw 01

Nishita, Nakamae, Dobashi 96Lee & Musgrave

Problèmes techniques rencontrésProblèmes techniques rencontrésProblèmes techniques rencontrésProblèmes techniques rencontrés

travail de modélisation (de la scène)

stockage

Pour le rendu : temps de calcul aliasing

Pour l’animation : résolution en temps et en espace stabilité, convergence

Problèmes plus fondamentauxProblèmes plus fondamentauxProblèmes plus fondamentauxProblèmes plus fondamentaux

Les modèles physiques sont-ils complets ?

Les paramètres sont-ils disponibles ? A-t-on besoin de cette mer de chiffres ?

(on remarque surtout les effets émergents)

Quel contrôle du résultat global ? (même remarque)

Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !

que voit-on réellement ?

formes à grande échellerelief: occultations, ombres, parallaxe

illumination et reflets

mouvement :

parallaxe,

mouvement :

parallaxe,

mouvement :

parallaxe,

mouvement :

parallaxe,

mouvement :

parallaxe,

mouvement :

parallaxe,

mouvement :

parallaxe,

Exploite-t-on toute la connaissance disponible ?Exploite-t-on toute la connaissance disponible ?Exploite-t-on toute la connaissance disponible ?Exploite-t-on toute la connaissance disponible ?

Il y a de grandes régularités dans les scènes naturelles !

Mon approche pour traiter ces scènesMon approche pour traiter ces scènesMon approche pour traiter ces scènesMon approche pour traiter ces scènes

Complexité spatiale Représentations impressionnistes

(i.e. alternatives aux polygones)

Complexité d’échelles Hiérarchie de modèles

Complexité du mouvement Modèles phénoménologiques

Outils de description et construction

1 1 Représentations impressionnistes (i.e. alternatives aux polygones)

2 2 Hiérarchie de modèles

3 3 Modèles phénoménologiques

44 Outils de description et construction

1.1. Représentations: Représentations: quelques ingrédientsquelques ingrédients1.1. Représentations: Représentations: quelques ingrédientsquelques ingrédients

Codage direct du comportement lumineux champ de réflectance sur la surface

e.g.: BRDF, distribution de normales (NDF)

Codage volumique (e.g. pour pseudo-surfaces) champ de densité

très efficace à cette échelle

Codage texturel (plaquage de motifs) champ de pixels

coût de rendu indépendant du motif revient à factoriser / quantifier la géométrie

( existants: IBR, lightfields, shaders, cartes de Z, surfels... )

Les bonnes propriétésLes bonnes propriétésLes bonnes propriétésLes bonnes propriétés

Ces représentations sont compactes pas plus que l'information visible (impressionisme)

moins de travail inutile pour le graphiste

Elles sont structurantes, ce qui permet l'optimisation du temps de rendu l'anti-aliasing (e.g.: MIP-mapping)

Exemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiques

cube de texture volume (voxels) comportement lumineux

surface à texturer

mapping Kajiya & Kay 89

surface à texturer

mapping

surface à texturer

mapping

Textures volumiques en temps-réelTextures volumiques en temps-réelTextures volumiques en temps-réelTextures volumiques en temps-réel A.Meyer[EWR’98]

F. Sénégas

Exemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiques

pixelFormule analytique de la reflectance totale dans le pixel

A. Meyer [GI’00]

Exemple 3: les textures bidirectionnellesExemple 3: les textures bidirectionnellesExemple 3: les textures bidirectionnellesExemple 3: les textures bidirectionnelles

A. Meyer P. Poulin [EWR’01]

2.2. Hiérarchie de modèles Hiérarchie de modèles2.2. Hiérarchie de modèles Hiérarchie de modèlesHabiller un modèle global avec un modèle local:

modèle physique de fluideà grande échelle et faible resolution + croute de lave détails qualitatifs à haute résolution

hiérarchie de motifs animéscaractéristiques de chaque échellepour les nuages convectifs / la fumée

surface d’organe interactive+ détails 3D déformables pour la simulation chirurgicale (bronches, intestins)

Exemple: coulée de laveExemple: coulée de laveExemple: coulée de laveExemple: coulée de lave

Modèle de mouvement physique (approché)

large domaine

basse résolution

Simulation à base de particules

D. Stora, P.-O. Agliati, M-P. Cani [GI’99]

Construction d’une surface

peau implicite

voisinages

habillage

3.3. Modèles phénoménologiques Modèles phénoménologiques3.3. Modèles phénoménologiques Modèles phénoménologiques Caractériser les formes et leurs intéractions à grande échelle:

Modéliser directement les phénomènes émergents

Exemple 1: Simulation des ruisseauxExemple 1: Simulation des ruisseauxExemple 1: Simulation des ruisseauxExemple 1: Simulation des ruisseaux

phénomènes émergents: ici, ridules et ondes de chocN. Praizelin[EWAS’01]

Typologie des vagues stationnairesTypologie des vagues stationnairesTypologie des vagues stationnairesTypologie des vagues stationnaires

Cas non dispersif:cg = cw = c

onde de choc vc

ondes capillaires créées par une onde de choc

ondes capillaires

ondes de gravité (dispersives) ccww

Construction géométrique des ondesConstruction géométrique des ondesConstruction géométrique des ondesConstruction géométrique des ondes

3. Add field perturbations3. Add field perturbations3. Add field perturbations3. Add field perturbations

Exemple 2: Exemple 2: animation de nuages convectifsanimation de nuages convectifsExemple 2: Exemple 2: animation de nuages convectifsanimation de nuages convectifs

Modéliser directement les instabilités caractéristiques [EWAS’97]

Exemple 3: rendu de cumulusExemple 3: rendu de cumulusExemple 3: rendu de cumulusExemple 3: rendu de cumulusCaractéristiques lumineuses prévisibles

(travaux préliminaires)(travaux préliminaires)

4.4. Outils de description et construction Outils de description et construction4.4. Outils de description et construction Outils de description et construction

Pour l’habillage (détails, état de surface)

Assez haut niveau

Largement contrôlable (pas trop automatique)

Interactif

Formes issues du mouvement

Textures (mapping, procédurales, animées…)

Exemple 1: textures de dilatationExemple 1: textures de dilatationExemple 1: textures de dilatationExemple 1: textures de dilatationJean Combaz

Exemple 2: Exemple 2: Synthèse de déchiruresSynthèse de déchiruresExemple 2: Exemple 2: Synthèse de déchiruresSynthèse de déchiruresS. Lefebvre

Construction de l’habillageConstruction de l’habillageConstruction de l’habillageConstruction de l’habillage

Exemple 3: plaquage de texturesExemple 3: plaquage de textures& M-P. Cani [SIG’99]

Problèmes: distortion, discontinuité, périodicité

Exemple 4: flownoiseExemple 4: flownoiseExemple 4: flownoiseExemple 4: flownoise & K. Perlin [SIGsketch’01]

5.5. Temps réel Temps réel5.5. Temps réel Temps réelR. Heiss

F. Sénégas

Lombardo & Cani[CA’99]

A. Miné

[TVC’01]

Animation adaptative de l’océanAnimation adaptative de l’océanAnimation adaptative de l’océanAnimation adaptative de l’océan

300x300, 10s de calculRésolution 50x50, 15 fps

D. Hinsinger, M-P. Cani [soumis]

ConclusionsConclusionsConclusionsConclusions il y a une vie en dehors des polygones,

et de Navier-Stokes !

ne pas chercher un modèle universel

aucun modèle n’est bon à toutes les échelles il y a un espoir pour le rendu réaliste rapide des

scènes naturelles (eau, fumée, nuages, cheveux,fourrure…)

* iMAGIS est un projet commun CNRS, INRIA, INPG et UJF.

Fabrice Neyret

iMAGIS* - GRAVIR / IMAG - INRIA

http://www-imagis.imag.fr/

Hydraulique et ressautsHydraulique et ressautsHydraulique et ressautsHydraulique et ressauts C. Dodard

11 Complexité spatiale représentations impressionnistes

(i.e. alternatives aux polygones)

22 Complexité d’échelles hiérarchie de modèles

33 Complexité du mouvement modèles phénoménologiques

44 Outils de description et construction

complexité naturelle et synthèse d’images

Documents

logique linéaire et complexité...

initiation à la retouche d’images

programmation linéaire, jeux, complexité

chaos, complexité, et christianité

chapitre 2 complexité

tps traitement d’images

* imagis est un projet commun cnrs, inria, inpg et ujf....

organiser pour la complexité

intelligence collective & complexité

cours n°2 traitement d’images structure d’objets...

algorithmes et complexité

rendu réaliste en synthèse d’images

structures de données et complexité. notions de...

scanneur d’images instructions préliminaires

2012 vallat complexité

reconstruction d’images par la statistique …

kesb_pourquoi la complexité

synthèse d’images 3. texture

techniques d’impression d’images numérisées.pdf

le traitement d’images médicales