evaluation de probabilités de détection (pod) utilisant … · les recherches en cours et...

44
Evaluation de Probabilités de Détection (POD) utilisant la simulation JOURNEES NIVEAUX 3 COSAC Nicolas Dominguez 18 Septembre 2012 Possible line for organisation unit / Arial Regular 10pt

Upload: trinhphuc

Post on 10-Sep-2018

214 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Evaluation de Probabilités de Détection (POD) utilisant la simulation

JOURNEES NIVEAUX 3 COSAC

Nicolas Dominguez

18 Septembre 2012

Possible line for organisation unit / Arial Regular 10pt

Page 2: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Plan de l’exposé

1. Généralités sur les POD

– POD : Pourquoi ?

– POD : Comment ?

– POD et Confiance ?

2. L’approche « POD utilisant la simulation »

– Pourquoi ?

– Comment ?

– Exemples et résultats

3. Les recherches en cours et perspectives

POD & Simulation supported POD

Page 2

28 September,

2012

Page 3: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD : Pourquoi ?

POD & Simulation supported POD

Page 3

28 September,

2012

Damage tolerance is a property of a structure relating to its ability to

sustain defects safely until repair can be effected or the structure replaced.

Damage tolerance

Maintenance programme

(NDT & repair)

NDT reliability

Obligation règlementaire de produire des POD

Conception en Tolérance aux Dommages

1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Les évènements « dommage », « détection, « charge » sont des évènements bien

réels décrits par des grandeurs probabilistes.

Page 4: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD : Pourquoi ?

POD & Simulation supported POD

Page 4

28 September,

2012

1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Pourquoi parler de « détection » avec des probabilités ?

Les CND mis en œuvre sur les structures aéronautiques sont bien spécifiés,

définis par des procédures répétables et reproductibles.

Pourtant le résultat d’un CND reste sujet à des « incertitudes » qui apparaissent

comme une « variabilité » dans les résultats des campagnes POD.

Sources possibles d’incertitudes :

• Defect (e.g. fatigue cracks)

• Procedure (fine tuning)

• Testing material (one instrument & an equivalent one)

• Material under test (conductivity variability, grain structure…)

• Mechanical repeatability (positioning)

• Human appreciation (diagnosis)

• …

S

a

“Real” NDT

S(a) = (a) + a(M)

S

a

No uncertainty

S(a) = (a)

Page 5: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD : Pourquoi ?

POD & Simulation supported POD

Page 5

28 September,

2012

1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Le facteur humain

Mechanical positionning:

reproducibility

Screen reading

… diagnosis

Page 6: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD : Pourquoi ?

POD & Simulation supported POD

Page 6

28 September,

2012

1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Le résultat de POD est riche, il intègre les informations :

• Plus petit défaut que l’on peut détecter

• Plus grand défaut que l’on peu manquer

La POD ne décrit en aucun cas la propention d’une procédure à

déclencher de fausses alarmes.

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50

10

20

30

40

50

60

70

80

90

100

Crack length (mm)

Pro

ba

bili

ty O

f D

ete

ctio

n (

%)

Observed POD

PÔD

POD 95 % confidence

La POD est une “métrique” caractérisant les performances d’un CND en

intégrant la notion de fiabilité.

Page 7: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD : Pourquoi ?

POD & Simulation supported POD

Page 7

28 September,

2012

1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Exemple de POD

Fissures de fatigue dans un alliage de titane

CND “A” CND “B”

Page 8: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Plan de l’exposé

1. Généralités sur les POD

– POD : Pourquoi ?

– POD : Comment ?

– POD et Confiance ?

2. L’approche « POD utilisant la simulation »

– Pourquoi ?

– Comment ?

– Exemples et résultats

3. Les recherches en cours et perspectives

POD & Simulation supported POD

Page 8

28 September,

2012

Page 9: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD : Comment ?

Page 9

28 September,

2012

Définition :

“The POD(a) function is defined as the proportion of all cracks of size a that

will be detected in a particular application of an NDE system”(*)

Rephrased in the MIL-HDBK 1823, 2009 version:

“The fraction of targets of nominal size, a, expected to be found, given their

existence”

* A.P. Berens, Metals Handbook, vol. 17, 9th edition: Nondestructive Evaluation and Quality Control

Une POD est applicable pour

– Une structure à inspecter/un matériau donné

– Un type de défaut donné

– Un CND donné

– Une procédure donnée

Définition de seuils : Détection, Saturation, Bruit

… influencent la POD

saturation

decision noise

POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Page 10: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD : Comment ?

Page 10

28 September,

2012 POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Deux types de données

« Hit/Miss » : diagnostic binaire, T,

Détection : T = 1

Non-détection : T = 0

« Signal Response » : diagnostic quantitatif, S,

s th le seuil de détection. Pour une taille de défaut a,

Détection si S(a) s th

Non-détection si S(a) < s th

Remarque :

On peut toujours se ramener à un cas “Hit/Miss”

• T=1 if S(a) sth

• T=0 if S(a) < sth

Dans la littérature américaine on

trouve â au lieu de S

Page 11: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD : Comment ?

Page 11

28 September,

2012 POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Estimation POD sur données Hit/Miss

)( trialsofNumber

)(Hits ofNumber )(

a

aaPODobs

(A.P. Berens, Metals Handbook, vol. 17, 9th edition: Nondestructive Evaluation and Quality Control)

• Pour chaque taille a, calcul de la « POD observée » comme le ratio de

détections pour la taille a

• La fonction POD est ensuite obtenue pour tout a par régression paramétrique

sur les valeurs de PODobs à l’aide d’une fonction « choisie » a priori (log-odd,

normale, log-normale, …)

Page 12: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD : Comment ?

Page 12

28 September,

2012 POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Estimation POD sur données « Signal »

(A.P. Berens, Metals Handbook, vol. 17, 9th edition: Nondestructive Evaluation and Quality Control)

Hypothèses :

ln(S) et ln(a) sont liés linéairement : ln(S) = 0 + 1ln(a) + , est une variable aléatoire gaussienne N(0,)

est constant pour tout a

)]ln())([ln(])([)( thth saSsaSaPOD PP

))ln(()ln(1)( 10 as

aPODth

1

10

/

/))(ln()ln(

thsa

Les paramètres 0, 1 et sont estimés par régression linéaire de ln(S) sur ln(a)

Fonction de répartition de N(0,1)

La fonction POD est une loi log-normale cumulée de paramètres

1

10

/

/))(ln(

thsµ

Dans ce cadre, ln(S) suit une N(0+ 1ln(a),).

Alors pour a fixé,

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.50

10

20

30

40

50

60

70

80

90

100

Void radius (mm)

Pro

ba

bili

ty O

f D

ete

ctio

n (

%)

Estimated POD

POD 95% confidence

Page 13: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD : Comment en pratique ?

Page 13

28 September,

2012 POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Combien de données ?

Hit/Miss : 60 défauts « minimum »

Signal Response : 40 défauts « minimum »

En général au moins 3 opérateurs (5 recommandés) doivent participer à la

campagne de test

Il est (très) important de prévoir des échantillons sans défaut dans le plan de test

pour éviter de biaiser l’étude.

Quelles données ?

Des défauts répartis en majorité dans la zone de

forte pente de POD

+ des défauts jamais détectés (petits)

+ des défauts toujours détectés (grands)

Quand on ne sait pas a priori situer la POD une

répartition régulière (espacement constant) est

optimale.

v v

Page 14: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Plan de l’exposé

1. Généralités sur les POD

– POD : Pourquoi ?

– POD : Comment ?

– POD et Confiance ?

2. L’approche « POD utilisant la simulation »

– Pourquoi ?

– Comment ?

– Exemples et résultats

3. Les recherches en cours et perspectives

POD & Simulation supported POD

Page 14

28 September,

2012

Page 15: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD et confiance ?

Page 15

28 September,

2012 POD & Simulation supported POD

a90/95

Probabilité Niveau de confiance

L’estimation statistique est menée sur un échantillon fini.

La considération d’un autre échantillon mène à une “autre” courbe POD.

L’intervalle de confiance estime l’erreur commise du fait de l’échantillonnage

Moins il y a de données dans l’échatillon plus l’intervalle de confiance est grand (pénalisant)

La largeur de l’intervalle de confiance décroit en ~𝟏/ 𝑵

Quel usage de la bande de confiance ?

» Couvre l’erreur d’échantillonnage

» Politique de marge des bureaux d’études

(conservativité)

Les valeurs de POD sont généralement données avec un niveau de confiance

1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Page 16: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Plan de l’exposé

1. Généralités sur les POD

– POD : Pourquoi ?

– POD : Comment ?

– POD et Confiance ?

2. L’approche « POD utilisant la simulation »

– Pourquoi ?

– Comment ?

– Exemples et résultats

3. Les recherches en cours et perspectives

POD & Simulation supported POD

Page 16

28 September,

2012

Page 17: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

POD & Simulation: Pourquoi ?

POD & Simulation supported POD

Page 17

28 September,

2012

1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Une campagne POD coûte cher

Beaucoup de données sont nécessaires pour calculer une POD

Données =

échantillons avec défauts + temps opérateur + utilisation du moyen

~200 k€ per POD campaign

(80% for samples manufacturing)

~60 flawed samples

Utiliser la simulation pour produire des données peu coûteuses

et accéder à l’estimation POD

Page 18: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Plan de l’exposé

1. Généralités sur les POD

– POD : Pourquoi ?

– POD : Comment ?

– POD et Confiance ?

2. L’approche « POD utilisant la simulation »

– Pourquoi ?

– Comment ?

– Exemples et résultats

3. Les recherches en cours et perspectives

POD & Simulation supported POD

Page 18

28 September,

2012

Page 19: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Challenge to use simulation for POD

Page 19

28 September,

2012

S

a

Targeted simulation output:

accounting for variability

S(a) = (a) + a(M)

S

a

Classical simulation output:

deterministic

S(a) = (a)

How to generate data with variability using deterministic simulation tools?

Deterministic Deterministic With uncertainty With variability

Deterministic NDT

simulation software

(e.g. CIVA)

Input parameters Output Values

X Y

Uncertainty propagation

POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Page 20: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

L’approche « POD utilisant la simulation »

Page 20

28 September,

2012

Input parameters:

• Part

• Dimensions

• Conductivity

• Probe

• Dimensions

• Number of turns

• Frequency

• Inspection

• Start scan position

• Scan increment

• Lift-off

• Flaw

• Shape

• Length

• Height

• Width

-1 -0.5 0 0.5 10

0.2

0.4

0.6

0.8

1

1.2

Conductivity variation (MS/m)

Pro

babi

lity

dens

ity

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

Y start position (mm)

Pro

ba

bili

ty d

en

sity

0 10 20 30 40 50 60 70 80 90 1000

0.005

0.01

0.015

Lift-off (µm)

Pro

ba

bili

ty d

en

sity

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.90

0.5

1

1.5

2

2.5

3

3.5

4

Crack height (ratio of length)

Pro

ba

bili

ty d

en

sity

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50

20

40

60

80

100

Crack length (mm)

Sig

nal r

esp

onse

(%

FS

H)

With uncertainties

Deterministic

0 0.5 1 1.5 2 2.5 3 3.50

10

20

30

40

50

60

70

80

90

100

Crack length (mm)

PO

D (

%)

Estimated POD

(simulation with uncertainties)

POD 95% confidence

(simulation with uncertainties)

Step detection function

(no uncertainty)

POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Page 21: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

La propagation d’incertitudes

Page 21

28 September,

2012

-4 -3 -2 -1 0 1 2 3 40

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

Probe angle (°)

Pro

ba

bili

ty d

en

sity

Les valeurs des paramètres d’entrée sont

tirées aléatoirement selon la loi de proba qui

leur est associée.

a

SY

*

*

* *

Input: incertitude Output: variabilité

POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Page 22: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Plan de l’exposé

1. Généralités sur les POD

– POD : Pourquoi ?

– POD : Comment ?

– POD et Confiance ?

2. L’approche « POD utilisant la simulation »

– Pourquoi ?

– Comment ?

– Exemples et résultats

3. Les recherches en cours et perspectives

POD & Simulation supported POD

Page 22

28 September,

2012

Page 23: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Use case: HFET of fatigue cracks in Titanium

Page 23

28 September,

2012

Part NDT

Material: Titanium (TA6V)

Geometry: Flat areas

Defects: Fatigue cracks

Configuration: High Frequency Eddy

Currents Testing (HFET)

Probe: Pencil probe (2MHz)

Conditions: In-service (manual)

POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Page 24: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Plan d’expériences numériques : HFET sur Titane

Page 24

28 September,

2012

Paramètre caractéristique du défaut : longueur de fissure (mm)

Paramètres incertains :

POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Start scan position Crack height (mm) Angle of the probe (°) Electrical contacts in

the crack

Corresponds to the position of

the probe for picking the

maximum amplitude signal

Fatigue cracking is subject to

many uncertainties

Translated into an additional

lift-off using geometrical rule

Uniform in [-0.5;05]

(scan increment=1mm)

Gaussian

0.5*length +N(0,1)*0.12*length

Gaussian(0°;1°)

(a) (b) (c)(a) (b) (c)-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

Y start position (mm)

Pro

ba

bili

ty d

en

sity

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.90

0.5

1

1.5

2

2.5

3

3.5

4

Crack height (ratio of length)

Pro

ba

bili

ty d

en

sity

-4 -3 -2 -1 0 1 2 3 40

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

Probe angle (°)

Pro

ba

bili

ty d

en

sity

0 1 2 3 4 50

5

10

15

20

25

30

35

40

45

50

Crack length (mm)

Ra

tio

of e

lectr

ica

l co

nta

cts

(%

)

Page 25: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Settings – Calibration & Data extraction

Page 25

28 September,

2012

Quelle quantité extraire des simulations ?

En HFET typiquement l’amplitude sur la voie Y, après avoir réglé

• Phase du Lift-off à zéro

• Gain tel que l’entaille de référence soit à 100 % de hauteur d’écran (FSH)

Celle spécifiée par la procédure

Rotation de 56.5°

Y gain: 27.3 dB

POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Page 26: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Données Expérimentales / Simulées

Page 26

28 September,

2012

• Experimental database

– 69 cracks from 0.33 mm to 6.66 mm

– 5 operators

• Simulations

– 100 crack lengths from 0.25 mm to 5.0 mm

– 6 samples per crack length

0 1 2 3 4 5 6 70

20

40

60

80

100

Crack length (mm)

Sig

na

l re

sp

on

se

(%

FS

H)

Experimental data

POD & Simulation supported POD, EADS NDT Days 2010 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

0 1 2 3 4 5 6 70

20

40

60

80

100

Crack length (mm)

Sig

na

l re

sp

on

se

(%

FS

H)

Measured data

Simulated data

Simulated data

with electrical bridges

Exp=3.4 mm

Simul=2.9 mm

First saturated data

Exp=1.4mm

Simul=1.55 mm

All cracks are detected

Page 27: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Analyse POD

Page 27

28 September,

2012

mma

mma

8.1

5.1

exp

95/90

exp

90

mma

mma

ECsimu

ECsimu

7.1

5.1

,

95/90

,

90

0.5 1 1.5 2 2.5 3 3.50

10

20

30

40

50

60

70

80

90

100

Crack length (mm)

Pro

ba

bili

ty O

f D

ete

ctio

n (

%)

Observed ratio (experimental)

Estimated POD (experimental)

POD 95 % conf. (experimental)

Observed ratio (simulation)Estimated POD (simulation)POD 95 % conf. (simulation)

0.5 1 1.5 2 2.5 3 3.50

10

20

30

40

50

60

70

80

90

100

Crack length (mm)

Pro

ba

bili

ty O

f D

ete

ctio

n (

%)

Observed ratio (experimental)

Estimated POD (experimental)

POD 95 % conf. (experimental)

Estimated POD (simulation)

POD 95 % conf. (simulation)

Empirical POD (simulation)

Comparaison POD expérimentale et simulée

Courbes POD similaires: • Léger écart sur les pentes (nombre de données dans la zone de pente)

• Bande de confiance plus étroite en simulation (2 fois plus de données)

Valeurs d’intérêt

similaires

POD & Simulation supported POD, EADS NDT Days 2010 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Page 28: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Page 28

28 September,

2012 POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

AUTOMATED PHASED ARRAY INSPECTION OF ELECTRON BEAM WELDING (STEEL)*

Part NDT

Material: Steel

Electron Beam Welding

Geometry: Locally flat areas

Defects: Voids

Configuration: Phased array UT

Multi-points focusing along the weld (0.2 mm

pitch)

0.2 mm increment on external radius

Probe:

Linear array 32 elements, pitch 0.3 mm,

10 MHz central frequency

Conditions:

In-plant (automated rotation)

* N. Dominguez, F. Jenson, V. Feuillard, P. Willaume, “Simulation-Assisted POD of a Phased Array Ultrasonic Inspection in Manufacturing”, QNDE 2011

Page 29: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Plan d’expériences numériques : PAUT sur EBM

Page 29

28 September,

2012

Paramètre caractéristique du défaut : rayon soufflure (mm)

Paramètres incertains :

POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Defect radial position Defect angular position (mm) Water path (mm)

Position of the defect along the radial axis Position of the defect in the angular

direction (relative to the probe)

Uniform along the weld Uniform [-0.1;0.1] mm on external radius Gaussian with 3mm standard deviation

-36 -34 -32 -30 -28 -26 -240

0.05

0.1

0.15

Radial position (mm)

Pro

ba

bili

ty d

en

sity

-0.2 -0.15 -0.1 -0.05 0 0.05 0.1 0.15 0.20

0.5

1

1.5

2

2.5

3

3.5

4

4.5

5

5.5

Angular position (mm)

Pro

ba

bili

ty d

en

sity

50 55 60 65 700

0.02

0.04

0.06

0.08

0.1

0.12

0.14

Water path (mm)

Pro

ba

bili

ty d

en

sity

Page 30: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Page 30

28 September,

2012 POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

* N. Dominguez, F. Jenson, V. Feuillard, P. Willaume, “Simulation-Assisted POD of a Phased Array Ultrasonic Inspection in Manufacturing”, QNDE 2011

– 100 soufflures, rayons de 0.01 mm à 0.75 mm

– 6 échantillons par soufflure

0,000

0,005

0,010

0,015

0,020

0,00 0,10 0,20 0,30 0,40 0,50 0,60

Deterministic data

POD data

Noise threshold

Detection threshold

Void radius (mm)

Sig

nal M

ax. A

mplit

ude

Données POD (simulées)

Page 31: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Page 31

28 September,

2012 POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

– 100 soufflures, rayons de 0.01 mm à 0.75 mm

– 6 échantillons par soufflure

Résultat POD (simulées)

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.50

10

20

30

40

50

60

70

80

90

100

Void radius (mm)

Pro

ba

bili

ty O

f D

ete

ctio

n (

%)

Estimated POD

POD 95% confidence

mma 25.095/90

La procédure a été mise au point pour

détecter des soufflures de 0.5 mm...

La bande de confiance est très étroite

(600 données + très peu de variabilité)

Page 32: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Plan de l’exposé

1. Généralités sur les POD

– POD : Pourquoi ?

– POD : Comment ?

– POD et Confiance ?

2. L’approche « POD utilisant la simulation »

– Pourquoi ?

– Comment ?

– Exemples et résultats

3. Les recherches en cours et perspectives

POD & Simulation supported POD

Page 32

28 September,

2012

Page 33: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

En cours et Perspectives

Page 33

28 September,

2012

• Augmenter la robustesse de l’approche « POD simulée »

• Point sensible = renseigner les propriétés des paramètres incertains

Quelle influence sur la POD ? Quelle robustesse ?

• Comment intégrer l’information de données expérimentales ?

Comment optimiser la production de données expérimentales ?

• Améliorer les méthodes d’estimation statistique de la POD

• Fournir des estimations fiables lorsque les hypothèses de Berens sont violées

• Intégrer les outils et méthodes développées dans CIVA pour les

rendre accessibles à la communauté CND

POD & Simulation supported POD 1. Généralités sur les POD

2. POD & Simulation

3. Perspectives

Page 34: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

■ 34

Confidence in POD using simulation A new approach of « confidence »

CONFIDENCE WITH SIMULATED DATA

• One POD scenario is:

» Define uncertainties in input

» Calculate POD curve

QNDE 2012, Confidence in POD using simulation

POD study

Scan

position Crack height

Probe

angle

Min Max µ µ

1 -0.5 0.5 0.5L 0.13L 0 1.6

2 -0.5 0.5 0.5L 0.09L 0 0.9

3 -0.5 0.5 0.5L 0.11L 0 0.5

… … … … … … …

k -0.5 0.5 0.5L 0.17L 0 1.2

POD study

Scan

position Crack height

Probe

angle

Uniform Gaussian Gaussia

n

Min Max µ µ

1 -0.5 0.5 0.5L 0.13L 0 1.6

2 -0.5 0.5 0.5L 0.09L 0 0.9

3 -0.5 0.5 0.5L 0.11L 0 0.5

k POD curves

Confidence approach: calculate a beam of scenarios and use the scattering on the POD curves

to estimate a confidence

POD

scenario

Scan

position Crack height

Probe

angle

Uniform Gaussian Gaussia

n

Min Max µ µ

1 -0.5 0.5 0.5L 0.12L 0 1.0

Sure Not sure

Page 35: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

■ 35

Confidence in POD using simulation A new approach of « confidence »

CERTAINTY INDEX DEFINITION

Applies on the probability distribution parameters

Index 5

No uncertainty on the distribution parameter

Index 4

The distribution parameter follows a gaussian law with

(µ=GV*, =20% GV)

Index 3

The distribution parameter follows a gaussian law with

(µ=GV, =50% GV)

Index 2

The distribution parameter follows a gaussian law with

(µ=GV, =100% GV)

Index 1

The distribution parameter follows a uniform law with

(min=GV-3*GV, max=GV+3GV)

QNDE 2012, Confidence in POD using simulation

Not sure at all

Sure

Not so sure

Rather sure

Almost sure

* GV stands for « guessed value »

Page 36: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

■ 36

Confidence in POD using simulation A new approach of « confidence »

COMPUTATION OF THE POD CURVE WITH CONFIDENCE

The 95% lower confidence POD curve is the curve which leaves on the left 95%

of the « POD curves » of the beam.

QNDE 2012, Confidence in POD using simulation

In practice the POD curve with confidence can be built pointwize, looping on POD values :

For p in [0.01;0.99]

Find the POD curve leaving 95 % of the curves on the left at ordinate p

Pick-up the corresponding flaw size ap

End

The POD curve with confidence is the set of points (ap, p).

Page 37: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

■ 37

Confidence in POD using simulation Cases study

HFET FOR FATIGUE CRACKS IN TITANIUM (TA6V): MANUAL INSPECTION*

• Uncertainty description with confidence index

QNDE 2012, Confidence in POD using simulation

Parameter Scan position Crack height Angle of the probe

“Guessed”

uncertainty

distribution

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

Y start position (mm)

Pro

ba

bility d

en

sity

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.90

0.5

1

1.5

2

2.5

3

3.5

4

Crack height (ratio of length)

Pro

ba

bility d

en

sity

-4 -3 -2 -1 0 1 2 3 40

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

Probe angle (°)

Pro

ba

bility d

en

sity

Distribution

parameters

CI Distribution CI Distribution CI Distribution

µ 5 = 0 Min 5 = -0.5 µ 5 = 0.5L

2 ~N(1°; 1°) Max 5 = 0.5 3 ~N(0.12L; 0.06L)

Distribution of Distribution of

Page 38: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

■ 38

Confidence in POD using simulation Cases study

HFET FOR FATIGUE CRACKS IN TITANIUM (TA6V): MANUAL INSPECTION

• Results

QNDE 2012, Confidence in POD using simulation

a90/95 = 1.51 mm

Adaptative Database

1335 stored CIVA calculations

Total computation time: 68.5 hours

Surrogate-model

Computation time: 0.9 ms

Total computation time for 100

POD curves made of 600 data: 52 s

Total computation time: 68h30mn

If no surrogate-model

Total computation time would be:

506 hours

Page 39: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

■ 39

Confidence in POD using simulation Cases study

AUTOMATED PHASED ARRAY INSPECTION OF ELECTRON BEAM WELDING (STEEL)*

QNDE 2012, Confidence in POD using simulation

Part NDT

Material: Steel

Electron Beam Welding

Geometry: Locally flat areas

Defects: Voids

Configuration: Phased array UT

Multi-points focusing along the weld (0.2

mm pitch)

0.2 mm increment on external radius

Probe:

Linear array 32 elements, pitch 0.3

mm, 10 MHz central frequency

Conditions:

In-plant (automated rotation)

* N. Dominguez, F. Jenson, V. Feuillard, P. Willaume, “Simulation-Assisted POD of a Phased Array Ultrasonic Inspection in Manufacturing”, QNDE 2011

Page 40: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

■ 40

Confidence in POD using simulation Cases study

AUTOMATED PHASED ARRAY INSPECTION OF ELECTRON BEAM WELDING (STEEL)

• Uncertainty description with confidence index

QNDE 2012, Confidence in POD using simulation

Parameter Radial position Angular position Water path

“Guessed”

uncertainty

distribution

-36 -34 -32 -30 -28 -26 -240

0.05

0.1

0.15

Radial position (mm)

Pro

ba

bility d

en

sity

-0.2 -0.15 -0.1 -0.05 0 0.05 0.1 0.15 0.20

0.5

1

1.5

2

2.5

3

3.5

4

4.5

5

5.5

Angular position (mm)

Pro

ba

bility d

en

sity

50 55 60 65 700

0.02

0.04

0.06

0.08

0.1

0.12

0.14

Water path (mm)

Pro

ba

bility d

en

sity

Distribution

parameters

CI Distribution CI Distribution CI Distribution

Min 5 = -32.5 mm Min 5 = -0.1 mm µ 5 = 58.1 mm

3 ~N(3; 1.5) Max 5 = -26.2 mm Max 5 = 0.1 mm

Distribution of

Page 41: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

■ 41

Confidence in POD using simulation Cases study

AUTOMATED PHASED ARRAY INSPECTION OF ELECTRON BEAM WELDING (STEEL)

• Results

QNDE 2012, Confidence in POD using simulation

a90/95 = 0.26 mm

Adaptative Database

140 stored CIVA calculations

Total computation time: 1 hour

Surrogate-model

Computation time: 0.6 ms

Computation time for 100 POD

curves made of 600 data: 38 s

Total computation time: 1h 38s

If no surrogate-model

Total computation time would be:

50 hours!

Page 42: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

■ 42

Intégration de données expérimentales et simulées Une approche Bayesienne

La méthode de “mise à jour Bayesienne” peut être utilisée pour prendre en compte

l’apport d’information dans le résultat découlant de cette information

QNDE 2012, Confidence in POD using simulation

Schéma envisagé :

1. POD simulée

2. Apport de données expérimentales (avec parcimonie)

3. Evaluation de l’impact de l’apport de données

4. Continue à ajouter des données ou arrêt.

Page 43: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

Conclusion

Page 43

28 September,

2012

La méthodologie POD simulée ouvre des possibilités importantes pour

le CND et les démonstrations de performances

Plusieurs cas de validation ont été menés avec succès

– PICASSO

– Groupe MAPOD aux USA (GE, Pratt-Whittney)

Des échanges Européens-Américains ont lieu tous les ans (QNDE,

ASNT Fall conference) => Session dédiée à QNDE en 2013

La FAA suit le groupe de travail et promeut les activités R&D sur le sujet

Des outils sont disponsibles dans CIVA 10

CIVA 11 : Extension des fonctionnalités et convivialité améliorée

POD & Simulation supported POD

Page 44: Evaluation de Probabilités de Détection (POD) utilisant … · Les recherches en cours et perspectives POD & Simulation supported POD Page 2 28 September, ... L’estimation statistique

CIVA

Page 44

28 September,

2012 POD & Simulation supported POD

200 customers located in 35 countries.

More than 250 active licenses

100 people trained per year

CIVA team

120 people (½ developers, ½ methods engineers)