Julie BERTHONAéronautique

Statistiques de balayage : analyse des « clusters » d’évènements

Journée SMAI IMdR : 6 février 2009

2

• Clusters et statistiques de balayage : introduction sur un exemple simple

• Méthodes de simulation Monte-Carlo Petri net

• Méthodes markoviennes Chaîne de Markov simplifiée, simple fenêtre de balayage Chaîne de Markov simplifiée, double fenêtre de balayage Chaîne de Markov complète

• Résultats et Comparaison des méthodes• Conclusion

Aéronautique

3 Aéronautique

Fréquence moyenne des accidents aériens : 0,88 par période de 22 jours.

Les statistiques de balayage permettent d’évaluer ou d’approcher la probabilité d’occurrence d’un tel “cluster” d’évènements.

23 aoûtLe vol 204 de la Tans

s’écrase à l’approche en Amazonie

Une telle série semble très improbable mais…

2 aoûtLe vol 358 d’Air France

sort de piste en atterrissant à Toronto

6 aoûtLe vol 1153 de Tuninter s’abîme en mer près de

Palerme

14 aoûtLe vol 522

d’Hélios s’écrase sur un massif près

d’Athènes

16 aoûtLe vol 1153 de la West Caribbean

se crashe au Venezuela

4 Aéronautique

Objectif : évaluer la probabilité d’observer un cluster de k évènements ou plus dans une fenêtre temporelle de longueur w balayant une période de taille donnée T.

Toute fenêtre de taille w peut contenir un cluster

Les fenêtres se chevauchentDifficultés

5

Deux modèles de probabilité :

• Loi de Bernoulli

• Loi de Poisson )λP(

)pB(

Exemple:

jours 10en évènements 3 :(10,3)k)(w,

moyenneen an par évènements 8 à dentcorrespon pou λ

jours 365 de année neuT

Solutions

• Simulation de Monte Carlo• directe (implémentée dans un algorithme dédié)• supportée par un réseau de Pétri

• Chaînes de Markov

6 Aéronautique

Simulation de Monte-Carlo directe• Les dates d’accidents sont générées aléatoirement selon la loi considérée et de manière à recouvrir la période d’observation [0,T[

• La liste des dates est scannée jusqu’à observation d’un cluster• Une variable Nb_Cluster est incrémentée d’une unité

Tε...εε S21

La quantité recherchée est donnée par

N

Nb_Cluster

où N est le nombre de répétitions de la simulation.

7 Aéronautique

Réseau de Petri animant une simulation de Monte-Carlo

• Processus de comptage simple (simple counting medium)

• 2 places et 2 transitions• Initialement

la place 1 est marquée d’une pièce Nb_Cluster est égal à zéro

• Les variables εi (i =1 à k) indiquent les dates de k accidents successifs

• L’index I permet de calculer en continu le temps écoulé entre les évènements i et (i+k-1)

• Nb_Cluster passe à 1 dès que k accidents se produisent dans une fenêtre de longueur w

8 Aéronautique

MODELES MARKOVIENS

Balayage de la période d’observation

• Xi… variable aléatoire donnant le nombre d’évènements sur [i-1,i[ • N(u,w)… variable aléatoire comptant le number d’évènements sur la fenêtre [u,u+w[• p la probabilité qu’un évènement se produise sur un sous-intervalle de longueur 1

XiN(u,w)

0 T

1 2 3 i-1 i u u+w

Notation

Bernoulli model i.e.

p-1q éprobabilit la avec0

p éprobabilit la avec1 X i

9 Aéronautique

Xu+w+1

Xu+1

De la fenêtre N(u,w) à la fenêtre N(u+1,w)

1wu1u XX)w,u(N)w,1u(N

dépendants

indépendants

PREMIER MODELE MARKOVIEN

w

n)n)w,u(N1X(P 1u w

n1)n)w,u(N0X(P 1u

“Perte” de la variable aléatoire Xu+1

Gain de la variable aléatoire Xu+w+1

10

1E0E0 E1 E2 E3

w

11 pp

q

w

q

w

2q

w

21 p

w

11 q

w

p

w

21 q

w

2p

1E0E0 E1 E2 E3

w

11 pp

q

w

q

w

2q

w

21 p

w

11 q

w

p

w

21 q

w

2p

Aéronautique

Probabilité d’un cluster de 3 évènements ou

plus dans une fenêtre de taille w=10

EtatsE0, E1, E2 : respectivement 0, 1 ou 2 évènements dans la fenêtre couranteE3 : 3 évènements ou plus dans la fenêtre courante

Chaîne de Markov

PREMIER MODELE MARKOVIEN

11 Aéronautique

1000

0w

2wq

w

2p

w

q20

0w

1wp

w

1wq

w

p

w

q00pq

M Matrice de transition

Vecteur des probabilités initiales

2-w21-ww

2-w2

1-w

w

qppqq1

qp

pq

q

X0 T

w

0 T

w

Nombre d’itérations

0 T0 T

1 23

4

0 T0 T

21

0 T0 T

N=T-w+1

0 T0 T

1 23

4

0 T0 T

21

0 T0 T0 T0 T

1 23

0 T0 T

1 23

4

0 T0 T

211

0 T0 T

N=T-w+1

PREMIER MODELE MARKOVIEN

12

La probabilité d’observer un cluster de k=3 évènements ou plus dans une

fenêtre de taille w=10 balayant la période de longueur T=365 est donnée par

le produit MNX avec N=356

PREMIER MODELE MARKOVIEN

13

Problème : le modèle autorise des “chemins” qui ne sont pas réalisables en pratique

E0 E0E1

E0 E1E1

DEUXIEME MODELE MARKOVIEN

14

u+1 u+2 u+s-1 u+s u+w-1 u+s+1

1suX 1uX

u u+w

u+1 u+w+1

1wuX

Partage de la fenêtre de balayage en deux sous-fenêtres

E0 E’1E1

DEUXIEME MODELE MARKOVIEN

15

La matrice de transition est une matrice de taille D×D avec D=k(k-1)+1

Un état est:soit un couple (i,j) si i+j<k

soit l’état absorbant si i+j=k

Les probabiltés de transition et le vecteur des probabilités initiales sont calculés d’une manière analogue à précédemment

1w

41p

w

21pp000

0w

41q

w

21

w

2q0000

0w

4p

w

21

w

21q

w

2

w

2p

w

4q

w

21p

w

2q0

00w

21

w

2p

w

41q0

w

21p0

0w

4q

w

2

w

2q0

w

21q

w

2q0

00w

21

w

2q0

w

2p

w

21qp

0000w

2q0q

M

pw,2,B1

p,2

w0,bp,

2

w2,b

p,2

w1,bp,

2

w1,b

p,2

w2,bp,

2

w0,b

p,2

w0,bp,

2

w1,b

p,2

w1,bp,

2

w0,b

p,2

w0,b

X

2

DEUXIEME MODELE MARKOVIEN

16

Xi

0 T

1 2 3 i-1 i u u+w

Modèle “complet” …

Un état est:soit un w-uplet (X1, X2,…, Xw) si X1 + X2 +…+ Xw <k

soit l’état absorbant A si X1 + X2 +…+ Xw =k

AkX and 0,1X)X,...,X,(XEw

1iiiw21

L’espace d’états est

et sa dimension 1...1 w1k

w2

w1

Notation: état (i1,i2,…,im) pour i1=i2=…=im=1 et il=0 sinon

TROISIEME MODELE MARKOVIEN

17

Matrice de transition

Transition de l’état (i,j) vers l’état(i-1,j-1) avec la probabilité q:

i j

i-1 j-1

i j

Transition de l’état (i,j) vers l’état absorbant avec la probabilité p:

i-1 j-1

TROISIEME MODELE MARKOVIEN

18

Vecteur des probabilités initiales

0 T

w

0 T

w

with

t p2,10,B1p2,10,b45

1p2,10,b

45

1p1,10,b

10

1p1,10,b

10

1p0,10,bX

i10ii10 qpC)p,10,i(b

i

0j

i10ii10 qpC)p,10,i(Band

TROISIEME MODELE MARKOVIEN

La probabilité d’observer un cluster de k=3 évènements ou plus dans une

fenêtre de taille w=10 balayant la période de longueur T=365 est donnée par

le produit MNX avec N=356

19

Discrétisation Jour Heure

Méthodes Bernoulli Poisson Bernoulli Poisson

Monte Carlo direct 0.1250 0.1329 0.1310 0.1329

RdP, Monte Carlo 0.1225 0.1317 0.1251 0.1317

Premier modèle markovien 0.0991 0.1176 0.1274 0.1280

Double fenêtre de balayage 0.1014 NaN 0.1296 NaN

Modèle markovien complet 0.1028 0.1217 NaN NaN

Résultats

20

Conclusions

Les résultats obtenus dans le cadre du modèle de Bernoulli convergent vers ceux obtenus dans le cadre du modèle de Poisson lorsque le pas de discrétisation tend vers 0.

A notre connaissance, il n’existe pas de méthode exacte pour résoudre en un temps « très court » le problème de l’estimation de la probabilité d’occurrence d’un cluster d’évènements… … Les méthodes proposées permettent d’évaluer ou d’approcher cette probabilité en un temps très acceptable.

Les méthodes proposées sont très différentes, faisant appel à la simulation, à des approches combinatoires, ou aux chaînes de Markov.Cependant, nous observons qu’elles donnent des résultats quasi identiques lorsque la discrétisation est suffisamment fine.