le filtre d’Événements d’atlas · contenu de la présentation l’expérience atlas le...

19
François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIA CPPM Marseille Cargèse 23-27 Juillet 2001 Le Filtre d’Événements d’ATLAS Le Filtre d’Événements d’ATLAS François TOUCHARD François TOUCHARD CPPM CPPM en collaboration avec C. Bee, F. Etienne, en collaboration avec C. Bee, F. Etienne, E. Fede, C. Meessen, R. Nacasch, Z. Qian E. Fede, C. Meessen, R. Nacasch, Z. Qian

Upload: others

Post on 15-Oct-2020

8 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Le Filtre d’Événements d’ATLASLe Filtre d’Événements d’ATLAS

François TOUCHARDFrançois TOUCHARDCPPMCPPM

en collaboration avec C. Bee, F. Etienne, en collaboration avec C. Bee, F. Etienne, E. Fede, C. Meessen, R. Nacasch, Z. QianE. Fede, C. Meessen, R. Nacasch, Z. Qian

Page 2: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Contenu de la présentationContenu de la présentation

L’expérience ATLASL’expérience ATLAS

Le système de déclenchement et Le système de déclenchement et d’acquisitiond’acquisition

Le Filtre d’ÉvénementsLe Filtre d’Événements

Flot de donnéesFlot de données

SupervisionSupervision

Tests de validationTests de validation

Page 3: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

L’expérience ATLASL’expérience ATLAS

~ 2000 collaborateurs~ 2000 collaborateurs

~ 180 Instituts~ 180 Instituts

44 m 44 m 22 m22 m

7000 tonnes7000 tonnes

Page 4: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Déclenchement et acquisition (1)Déclenchement et acquisition (1)

taux de collisions initial : 40 MHztaux de collisions initial : 40 MHz

taille des événements : ~ 2 Moctetstaille des événements : ~ 2 Moctets

~ 7 10~ 7 101818 octets / jour ! octets / jour !

système de filtrage à 3 étages système de filtrage à 3 étages

LVL1 : sur LAr Calorimètre et MuonsLVL1 : sur LAr Calorimètre et Muons

LVL2 : en utilisant une fraction seulement des LVL2 : en utilisant une fraction seulement des données (Concept de Région d’Intérêt)données (Concept de Région d’Intérêt)

Event FilterEvent Filter

Page 5: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Déclenchement et acquisition (2)Déclenchement et acquisition (2)

Page 6: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Spécificité du Filtre d’ÉvénementSpécificité du Filtre d’Événement

Dispose de la totalité de l’information sur Dispose de la totalité de l’information sur l’événementl’événement

Utilisera les algorithmes de reconstruction Utilisera les algorithmes de reconstruction du offlinedu offline

Espère utiliser directement l’environnement Espère utiliser directement l’environnement et le codeet le code

Puissance de calcul requise ~ 250 Puissance de calcul requise ~ 250 SPECint95.s SPECint95.s ~ 1000 processeurs ~ 1000 processeurs

Page 7: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

ÉchéancesÉchéances

Soumission du Technical Design Report Soumission du Technical Design Report à la à la fin de 2002fin de 2002

préparation basée sur la réalisation de prototypes préparation basée sur la réalisation de prototypes permettant de tester les différentes technologies permettant de tester les différentes technologies qui pourraient être utiliséesqui pourraient être utilisées

� fermes de PCfermes de PC

� serveurs SMPserveurs SMP

Construction du dispositif final à partir de 2004Construction du dispositif final à partir de 2004

Page 8: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Développements effectuDéveloppements effectu s au CPPMs au CPPM

Étude d’un prototype de ferme de PCÉtude d’un prototype de ferme de PC

flot des événements dans la fermeflot des événements dans la ferme

supervision (contrôle et monitorage) de la fermesupervision (contrôle et monitorage) de la ferme

Conception d’une architecture indépendante Conception d’une architecture indépendante du matériel et des protocoles de du matériel et des protocoles de communicationcommunication

Page 9: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Flot des événementsFlot des événementsbasé sur une relation client−serveur entre basé sur une relation client−serveur entre des composants, coordonnée par un des composants, coordonnée par un serveur de nomsserveur de noms

design modulaire, orienté objet, des design modulaire, orienté objet, des composantscomposants

Page 10: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Architecture généraleArchitecture générale

Page 11: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Éléments des composantsÉléments des composants

Page 12: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Flot des événementsFlot des événementsbasé sur une relation client−serveur entre basé sur une relation client−serveur entre des composants, coordonnée par un des composants, coordonnée par un serveur de nomsserveur de noms

design modulaire, orienté objet, des design modulaire, orienté objet, des composantscomposants

Reconfiguration dynamique de l’ensemble Reconfiguration dynamique de l’ensemble des composantsdes composants

machines d’exécutionmachines d’exécution

protocoles de communicationprotocoles de communication

paramètresparamètres

Page 13: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

SupervisionSupervision

Contrôle et monitorage de plusieurs milliers Contrôle et monitorage de plusieurs milliers de processes tournant sur un millier (au de processes tournant sur un millier (au moins) de processeursmoins) de processeurs

rapiderapide

indépendant de la technologieindépendant de la technologie

nombreuses interfaces utilisateursnombreuses interfaces utilisateurs

Page 14: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Agents mobiles JAVAAgents mobiles JAVA

gérés par un serveur local gérés par un serveur local sur chaque machine ciblesur chaque machine cible

un agent migre de serveur un agent migre de serveur en serveur et exécute en serveur et exécute localement une tlocalement une tâcheâche

le code transporté par le code transporté par l’agent peut provenir de l’agent peut provenir de nombreuses sources nombreuses sources (web, file system, etc...)(web, file system, etc...)

Page 15: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Organisation généraleOrganisation générale

moniteur de moniteur de performances "local"performances "local"

supervision centrale supervision centrale à à l’aide d’agents mobilesl’aide d’agents mobiles

stockage intermédiaire stockage intermédiaire des résultats pour une des résultats pour une analyse différée analyse différée

Page 16: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Supervision centraleSupervision centrale

un seul process peut un seul process peut contrôler la fermecontrôler la ferme

lancement, arrêt des lancement, arrêt des processesprocesses

opérations de opérations de run run controlcontrol

nombre illimité de nombre illimité de processes de processes de monitoragemonitorage

Page 17: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Tests de validationTests de validation

Développements Développements à Marseille sur une mini−à Marseille sur une mini−fermeferme

Tests au CERN Tests au CERN

Cluster EFF (50 machines bi−pro PII)Cluster EFF (50 machines bi−pro PII)

� Validation du dataflow et de la supervisionValidation du dataflow et de la supervision

Cluster MAGNI (24 machines bi et quadri−pro)Cluster MAGNI (24 machines bi et quadri−pro)

� Intégration avec l’ensemble du TDAQIntégration avec l’ensemble du TDAQ

Page 18: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Tests de validation (2)Tests de validation (2)

Tests à ETH ZüTests à ETH Zürichrich

240 machines bi−processeurs (PIII 500 et 650 240 machines bi−processeurs (PIII 500 et 650 MHz, 1GB RAM, Ethernet 100 Mb/s et Gb/s)MHz, 1GB RAM, Ethernet 100 Mb/s et Gb/s)

� Performances (3000 processes créés en ~30 s)Performances (3000 processes créés en ~30 s)

� Rôle du serveur de nomsRôle du serveur de noms

Page 19: Le Filtre d’Événements d’ATLAS · Contenu de la présentation L’expérience ATLAS Le système de déclenchement et d’acquisition Le Filtre d’Événements Flot de données

François TOUCHARD Le Filtre d’Événements d’ATLAS Journées Informatiques IN2P3/DAPNIACPPM Marseille Cargèse 23−27 Juillet 2001

Futurs développementsFuturs développements

22èème itération du design et de l’implémentationme itération du design et de l’implémentation

Utilisation de l’expérience acquise par les Utilisation de l’expérience acquise par les expériences en cours (Babar, CDF, D0, ...)expériences en cours (Babar, CDF, D0, ...)

Détection et récupération des erreursDétection et récupération des erreurs

Mise en place du monitoringMise en place du monitoring

Du filtreDu filtre

De l’expérienceDe l’expérience