Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

Compte-renduHEPiX de printemps 2018Madison, 14-18 mai 2018

CR HEPiX@Madison 2

Plan de la présentation

● Le workshop en quelques chiffres

● Les tendances

● Les présentations par track (66 au total) :– Site reports (13 -7) Sébastien

– Basic IT services (6 -3) Sébastien

– Storage and filesystems (9 +2) Gino

– End users IT services (4 -1) Gino

– Security and networking (10 -13) Ahmed

– Grid, cloud and virtualization & OS (7 +3) Ahmed

– Computing and batch systems (11 +4) Nicolas

– IT Facilities and business continuity (6 +5) Nicolas

● News du board et prochains HEPiX

CR HEPiX@Madison 3

Photo de groupe

CR HEPiX@Madison 4

Les tendances (qui montent) – Impressions très subjectives

● Jupyter (mise en place de clusters de type JupyterHub et facilité pour soumettre batch localement, i.e. utilisation des API du batch)

From Tony’s wrap up

CR HEPiX@Madison 5

Retour sur les « Sites Reports »

● BNL Site Report– Efforts sur le HPC

– Nouvelle salle machine en prévision (voir talk dédié)● Revue « Design et estimation du coût » finalisée à l’automne

● PIC Site Report– Performances plus faibles pour les CPUs immergées dans

l’huile 5~8 % HS06

● CERN Site Report– Hadoop/Spark/SWAN (Jupyter)

● Physics data processing : can read ROOT format

– MALt (Microsoft Alternatives) voir IT Technical Users meeting● Réflexion pour remplacer les outils Microsoft au CERN (augmentation

du prix des licences)● Favoriser l’Open Source

– Philosophie globale du CERN

CR HEPiX@Madison 6

Retour sur les « Sites Reports »

CR HEPiX@Madison 7

Basic IT Services

● Jupyter@BNL– Déploiement d’une infra « Jupyter-as-a-service » basé sur

Jupyterhub (authentification via kerberos)● Soumet sur l’une des fermes HPC de BNL

– Interfaçage avec les autres ressources de calcul● Via les CLI de SLURM ou API de HTCondor

– Abstraction de la couche de soumission de HTCondor● Écriture de fonctions spécifiques (en cours)

● Via « batchspawner.py » qui interface ces ressources (soumet le notebook sur une node)

– Questions en cours● L’authentification (tunneling requis pour le moment)● Latence du système de batch

– Conclusions● Infra flexible mais des problèmes techniques subsistent

CR HEPiX@Madison 8

Basic IT Services

● First Impressions of Saltstack and Reclass– Speaker's notes

– Saltstack et Reclass (External Node Classifier)● Pas de « vrai » argument pour ce choix

– Concept d’état similaire à Quattor (ancien système)– Python + YAML– Intégration de Reclass

● Beaucoup de détails sur l’infra déployée, beaucoup de systèmes « saltstified » : dCache, Torque/Maui, monitoring, EOS, OpenStack, ...

● Problèmes de performances pour les gros déploiements– Charge importante sur le master

● (Quelques) conclusions– Besoins site plus importants que la popularité du produit– Compromis à trouver entre flexibilité et les contraintes liées à la mise en

production

CR HEPiX@Madison 9

Basic IT Services

● A smorgasboard of tools around Linux at DESY– 2-factor-authentication

● Besoin : certification ISO 27001– Requis pour les IT et pour Linux (pour commencer)

● Logiciel PrivacyIDEA (open-source et communauté importante), token (Yubikey or token app-based, i.e. Google Authenticator)

– Fail2ban (machines de connexion)● Collecte et centralise les logs de connexion, mets-à-jour les ip-tables en

fonction de l’analyse des logs

– Gestion des dépôts de paquets● Gestion « manuelle » (via liens symboliques) pour éviter des problèmes

imprévus

– Mise-à-jour des noyaux● Mise-à-jour non systématique : changelog analysé et évaluation de la

criticité de la mise-à-jour.

Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

Retour HEPiXStorage & Filesystems – End User IT Services

28 Juin 2018

11

End User IT Services (4 présentations dont CC-UserPortal)

◦ Modularity (Fedora) : jongler avec « vieux » logiciels et logiciels à la pointe de la technologie dans le même OS

◦ Scientific Linux update : dates de EOL pour RH6 et RH7; pas de nouvelles sur RH8

◦ TRIDENT tool (CERN) : collecter et analyser les performances des workloads HEP

Storage & Filesystems (9 présentations)

◦ OpenAFS Foundation : faire progresser AFS◦ AuriStorFS : derniers développements & containerisation◦ Tape Storage : WLCG group update & discussion BoF◦ Autres présentations en bref

Plan

11

12

Recette de la démo disponible sur les slides

End User IT Services - Modularity (Fedora)

12

13

End User IT Services – Trident tool (CERN)

13

Présentation disponible

14

Release report◦ 1.6.x stable (upcoming: 1.6.23) continue à être supportée◦ 1.8 sortie en avril 2018

Storage & Filesystems – OpenAFS Foundation

14

OpenAFS Foundation◦ Attirer et augmenter la

communauté d’utilisateurs◦ Favoriser une communauté

d’experts◦ Faire évoluer la

technologie

15

AuriStorFS◦ Considérable réduction de l’investissement dans OpenAFS◦ File feature request avec toute distribution Linux : d'abord pour être

distribué dans Fedora ; pas dans RHEL8◦ Développements du File System en 2017 :

8 développeurs

19 tagged releases

Storage & Filesystems - AuriStorFS

15

AFS and Linux containers◦ Demos d’ intégration avec

containeurs et outils de d'orchestration

16

WLCG Archival Storage group◦ Rapport des progrès réalisés

dans la communauté et recommandation pour les activités futures

Tape Storage BoF◦ Discussion animée sur le

déploiement futur des technologies de bande

◦ La consolidation du marché réduit le choix des technologies, augmente les coûts et suscite des doutes sur la disponibilité des produits

◦ Beaucoup prévoient de migrer vers LTO-8

Storage & Filesystems – Tape Storage

16

17

Storage & Filesystems – Autres présentations

17

Online Storage System @ KIT◦ Nouveau stockage GPFS-based avec interconnections IB

New Storage Services @ CERN◦ Description des différents services déployés (EOS, CERNBox, SWAN, CVMFS, etc)

Storage performance @ NIKHEF◦ Gérer le débit I/O avec une capacité de stockage croissante

xCache / xRootd Cache @ Southern California◦ Merge des namespaces de Caltech et UCSD◦ Résultats prometteurs des tests de scalabilité — prévision d’une

ultérieure expansion (Northern California?)

Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

Retour HEPiXEnd-User IT Services & Operating Systems

28 Juin 2018

SL6.9 & SL7.5 released SL5 « End of Life » 31/03/2017 SL6 « End of Life » 30/11/2020 SL7 « End of Life » 30/06/2024 CoreOS (micro-distribution Linux pour conteneurs) racheté par Redhat Conteneurs Docker (officiels) : Mises à jour tous les mois

◦ docker run -it sl:6 /bin/bash◦ docker run -it sl:7 /bin/bash◦ docker run -it sl:latest /bin/bash

RHEL8 : Python3 par default ◦ The expectation is that python 2.7 will be provided as a software collection by

upstream◦ Python 2.7 « End of Life » 01/01/2020

https://indico.cern.ch/event/676324/contributions/2960189/

Scientific Linux update (Fermilab)

Madison spring 2018 19

Spectre/Meltdown ◦ nécessite une mise à jour firmware

Spectre-NG ◦ 8 CVEs (Common Vulnerabilities and Exposures)

◦ 4 vulnérabilités classées “High risk” (Intel)◦ 4 vulnérabilités classées “Medium risk” (Intel)

fwupd (RHEL7.4)◦ Permettre une mise à jour “simple” du firmware depuis un terminal◦ LVFS (Linux Vendor Firmware Service) : fwupd.org

Les “vendeurs” doivent fournir le firmware à LVFS “systemctl --user” is coming

◦ Les utilisateurs peuvent démarrer/arrêter des services dans leur home◦ Nécessite une session valide◦ Kerberos auth?

MIT Kerberos : /var/kerberos/krb5/user/${EUID}/client.keytab

Système & Nouveautés : Préparer l’avenir

Madison spring 2018 20

Systemd « stateless/immutable systems » (RHEL8+)◦ “/etc” et “/var” générés dynamiquement ◦ Le système peut être généré au boot si “/usr” est accéssible

“/usr” peut être monté via NFS

◦ Le system peut faire un reset (can reset it self) pour retrouver une “bonne” configuration via reboot plutôt qu’une reinstallation http://0pointer.net/blog/projects/stateless.html

Custodia (RHEL 7.4) : Outil de gestion des secrets (HTTP / REST-API)

◦ API pour les applications cloud modernes permettre le stockage et le partages des secrets

passwords, tokens, certificates, etc. comment gérer les secrets dans les images cloud ? https://custodia.readthedocs.io

Système & Nouveautés : Préparer l’avenir (suite)

Madison spring 2018 21

Déployer plusieurs versions de programmes selon les besoins des utilisateurs

Plusieurs solutions◦ Software Collection Libraries (SCLs) ◦ Containers ◦ Modularité

similaire aux groupes yum avec une gestion de versions upgrade et downgrade (facile)

Une méthode modulaire "v1" similaire aux groupes yum mais avec versions (problème rebuild de tous les modules à chaque changement

Une méthode hybride "v2" (paquets OS standards + modules AppStreams actives) « F28 GA release »

https://indico.cern.ch/event/676324/contributions/2973777/

Run the latest software on a stable environment - A simpler way (RedHat)

Madison spring 2018 22

Analyse continu des performances sur les nœuds (non-virtualisé) Utilise les compteurs hardware pour mesurer les métriques Core, Memory et

IO : Léger, pas de surcharge sur le système Encore en développement « Beta » et nécessite des connaissances de niveau

« expert » https://indico.cern.ch/event/676324/contributions/2981899/

TRIDENT - Automated system tool for collecting and analyzing hardware performance counters (CERN)

Madison spring 2018 23

ATLAS – Geant 4 MC Simulation – EU Port Utilization Analysis

INT / BRANCH STORE ADD

STORE DATA

LOAD/STORE ADD

LOAD/STORE ADD

INT

FP / INT

FP / INT / BRANCH

Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

Retour HEPiXGrid, Cloud & Virtualisation

28 Juin 2018

Spectre/Meltdown : Reboot de l’intégralité du cloud Migration de nova-network à neutron en cours Provisionnement de serveurs physique avec OpenStack/Ironic

◦ Use cases : HPC, Windows, DataBases, Expériences Fileshare service (manila)

◦ Backend : Ceph FS◦ Remplace le Filer

Container service (magnum)◦ Kubernetes, Docker

Monitoring : Rally Workflows

◦ Expiration des VMs : OpenStack/Mistral◦ Management : Rundeck

https://indico.cern.ch/event/676324/contributions/2981728/

CERN Cloud Service Update

Madison spring 2018 25

Perspectives SDN

◦ Investigation : Open vSwitch, Open Daylight, OVN, Tungsten (Open Contrail)

Hyperconvergence◦ Consolider les nœuds computes et nœuds de

stockage◦ CPU/RAM pas trop utilisé sur les nœuds de

stockage

CERN Cloud Service Update

Madison spring 2018 26

GPUs◦ Création de flavors pour GPUs◦ PCI passthrough : Méthode non spécifique au GPU

Impact au niveau séurité car la vm a un accès direct au matériel Problème de monitoring, l’hyperviseur n’a pas de contrôle sur le GPU « passthrough » Pas ou peu d’impact au niveau performances

◦ vGPUs : needs CentOS 7.5 and support from Nvidia Nécessite un « vendor-specific driver » sur l'hyperviseur (Nvidia GRID, Intel GVT-g) KVM support ? ; CUDA support ? ; Coût ?

◦ AMD a choisi d’implementer « SR-IOV » au niveau matériel

Baremetal provisioning in the CERN cloud : Ironic

Madison spring 2018 27

Pourquoi le Bare-Metal Provisioning ?◦ Pour certains usages on ne souhaite pas utiliser des VMs◦ Simplifier le provisionnement des machines physiques◦ Consolider la gestion des ressources

Intégration avec le réseau◦ Pas de provisionnement ou suppression de réseaux coté Ironic◦ Patch nova compute pour ne pas demander l’adresse ip

Intégration avec les autres Services◦ Foreman : Ajout via « wrapper » à l’instantiation◦ flavor : property cern:physical=true◦ IPMI : openstack console url show◦ PXE/TFTP

https://indico.cern.ch/event/676324/contributions/2981729/

Baremetal provisioning in the CERN cloud : Ironic

Madison spring 2018 28

Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

Retour HEPiXNetworking & Security

28 Juin 2018

Openstack Networks Usage du VPN (OpenVPN)

◦ Nombre limité de projets / utilisateurs Openstack provider VLANs Virtual Firewall / VPN service per project

Planning new datacenter network architecture (WDC, Budapest)

Madison spring 2018 30

https://indico.cern.ch/event/676324/contributions/2998742/

IPV6 (perfSONAR + dCache) - Dual-Stack Envisage d'intégrer IPV6 sur tous les WN et tests SDN Open vSwitch "SDN/NFV" sur les noeuds dcache : LHCONE point-to-

point testbed ◦ SDN : Software-Defined Networking◦ NFV : Network Functions Virtualisation

Appel lancé pour tester "SDN/NFV" pour les sites Atlas dans le cadre du groupe de travail HEPIX-NFV : MWT2 et KIT intéressés

https://indico.cern.ch/event/676324/contributions/2987387/

AGLT2 Site Update

Madison spring 2018 31

ATLAS jobs : « IPv6 only » Frontier : Dual-Stack (en cours de migration) FTS : Taux de transfert meilleur en ipv6 (15-20%) ? perfsonar : Dual-Stack

https://indico.cern.ch/event/676324/contributions/2973706/

Deployment of IPv6 on WLCG - an update from the HEPiX IPv6 working group

Madison spring 2018 35

Network Functions Virtualization Working Group Update

Madison spring 2018 36

Challenges◦ Les usages évoluent, prolifération des données, intégration du cloud public◦ La technologie évolue (SDN/NFV)◦ Plusieurs succès « point-to-point » LHCOPN/LHCONE

Primary challenge is getting end-to-end!

Le logiciel va jouer un rôle majeur au niveau « réseau » à moyen terme ◦ Quelles seront les technologies de demain ?◦ Une automatisation du réseau est possible en production et à grande échelle◦ Certains opérateurs cloud ont déjà déployé du NFV en production

Se préparer à une augmentation du trafic réseau◦ Esnet LHCONE : 118% d’augmentation l’année dernière ◦ GEANT reported LHCONE peaks of over 100Gbps with traffic increase of 65% in the

last year.◦ This has caused stresses on the available network capacity due to the LHC performing

better than expected, but the situation is unlikely to improve in the long-term

Network Functions Virtualization Working Group Update

Madison spring 2018 37

Le but du WG est d’inciter les différents sites à tester et déployer (ensemble) les technologies de virtualisations du réseau

Phase I : Exploration & évaluation◦ Compute : OpenStack/Kubernetes, principalement pour les activités intra-site◦ Stockage distribué : Transpferts « end-to-end » pour les activités inter-site

Phase II : Déploiement◦ Planning◦ Implémentation, configuration, performances

Tour d’horizon des technologies SDN/NFV◦ Open vSwitch : Automatisation massive du réseau◦ Controlleurs : OpenDaylight, OpenContrail, etc.

https://indico.cern.ch/event/676324/contributions/2984916/

Network Functions Virtualization Working Group Update

Madison spring 2018 38

Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

Retour HEPiXComputing & batch – IT facilitiesBONUS : HTCondor Week

28 Juin 2018

CR HEPiX@Madison 44

Computing & batch

● Benchmarks

– HS06 pas cassé mais trop vieux. SPEC17 pressenti. Volonté de containeriser une suite pour les benches.

– Spectre/Meltdown : peu/pas de problèmes de perf, mais une nouvelle vague de vulnérabilités arrive

● WLCG working group créé pour optimiser le rapport entre ressources nécessaires et budgets possibles

● le HPC se montre dans WLCG

– Piz Daint à Lugano (CSCS)

– Migration de NERSC vers son Cray « Cori »

● : computing sur le DAS car les machines du CERN sont toutes les mêmes

● BNL réorganise son batch

– Regroupement de pools HTCondor (et travail sur l’entrée des jobs multi-coeurs)

– Travail sur Jupyter

CR HEPiX@Madison 45

IT facilities

● ExDeMon : monitoring de métriques du CERN. Analyse des métriques basées sur des comportements réguliers normaux ou au contraire sur des erreurs observées dans le passé.

● BNL, nouveau DC : nouvelles salle de 2009 déjà remplie : utilisation d'un container en attendant 2021 et une probable extension.

● Wigner présente sa toute nouvelle archi réseau

● Innondation de CNAF : pertes pas si énormes, mais quand même quelques disques Huawei perdus, et pas mal de cassettes en récupération. Déménagement espéré

CR HEPiX@Madison 46

IT facilities

● Tendances du marché :

– Stagnation du marché. Marché des smartphones saturé => Les gros investissements pour miniaturiser vont donc être moins rentables : fin de la loi de Moore pour des raisons financières ?

– RAM : prix envolés, technos qui progressent plus très vite

– HDD : rapport capacité/prix qui ne croit plus aussi vite

– écart de prix HDD/SSD qui devrait peu se combler

– marché des bandes qui décroit, plus que 2 fabricants (Sony et Fujifilm)

IT facilities

Tendances du marché, conclusions :

● Consolidation des marchés un peu inquiétante, surtout avec une progression perf/prix qui ralentit

● Pas mal d’innovations centrées sur le machine learning

● Toujours 99% de PDM pour Intel sur les serveurs

● Les SSD ne deviendront probablement pas compétitifs sur du stockage de masse à moyen terme

● Tarifs RAM qui devrait baisser fin 2018

● Attention au marché des bandes, à suivre de très près => création d’un groupe de travail

● Groupe de travail proposé pour suivre

l’évolution des technos

CR HEPiX@Madison 48

HTCondor Week

● 19ème HTCondorWeek, 21-24 mai 2018

● 34 ans de HTCondor

● 1996 : premier talk pour distinguer le HTC du HPC

● 102 participants, 10 d'HEP. Recherche et compagnies privées

CR HEPiX@Madison 49

HTCondor Week : annonces

● AFS/Kerberos : HTCondor 8.8 (été 2018) va intégrer le support des tokens OpenAFS ! Merci DESY, le CERN et les devs HTCondor pour ce travail !

● Le CERN voit une consolidation autour de HTCondor-HTCondor-CE + (parfois) Slurm/ARC-CE (cf. slide suivant). Ils ont de la prod depuis 2016, en augmentation.

CR HEPiX@Madison 50

HTCondor Week : à noter dès maintenant

CR HEPiX@Madison 51

HTCondor Week : éléments intéressants pour le CC

● Multi-coeurs : exemple de multi-coeurs et de préemption

● HTCondor pour le parallèle : robuste mais rudimentaire. Sinon, beaucoup de sites couplent Condor à Slurm, avec parfois une seule interface de soumission

● Monitoring : des sites ont développé leur propre solution, Fifemon utilise elasticsearch

● CNAF a développé un accounting personnalisé dans PostgreSQL

● Singularity : intégration faite mais améliorable

● Pegasus : Pousser la gestion de workflow plus loin que ce que DAGMan (l'outil intégré à Condor) permet.

CR HEPiX@Madison 52

HTCondor Week : à noter

● Jupyter : l'exécution interactive est un gros challenge ; BNL en avance, mais pas de solution complète à ce jour

● Python bindings : Après la CLI, une UI Python. Obejctif : iso-fonctionnalité avec la CLI.

● SciTokens : passer d'une authorization basée sur les identités à une basée sur les capabilities => ne pas avoir à décliner son identité

● clouds propriétaires : condor_annex pour s'intégrer à AWS, bientôt Azure et Google.

CR HEPiX@Madison 53

HTCondor Week : Au delà du CC

● Communauté HTCondor très large, bien au delà de HEP :

talks sur la régénération d'un genou, le suivi des forêts du Yellowstone, la médecine prédictive et statistique, l’hydrologie en milieu urbain, l’industrie militaire, ..

● Rappel d’un écologue : besoins de computing croissants,

mais pas la culture computing et CLI

=> Penser à rendre le calcul simple et accessible.

● Dreamworks doit rendre l'utilisation la plus simple possible, et a de gros enjeux financiers sur l'accounting : développement d'une interface spécifique pour un suivi fin par les utilisateurs eux-mêmes.

● Le CHTC à Madison fournit infra de calcul et support à destination d'utilisateurs extérieurs

● Team de développeurs : semble très à l'écoute des demandes features et support.

CR HEPiX@Madison 54

HTCondor Week : Au delà du CC

HEPiX Wrap-Up - Helge.Meinhard at CERN.ch

See You In Madison/Wisconsin!

20-Oct-2017 HEPiX Wrap-Up - Helge.Meinhard at CERN.ch