Campus DMZ

Florent.Parent@{calculquebec.ca | dti.ulaval.ca}

Chef de division, DTI, Université Laval

Responsable du bureau d’architecture, Calcul Québec

Networking National Team lead, Compute Canada

Colloque RISQ 2016

Objectifs

• En quoi cette présentation peut vous intéresser?• Calcul Canada: Infrastructures de calcul et de stockage

• 60+ PB de stockage pour les données de recherche

• Infrastructures importantes pour les chercheurs de votre campus

• Questions qui vous semble familières? • “J’utilise scp, rsync et c’est trop lent”

• “Je déplace mes données sur un disque USB”

• ”Comment puis-je améliorer le taux de transfert de données de mon laboratoire vers la plateforme nationale?”

Agenda

• Calcul Canada• Regroupement et consolidation

• Réseau national de recherche et d’éducation

• Transfert de données• Contraintes, considérations

• Science DMZ• Calcul Canada

• Campus et laboratoire de recherche

Regroupement et consolidation

Actuel

•27 sites

•50 systèmes

2018

•5-10 sites

Importance accrue du réseau entre les laboratoires de recherche et centres de calcul

Investissements technologique

https://www.computecanada.ca/la-plateforme-canadienne-de-cip-pour-la-recherche/

Réseau National de Recherche et d’Éducation

Transfert de données rapide vers la plateforme nationale?

Calcul Canada Campus

NREN/Canarie

“Gestion des attentes”

0

20

40

60

80

100

120

140

160

1 Gbps 10 Gbps 100 Gbps

Temps (min) pour transférer 1 To de données(cas idéal)

• Stockage• Disque dur rapide (7200rpm)

• 100 – 125 Mo/s = 1 Gbps

• USB-2: 480 Mbps• Grosseur et quantité de fichiers

• Serveur• Génération CPU, PCI, et OS

• Réseau• Vitesse et latence• Partage du réseau et TCP: perte de

paquets-> contrôle de congestion• Pare-feu, filtrage, IPS

2h 15mins

14 mins1.4 mins

Considérations:

http://fasterdata.es.net/

TCP: impact de la latenceSource: http://fasterdata.es.net/network-tuning/tcp-issues-explained/packet-loss/

Intra-campus

Intra-NREN

National

Un réseau conçu pour le transfert de données de rechercheà haut débit est requis

TheScienceDMZ* in1SlideConsistsofthreekeycomponents,allrequired:

• “Frictionfree”networkpath

– Highlycapablenetworkdevices(wire-speed,deepqueues)

– Virtualcircuitconnectivityoption

– Securitypolicyandenforcementspecifictoscienceworkflows

– Locatedatornearsiteperimeterifpossible

• Dedicated,high-performanceDataTransferNodes(DTNs)

– Hardware,operatingsystem,librariesalloptimizedfortransfer

– IncludesoptimizeddatatransfertoolssuchasGlobusOnline andGridFTP

• Performancemeasurement/testnode

– perfSONAR

• Engagementwithendusers

Detailsathttp://fasterdata.es.net/science-dmz/

* ScienceDMZisatrademarkofTheEnergySciencesNetwork(ESnet)

©2013Wikipedia

1 – ESnet Science Engagement (engage@es.net) - 6/18/16

©2015,TheRegentsoftheUniversityofCalifornia,through

LawrenceBerkeleyNationalLaboratoryandislicensedunderCCBY-

NC-ND4.0

ScienceDMZ @Calcul Canada

Model architecture: Some variation expected between sites

Transfert de données rapide vers la plateforme nationale?

Campus(es)

RISQ

• Réseau de recherche et d’éducation au Québec

• Gère la dorsale et la boucle local vers le campus

• Propriétaire du réseau de fibre optique

• Dorsale IP/MPLS

Université Laval

• Propriétaire d’un réseau de fibre(MAN)

• Interconnecte les centres de recherche et hôpitaux

Campus DMZ

• “Science DMZ” distribuée

• Lien direct avec RISQ

• Routage et accès IP contrôlés

• IPv6

LAN/MAN

Preuve de concept en cours entre l’Université Laval et

le RISQ

Sommaire

• Transfert rapide de données sur un réseau étendu est indispensable, mais reste un défi

• Collaboration entre chercheurs, experts TI du campus, NREN et CalculCanada est essentielle pour la mise en place d’une solution

• Chercheurs: prévoyez infrastructure réseau locale dans vos demandesd’infrastructure

• Ne pas ré-inventer la roue: les solutions existent.

https://www.computecanada.ca/featured-fr/demonstration-dun-transfert-de-megadonnees-parmi-les-plus-rapides-au-canada-a-la-sc16/

Simon Guilbault (UL)Jocelyn Picard (UL)Jean-Sébastien Landry (UL)Quan Nguyen (McGill)

Richard Corbeil et l’équipe du RISQ!Thomas Tam et Richard Klinger (CANARIE)Jason Chong, Joseph Chen (UofT)Doug Carson (GTAnet)Doug Paterson (ORION)

DTN 100G à SuperComputing 16

Interconnexions internationales à SC16