câblage et pré-câblage : les choix en 2010 · 3 figure 2 tia-942 logical layout eia/tia 568/569...

1

Câblage et Pré-câblage : les choix en 2010 Préface Alors que les responsables IT préparent leur système d’information pour l’intégration du 10 Gigabit Ethernet et du Unified Network Fabric (DCB / FCoE), il est nécessaire de bien comprendre les impacts sur l’urbanisation du Centre Informatique. Au cœur de cette préoccupation, la stratégie de la commutation LAN / SAN et du câblage associé jouent un rôle prépondérant. La durée de vie des éléments physiques des Centres Informatiques étant typiquement de 10 à 15 ans, les choix en termes de câblage peuvent se révéler structurants dans la capacité à prendre en compte les évolutions au niveau des réseaux. Un mauvais choix peut entrainer le remplacement prématuré du câblage pour satisfaire les besoins futurs en bande passante et en densité exigés par les évolutions au niveau des serveurs, du stockage et des besoins en sauvegarde. Il existe quantités de câbles et d’architectures déployés aujourd’hui dans les Centres Informatiques. Avec la transition du 1GE vers le 10GE, la disponibilité de serveur embarquant nativement deux ports 10GE sur la carte mère (10GE on LOM), les offres de câblage ont évolué pour assurer une transition progressive vers ces nouvelles solutions. Cet article permet de comprendre l’usage des différents modèles d’architecture End of Row (Eor), Middle of Row (MoR), Top of Rack (ToR) et leur adéquation avec les des Centres Informatiques de nouvelle génération. Il aborde également les solutions actuellement disponibles pour le 10G et l’intérêt des solutions ToR pour adresser ces nouveaux challenges. Le modèle ToR offre une transition simple pour l’adoption des technologies « High-Bandwith » et le câblage associé. Il permet de supporter les besoins en connectivité exigés par les formats de serveurs rack aussi bien que les châssis serveurs lames par l’adoption d’une dorsale fibre et l’utilisation de média cuivre et fibre au niveau du rack. Néanmoins il n’y a pas de solution universelle et la mise en place de plusieurs modèles apparait souvent comme une nécessité pour répondre à l’ensemble des besoins de connectivité.

2

Introduction Le Centre Informatique est en évolution constante. Les responsables IT, que ce soit pour construire de nouveaux centres, agrandir des centres existants ou transformer des blocs fonctionnels existants, doivent prendre en compte les contraintes de câblage et anticiper la transition vers le 10, le 40 et le 100 Gbps Ethernet. Les principes qui pilotent ces changements sont :

• Modularité et Flexibilité : Les demandes de mise en Production de nouvelles applications de plus en plus rapide sont souvent contrariées par l’incapacité de fournir une connectivité appropriée aux serveurs physiques sur lesquels vont s’exécuter ces applications.

• Multiplication des liens 1 GE : Multi-Socket, Multi-Core, Blade combinés avec les solutions de virtualisation créent de nouveaux schémas et augmentent considérablement le besoins en nombre de liens et en bande passante. Il est fréquent d’avoir aujourd’hui des serveurs connectés avec entre 6 et 8 connections LANs Gigabit et 2 connexions Fibre Channel pour le SAN (figure 1).

Figure 1 : Connectivité Hyperviseur

• Evolution de la connectivité : Avec l’accroissement de la bande passante disponible combinée avec l’apparition de nouveaux standards, un bon design doit permettre de satisfaire tous les besoins en connectivité IP et/ou fibre channel sur du 10G Ethernet (DCB/FCOE).

• Support de la virtualisation serveur : certainement le facteur le plus important des Centres Informatiques aujourd’hui. Avec une croissance des besoins à deux chiffres attendue pour les années à venir, la virtualisation serveur est souvent disruptive sur la conception des réseaux et nécessite une refonte des infrastructures LAN et SAN pour retirer tous les bénéfices d’un environnement serveur virtualisé.

Le modèle TIA L’aménagement, le câblage et les infrastructures sont déterminés par de multiples facteurs. Le standard TIA/EIA-942 (.Telecommunications Infrastructure Standard for Data Centers) documente certaines directives qui peuvent être adoptées par les clients pour la mise en œuvre des principes de câblage de leur Centre Informatique. D’autres standards existent qui définissent ces principes, le BICSI par exemple. Le TIA/EIA-942 aborde les besoins en termes de flexibilité, d’évolutivité, de fiabilité et de gestion des espaces (www.tiaonline.org). Le standard doit pourtant être adapté aux spécificités de chaque Centre Informatique. Ces considérations peuvent se décliner de la façon suivante :

• Stratégie d’accès aux infrastructures de stockage (i.e. Fibre channel, iSCSI or NAS, FCoE), • Support de la convergence Ethernet / Unified Fabric, • Connectivité pour serveurs « haute capacité » et Rack de serveurs « haute densité » • Maintient en condition opérationnelle (Flexibilité, Croissance, ajout, déplacement, …) • Transition du 1GE vers le 10GE, et évolution dans les années à venir vers du 40G et 100G • Bon équilibre entre la puissance électrique, les capacités de refroidissement, le câblage et la

gestion au quotidien du Centre Informatique. Dans le contexte du TIA/EIA-942, le modèle Top of Rack s’inscrit directement entre l’EDA (Equipment Distribution Area) et le HDA (Horizontal Distribution Area). Le schéma ci-dessous permet de comprendre cette correspondance entre le modèle physique et le modèle de référence du TIA.

Administration

FC SAN BFC SAN A

VM Net 1VM Net 2

VM Net 1 BackupVM Net 2 BackupVM Net 3 Backup

VMotion Backup

Server NIC

VM Net 3VMotion

3

Figure 2 TIA-942 Logical Layout EIA/TIA 568/569 Copper & Fiber Cabling

Dans le modèle TIA, L’EDA correspond aux emplacements où sont positionnés les racks d’équipements serveur et stockage. On retrouve dans un câblage traditionnel un mixte de câbles cuivre en twisted pair (CAT 5, 6, 7) et de câbles fibres (OM2, OM3) requis pour la connectivité SAN ou 10G pour raccorder la zone EDA à la zone HDA. Dans un Centre Informatique, la phase de conception est essentielle afin de s’assurer que les choix de pré-câblage soient en adéquation avec les principes d’architecture définis par les équipes d’infrastructures (système, réseau, stockage) pour pouvoir répondre aux évolutions technologiques ainsi qu’aux besoins de croissance. Dans le modèle en EoR, un recours à une ZDA (Zone distribution Area) permet d’adresser les problèmes inhérents à la densité du câblage tout en respectant les contraintes du Centre Informatique et de l’ajout de racks dans le futur. Il existe différents modèles logiques de conception d’une zone ZDA (figure 3). Ils doivent pouvoir s’adapter à la largeur des racks, au type de câblage du Centre Informatique (aérien ou dans le faux plancher) et à la densité des équipements dans les racks. Dans tous les cas le modèle ZDA doit « répliquer » le modèle HDA et adresser les problèmes de manipulations dans les commutateurs en proposant un câblage permanent entre ces commutateurs et les patchs panels. Dans le modèle ToR, le câblage horizontal va être optimisé et réduit aux besoins de liaisons entre les commutateurs d’accès situés dans les racks (dans l’EDA) et les équipements d’agrégation (dans la HDA). Le placement de ces commutateurs va dépendre de la densité de serveurs à connecter et peut donc regrouper différents agencements sous la dénomination ToR.

Zone Dist Area

Horizontal Cabling

Telecom Room(Office & Operations Center LAN Switches)

Offices, Operations Center, Support Rooms

Entrance Room(Carrier Equip & Demarcation)

Access Providers

Access Providers

Horizontal Cabling

Equipment Dist Area(Rack / Cabinet)




Horizontal CablingHorizontal Cabling Horizontal Cabling Horizontal Cabling

Horiz Dist Area(LAN/SAN/KVM

Switches)Horiz Dist Area(LAN/SAN/KVM



Switches)

Backbone Cabling FIber

Main Dist Area(Routers/Backbone

LAN/SAN Switches, PBX, M13 Muxes)

Computer Room

Backbone Cabling

Backbone Cabling

Top of Rack

End of Row ou Top of Rack Aggregation

Core / Eor Aggregation

Top of Rack

Zone Dist Area

4

Figure 3 Les différents modèles de ZDA

Les différentes options d’aménagement en Top of Rack sont décrites dans le schéma ci-dessous (Figure 4). La connectivité finale (Serveur, Stockage, …) est assurée au niveau du rack, permettant ainsi de limiter la densité du câblage au niveau de cet élément. On notera que cette topologie nécessite de passer les câbles sur les cotés du rack afin de permettre les interventions à l’intérieur du rack et de garantir une bonne ventilation. C’est pour cette raison que l’on trouve de plus en plus de baies de 0,80 m de large positionnées dans les Centres Informatiques modernes.

Figure 4 Les modèles d’aménagement en TOR

Patch cordsPermanent link

SimplePatch Panel

Patch panel

DoublePatch Panel

Patch panel

Patch panel

FullPatch Panel

Zone Dist Area


Horiz Dist Area(LAN/SAN/KVM

Switches)

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur

ServeurServeurServeur

Serveur

ServeurServeur

24 copper

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

24 copper

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

24 copper

12 foSWIT CH

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

12 fo

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

SWIT CH12 fo 12 fo 12 fo

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

SWIT CH12 fo 12 fo 12 fo

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

SWIT CH SWIT CH12 fo 12 fo

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

SWIT CH SWIT CH12 fo

SWITCH

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

TOP of RACK TOP

of Three RackTOP

of Two Rack

HA

SWITCH

HA HA

5

End-of-Row Architecture Drivers Depuis quelques dizaines d’années, c’est le modèle qui domine l’urbanisation de nos Centres Informatiques. La faible densité des serveurs entre 8U et 4U, le nombre limité de connexions réseaux (entre 2 et 3) et l’accès occasionnel au réseau SAN (30% des serveurs) ont conduit les responsables des Centres Informatiques à pré-câbler de manière uniforme leurs salles informatiques :

Figure 5 Schéma de principe du câblage en End of Row

Rack serveurs contenant entre 12 et 24 serveurs, chacun de ces serveurs possède entre 2 et 3 connexions LAN, certains étant également connectés à deux Fabric SAN. La taille des racks varie entre 60 cm et 80 cm en fonction des choix d’urbanisation. Le nombre de racks dans une rangée dépend de chaque Centre Informatique, en général entre 10 et 20 (12 en moyenne).

Patch-Panel de connexion RJ45, typiquement 24 ports RJ45 pour les connexions LAN. Avec l’augmentation de la densité des serveurs dans un rack, on va trouver jusqu'à 48 ports. Il dispose également des points de connectivité 100Mbs/1GE pour d’autres besoins (iLO par exemple).

Patch Panels de connexion RJ45 assurant le raccordement en fin de rangée des patch-panels situés dans les racks (A).

Patch-Panels de connexion RJ45 assurant une connexion fixe entre les équipements LAN (H)

Câble twisted pair permettant de raccorder le patch panel B au patch panel B’. Ces câbles sont en fonction des Centres Informatiques de type CAT-5e, CAT-6, CAT-7. Aujourd’hui, on préconise de manière générale du CAT-6A ou CAT-7A.

Patch-Panels de connexion Fibre Optique, typiquement 12 ports LC permettant le raccordement aux SAN (dual-fabrics) de 6 serveurs. En fonction, de la densité des serveurs et du taux de raccordement au SAN, le nombre de connexion Fibre Optique peut augmenter.

Patch-Panels de connexion FO assurant le raccordement en fin de rangée des patch-panels situés dans les racks (A).

Patch-Panels de connexion FO assurant une connexion fixe avec les équipements SAN (J)

Câble Fibre Optique permettant de raccorder le patch panel D au patch panel D’. Ces câbles sont en fonction des Centres Informatiques de type OM1, OM2 ou OM3. Aujourd’hui, on préconise de manière générale de l’OM3 voire de l’OM4.

Cordon de brassage RJ45

Câble de raccordement des Patch-Panels B" aux équipements LAN (H)

Equipements LAN, dimensionnés en fonction du nombre de racks dans la rangée, ils peuvent être constitués de commutateurs modulaires (Catalyst 4500 ou 6500, Nexus 7K), de stack (Catalyst 3750), ou d’un ensemble N5K/N2K.

12 fo 12 fo 12 fo 12 fo 12 fo

LANAccess Point B

LANAccess Point A

24 24 24 24 24

Patch panelTwisted Pair

SANAccess

Fabric A

SANAccess

Fabric APatch panelFibre Optic

12 12 12 1212

DB’

I

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

B24 copper

CE

24 copper 24 copper 24 copper

Patch panelTwisted Pair F

Patch panelFibre Optic

G

24 copper

A D’

D"

H

B"

J

A

B

B’

B"

C

D

D’

D"

E

F

G

H

6

Câble de raccordement des Patch-Panels D" aux équipements SAN (J)

Equipements SAN, dimensionnés en fonction du nombre de racks et ports dans la rangée, ils sont en général constitués de directeurs modulaires (MDS 95XX).

Ce modèle présente quelques limites en termes de densité de ports pour chaque rack mais également en termes de longueur de rangée. Middle-of-Row Architecture Drivers

Figure 6 Schéma de principe du câblage en Middle of Row

Le modèle en EoR permet de résoudre en partie le problème lié à la densité des câbles en séparant la rangée physique en deux parties. De manière naturelle, la densité et la longueur des câbles sont divisées par deux. Ce modèle facilite donc le câblage mais ne résout pas sa complexité au niveau de la HDA. Les caractéristiques générales de ce modèle restent très proches du modèle End-of-Row. Que ce soit en End of Row ou en Middle of Row, les aménagements nécessaires ainsi que la nécessité d’avoir une infrastructure pré-câblée (ZDA) introduisent une rigidité incompatible avec les exigences actuelles et futures :

• Comment supporter différents type de rack (taille, largeur, refroidissement, …) • Comment supporter différents besoins en termes d’I/Os (LAN, LAN / SAN, Infiniband, …) • Comment supporter différentes vitesses :

o 1G, 10Gbits pour le LAN aujourd’hui, 40Gbits et 100Gbits demain o 2G, 4G, 8Gbits pour le SAN aujourd’hui, 16Gbits demain.

• Comment assurer une transition simple vers le FCoE. Top-of-the-Rack Architecture Drivers Afin d’accroitre la flexibilité, la conception du Centre Informatique de façon plus modulaire s’impose afin de répondre plus rapidement aux changements technologiques et pérenniser les infrastructures du Centre Informatique en terme d’alimentation, de refroidissement et de câblage. De nombreuses organisations aujourd’hui ne déploient plus de serveurs de manière unitaire mais des racks complets de serveurs ou des systèmes « blades » préconfigurés qui intègrent l’ensemble de la connectivité et permet d’améliorer la mise en production des nouvelles ressources à l’intérieur du Centre Informatique. La granularité devenant le rack, il devient nécessaire de repenser les modèles de câblage

I

J

12 fo 12 fo 12 fo24 copper 24 copper 24 copper

Patch panelTwisted Pair LAN

Access Point B

LANAccess Point A

SANAccess

Fabric A

SANAccess

Fabric APatch panelFibre Optic

D’

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

12 fo 12 fo 12 fo

24 24 24

DServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

ServeurServeur

Serveur

Serveur

Serveur

ServeurServeur


Serveur

ServeurServeur

B

CE

A

Patch panelTwisted Pair


24 copper 24 copper 24 copper

12 12 12 12 12 1224 24 24

H

J

B’

D"

B"

F

7

afin de s’adapter à l’augmentation de la densité et maximiser l’utilisation des ressources disponibles dans le Centre Informatique. Le modèle ToR facilite l’adoption de ce mode dont le déploiement est connu sous le nom de Rack-and-Roll et minimise le nombre de câble entre l’EDA et la HDA. Les ressources assurant la connectivité serveurs aux différents réseaux sont placées dans le rack et interconnectées à ces réseaux par quelques fibres. Si ce modèle tend à se généraliser pour le LAN, il reste néanmoins plus rare pour le SAN, car tous les serveurs ne sont pas forcément candidats à l’accès aux ressources de stockage en mode Fibre Channel, notamment à cause du coût des HBA Fibre Channel.

Figure 7 Schéma de principe du câblage en Top Of Rack

Rack serveur contenant jusqu'à 40 serveurs (parfois plus avec des modèles ½ U). Chacun de ces serveurs possèdent entre 2 & 3 connexion LAN, et certains sont connectés à deux Fabrics SAN. La taille des racks recommandés est de 80 cm. Le nombre de racks dans une rangée dépend de chaque Centre Informatique, en général entre 10 et 30 (12 en moyenne).

Commutateur LAN placé en Top of Rack, de 24 ports à 48 ports (Catalyst 3750E, Catalyst 4948, Nexus 2k, Nexus 5K ;…),

Dans le cas d’un réseau haute disponibilité le commutateur d’accès est doublé.

Patch-Panels de connexion Fibre Optique, typiquement 12 ports LC permettant le raccordement aux SAN (2 fabrics) de 6 serveurs. En fonction de la densité des serveurs et du taux de raccordement au SAN, le nombre de connexion Fibre Optique peut augmenter.

Câble Fibre Optique permettant de raccorder du patch panel D au patch panel D’. Ces câbles sont en fonction des Centres Informatiques de type OM3, OM3+ ou OM4. L’utilisation de connecteurs MTP et d’épanouisseurs optiques permet d’envisager une transition vers le 40Gbits sans remise en cause du pré-câblage.


Patch-Panels de connexion FO assurant une connexion fixe avec les équipements SAN(F) et SAN (G)

Commutateur SAN placé en Top of Rack, en général de 24 ports à 48 ports (MDS 91XX).

Equipements LAN dimensionnés en fonction du nombre de racks dans la rangée. Ils seront constitués de commutateurs modulaires (Catalyst 4500 ou 6500, Nexus 7K),

Equipements SAN dimensionnés en fonction du nombre de racks et ports dans la rangée. Ils seront constitués de commutateurs modulaires (MDS 95XX).

Le modèle TIA-942 décrit un cadre de référence qui satisfait aussi bien les modèles EoR, MoR et ToR. Dans le modèle ToR, les connections Gigabit des serveurs sont assurée par un câblage en Twisted pair dans le rack tandis que les commutateurs d’accès sont typiquement raccordés à la HDA par de la fibre

12 fo

LANAggregation

Point B

LANAggregation

Point A

SANAccess

Fabric A

SANAccess

Fabric A


12 12 12 1212

B

C

D

A

D’

D"

G

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



SWITCH LAN SWITCH LAN SWITCH LAN SWITCH LANSWITCH LAN

SWITCH LANSWITCH LAN

12

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur




12

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



SWITCH LANSWITCH LANSWITCH SANSWITCH SAN

B’

E

F


12 fo 12 fo12 fo 12 fo 12 fo 12 fo

A

B

B’

C

D

D’

D"

E

F

G

8

optique. Le niveau d’oversubscription est défini au niveau de chaque rack et permet de satisfaire différents besoin en termes de débit. Un autre avantage de ce modèle est de supporter différents types de connectivité (1G ou 10G) entre l’EDA et la HDA avec un média unique. Grâce à un choix judicieux de fibres (OM3, OM4) et de connecteurs (MTP), il permet d’évoluer vers les futurs standards 40G et 100G. En limitant l’usage de câble cuivre à l’intérieur des racks, on cantonne également les changements les plus fréquents dans une unité plus petite qui permet l’introduction de nouveaux serveurs utilisant une connectivité 10G native et du FCoE. Top of Rack Access Media Considerations A partir du moment où l’on considère le 10G Ethernet, il faut prendre en compte les contraintes au niveau du câblage. Les facteurs tels que la distance, la latence et la consommation électrique doivent être pris en compte. Outre les considérations techniques, le prix des tranceivers est également un facteur déterminant dans les choix d’urbanisation du Centre Informatique. Un connecteur RJ45 coute quelques €uros, un connecteur SFP+ cuivre quelques dizaines d’€uros, un transceiver optique plusieurs centaines d’€uros, sans parler du cout des interfaces NIC associées. Les bons choix d’urbanisation sont donc ceux qui permettent l’utilisation de la technologie la plus économique !

Connector (Media) Cable Distance Power (Each Side) Transceiver

Latency (Link) Standard SFP+ CU* copper Twinax <10m ~ 1.5W ~ .1 µs SFF 8431** X2 CX4 copper Twinax <15m 4W ~ 0.1 µs IEEE 802.3ak SFP+ USR MMF ultra-short reach MM OM2

MM OM3 10m 100m

1W ~ 0 None

SFP+ SR MMF short reach MM OM2 MM OM3

82m 300m

1W ~ 0 IEEE 802.3ae

RJ45 10GBASE-T copper Cat6 Cat6a/7 Cat6a/7

55m 100m 30m

~ 6W ~ 6W ~ 4W

2.5 µs 2.5 µs 1.5 µs

IEEE 802.3an

Figure 8 Option de connectivité 10G

Il y a aujourd’hui plusieurs options de connectivité 10G pour les serveurs comme le montre la figure 8. Pour le câblage entre l’EDA et la HDA, le choix du SFP+ (USR/SR) est le plus adapté sur des distances moyennes. Pour le raccordement des serveurs, le SFP+ direct attach est le plus généralisé. Le 10GBase-T quant à lui, devrait progressivement faire son apparition au niveau des serveurs dans les années à venir quand les exigences énergétiques qu’il demande auront diminué avec les nouvelles générations de Silicone et la ratification de l’IEEE 802.3az (Energy Efficient Ethernet). Blade: Top-of-rack ou End-of-Row? On ne peut parler de câblage dans les Centre Informatique sans aborder les serveurs en lame, car l’un des objectifs de ce format est justement d’adresser ce problème. Dans ce modèle, un premier niveau d’agrégation est assuré à l’intérieur du châssis. La topologie et le plan de câblage dépendent largement du choix des modules I/O situés dans le châssis. Dans un modèle path-thru, chaque port d’une lame est dupliqué en sortie du châssis, la densité des lames imposent alors un modèle en top of rack. Le modèle en ToR est lui aussi assez répandu dans le cas où beaucoup de modules I/O sont présents dans le rack en connectivité 1G/Cuivre.

9

Figure 9 Modèle de connectivité Blade.

Châssis Blade traditionnel avec pour chaque châssis, 2 modules I/O gigabits. Chaque module I/O propose entre 1 et 4 uplinks RJ45 en gigas, soit 8 câbles par châssis, auxquels il faut ajouter la connectique pour le management ! A noter : l’existence de modèle de Commutateur Stackable (Virtual Blade commutateur) simplifiant la problématique de câblage et d’administration pour les commutateurs blades. (voir paragraphe suivant).

Châssis Blade traditionnel avec pour chaque châssis 2 modules I/O gigabits et 2 modules I/O SAN. Chaque module I/O propose entre 1 et 4 uplinks RJ45 en gigas, soit 8 câbles cuivre par châssis, auxquels il faut ajouter la connectique pour le management, ainsi que les uplinks pour le SAN soit entre 2 et 8 liens FC par châssis.

Châssis Blade traditionnel avec pour chaque châssis 6 modules I/O gigabits et 2 modules I/O SAN. Chaque module I/O propose entre 1 et 4 uplinks RJ45 en gigas, soit 24 câbles cuivre par châssis, auxquels il faut ajouter la connectique pour le management, ainsi que les uplinks pour le SAN, soit entre 2 et 8 liens FC par châssis. Cette densité, provenant souvent de la virtualisation serveur, justifie un modèle de raccordement pour le LAN en ToR.

Châssis Blade traditionnel avec des uplinks hauts débits avec pour chaque châssis 2 modules I/O 10 gigabits et 2 modules I/O SAN. Chaque module I/O propose entre 1 et 2 uplinks 10GE optiques, soit 4 câbles optique par châssis, auxquels il faut ajouter la connectique pour le management, ainsi que les uplinks pour le SAN soit entre 1 et 2 liens FC 8Gb par châssis.

Châssis Blade utilisant l’unification des I/Os (Nexus 4000) avec uplinks hauts débits, avec pour chaque châssis 2 modules I/O 10 gigabits/FCoE. Chaque module I/O propose entre 1 et 6 uplinks 10GE optiques ou cuivre, soit 12 câbles par châssis, auxquels il faut ajouter la connectique pour le management. A noter que ces modules se raccordent uniquement à des Nexus 5000.

Enfin dans le modèle CISCO UCS, la connectivité est grandement simplifiée dans la mesure où l’ensemble des châssis est raccordé à un UCS Manager qui assure la connexion des serveurs à l’ensemble des réseaux en place dans le Centre Informatique.

Top-of-the-Rack avec des commutateurs en stack Dans les architectures en Top of Rack, le choix du type de commutateur peut avoir un impact sur le câblage. C’est notoirement le cas avec des commutateurs organisés en « pile » (Cisco Stackwise par exemple). Dans ce modèle les commutateurs sont reliés entre eux pour former un anneau. Ce modèle offre des avantages au niveau de l’administration car la pile de commutateurs physiques est vue comme un seul commutateur logique, disposant en plus de capacité de redondance. L’anneau est constitué de câbles reliant les commutateurs entre eux à haut débit. Il est important de noter que la longueur de ce câble est limitée à quelques mètres (3M en général). Si cela ne pose pas de problèmes particuliers dans le cas d’une pile double, en revanche le câblage devient plus complexe dans le cas d’une pile simple (Voir figure 11).

LANAggregationPoint B

LANAggregationPoint A

SANAccess

Fabric A

SANAccess

Fabric A


24 12 12 24242

A

12


24 fo24 fo 12 fo 24 fo 24 fo

IO Module

SWITCH LAN SWITCH LAN


Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

SWITCH SAN SWITCH SANSWITCH LAN SWITCH LAN

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urServe

ur

Serve

ur

Serve

ur

Serve

urServe

ur

SWITCH LAN SWITCH LANSWITCH LAN SWITCH LAN

IO Module IO Module

IO Module IO Module

IO Module IO Module

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur


IO Module IO Module

IO Module IO Module

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

SWITCH SAN SWITCH SANSWITCH LAN 10G SWITCH LAN 10G

IO Module IO Module

IO Module IO Module

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

SWITCH LAN SWITCH LANSWITCH FCOE SWITCH FCOE

IO Module IO Module

IO Module IO Module

IO Module IO Module

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

SWITCH LAN SWITCH LANSWITCH LAN SWITCH LAN

IO Module IO Module

IO Module IO Module

IO Module IO Module

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur


IO Module IO Module

IO Module IO Module

IO Module



Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur


IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

SWITCH SAN SWITCH SANSWITCH LAN 10G SWITCH LAN 10G

IO Module IO Module

IO Module IO Module

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

SWITCH LAN SWITCH LANSWITCH FCOE SWITCH FCOE

IO Module IO Module

IO Module IO Module

IO Module IO Module

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCOE FEX FCOE

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCOE FEX FCOE

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCOE FEX FCOE

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCOE FEX FCOE

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCOE FEX FCOE

UCS MANAGERUCS MANAGER

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCOE FEX FCOE

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCOE FEX FCOE

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCOE FEX FCOE

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCOE FEX FCOE

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCOE FEX FCOE

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCO E FEX FCO E

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCO E FEX FCO E

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCO E FEX FCO E

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCO E FEX FCO E

IO Module

Serve

ur

Serve

ur

Serve

urSe

rveur

Serve

ur

Serve

ur

Serve

urSe

rveur

FEX FCO E FEX FCO E


16/24 Uplinks1G

24 copper

8/24 UplinksFO

8/12 UplinksFO

8/24 UplinksFO

8/24 UplinksFO

B

12

C D E

8 copper 8 copper 8 copper F24 copper

24 copper

8/24 UplinksFO

A

B

C

D

E

F

SWITCH LAN

SWITCH LAN

SWITCH LAN

SWITCH LAN

SWITCH LAN

SWITCH LAN

SWITCH LAN

10

Figure 10

Figure 11 Schéma de câblage d’une pile simple en TOR.

Compte tenu de la distance maximale de ces câbles, il faut également prévoir soit des passages de rack à rack pour faire un « cross rack cabling », soit des passages directement sur le dessus du rack afin de gagner le maximum de distance. Dans tous les cas, le rajout d’un rack / commutateur dans la pile doit être effectué avec précaution.

Figure 12 Modèle TOR avec des commutateurs en pile.

Rack serveur contenant jusqu'à 40 serveurs (parfois plus avec des modèles ½ U). Chacun de ces serveurs possède entre 2 & 3 connexion LAN et certains sont connectés à deux Fabrics SAN. La taille des racks recommandés est de 80 cm. Le nombre de racks dans une rangée dépend de chaque Centre Informatique, en général entre 10 et 30 (12 en moyenne).

Commutateur LAN placé en Top of Rack en général de 24 ports à 48 ports (Catalyst 3750, Catalyst 3750E),

Dans le cas d’un réseau haute disponibilité, le commutateur d’accès est doublé.

Patch-Panels de connexion Fibre Optique, typiquement 12 ports LC, permettant le raccordement de la stack au point d’agrégation.

Câble Fibre Optique pour raccorder le patch panel D au patch panel D’. Ces câbles sont en fonction des Centres Informatiques de type OM3, OM3+ ou OM4. L’utilisation de connecteur MTP et d’épanouisseurs optiques permet d’envisager une transition vers le 40Gbits sans remise en cause du pré-câblage.

SWITCH LAN

SWITCH LAN

SWITCH LAN

SWITCH LAN

SWITCH LAN

SWITCH LAN

SWITCH LANSWITCH LANSWITCH LAN SWITCH LANSWITCH LAN SWITCH LAN SWITCH LAN


SWITCH LANSWITCH LAN SWITCH LAN

SWITCH LANSWITCH LAN SWITCH LANSWITCH LAN

SWITCH LANSWITCH LANSWITCH LAN SWITCH LANSWITCH LAN

SWITCH LANSWITCH LANSWITCH LAN SWITCH LAN SWITCH LANSWITCH LAN

3 Swicths

4 Swicths

5 Swicths

6 Swicths

7 Swicths

8 Swicths

12 fo 12 fo 12 fo 12 fo

LANAggregation

Point B

LANAggregation

Point A


1212

B

C

D

A

D’

D"

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



SWITCH LAN SWITCH LAN SWITCH LAN SWITCH LAN

E


12 fo 12 fo 12 fo 12 fo

12

B’

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



SWITCH LANSWITCH LAN SWITCH LAN SWITCH LAN SWITCH LAN

SWITCH LAN SWITCH LAN SWITCH LAN

12

PileDouble

PileSimple

A

B

B’

C

D

11


Patch-Panels de connexion FO assurant une connexion fixe avec les équipements LAN(F)

Equipements LAN dimensionnés en fonction du nombre de stack à raccorder. Ils peuvent être constitués de commutateurs modulaires (Catalyst 4500, 4900 ou 6500, Nexus 7K).

Architecture Top-of-the-Rack avec le Nexus 5000 et 2000 L’architecture en ToR offre aux responsables du Centre Informatique la possibilité de déployer un modèle de câblage universel qui supporte aussi bien le gigabit, le 10 Gb et la convergence des I/Os grâce aux protocoles DCB (Data Center Bridging) et FCoE (Fibre Channel over Ethernet). Ce modèle autorise également une évolution vers des débits encore supérieurs que proposeront les standards 40 Gb et 100 Gb. Ce modèle s’adapte parfaitement aux stratégies de Rack & Roll et permet de déployer dans tout le Centre Informatique des Racks serveurs avec des options et des formats différents, du serveur 1U et 2U au modèle blade. Comme déjà évoqué dans cet article, les équipements de commutation de la gamme Cisco Nexus peuvent largement être utilisés pour faciliter le déploiement de ce modèle. Solution Top-of-Rack dans les Environnements Gigabit Ethernet La majorité des Centres Informatiques aujourd’hui doivent avant tout offrir une connectivité Gigabit et 10 Gb. L’architecture Cisco offre différentes solutions pour faciliter cette transition. La combinaison des Nexus 5000 et Nexus 2000 permet d’élaborer différentes topologies en optimisant les couts de câblage et en réduisant les investissements en pré-câblage. Les Nexus 2148T et 2248T permettent une agrégation des serveurs au niveau d’un FEX (pour Fabric EXtender, nom de la gamme Nexus 2000), ce FEX étant simplement une extension d’un Nexus 5000. Le Nexus 2000 doit être vu comme une carte ligne d’un Nexus 5000 et offre une connectivité 100Mb/1000Mb ou 1Gb de 48 ports à l’intérieur d’un rack. Grace à 4 uplinks de 10Gb, le Nexus 2000 va délivrer une bande passante élevée au serveur. Ce modèle permet de fédérer les avantages du modèle EoR, en minimisant le nombre de point de management, du modèle ToR en offrant une solution de connectivité dans le Rack et du modèle en pile, en permettant grâce à l’implémentation du Virtual Port Channel un connectivité de type Etherchannel pour les serveurs. L’ensemble Nexus 5000 avec les Nexus 2000 qui lui sont raccordé représente un seul commutateur logique. Sur les Nexus 2000, les uplinks permettant le raccordement aux Nexus 5000 sont de deux types. Soit en Fibre Optique avec une connectivité SR (USR dans un futur proche), soit cuivre avec une connectivité SFP+. La différence de prix entre les différentes connectiques est largement en faveur du raccordement des Nexus 2000 via la connectivité cuivre SFP+. Les câbles SFP+ étant relativement court, il faudra là encore prévoir soit des passages de rack à rack pour faire un « cross rack cabling », soit des passages directement sur le dessus du rack afin de gagner sur la distance. Si le câblage se fait via le faux plancher ou à plusieurs dizaines de centimètres au dessus des racks, le recours à de la fibre sera inévitable. La figure 13 permet d’évaluer la longueur des câbles nécessaires pour assurer un raccordement avec des SFP+.

D’

D"

E

12

Figure 13 Longueur des câbles de type CX1 (SFP+)

Les racks les plus éloignés sont raccordés en fibre optique.

Les racks situés au plus prêt des Nexus 5000 peuvent être connectés en SFP+ en utilisant des câbles dont la longueur varie entre 1 et 5 mètres aujourd’hui, 7 mètres dans un futur proche.

Cette connectivité offre de nombreux avantages au niveau de la latence, de la souplesse et de la puissance électrique nécessaire à leur fonctionnement. En revanche, le câblage de 5 à 6 racks adjacents ne peut être assuré que par un câblage direct. Il n’existe pas de possibilité de pré-câblage avec ce type de connecteurs.

Figure 14 Aménagement de Nexus 2000 en Top of Rack (Dual Homing)

1/4 1/4 1/4 1/41/4

B CA

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



NEXUS 2000 NEXUS 2000 NEXUS 2000 NEXSU 2000 NEXUS 2000

1/4

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



NEXUS 2000

1/4

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



NEXUS 2000

080cm160 cm240 cm320 cm380 cm460 cm540 cm

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



NEXUS 2000

NEXUS 5000

A

B

C

12 fo

12 12 24 2412

B

C

D

A

D’

D"

F

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



NEXUS 2000NEXUS 2000


24

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur




24

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur




24 fo 24 fo12 fo 12fo 24 fo 24 foNEXUS 2000NEXUS 2000



NEXUS 5000



NEXUS 5000

E

D

13

Rack serveur contenant jusqu'à 40 serveurs (parfois plus avec des modèles ½ U). Chacun de ces serveurs possède entre 2 & 3 connexion LAN. Les connexions SAN ne sont pas traitées dans cet exemple.

Couple de Nexus 2000 placé en Top of Rack permettant la connexion en Dual homing des serveurs et des ports iLO en 100Mb via le Nexus 2248T.

Patch-panels de connexion Fibre Optique, typiquement 12 ports LC, permettant le raccordement de la pile au point d’agrégation.

Câble Fibre Optique pour le raccordement du patch panel D au patch panel D’. Ces câbles seront de type OM3, OM3+ ou OM4. L’utilisation de connecteurs MTP et d’épanouisseurs optiques permet d’envisager une transition vers le 40Gbits sans remise en cause du pré-câblage. La densité de ports optiques LC peut être doublée pour permettre des accès aux SANs ou une évolution vers du 40Gb.

Patch-panels de connexion FO assurant le raccordement en fin de rangée des patch-panels situés dans les racks (A).

Patch-panels de connexion FO assurant une connexion fixe avec les équipements LAN(F)

Equipements LAN, Nexus 5010 ou Nexus 5020 pour l’agrégation des Nexus 2000.

Connexion inter Nexus 5000 pour la configuration en mode Virtual Port channel.


Rack serveur contenant jusqu'à 40 serveurs (parfois plus avec des modèles ½ U). Chacun de ces serveurs possède entre 2 & 3 connexion LAN. Les connexions SAN ne sont pas traitées dans cet exemple.

Couple de Nexus 2000 placé en Top of Rack pour la connexion en Dual homing des serveurs et des ports iLO en 100Mb via le Nexus 2248T. Chaque Nexus 2000 peut être en fonction de la topologie raccordé à un ou au deux Nexus 5000.

Patch-Panels de connexion Fibre Optique, typiquement 12 ports LC pour le raccordement de la pile au point d’agrégation des accès SAN et offrant une évolution des Nexus 2000 Gb vers du Nexus 5010. Dans le cas présent, les patchs panels optiques ne sont pas utilisés par les Nexus 2000.

Câble cuivre de type CX1, assurant le raccordement des Nexus 2000 au Nexus 5000. De 1 à 4 câbles par Nexus 2000.

Les figures 14 et 15 montrent un agencement en EoR ou en MoR utilisant des Nexus 5000 et en ToR des Nexus 2000. Dans le premier, les uplinks sont en fibre avec des connexions de type SFP+ SR/USR, dans le deuxième, les câbles retenus sont des câbles CX1 avec des connecteurs SFP+.

A

B

C

D

D’

D"

E

F

24 fo

12 12 24 2412

B

C

D

A

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur





24

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur




24

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur




24 fo 24 fo24 fo 24fo 24 fo 24 foNEXUS 2000

NEXUS 2000


NEXUS 2000NEXUS 2000 NEXUS 5000

D24

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur




24 fo

NEXUS 5000

NEXUS 2000

NEXUS 2000

NEXUS 2000

NEXUS 2000

24 fo 24fo

Vers le point d’agrégation

ServeurServeur

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



ServeurServeur

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



A

B

C

D

14

Solution Top-of-Rack dans les Environnements 10 Gigabit Ethernet et FCoE Le Nexus 5010 est quant lui idéal pour supporter une connectivité 10G / FCoE pour un rack supportant 16 à 20 serveurs. Chaque serveur peut bénéficier d’une connexion CX1 cuivre par Nexus 5010. Si plus de 20 ports sont requis, on peut soit ajouter une module d’extension permettant de rajouter 4 ou 6 ports, soit passer sur le modèle Nexus 5020 qui offre 40 ports 10G de base. Cette architecture est parfaitement adaptée au déploiement de serveurs 10Gb avec ou sans FCoE. En combinant les caractéristiques des modèles 2000 et 5000, la gamme Nexus permet une transition progressive vers le 10Gb, tout en conservant les mêmes règles d’urbanisation.


Rack serveur contenant de 20 à 40 serveurs avec chacun 2 connexion 10G, (NB : Les ports de management des serveurs ne sont pas traités dans ce schéma.)

Les Nexus 5000 sont placés en Top of Rack et peuvent être interconnectés pour la mise en œuvre du Virtual Port Channel.

Patch-panels de connexion Fibre Optique, typiquement 24 ports LC pour le raccordement de la pile au point d’agrégation LAN et SAN. Le Nexus 5000 permet de configurer un nombre important d’uplink 10G ainsi que des uplinks SAN en 4 et 8G dans des environnements standards. 12 fibres optiques par Nexus est suffisant.

Câble Fibre Optique pour le raccordement du patch panel D au patch panel D’. Ces câbles seront de type OM3, OM3+ ou OM4. L’utilisation de connecteurs MTP et d’épanouisseurs optiques permet d’envisager une transition vers le 40Gbits sans remise en cause du pré-câblage.

Patch-panels de connexion FO assurant le raccordement en fin de rangée des patch-panels situés dans les racks (A).

Patch-panels de connexion FO assurant une connexion fixe avec les équipements LAN(F) et SAN (G)

Equipements LAN dimensionnés en fonction du nombre de Nexus 5000 à raccorder. Ils peuvent être constitués de commutateurs modulaires ou fixes (Catalyst 6500, Nexus 5K, Nexus 7K). La densité en port 10G reste ici un critère déterminant..,

Câble de raccordement des patch-panels D" aux équipements LAN (E) SAN (G).

Equipements SAN dimensionnés en fonction du nombre de racks et ports dans la rangée. Ils seront en général constitués de commutateurs modulaires (MDS 95XX),

24fo

24 24 24 2424

B

C

D

A

D’

D"

F

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur





24

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur




24

Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur

Serveur

Serveur

Serveur

ServeurServeur



Serveur




24 fo 24 fo24 fo 24o 24 fo 24 foNEXUS 5000NEXUS 5000



NEXUS 7000



NEXUS 7000

E

D

SANAccess

Fabric A

SANAccess

Fabric BG

A

B

C

D

D’

D"

E

F

G

15

Caractéristiques des Câbles Fibre et Cuivre Fibre Il existe de nombreux types de câbles disponibles, sachant que les besoins sont principalement sur de courtes distances et que dans des conditions d’exploitation normale, les fibres en multi mode sont bien adaptées à l’environnement du Centre Informatique. La figure 17 est un récapitulatif des principaux média utilisés par les équipements LAN.

Figure 17 : Media Options Based on Physical Requirements

Pour les nouveaux Centres Informatiques et afin de maximiser la durée de vie du câblage, il est nécessaire d’anticiper sur les futurs standards 40Gb et 100Gb. Chaque Fibre offre ses propres caractéristiques, mais aujourd’hui un câblage MMF (Multimode) OM3 ou OM4 offre les meilleures garanties par rapport à l’état des standards. Attention néanmoins à choisir une connectique qui permettra une réutilisation facile des patchs-panels et des liens optiques.

• Fibre 62.5/125-micromètre (OM1), conçue pour 10 et 100 Mbps (obsolète !). • Fibre 50/125-micromètre (OM2), conçue pour délivrer 1 Gbps de débit • Fibre 50/125-micromètre (OM3, OM3+, & OM4), conçue pour délivrer 10 Gbps de débit (“+”

signifie extended-reach pour les fibres de type OM3) Les fibres SMF (monomode) OS1 ou OS2 doivent être réservées à des usages spécifiques afin de ne pas alourdir la facture connectique. Il est donc important de maitriser parfaitement les distances maximales offertes par chaque type de fibre et ce dans les différents débits et les différents protocoles Ethernet et Fibre Channel. Le 40G et le 100G fonctionneront en mode parallèle sur de la fibre multimode ou sur de la monomode. La différence de prix entre les optiques conduit néanmoins souvent à investir aujourd’hui sur de la fibre multimode, quitte à devoir repasser des fibres OS1 ou OS2 si nécessaire. Faciliter le passage de nouvelles fibres en fonction des besoins à long terme semble à ce propos peut être la meilleure décision. Cuivre Les câbles en cuivre peuvent être utilisés pour la connectivité des serveurs en 10 Gigabit Ethernet.

16

Les câbles de catégorie 6A (Cat6a) ou 7A (Cat7A) ont été développés en conjonction avec le standard 10GBase-T pour permettre de supporter de manière fiable un débit de 10Gbps sur une distance de 100 mètres. Ces câbles existent en version blindés ou non et permettre de minimiser les effets liés aux interférences (Alien Crosstalk) dans le contexte du 10GbaseT. Ils peuvent bien entendu être utilisés dans le contexte d’architecture ToR. La solution qui reste néanmoins la plus répandue à ce jour s’appuie sur du Twinax. Quant au support d’une future norme 40GBase-T sur des câbles de ce type, il est encore un peu tôt pour l’affirmer. Conclusion Les Centres Informatiques subissent de profonds changements, l’évolution des solutions réseaux LAN & SAN, la densité de plus en plus importante des serveurs, l’augmentation de la bande passante, tous ces éléments vont avoir un impact important sur les stratégies d’urbanisation. Les architectures en Top of Rack apportent souvent une solution adaptée pour réduire la granularité d’urbanisation. Organisés en PoD (Pool of Device), le remplissage de ces racks peut facilement évoluer sans remettre en cause l’agencement global du Centre Informatique et la conception de son pré-câblage. Les enjeux financiers sont importants. Si on considère que chaque lien cuivre coute environ 100 €uros et chaque lien Fibre environ 200 €uros, le pré-câblage à lui tout seul représente une part très importante des solutions réseaux. Il importe donc de concevoir un système en parfaite adéquation avec les réalités d’aujourd’hui, et qui saura s’adapter pour répondre aux besoins de demain. Pour plus d’informations http://www.cisco.com/go/nexus5000

câblage et pré-câblage : les choix en 2010 · 3 figure 2 tia-942 logical layout eia/tia 568/569...

Documents