internet 101 - esigetel lecture
DESCRIPTION
The missing link between several network engineering courses. A hands on reality based on past experience :)TRANSCRIPT
©2008 Tata Communications, Ltd. All Rights Reserved.
ESIGETEL April 15, 2009 Greg VILLAIN
Internet 101: ce qu’on ne vous a pas dit en
amphi Enfin pas de mon temps…
AGENDA
1. Internet, c’est quoi au juste
2. Métiers & acteurs d’Internet
3. La topologie d’Internet
4. Petits rappels sur BGP
5. Le métier d’Architecte Réseau
6. Outils & Conseils
Internet, c’est quoi au juste ?
Définitions vs Points de vue
4
Internet, c’est quoi au juste ?
• Réponse triviale: IP: Internet Protocol. Couche n°3 (réseau) du Modèle OSI. “deux machines communiquant ensemble via IP en tant que couche réseau font partie d’Internet”.
• Définition juste, mais partielle: “réseaux d’entreprises qui implémentent IP en vase clos ? Quid de la rfc1918 ?”
• Le point de vue de l’utilisateur est bien plus pertinent. Internet se définit comme une somme variable de services accessibles aux Internautes.
5
Internet, c’est quoi au juste ?
Internet est avant tout une somme de services: • Sur n’importe quel *NIX, taper la commande:
less /etc/services (ports serveurs) • http (service web) • mail (POP, IMAP, ou MAPI chez les proprietaires…SMTP) • nntp (newsgroups) • IRC (Internet Chat Relay) • ftp, ssh …
Quelques uns plus récents: • instant messaging (Jabber, MSN, AIM, YahooIM …) • peer-to-peer (bit-torrent & FreeBSD… p2p != warez…) • jeux en ligne.
6
Internet, c’est quoi au juste ? Définition très pertinente d’Internet: “Internet est de près ou de loin le seul réseau au monde dans lequel n’importe quelle machine connectée peut à la fois et en même temps être un client et un serveur”.
Si ça n’est pas possible: c’est un mode de souscription à des services centralisés via un Terminal passif. (ça
ne rappelle rien à personne ? Un truc moche en pastique près du téléphone S63) Si seul l’accès à un sous ensemble des services précédents est possible, on ne
parle plus d’Internet, mais de Service en ligne (remember AOL, Infonie ?)
En France en ce moment, grosse discussion sur le rôle des ISP (FAI): Fournisseur d’accès Internet VS fournisseur de services en ligne ? Accès indissocié a toute destination, tout contenu, sous tout protocole
s’appuyant sur IP ? chaqun sa définition, mais finalement beaucoup de divergence
7
Internet, c’est quoi au juste ?
Internet n’est donc pas (définition par le contre-exemple) : Le service de TVIP de votre ISP Le service de VoIP de votre ISP …
Définition strictement objective: ” Internet est la résultante de l’interconnexion en IP d’un grand nombres de réseaux, hétérogènes dans leur conception et leur implantation géographique, chaque réseau étant placé sous une autorité administrative distincte, mais tous interconnectés en IP ”
Métiers & Acteurs de l’Internet
Opérateurs d’infrastructures (datecenters) Opérateurs d’infrastructure (Opérateurs fibre) Carriers ISPs (FAIs) Hébergeurs & fournissers de contenu Points d’échange
9
Métiers & Acteurs d’Internet
• Les métiers d’Internet sont répartis sur la plupart des couches du modèle OSI, de la plus basse à la plus haute, ils forment un écosystème: - sont tous clients/fournisseurs les uns des autres - Phagocytent parfois leurs métiers respectifs
• Opérateurs d’infrastructure – Datacenters – Opérateurs fibre
• Carriers • ISPs • Hébergeurs • Fournisseurs de contenu • Les points d’échange, IX(P), NAP, exchanges …
10
Métiers & Acteurs d’Internet > Opérateurs d’infrastructure
• Couche la plus basse du modèle OSI: 0 • Datacenters (Telehouse, Equinix, Switch&Data, Redbus/Telecity, InterXion…) • Organisés en Franchises ou privés • Peuvent avoir des sites dans plusieurs pays (Equinix, Telehouse, InterXion, Global Switch) • Fournissent principalement des services sans valeur ajoutée:
Energie Froid Espace pour placer des baies d’équipements ou de serveurs Services d’interconnexion locale entre clients dans leurs sites Des serices de “mains à distance”
• Les Datacenters sont les points de concours obligatoires de tous les acteurs d’Internet, quels qu’ils soient. • Essaient de plus en plus de vendre du service plutôt que de l’infra (stockage, disaster recovery, mise en prod de serveurs...)
11
Métiers & Acteurs d’Internet > Opérateurs d’infrastructure
Opérateurs fibre (n9uf, telcité …) • Activité de Génie civil, donc accréditations spéciales pour faire du tirage. • Tirent des tronçons de fibre qu’ils louent aux professionnels d’Internet. • Beaucoup ont une raison d’être historique (N9UF ? Opérateurs Historiques ? SANEF ? Telcité ? Telecom Developement ?) • Plusieurs types de portées: Métropolitaine, Nationale, Internationale. • Ont des coûts d’exploitation d’infrastructures très élevés. • Ont des produits rudimentaires: Fibres Noires • Sont aujourd’hui très peu à ne faire que ça (coûts, reviens…), beaucoup ont été ingérés par d’autres des métiers listés ci-après, pour étoffer leur portefeuille de produits. • Cas particuliers, opérateurs de câbles sous-marins (SeaMeWe, Hibernia …) – souvent organisés en consortiums
12
Métiers & Acteurs d’Internet > Carriers (Level3,TATA, Verizon)
• Représentent les “super-réseaux”, dimension géographique Nationale et Internationale (opérateurs Globals).
• Ils transportent et hébergent le trafic des autres acteurs (carriers), sont en “plein millieu” d’Internet – ne délivrent pas de services finaux – aussi appelés wholesalers.
• Exercent souvent l’ensemble des métiers d’Internet (opérateurs fibres, opérateurs de datacenters, opérateurs transmission/IP/Ethernet, hébergeurs …).
• Sont très peu nombreux et bien identifiés
• La plupart des opérateurs historiques sont des carriers (FT, Telia, AT&T, DTAG, Telefonica, TDC, BT…).
• Sont souvent le fruit de rachats, de faillites consécutives (UUNet, WorldCom, MCI, Verizon…).
• Faisaient souvent de la téléphonie à l’origine (historiques…TDM for the win)
• Maitrisent les technologies Long Haul (TDM, WDM), issus du monde de la transmission, ont évolué vers IP par ingestion puis migration.
• La plupart des gros opérateurs de Transit IP sont des carriers (les Tier1 le sont tous)
13
Métiers & Acteurs d’Internet > ISPs (FAIs) fournisseurs d’accès Internet Les ISPs ont vu leur rôle, leur étendue et leur domaine de compétence s’agrandir au fil du temps. • Ils ont une portée nationale (pour les ISPs résidentiels) • N’opéraient à l’origine pas ou peu de réseau – en RTC, ils utilisaient le réseau de l’opérateur historique et n’avaient qu’un site de collecte, avec leur coeur IP directement attaché aux serveurs d’accès. • Sont tributaires de contraintes légales de régulation Télécom. Ex: convention de dégroupage en France, Licenses WiMax… • Aujourd’hui, ils manient:
Une ou plusieurs technologies d’accès (DSL, Docsys, WiMax, Wifi) En propre pour les zones qu’ils couvrent (ex: ADSL option 1)
En collect pour les zones qu’ils ne couvrent pas (ex: ADSL option 3 et 5)
Des technologies de transmission Metro
Longue distance
Des technologies issues du monde de la voix (ToIP, interconnexions TDM avec les opérateurs historiques et alternatifs)
L’ingénierie de leurs équipements client: *box, media-box, offre mobile unifiée
14
Métiers & Acteurs d’Internet > ISPs (FAIs) sont maintenant des opérateurs nationaux ! Les ISPs ont maintenant acquis une expertise en opération d’infrastructures: • Plusieurs PoPs Nationaux • Un réseau National longue distance basé sur:
Un réseau de fibre noire acheté ou loué (IRU) aux opérateurs d’infrastructures Des équipements de transmission longue distance
Multiplexage en longueur d’onde (Nx1G ou Nx10G) Régénération du signal optique
Un coeur de réseau IP qui fait du routage hierarchique
• Des PoPs (points de présence) Métropolitains (NRA pour l’ADSL) sur lesquels arrivent leur technologie d’Accès. • Des réseaux métropolitains (plusieurs boucles métro par PoP National) • Plusieurs Datacenter sur leur point central, pour y héberger:
Leur coeur de routage vers le reste d’Internet Leur plateforme de service système (DNS, MX, Abonnement, Portail web, Pages perso/blogs) Leur plateforme de TV sur IP (Tvip & VoD) Leur plateforme VoIP et donc encore de la voix (du TDM) old school !!!
15
Métiers & Acteurs d’Internet > Architecture Nationale Typique
Paris Strasbourg
Lyon
Marseille
Bordeaux
Lille
Montpellier Toulouse
DWDM national
Réseau Metro
Ethernet
Ville PoP IP & Longue distance
Internet
16
Métiers & Acteurs d’Internet > exemple d’architecture METRO
Lyon
Boucle Metro 10G Ethernet
Ville PoP IP & Longue distance
NRA#1
NRA#2 NRA#3
NRA#4
Switch de NRA
DSLAM
NRA
Boucle Lyon#1
DWDM national
Strasbourg Paris
17
Métiers & Acteurs d’Internet > Coeur de réseau/service Parisien
Paris
Datacenter#1
Paris
Datacenter#2
Paris
Datacenter#3 Paris
Datacenter#4
Internet
Internet
Réseau de collecte ADSL autre opérateur
Plateforme Services:
Abo, mail, dns,pages
perso, portail Plateforme TVip / VoD
Plateforme VoIP
Voix FT
Voix Autre opérateur
VoIP autres opérateurs
Feed VIDEO TV
Pourquoi plusieurs datacenters ? Résilience, place, proximité autres acteurs
18
Métiers & Acteurs d’Internet > le coeur de services se décentralise (chez les plus gros ISPs)
Bordeaux COEUR IP et boucle métro
Transit IP local
INTERNET
Interco VOIX locale
Plateforme TVip / VoD
Plateforme VoIP
Transmission
Vers coeur IP Paris
Transmission
Vers coeur IP Toulouse
Raisons ?
• couts en transmission maitrisés
• résilience
• qualité: service au plus proche
• service local moins cher que central à Paris
Mise en cache des VOD populaires à partir du
référent central de stockage
19
Métiers & Acteurs d’Internet > Hébergeurs & fournisseurs de contenu • Ont une présence que sur 1 ou peu de sites, de la même ville, en général la “capitale internet” du pays dans lequel ils sont. • N’ont pas de réseau national • Un réseau métropolitain réduit • Ne font pas d’ingénierie d’Accès (DSL…) • Font principalement du LAN et du routage pour sortir vers Internet • Ont le gros de leur expertise centrée sur l’expertise d’administration système. • Ont une gamme de service qui va de:
Housing (fourniture espace rackable et bande passante) Hosting (fourniture de serveur, et bande passante) Infogerance (fourniture de serveur, bande passante, administration de serveur)
• Facturent à leurs clients: L’hébergement La bande passante consommée ou forfaitaire vers Internet
• Les fournisseurs de contenu ont un métier nouveau: ils occupent le même rôle que les hébergeurs, mais n’hébergent que leurs propres services. exemples récents de dimention internationale: Yahoo, Google, Microsoft.
20
Métiers & Acteurs d’Internet > Points d’échange • Ancêtres: MAE – Metropolitan Area Exchanges (FDDI, FOIRL …ATM) Synonymes: IX, IXP, eXchange, NAP (OLD!!!) • Définition Wikipedia: “An Internet exchange point (IX or IXP) is a physical infrastructure that allows different Internet service providers (ISPs) to exchange Internet traffic between their networks (autonomous systems) by means of mutual peering agreements, which allow traffic to be exchanged without cost. IXPs reduce the portion of an ISP's traffic which must be delivered via their upstream transit providers, thereby reducing the Average Per-Bit Delivery Cost of their service. Furthermore, the increased number of paths learned through the IXP improves routing efficiency and fault-tolerance.”
• LANs métropolitains (= switching = layer2 <> layer3 <> routing) • Permettent aux différents acteurs Internet le souhaitant de venir se connecter pour venir échanger du traffic (= peerer). • Les membres choisissent un ou plusieurs couples (Port, Site) et sont facturés mensuellement fonction du type de port. • Tous les membres sont se retrouvent sur le LAN du point d’échange, qui est un seul segment ethernet, avec chacun une IP (ou plusieurs) appartenant au subnet de l’IX • Une fois tous sur le même LAN, ils peuvent établir des sessions de peering entre eux.
21
Métiers & Acteurs d’Internet
• Les 3 points d’échange les plus volumineux dont on connait les stats sont en Europe: AMSIX (Amsterdam)
LINX (Londre)
De-CIX (Frankfort) Les plus gros sont certainement en Asie (probablement x5 mais pas de stats)
• Les IX (les plus gros) suivent un modèle associatif • Les membres des IX souscrivent à un certain nombre de conditions techniques pour être admis (rêgles techniques de bonne conduite). • Les IX sont aujourd’hui un point de passage quasi systématique sur le trajet d’un paquet dans Internet. • Les IX proposent souvent l’utilisation d’un Route-Server qui permet aux membres de ne pas avoir a configurer une session par peering (pas beaucoup utillisé). • Organisent régulièrement des conférences techniques (qui finissent systématiquement au pub ) • Permettent aux membres de discuter entre eux via des mailing-list mises à leur disposition:
Annonces des maintenances et pannes
Demandes de peering
• Le LINX sollicite tous les membres par mailing-list à chaque nouveau membres, pour qu’ils approuvent la candidature. • Certains IX on des ‘member fees’ (LINX) d’autres non
La topologie d’Internet
Explication par l’exemple L’importance des Routing Registries Retour sur l’exemple initial Les infos que donnent un traceroute Retour au Routing Registry
23
Topologie d’Internet > Explication par l’exemple
??? www.dailymotion.com
24
Topologie d’Internet > Explication par l’exemple
AS ISP AS Carrier #1
AS Hébergeur
AS Carrier #2
DNS ISP
BGP4
BGP4
DNS hébergeur
25
Topologie d’Internet > Importance des routing registries
• Tout réseau est défini par le couple
AS (objet aut-num , objet as-set )
Range d’adresses IP (objet inet(6)num objet route)
• Les IRR (Internet Routing Registries) centralisent cette information à echelle géographique et font en sorte qu’elle soit publique. (RIPE, ARIN, APNIC…)
• Tout opérateur de réseau IP a pour obligation morale de maintenir ses objets dans la base de donnée de l’IRR dont il dépend.
• Sa politique de routage, ses plages d’IPs, ses routes, ainsi que les rôles (personnes physiques ou équipes) qui maintiennent ces objets figurent dans la base de donnée.
• Ne pas les renseigner peut s’avérer dangereux (cf plus tard)
26
Topologie d’Internet > Retour à www.dailymotion.com
• Trouver l’AS dans lequel se situe l’hôte (Hébergé ? Self-Hébergé ?) Faire une requête DNS pour obtenir son IP: dig www.dailymotion.com
;; ANSWER SECTION: www.dailymotion.com. 495 IN A 195.8.214.142 www.dailymotion.com. 495 IN A 195.8.214.140 www.dailymotion.com. 495 IN A 195.8.214.141
Interroger le RIPE pour trouver l’AS qui est origine de la plage IP: whois –h whois.ripe.net 195.8.215.142
route: 195.8.214.0/23 descr: Dailymotion origin: AS41690 org: ORG-DM5-RIPE mnt-by: NEO-MNT source: RIPE # Filtered
• Consulter l’objet aut-num correspondant pour obtenir des infos sur la politique de routage de l’AS en question
whois –h whois.ripe.net AS41690 (ou via le portail du RIPE) Cf la suite sur les infos techniques qu’on tire de cet objet.
• Faire un traceroute (ou MTR) pour voir le chemin emprunté pour aller vers www.dailymotion.com
27
Topologie d’Internet > infos données par un traceroute
• Traceroute fonctionne en envoyant des paquets UDP et en faisant croitre le TTL de ces paquets à chaque nouvelle salve, jusqu’à destination. • Permet de voir tous les ‘Hops’ qui se trouvent sur le trajet aller du paquet. • Par défaut, traceroute affiche, pour chaque saut, l’IP du saut, ou le reverse DNS si il éxiste les reverses DNS donnent de bonnes idées sur les réseaux que traversent le paquet. traceroute www.clubic.com traceroute: Warning: ; using
193.22.143.62 traceroute to www.clubic.com (193.22.143.62), 64 hops max, 40 byte packets 1 192.168.1.1 (192.168.1.1) 1.771 ms 1.270 ms 1.257 ms 2 vol75-2.dslam.club-internet.fr (195.36.231.20) 1040.208 ms 43.069 ms
27.070 ms 3 * * V106.core02-t2.club-internet.fr (195.36.231.61) 24.983 ms 4 cyrealis.panap.fr (62.35.254.21) 22.863 ms 22.008 ms 21.882 ms 5 php12.clubic.com (193.22.143.62) 21.925 ms 22.807 ms 23.236 ms
• D’où l’importance de toujours renseigner les reverses de toute interface IP sur une machine qui route, avec une convention qui a un sens !
28
Topologie d’Internet > infos données par un traceroute
traceroute www.clubic.com traceroute: Warning: www.clubic.com has multiple addresses; using 193.22.143.62 traceroute to www.clubic.com (193.22.143.62), 64 hops max, 40 byte packets 1 192.168.1.1 (192.168.1.1) 1.771 ms 1.270 ms 1.257 ms 2 vol75-2.dslam.club-internet.fr (195.36.231.20) 1040.208 ms 43.069 ms 27.070 ms 3 * * V106.core02-t2.club-internet.fr (195.36.231.61) 24.983 ms 4 cyrealis.panap.fr (62.35.254.21) 22.863 ms 22.008 ms 21.882 ms 5 php12.clubic.com (193.22.143.62) 21.925 ms 22.807 ms 23.236 ms
traceroute to www.facebook.com (69.63.184.28), 30 hops max, 40 byte packets 1 217.70.191.252 (217.70.191.252) [AS29169] 0.408 ms 0.483 ms 0.565 ms 2 vl9.core1-v.gandi.net (217.70.176.97) [AS29169] 0.632 ms 0.692 ms 0.741 ms 3 171.ge3-0.er1a.cdg2.fr.above.net (62.4.73.58) [AS6461] 1.397 ms 1.461 ms 1.522 ms 4 te2-4.mpr2.cdg2.fr.above.net (64.125.23.82) [*] 161.310 ms 161.362 ms 161.421 ms 5 (84.207.21.10) [AS6461] 1.341 ms * * 6 ae-32-54.ebr2.Paris1.Level3.net (4.68.109.126) [AS3356] 71.848 ms 1.381 ms 1.555 ms 7 ae-41.ebr2.Washington1.Level3.net (4.69.137.50) [AS3356] 92.222 ms ae-42.ebr2.Washington1.Level3.net (4.69.137.54) [AS3356] 92.793 ms ae-43.ebr2.Washington1.Level3.net (4.69.137.58) [AS3356] 92.012 ms 8 ae-82-82.csw3.Washington1.Level3.net (4.69.134.154) [AS3356] 95.015 ms ae-92-92.csw4.Washington1.Level3.net (4.69.134.158) [AS3356] 83.497 ms ae-62-62.csw1.Washington1.Level3.net (4.69.134.146) [AS3356] 90.533 ms 9 ae-21-79.car1.Washington1.Level3.net (4.68.17.67) [AS3356] 82.870 ms ae-31-89.car1.Washington1.Level3.net (4.68.17.131) [AS3356] 84.131 ms ae-11-69.car1.Washington1.Level3.net (4.68.17.3) [AS3356] 83.018 ms 10 FACEBOOK-IN.car1.Washington1.Level3.net (4.79.20.10) [AS3356] 84.252 ms 84.578 ms 84.277 ms 11 te-9-2.csw01a.ash1.tfbnw.net (204.15.21.214) [AS32934] 84.688 ms 84.003 ms te-9-2.csw01b.ash1.tfbnw.net (204.15.21.218) [AS32934] 90.487 ms 12 www-2.01.ash1.facebook.com (69.63.184.28) [AS32934] 103.959 ms 105.875 ms 105.338 ms
Donne une idée sur: - le type d’équipement traversé - le PoP dans lequel se trouve le routeur - le VLAN emprunté - les interconnexions entre réseaux (cf slides suivants sur la manière dont on procède). - les sauts limitants - les débits des interfaces traversées - les points d’échange traversés
29
Topologie d’Internet > infos données par un traceroute
Les objets route représentent les préfixes routés par un AS. pour toute route, voir le champ origin
Exemple, déterminer tous les préfixes routés par un ISP (pour constituer un filtre en entrée par exemple): whois –h whois.ripe.net –i origin AS12322
Tout de suite, un exemple en couleurs ! AS41690/AS-DAILYMOTION (un exemple d’objet bien rempli… OK je me mouille pas trop hein…)
Rappels sur BGP
Rêgles & définitions élémentaires Confusions fréquentes, pièges à débutants Mécanisme de décision de BGP Transit & Peering Exemple de BGP en routage naturel Exemple de tuning de trafic sortant Exemple de tuning de trafic entrant Les dangers du peering liés à BGP
31
Petits rappels sur BGP • BGP = Border Gateway Protocol version actuelle: V4
• BGP est un EGP (Exterior Gateway Protocol) c’est le seul EGP en place dans Internet.
• Ce protocole est le protocole implémenté par les routeurs de bordure d’Autonomous System pour s’échanger des routes.
• BGP est une machine a états finis rudimentaire qui suit un arbre décisionnel bien identifié, public, que tout ingénieur backbone doit connaître sur le bout des doigts, cet arbre décisionnel conduit à l’installation ou non d’un préfixe dans la table de routage de l’équipement.
• BGP permet de router IP et seulement IP. (route-t-on d’autres protocoles qu’IP ? IS-IS, protocole ISO)
• BGP éxiste en 2 déclinaisons: eBGP et iBGP, les deux vont systématiquement de pair dès qu’on a au moins 2 routeurs de bordure.
• BGP est toujours implémenté en parallèle d’un IGP: OSPF, IS-IS ou EIGRP pour ceux qui aiment les standards propriétaires.
• BGP permet d’annoncer des routes originés ou non par un AS, i.e. donner le prochain saut vers un certain préfixe (“tranche d’IP”)
• BGP fait correspondre, à chaque annonce de préfixe, un certain nombre d’attributs bien identifiés (weight, local-pref, metric ou MED, next-hop, as-path, communautés, atomic aggregate …)
• BGP ne nécessite pas que deux voisins soient dirctement connectés pour etablir une session, du moment qu’il existe une route vers l’IP du voisin, la session s’établit (multi-hop).
• Tout interlocuteur BGP d’un réseau doit maintenir une session iBGP avec chacun des autres interlocuteurs iBGP (Full Mesh iBGP)
32
Petits rappels sur BGP
AS (système autonome)
Loopback Loopback
Loopback Loopback iBGP
iBGP
iBGP iBGP
eBGP
eBGP
eBGP
eBGP
• l’IGP transporte l’adressage de l’infrastructure
• les sessions iBGP sont établies sur les loopbacks, transportées par l’IGP
Une loopback ne tombe jamais elle est toujours annoncée dans l’IGP
Les sessions iBGP ne tombent jamais
Petits rappels sur BGP > Confusions fréquentes, pièges à débutants • Ne surtout pas confondre protocole de routage et protocole routé. BGP est un protocole de routage (utilise TCP:179), IP est le protocole routé. IS-IS est un protocole de routage qui permet de router n’importe quel protocole de niveau 3 (pas que IP !!!).
• Ne pas confondre table BGP et table de routage chaque protocole de routage participe a la constitution de la table de routage globale d’un équipement, en suivant une échelle d’administrative distance:
Connected interface Static route Enhanced Interior Gateway Routing Protocol (EIGRP) summary route External Border Gateway Protocol (BGP) Internal EIGRP OSPF Intermediate System-to-Intermediate System (IS-IS) Internal BGP
Pour connaître le next-hop d’une route, on fait dans l’ordre show ip route <préfixe> L’entrée dans la table de routage contient le protocole par lequel la route est
apprise Enfin on fait un sh ip bgp <préfixe> si la route installée dans la table de routage
a été apprise en BGP. Internet est le monde du Routage Asymétrique.
Petits rappels sur BGP > Mécanisme de décision de BGP
• Deux voisins BGP s’annoncent des routes
• Une route plus spécifique prime sur une route moins spécifique: 1.2.3.0/24 prime sur 1.2.2.0/23 (cf Prefix Hijacking)
• On lui applique ou non des filtres en entrée (on peut statiquement configurer des blacklist de routes ou même d’as-path)
• On applique ou non un traitement automatique à la route qui modifie ses attributs
• On la compare aux routes équivalentes fonction de ses attributs:
(Prefer the path with the highest weight) Prefer the path with the highest local preference (Prefer locally originated routes (Next Hop = 0.0.0.0)) Prefer the path with the shortest AS path (Prefer the path with the lowest origin type: IGP is lower than EGP, and EGP is lower than INCOMPLETE) Prefer the path with the lowest metric or MED Prefer EBGP routes over IBGP routes Prefer the lowest IGP metric to the next hop Prefer the path from the router with the lowest router ID
• On la marque ou non comme BEST dans la table BGP, si elle est BEST, elle est éligible à la table de routage. Deux préfixes identiques ne peuvent pas être BEST.
Petits rappels sur BGP > Transit & Peering
• Un AS n’annonce, à un autre AS, via BGP, que les préfixes dont il est l’origine. SAUF cas particulier, il peut annoncer en totalité ou partie les routes de ses peers, dans ce cas, il sert d’AS de transit vers les AS dont il annonce les préfixes. • Un peer qui annonce toutes les routes d’Internet (270K routes, augmente tous les jours) est un fournisseur de Transit (ou upstream). • Les fournisseurs de transit font payer le trafic au volume: ils vendent un port et font payer au 95%ile du volume entrant ou sortant maximum écoulé par ce port. • La facture mensuelle est déduite en multipliant le 95%ile consommé, multiplié par un prix au méga. • On peut contracter un transitaire en achetant un “port flat” ou en fonctionnant en mode “commit/burst”. • Le transit est la sortie par défaut pour rejoindre tout autre AS. • Quand on dispose d’un peering avec d’autres AS, on configure les local-pref plus haut sur les peerings pour éviter de sortir par le Transit. • La notion de peering s’accompagne d’un accord mutuel, gratuit ou pas.
Petits rappels sur BGP > Exemple 1: trafic sortant en mode ‘naturel’
Petits rappels sur BGP > Exemple 2: trafic sortant forcé AS100 veut faire passer le préfix de AS300 par AS200
Petits rappels sur BGP > Exemple 3: trafic entrant forcé AS300 ne veut pas que AS100 le joingne en direct
Petits rappels sur BGP > Quelques dangers du peering liés à BGP
• Toute annonce plus spécifique l’emporte lié aux mécanismes de routage plus qu’à BGP
• Si on ne filtre pas les préfixes reçus, a priori on les accepte tous (même des préfixes rfc1918 !!!)
• BGP est basé sur un modèle de confiance: on suppose systématiquement qu’on va configurer son seul aut-num et ses seules routes sur ses équipements.
• BGP, comme DNS, intègre tous les voisins BGP d’Internet comme participant à un seul système logique.
toute erreur non filtrée se propage (vite)
GooTube VS Pakistan Telekom_LOL !
• Ne pas renseigner assidûment son objet aut-num (AS) dans son IRR empêche la génération automatique des filtres chez peers consciencieux.
Renseignez rigoureusement votre routing policy !
• BGP ne tient pas compte de l’état de remplissage des liens ! Si une route est la meilleure par un lien donné et qu’il est rempli, le trafic est discardé !
Le métier d’Architecte Réseau
Avant-propos Timeline de la vie d’un réseau IP Traffic et ordres de grandeur Les premières étapes de l’interconnexion d’un
réseau Le métier de peering manager Les typologies de trafic
• Inscrire le réseau dont on s’occupe dans Internet, c’est l’interconnecter le mieux possible aux autres réseaux qui forment Internet.
• Dans toute la suite, Réseau IP <-> AS, interco IP <-> session de peering BGP4
• Cela sous entend: de la manière la plus diverse/redondante possible 7J/7, 24J/24 sans contention (a moins qu’elle ne soit voulue…) qu’il faut connaître au mieux la cible des utilisateurs de notre réseau afin de choisir avec soin
ses PoPs ses peers Ses points d’échange
• Que veulent dire les idiômes suivants (“Peering Manager Slang”), entendus dans des conversations techno-mondaines ?
“Mon AS/réseau fait $VOLUME_TRAFIC de trafic” OU “Mon AS/réseau pousse $VOLUME_TRAFIC vers Internet” OU “Mon AS/réseau prend $VOLUME_TRAFIC d’Internet”
Ces termes désignent le débit cumulé, en pointe, qui rentre ou sort du réseau dont on parle (voir les schémas de typologie en fin de chapitre).
Le métier d’architecte réseau > Avant-propos
1. Obtenir un AS et un range IP Provider Independent auprès de son Registry (nécessite un design à deux transitaires)
2. Contracter/Installer 2 transitaires
3. Choisir des points d’échange
1. Y aller en louant une liaison ethernet 2. Aller installer un équipement sur place
4. Identifier les AS vers lesquels va notre trafic
1. Identifier leurs points de présence ( www.peeringdb.com , RIPE, APNIC…) 2. Ldentifier leurs conditions de peering 3. Leur faire une demande de PNI
5. Acheter éventuellement du Transit Partiel (moins cher que du transit) pour joindre par exemple certains ISPs avec qui il est difficile de peerer.
6. Ouvrir des PoPs pour se rapprocher de ses utilisateurs (router le trafic au plus près)
7. Upgrader/diversifier ses ports sur les points d’échange (ajout en trunk, ajout sur un autre site)
8. Upgrader ses PNIs, les diversifier sur d’autres PoPs
9. Essuyer les revers opérationnels d’un réseau de peering international:
1. Écrire un premier draft de peering policy
2. Être de plus en plus éxigeant
10. De-Peerer les AS qui ne se conforment plus à votre peering policy
11. Convertir progressivement tous les peerings publics en peerings privés.
Le métier d’architecte réseau > Timeline de la vie d’un réseau IP
• Micro hébergeur: 10Mbps • Petit hébergeur: 100Mbps • OVH, plus gros hébergeur français : de l’ordre de 200Gbps • YouTube: de l’ordre du Tbps – Dailymotion 60/80Gbps • Skyrock blogs: 6/8Gbps (que du texte et de l’image !!!) • Un petit ISP Français: 50Gbps • Un gros ISP Français: Nx 100Gbps • Un ISP Pro spécialisé dans le corporate: <10Gbps • transitaire: >1Tbps de trafic peeré ! (LLNW >1Tbps en 2006)
Le métier d’architecte réseau > Ordres de grandeur
L’achat de transit est la première étape pour connecter son réseau dans Internet
Un transitaire envoie toutes les routes de l’Internet à ses clients Facture au volume (ou au forfait)
Plus les enjeux sont gros, plus on contracte de transitaires (“ne pas mettre tous ses oeuf dans le même panier”) Pour bien choisir un transitaire, il faut:
Avoir une parfaite connaissance de l’audience géographique de son réseau (stats de trafic web issus des logs des serveurs web, par exemple)
Connaître les réseaux des différents transitaires du marché (points forts, points faibles) Avoir une idée des tarifs pratiqués (prix au méga) en fonction du volume prévu Se renseigner sur la qualité du support de ce transitaire , sur sa réputation Être familier à la notion de Tier1, Tier2
Pour bien choisir ses candidats au peering il faut: Configurer du flow sampling (NetFlow_berk, Sflow, Jflow) sur les interfaces de bordures Monter un collecteur *Flow Monter un grapheur et grapher tous les ports bordure (SNMP sur IF-MIB + RRDs affichés par Cacti, MRTG, Cricket,
Drraw…) Lire les graphs tous les jours Lire les graphs tous les jours Lire les graphs tous les jours … (l’idéal est le matin avec la première tasse de café) Faire des revues de peering/capacity-planning
Le métier d’architecte réseau > Les premières étapes de la vie d’un réseau
Le peering entre 2 AS est issu d’un accord bilatéral, et n’est en général pas facturé. Tout ce qui passe par un peering ne passe pas par le transit:
Baisse le volume de transit consommé baisse les coûts mensuels de bande passante
Permet de voir l’AS peer en direct (moins de sauts) meilleure qualité.
Tout peering est donc secouru soit par un autre peering, soit par du transit.
Certains AS ont un lot de conditions à remplir pour peerer: Nombre de PoPs en commun Volume minimum de trafic entre les 2 AS Ratio (un ratio trop déséquilibré est pénalisant).
Peerer c’est aussi engager son réseau sur la responsabilité de maintenir le peering
Up Correctement dimensionné (i.e. ne pas refuser les upgrades)
On distingue 2 types de peering: PPI (Public Peering Interconnect PNI (Private Network Interconnect)
Le métier d’architecte réseau > Le métier de peering manager
Les bonnes raisons de peerer: Renforcer la diversité/redondance des chemins vers un réseau en particulier
Diminuer le nombre de sauts vers un AS en particulier et donc améliorer la qualité de service et la joignabilité
réduire la latence vers les réseaux peerés
Multiplier les routes disponibles, et donc rendre certaines destinations fault-tolerant.
LA mauvaise raison (ou plutôt la moins bonne raison)
Économiser de l’argent en Transit !
Ne pas faire de budget de bande passante en tenant compte du volume de peering. ‘settlement free mutual peering relationship’ : un peering n’est maintenu que si l’intérêt est mutuel.
On choisit en général ses peers fonction de leur rôle et de leur typologie de trafic (cf slide suivant).
Le métier d’architecte réseau > Le métier de peering manager
Le métier d’architecte réseau > Typologies de traffic
Outils & Conseils
Conseils en vrac à l’ingénieur réseau en devenir Ressource sur BGP et le routage sur Internet Couteau suisse de l’ingénieur réseau
• (Quand on parle de débit en réseau on parle de Mbps (Megabit/s), pas de MB (MegaByte/s))
• Internet est la seule industrie où l’expertise est publique: face a un problème donné, les alternatives sont limitées: L’IETF ou l’IEEE détient la réponse s’il s’agit d’un protocole standard Pour un détail opérationnel et/ou d’implémentation technique:
Les sites des constructeurs (www.cisco.com) leur support, leur knowledge base Les mailing lists privées Google/wikipedia sont vos amis: vous n’êtes pas le premier homme à marcher sur la lune !
• Ne jamais pêcher par excès d’amour propre: la moindre boulette de configuration d’un équipement réseau qui route sur Internet se voit directement par tout le monde dans les tables BGP (BGP = Voici Magazine ® de l’Internet) : rester humble.
• OSI n’est pas qu’un modèle abscons, c’est une méthodologie de troubleshooting ! (10H de troubleshooting plus tard, on remplace un cable et ca marche…)
• Les paquets IP, les trames Ethernet ont une structure définie ! Lisez attentivement les dumps: En live en utilisant snoop, tcpdump et les options de filtres En sauvegardant en format libpcap puis en utilisant Ethereal/Wireshark
• Le routage IP est déterministe (en tout cas à chaque saut) , Traceroute, MTR et consors sont vos amis – les RIRs sont publiquement accessibles.
• Dès la conception, envisagez le pire: ça vous évitera de le découvrir en prod. un dimanche en pleine nuit, ou ivre mort en boîte de nuit...
• Si vous avez une politique rigoureuse de filtrage en entrée de votre réseau, que vous ne laissez parler vos machines que pour les serives qu’elles sont censées rendre, que vous ne mettez pas de gateway aux machines qui n’ont pas besoin de sortir, des firewalls ne vous seront d’aucune utilité.
Mais avant tout: DOCUMENTEZ votre travail au fil de l’eau !!!
Outils & conseils > Conseils en vrac à l’ingénieur réseau en devenir
• Trop de monitoring tue le monitoring ! Faites bien attention a ne pas noyer des Alertes importantes dans un flot d’Alertes qui ne seraient que des conséquences: la corrélation est un travail sans fin, mais il est vital.
• Ethernet est quasiment vendor-specific (désolé si je brise des rêves…): problèmes permanents d’intéropérabilité Spanning Tree - pendant la phase de choix de vos équipements, pensez à vérifier en LAB l’intéropérabilité entre vendeurs (ex: délais de bascule spanning tree).
• Layer 3 Switching, c’est bien, mais dès que vous pouvez router, faites le ! Evitez à tout prix de forwarder des VLANs sur plusieurs sites distincts, Ethernet ne dispose que de peu de mécanismes de troubleshooting, comparé à IP.
• ICMP n’est pas IP ! Il ne sert qu’à déterminer si une machine est vivante, pas à mesurer du packet loss: sous SOLARIS, une réponse ICMP reply à un echo-request est “host xxx is alive”
• Apprenez à utiliser la commande show sur vos équipements, la plupart du temps tout est marqué, il suffit de lire et de prendre du recul.
• Gardez les choses les plus simples possibles ! Votre employeur ne vous paye pas pour pondre des solutions élégantes et/ou alambiquées, il vous paye pour que ça marche, 24/24 et avec le moins de ressources possibles – sauf si vous travaillez chez FT R&D
• L’ingénierie de réseau n’est pas une fin en soi, pensez services, pensez fonctionnel, développez votre culture système pour avoir une idée des implications de votre travail sur celui des équipes d’ingénierie système. (vous allez voir, les admin sys ne vous aiment pas, c’est un postulat de départ)
Ayez recours à MAN (ou <tab> ou <?> sur cisco) le plus souvent possible !
Outils & conseils > Conseils en vrac à l’ingénieur réseau en devenir
BIBLE ABSOLUE TCP/IP Illustrated, vol1. et vol2. (Richard Stevens) Internet Routing Architectures (Sam Halabi – Cisco Press) Routing TCP/IP (Jeff Doyle - Cisco Press) CISCO BGP Case Study: http://www.cisco.com/warp/public/459/bgp-toc.html
Présentations de Phil Smith (Cisco): ftp://ftp-eng.cisco.com/pfs/seminars
Sites institutions sur le NET: Cymru: http://www.cymru.com Caida: http://www.caida.org Renesys: http://www.renesys.com - blog: http://www.renesys.com/blog Annuaire des looking-glass: http://www.traceroute.org
Les mailing-lists de groupements d’opérateurs FrNOG : http://www.frnog.org (videos des conferences dispos sur le site / téléchargement slides) NANOG: http://www.nanog.org - pour les ressources: http://www.nanog.org/isp.html Plus généralement tous les XXnog pour toutes les zones géographiques du monde Réunions de ces groupes de discussion, on peut participer librement
Les mailing-list collartives dédiées à certains équipementiers: Cisco: http://puck.nether.net/mailman/listinfo/cisco-nsp Foundry: http://puck.nether.net/mailman/listinfo/foundry-nsp Foundry (FR): http://lists.oav.net/wws/subscribe/fndry-fr Juniper: http://puck.nether.net/mailman/listinfo/juniper-nsp
Les Channels IRC: Sur IRCNet en France:
#isp-fr , #frnog , #panap (point d’échange) Sur Efnet: #nanog, tous les autres $nog
Outils & conseils > Ressources BGP, routage, et internet
• Internet Routing Registries: www.arin.net - www.ripe.net - www.apnic.net - www.lacnic.net - www.afrinic.net • RIPE RPSL documentation: www.ripe.net/db.docs.html • /usr/bin/whois binaire UNIX de lookup dans les RIR (man whois) • Traceroute (/usr/bin/traceroute – man traceroute pour les options) • mtr: http://www.bitwizard.nl/mtr/ = traceroute amélioré (apt-cache search / apt-get install) • tcpdump/snoop pour faire des captures (man tcpdump, man snoop) Wireshark pour visualiser les captures libpcap: http://www.wireshark.org/ • Langages de scripts divers:
bash/zsh/sh Perl, python, php, ruby C,C++ pour les plus courrageux
• Lookup sur tranches OUI assignées par IEEE pour les adresses MAC: http://standards.ieee.org/regauth/oui/index.shtml • Firefox AS-Number plugin: http://www.asnumber.networx.ch/
Outils & conseils > couteau suisse de l’ingé réseau
www.tatacommunications.com
Contact Grégoire VILLAIN
CDN Solutions & Market Manager Europe
Merci ! Maintenant, les questions