CLUSTERING

Grappe d'ordinateursGrappe d'ordinateurs

CLUSTERING

PrésentationPrésentation

Haute disponibilité

Partage de charges

Autres clusters

Produits et solutions

Conclusion

Options d'architecture Client/Serveur

Définition d'un cluster Cluster : agrégat de machines dans un but de travail Cluster : agrégat de machines dans un but de travail

coopératif. Systèmes informatiques indépendants, à coopératif. Systèmes informatiques indépendants, à couplage lâche,se comportant comme un seul système.couplage lâche,se comportant comme un seul système. Architecture NORMA : NO Remote Memory Access Architecture NORMA : NO Remote Memory Access Ce n'est pas une architecture SMP (machines Ce n'est pas une architecture SMP (machines

parallèles)parallèles) Architecture de clusterArchitecture de cluster

Systèmes en clustering : tâches réparties sur plusieurs Systèmes en clustering : tâches réparties sur plusieurs machines (les sites web importants).machines (les sites web importants).

Logiciels en clustering : une seule et une même tâches Logiciels en clustering : une seule et une même tâches est répartie sur chaque machine (calculs).est répartie sur chaque machine (calculs).

Clustering : les besoins

Augmentation de la puissance de traitement Augmentation de la puissance de traitement (scalability) : on veut que la puissance de traitement (scalability) : on veut que la puissance de traitement suive de manière linéaire le nombre de machines du suive de manière linéaire le nombre de machines du cluster.cluster.

Augmentation de la disponibilité (availability): on Augmentation de la disponibilité (availability): on veut minimiser les inconvénients liées aux pannes veut minimiser les inconvénients liées aux pannes par la redondance des machines entre elles.par la redondance des machines entre elles.

Calcul Haute-Performance et Partage de charge : Calcul Haute-Performance et Partage de charge : configurations à plusieurs dizaines (centaines) de configurations à plusieurs dizaines (centaines) de nœuds.nœuds.

CLUSTERING

Présentation

Haute disponibilitéHaute disponibilité

Partage de charges

Autres clusters

Produits et solutions

Conclusion

ClusteringLa haute disponibilité

Assurer un redemarrage rapide en quelques Assurer un redemarrage rapide en quelques minutes en cas de problème imprévu - minutes en cas de problème imprévu - redondance de machines.redondance de machines.

Pas de rupture de service perceptible aux Pas de rupture de service perceptible aux utilisateurs.utilisateurs.

Ce n'est pas de la tolérance de panneCe n'est pas de la tolérance de panne

Architecture physique

Concepts de base L ’accès réseau : c’est le point de passage entre les L ’accès réseau : c’est le point de passage entre les

machines du cluster et les machines de l’extérieur machines du cluster et les machines de l’extérieur Le support du système de fichier : Le support du système de fichier :

Baie disque partagées (SCSI / Fiber Baie disque partagées (SCSI / Fiber Channel)Channel)

Disques locaux des machinesDisques locaux des machines Le coeur de calcul : n couples mémoire-CPU.Le coeur de calcul : n couples mémoire-CPU. Ressources matérielles et logicielles nécéssaires à Ressources matérielles et logicielles nécéssaires à

l ’éxécution d’un service sur un nœudl ’éxécution d’un service sur un nœud Un service est démarré sur un nœud que si ce dernier Un service est démarré sur un nœud que si ce dernier

a accès à l ’ensemble du groupe de ressource a accès à l ’ensemble du groupe de ressource nécessaire à l ’exécution du service.nécessaire à l ’exécution du service.

CLUSTERING

Présentation

Haute disponibilité

Partage de chargesPartage de charges

Autres clusters

Produits et solutions

Conclusion

ClusteringPartage de charge La fonction de partage de charge peut être La fonction de partage de charge peut être

centralisée ou répartie.centralisée ou répartie. Toutes les machines éxecutent le même Toutes les machines éxecutent le même

service simultanément.service simultanément.

Schéma général

Point d ’accès réseau

service

service

service

service

IP

SLB

FS

Gestion par le réseau

Systèmes par partage de charge grâce au DNS Systèmes par partage de charge grâce au DNS multiples IP pour un nom, priorités dans les multiples IP pour un nom, priorités dans les entréesentrées

Mais Mais

- les entrées A sont cachées par les systèmes; - les entrées A sont cachées par les systèmes;

- les entrées MX privilègie un serveur par - les entrées MX privilègie un serveur par rapport à l ’autre (Haute-Disponibilité).rapport à l ’autre (Haute-Disponibilité).

Avantages

Scalability : réponse à la demande Scalability : réponse à la demande Rajouts de serveurs. Rajouts de serveurs. Administration aisée de n serveurs Administration aisée de n serveurs

absolument identiques en données absolument identiques en données

Cadre d'utilisation

Services à données statiques : serveur web, serveur ftp Services à données statiques : serveur web, serveur ftp (en lecture seule).(en lecture seule).

Services à données dynamiques : utilisation d ’un Services à données dynamiques : utilisation d ’un système de fichiers « cluster ».système de fichiers « cluster ». Problèmatique de la cohérence des données.Problèmatique de la cohérence des données. Utilisation d ’un File System spécifique qui Utilisation d ’un File System spécifique qui

permettent la concurrence transparente des permettent la concurrence transparente des accès (Distributed Lock Manager).accès (Distributed Lock Manager).

Emergence de solutions pour Linux.Emergence de solutions pour Linux.

Données partagées

Solution de partage de charge à données Solution de partage de charge à données partagées : le MUST ! Mais …partagées : le MUST ! Mais … Les applications écrites spécifiquement sont Les applications écrites spécifiquement sont

très chères (Oracle Parallel Server)très chères (Oracle Parallel Server) Solution BdD OpenSource : MySQLSolution BdD OpenSource : MySQL

Haute-disponibilité en écritureHaute-disponibilité en écritureLecture distribuéeLecture distribuée

CLUSTERING

Présentation

Haute disponibilité

Partage de charges

Autres clustersAutres clusters

Produits et solutions

Conclusion

ClusteringCalculs scientifique L'ensemble des nodes cumulent leur puissance de L'ensemble des nodes cumulent leur puissance de

calcul pour arriver à des performance égales à calcul pour arriver à des performance égales à celles qu'atteignent les super calculateurs.celles qu'atteignent les super calculateurs.

Ce cluster utilise des applications spécialisées dans Ce cluster utilise des applications spécialisées dans la paraléllisation de calcul à travers une couche de la paraléllisation de calcul à travers une couche de communication commune.communication commune.

Il est possible de gérer la mémoire partagée Il est possible de gérer la mémoire partagée accessible par l'ensemble des processeurs du accessible par l'ensemble des processeurs du système à travers ses nodes.système à travers ses nodes.

ClusteringStockage de données Mise en place d'une vaste capacité de stockage Mise en place d'une vaste capacité de stockage

virtuel afin de répondre à l'augmentation des flux virtuel afin de répondre à l'augmentation des flux de données et donc nécessitant une capacité de de données et donc nécessitant une capacité de stockage supérieure à celle d'un seul disque dur.stockage supérieure à celle d'un seul disque dur.

Le fichier est découpé en bloc de taille raisonnable Le fichier est découpé en bloc de taille raisonnable et stocké par morceau sur plusieurs disque.et stocké par morceau sur plusieurs disque.

Virtuellement, on a l'impression que l'espace de Virtuellement, on a l'impression que l'espace de stockage et que notre fichier est stocké en un seul stockage et que notre fichier est stocké en un seul morceau sur un disque unique.morceau sur un disque unique.

Technologie : SAN et NASTechnologie : SAN et NAS

ClusteringStockage de données Le but est de disribuer les données par Le but est de disribuer les données par

l'entremise de plusieurs disques répartis sur l'entremise de plusieurs disques répartis sur les nodes du cluster : stockage combiné.les nodes du cluster : stockage combiné.

L'utilisateur peut travailler avec des fichiers L'utilisateur peut travailler avec des fichiers de très grandes tailles, tout en minimisant les de très grandes tailles, tout en minimisant les tranferts, dans l'éventualité ou la taille des tranferts, dans l'éventualité ou la taille des blocs adoptée reste raisonnable.blocs adoptée reste raisonnable.

CLUSTERING

Présentation

Haute disponibilité

Partage de charges

Autres clusters

Produits et solutionsProduits et solutions

Conclusion

Les solutions Globales

Clusters propriétaires : IBM, SUN, Hewlet Clusters propriétaires : IBM, SUN, Hewlet Packard, Compaq, Fujtsu, ....Packard, Compaq, Fujtsu, ....

Clusters Commerciaux : systèmes proposés Clusters Commerciaux : systèmes proposés par des sociétés de prestations en par des sociétés de prestations en informatique.informatique.

Les solutions Microsoft

Clusters Microsoft : Windows 2000 Advanced Clusters Microsoft : Windows 2000 Advanced et Datacenter Server.et Datacenter Server.

MSCS : haute disponibilitéMSCS : haute disponibilité Network Load BalancingNetwork Load Balancing : répartition de charge : répartition de charge

Operating System EditionNetwork Load Balancing

Component LoadBalancing

Server cluster

Windows 2000        

  Advanced Server 32 8 2

  Datacenter Server 32 8 4

Windows Server 2003        

  Enterprise Server 32 8 8

  Datacenter Server 32 8 8

Les solutions linux

Clusters Linux : LVS, Beowulf, PVFS, Linux Clusters Linux : LVS, Beowulf, PVFS, Linux HA-Project, Alinka, Mosix.HA-Project, Alinka, Mosix.

ClusteringMicrosoft

Il répond aux besoins croissants des entreprises en terme Il répond aux besoins croissants des entreprises en terme de messagerie éléctronique, de base de données et depuis de messagerie éléctronique, de base de données et depuis quelques années de serveurs web ou ftpquelques années de serveurs web ou ftp

Microsoft propose deux types de clustering :Microsoft propose deux types de clustering : Le clustering de service, permettant de réaliser Le clustering de service, permettant de réaliser

des cluster d'application et de rendu de service, des cluster d'application et de rendu de service, c'est à dire un cluster de haute disponibilité, à c'est à dire un cluster de haute disponibilité, à tolérance aux faute.tolérance aux faute.

Le clustering à répartition de charge, c'est à dire Le clustering à répartition de charge, c'est à dire une répartition de charge réseau sur un flux IP à une répartition de charge réseau sur un flux IP à travers un cluster constitués de 32 nodes au travers un cluster constitués de 32 nodes au maximum.maximum.

ClusteringMicrosoftLes inconvénients :Les inconvénients :

Toutes les applications doivent provenir de Toutes les applications doivent provenir de Microsoft.Microsoft.

Les systèmes d'exploitations proposés subissent Les systèmes d'exploitations proposés subissent trop souvent de correctifs.trop souvent de correctifs.

Il faut u matériel robuste, puissant et pas très Il faut u matériel robuste, puissant et pas très nombreux(<32).nombreux(<32).

Les solutions de clustering Microsoft sont Les solutions de clustering Microsoft sont particulièrement onéreuses.particulièrement onéreuses.

AvantagesLinux Mise en place d'un clustering répondant à Mise en place d'un clustering répondant à

toutes les attentes.toutes les attentes. Des applications Open Source de cluster son Des applications Open Source de cluster son

disponible sur le réseau Internet.disponible sur le réseau Internet. Quasi gratuité des applications.Quasi gratuité des applications.

InconvénientsLinuxLe système n'est pas livré clé en main.Le système n'est pas livré clé en main.

Il faut un investissement humain Il faut un investissement humain considérable notamment en terme de considérable notamment en terme de formationformation

De bonnes connaissances en informatique, De bonnes connaissances en informatique, sur le réseau et du monde Linux.sur le réseau et du monde Linux.

Beaucoup de PATIENCE.Beaucoup de PATIENCE.

CLUSTERING

Présentation

Haute disponibilité

Partage de charges

Autres clusters

Produits et solutions

ConclusionConclusion

Conclusion

Il faut savoir répondre aux questions suivantes :Il faut savoir répondre aux questions suivantes : Choix du système d’exploitationChoix du système d’exploitation

Quel existant ? Quel existant ? Budget ?Budget ?

Choix du type de clusterChoix du type de cluster Que veut on clusteriser ?Que veut on clusteriser ?

Les donnéesLes données Les applicationsLes applications La charge …La charge …

Bibliographie et sites Internet Architecture de l’ordinateur – Andrew Tanenbaum – InterEditionsArchitecture de l’ordinateur – Andrew Tanenbaum – InterEditions   Client serveur – S. Miranda, A. Ruols - EyrollesClient serveur – S. Miranda, A. Ruols - Eyrolles http://clusters.top500.org/http://clusters.top500.org/ http://www.sun.com/clusters/http://www.sun.com/clusters/

   http://hp-linux.cern.ch/http://hp-linux.cern.ch/

   http://www.microsoft.com/windows2000/technologies/clusterinhttp://www.microsoft.com/windows2000/technologies/clusterin

g/default.aspg/default.asp

   http://www.linuxvirtualserver.org/http://www.linuxvirtualserver.org/

   http://www.beowulf.org/http://www.beowulf.org/

   http://www.mosix.org/http://www.mosix.org/