visual tom chez ca cheuvreux - vito.absyss.frvito.absyss.fr/docs/implementation de visual tom pour...

www.cheuvreux.com

Thierry SILSKI

tsilski@cheuvreux.com

Visual TOM chez CA CheuvreuxImplémentation de Visual TOM pour Infocentre

Jeudi 17 juin 2010

Presentation TitlePage 2

Plan de la présentation

Présentation de CA Cheuvreux

Qui sommes nous

Notre métier

L’informatique de CA CHEUVREUX

L ’équipe en charge de Visual TOM

Equipe

Missions

Environnement Technique

L’existant avant Visual TOM

Outils et commandes

Objectifs et bénéfices

Besoins et contraintes

Plan de la présentation

Visual TOM

Périmètre initial

Démarche de choix de l’ordonnanceur

Architecture Visual TOM choisie

Principes majeurs retenus

L’avenir

Fin de la présentation : Questions

Page 4

CA CheuvreuxCourtier leader sur actions européennes

Presentation TitlePage 5

Qui sommes nous ?

Filiale à 100 % de Crédit Agricole CIB, CA Cheuvreux est le courtier européen du groupe

Crédit Agricole, au service des institutionnels, des corporates et des réseaux de particuliers.

Crédit Agricole est le 3ème groupe bancaire européen et le 9ème mondial en terme de Tiers-1 Capital(the Banker, July 2009)

New York

Francfort

Stockholm

Athènes

ParisZurich

Milan

Dubaï Taipei

Manille

Jakarta

Singapou

r

Kuala Lumpur

Mumbai

Bangkok

Hong Kong

Beijing

Shanghai

Tokyo

Istanbul

Vienne

San Francisco

AmsterdamLondres

Sydney(GED)

Madrid

Notre métier

CA Cheuvreux, CLSA et CSI offrent une gamme complète de services de courtage sur les valeurs européennes, asiatiques et américaines

GED est le département « produits dérivés actions » de Crédit Agricole CIB, actif dans les produits Delta One, les convertibles, les trackers, les dérivés de fonds et les produits exotiques.

La ligne d’activité EBD (Equity, Brokerage & Derivatives) comprend 2 200 professionnels présents dans 26 bureaux

CA Cheuvreux, courtier européen sur actions, propose des services de recherche(analyse financière, économie et stratégie), de vente et d’exécution à une clientèlefrançaise et internationale d’investisseurs institutionnels, de corporates et de réseauxde particuliers.

Avec 15 bureaux et des équipes actives sur 60 marchés en Europe, aux États-Unis, auMoyen-Orient et en Asie, CA Cheuvreux renforce le développement de ses services etde sa couverture géographique, afin d’offrir à ses clients de nouvelles solutionsperformantes et adaptées aux évolutions du marché.

L’informatique de CA CHEUVREUX

Un service développement couvrant l’ensemble des métiers internes de l’entreprise (Infocentre,

FrontOffice, middle office, backoffice, etc).

Une exploitation regroupant 50 personnes ventilées dans les domaines NT-NOVEL (Client et

serveur), Notes, DBA , Réseaux, Opérations (NT / LINUX / SOLARIS)

Directeur Informatique

Responsable

production

Responsable DSI

DBA

Middle Backoffice

EBS

Reseau

Etc ...

Etc..

www.cheuvreux.com

L’équipe en charge de Visual TOM

L’équipe en charge de Visual TOM

Equipe

Equipe DBA attachée à l’exploitation, seule compétente pour tous les serveurs de bases dedonnées, quel que soit le fournisseur.

Equipe constituée de 4 Personnes (1 Architecte + 3 DBA Sénior), avec des profils SYBASE à80% et MS-SQL Serveurs à 20% + connaissances sur ORACLE.

Missions

Assistance aux équipes développement, de monitoring des instances des serveurs de basesde données et de la réplication entre eux.

Mise en production des nouvelles applications (partie BDD) ou modification des applicationsdéjà en place.

Installation des nouveaux serveurs de bases de données et de leurs suivi (volumétrie, tempsd’accès , audit, …)

Particularité des missions : Mises en production quotidiennes (créneaux spécifiquementréservés, : 7h/20H Procédures stockées, 18/20H Mise en production de tables avec un tempsd’indisponibilité de 45 mn maximum, au delà MEP de WE.), suivi particulier et relance destraitements infocentre liés aux serveurs de bases de données (gestion des batch par VisualTOM) ; cette mission impose l’utilisation d’un ordonnanceur

L’équipe en charge de Visual TOM

Environnement technique

Environ 30 To de bases de données. Celles-ci regroupent toute les traces d’activité du trading

(FrontOffice) ainsi que middle et backoffice,

Bases de données : 60 serveurs SYBASE, 20 serveurs MS SQL Serveur, 5 Serveurs

ORACLE, 1 Serveur SYBASE IQ, répartis sur un site primaire et un site de backup.

Réplication hétérogène temps réel entre les serveurs (par Réplication Server de SYBASE).

www.cheuvreux.com

L’existant avant Visual TOM

Outils et commandes

Avant le choix d’un ordonnanceur, tous les travaux étaient lancés par crontab ; avec la venue de

LANCE_BATCH (programme créé en interne), seuls les traitements nécessitant la prise en compte

de contraintes autres qu’horaires ont été migrés sous celui-ci.

Le Script LANCE_BATCH s’appuie sur un SGBDR et la lecture des crontab où se trouvent les

traitements.

Le programme atteignait ses limites et ne pouvait satisfaire tous les besoins qui allaient

grandissants (planification complexe de type : 1er jour ouvré du mois, synchronisations sur la

terminaison correcte de plusieurs travaux…)

Un outil professionnel spécialisé devenait nécessaire..

Objectifs et bénéfices

Transition douce vers le nouvel outil

Interface graphique indispensable pour la lisibilité

Faible charge induite par le produit

Rapidité de réaction en cas de problème sur la production

Mise à disposition d’IHM pour nos clients pour le suivi de leur exploitation

Souplesse d’utilisation

IHM facilement compréhensible.

Besoins et contraintes

Nos utilisateurs souhaitaient conserver le système actuel et donc ne pas changer leurs habitudes detravail.

Contrainte fonctionnelle : l’infocentre travaille sur les données du jour ouvré qui précède le jourcourant.

Le calendrier Cheuvreux, basé sur les jours d’ouverture des bourses (à quelques exceptions près,proche du 7/7) doit être pris en compte nativement.

Certains jobs doivent s’exécuter à des jours précis qui ne seront connus qu’au début de l’année encours (Traitement PNB).

En cas de dérive d’exécution d’un traitement et/ou de retard, une alerte doit être émise.

L’infocentre est constitué de deux serveurs de bases de données avec des fonctions distinctes ; unesaturation potentielle peut aboutir à leur « arrêt/redémarrage ». La notion de charge de travail doitêtre prise en compte dans les contraintes d’exécution (ressources Visual TOM)

Les mises en exploitation des travaux ne doivent pas être effectuées par les équipes dedéveloppement (dont l’infocentre fait partie), mais par l’exploitation uniquement.

Un batch doit pouvoir se lancer indifféremment de la machine (quelle que soit la version d’Unix).

www.cheuvreux.com

Visual TOM

Visual TOM

Périmètre initial

Démarche de choix de l’ordonnanceur

Architecture Visual TOM choisie

Principes majeurs retenus

Périmètre initial

Périmètre initial :

Périmètre de fonctionnement : Rapport et document infocentre

Système actuel : crontab + programme interne LANCE_BATCH

Nombre de serveurs : 5

Type de serveurs : Linux, Solaris et Windows

Type de batch : scripts shell

Outils à intégrer : aucun

Très peu de contraintes

Nombre de batchs estimé : 400

Type de production : non critique, régulière avec activité ciblée

Démarche de choix de l’ordonnanceur

Solutions étudiées

$Universe

Visual TOM

BMC Control-M

Principaux critères de choix

Adéquation aux besoins et contraintes fonctionnelles.

Budget limité.

Adéquation technique multiplateforme NT-Novell/Solaris/Linux.

Interface utilisateur entièrement graphique.

Facilité d’utilisation et de mise en œuvre..

Choix de l’outil sur « Proof of Concept ».

Résultat

De ces 3 produits, seul Visual TOM répondait à tous nos critères.

Nous disposions d’une version de test pour monter un prototype opérationnel,

Nous pouvions réellement qualifier l’ergonomie du produit.

Architecture Visual TOM choisie

La solution en place s’appuie sur une version Visual TOM 5.2.2 (version 5.1.1 installée initialement)

Le serveur Visual TOM est installé sur une machine linux ReadHat 4, le répertoire est mirroré en

temps réel vers le site de backup, ce qui permet une bascule rapide en cas de défaillance.

5 clients sont installés

1 NT

2 Linux et 2 Solaris (les 2 Solaris sont en cours de migration vers Linux)

12 Utilisateurs de la DSI disposent de la console Visual TOM en mode visualisation (aucune mise à

jour ou action de pilotage)

Grâce à la version 5.2.2, nous avons pu mettre en place un profil lecture seule, ce qui plait beaucoup à nos

utilisateurs. Très utile dans le cas d’un nouveau batch mis en place, car cela leur permet de voir en temps réel

ce qui se passe et d’accéder aux logs et statistiques des traitements.

Principes majeurs retenus

Règles et contrôles

Plusieurs échanges avec le support ainsi que l’IT venu pour l’installation et la formation sur VisualTOM nous ont permis de mieux appréhender nos besoins.

il en est ressorti ce qui suit :

Compatibilité avec existant : les jobs appelleront une version édulcorée de LANCE_BATCH (LANCE_LB) quipermet de garder la mise à jours des pages PHP.

Pour garantir que les traitements s’effectueront bien par rapport à un jour ouvré, il s’exécuteront en décalagede 24 heures par rapport au jour J (date d’exploitation).

Ainsi, si lundi est un jour ouvré les traitements commenceront à partir de 0h30 le mardi (en raison de la fermeturede NY), et ainsi de suite…

Mise en place de règle sur la gestion des dates d’exploitation pour éviter les blocages programmés deproduction

En cas d’attente inter-environnement, utilisation d’un job d’attente d’événement basé sur l’ancien système(table d’événements).

Principes majeurs retenus

Règles et contrôles

Les statistiques des environnements sont extraites et mises en bases chaque jour, ceci afin decalculer les dérives éventuelles. Ces dérives sont intégrées aux mails de suivi d’exploitation dansune rubrique à part.

Ceci nous permet de donner accès à des graphiques de suivi à partir des extractions des statistiques au jour lejour.

En cas de retard d’un job (temps de début dépassé depuis N heures), un mail de suivi est envoyé.

ceci est très utile en cas de problème sur un traitement précédent, temps d’exécution trop long par exemple.

Une crontab sous le user Visual TOM contient tous les scripts de surveillance et de remontées desstatistiques.

La partie surveillance et monitoring de Visual TOM ne peut être confiée à lui-même, c’est pourquoi des scriptsde surveillance des bdeamon, d’extraction des statistiques et autres sont mises sous la crontab de l’utilisateurVisual Tom.

Pour la partie surveillance des processus, nous utilisons le programme ITRS.

A la notion de calendrier global (cheuvreux7_7) dont les jours fériés ne sont pas connus à l’avance(diffusion par Euronext et Nyse en début d’année) est venu s’ajouter un calendrier spécifique à unechaîne de traitements PNB. Celui-ci sera mis à jour au début de chaque année avec lesinformations données par la DSI infocentre.

Principes majeurs retenus

ITRS surveille que les processus Bdaemon/vtserver etc.. sont opérationnels.

Surveillance

Principes majeurs retenus

Page PHP de suivi des temps des jobs

Monitoring

Principes majeurs retenus

Exemple de mail de remontées à destination de la DSI infocentre

Suivi et remontée d’informations

Principes majeurs retenus

Référentiel Visual TOM

4 environnements existent : Divers (regroupe les jobs de différente DSI)

Exploitation (Job exploitation DBA)

Infocentre (Job exploitation SC Infocentre)

SIRIUS ( Job exploitation SC transverse)

Ceci correspond à 361 jobs, dont 330journaliers et 31 mensuels.

Les 47 ressources existantes sont le premierpas vers une gestion de la charge desserveurs de bases de données.

Chaque intervenant a un compte propreadministrateur sur l’ensemble desenvironnements.

Les utilisateurs ont chacun un compte nommélié à un profil qui contient son ou sesenvironnements.

Principes majeurs retenus

Espace de travail

Principes majeurs retenus

Applications et Xliens

Pour des raisons de

lisibilité de l’exploitation,

nous avons préféré utiliser

les applications comme

des conteneurs

rassembleurs autour d’un

élément fonctionnel.

Ceci nous a amené a

utiliser des xliens pour lier

un job à un autre.

Principes majeurs retenus

Bilan

Actuellement, nos utilisateurs et nous-mêmes sommes amplement satisfaits de la solution mise en

place, celle-ci nous prend peu de temps par jour.

L’ensemble des objectifs initiaux est atteint.

Aujourd’hui de nouveaux besoins apparaissent. Ceux-ci sont à l’étude (notamment : statistiques et

prévisionnel).

www.cheuvreux.com

L’avenir

L’avenir

Meilleure gestion de la charge des serveurs base de données infocentre.

Nouvelle configuration de site :

Deux sites distants

Bascule de primaire tous les trois mois

Pas de perte d’informations

Bascule à effectuer le WE

Plan d’urgence

Demande de conseil en architecture pour le PRA (Absyss)

www.cheuvreux.com

Fin de la présentation

Séance Questions/Réponses