supervision et analyse de script batch

Projet de stageProjet de stage

PROJET DE STAGEDéveloppement d’un outil de supervision applicative


Bonjour à tousBonjour à tous

Sébastien CHOMYFormation TSGRI 2007-2008Sébastien CHOMYFormation TSGRI 2007-2008

• Société FeuVert

• Service Informatique – Cellule PDV Point De Vente

Présentation de l’entreprise

Etude Préalable• Gestion du projet

• Phases d’études

PlanPlanPlanPlan

Présentation du projet• Étapes de construction• Résultat : Rapport de supervision des sauvegardes

Quels types d’informations doivent être collectées ?

• Flag = réponse d’exécution de script

• Le nom du Fichier Flag doit respecter une syntaxe• Organisation autour des flags



Introduction• Rôle de l’administrateur de bases de données• Besoin de l’entreprise

Plan

Les étapes majeures du projet ?

• La remontée de flag sur un répertoire central

• Intégration des flags dans la base de donnée

• Construction du rapport de supervision

• Détaille d’analyse des flags du répertoire central

PlanPlanPlanPlan

Implémentation de l’application• Langages de développements

• Le modèle MVC pour la construction d’une interface dynamique

• Présentation des différentes interfaces de l’application

• Environnements et outils de développements

• MCD Modèle conceptuel de données de la base

Documentation de l’application



• Rappel étapes de construction

• Mode d’analyse

Présentation de l’entreprise

Présentation de Présentation de l’entreprise l’entreprise

Présentation de Présentation de l’entreprise l’entreprise

• Société FeuVert

• Service Informatique – Cellule PDV Point De Vente



Société FeuVert

Société FeuVertSociété FeuVertSociété FeuVertSociété FeuVert



• Premier réseau de centre auto en France, distributeur des pièces, des accessoires, des équipements automobiles, propose également plus de 70 services de montage en atelier à prix forfaitaire.

• Premier réseau de centre auto en France, distributeur des pièces, des accessoires, des équipements automobiles, propose également plus de 70 services de montage en atelier à prix forfaitaire.

• Le siège social de FeuVert basé à Écully (69), disposent d’un centre national de formation et du centre administratif de tous les centres autos.

• Le siège social de FeuVert basé à Écully (69), disposent d’un centre national de formation et du centre administratif de tous les centres autos.

• FeuVert a adopté depuis 1983 le concept du « centre auto » en franchise ou surccusalisme.

• FeuVert a adopté depuis 1983 le concept du « centre auto » en franchise ou surccusalisme.

• Le service informatique est notamment basé au siège social. Il est divisé en plusieurs cellules en fonction des métiers de l’informatique.

• Le service informatique est notamment basé au siège social. Il est divisé en plusieurs cellules en fonction des métiers de l’informatique.

Cellule PDV

Cellule PDVCellule PDVCellule PDVCellule PDV



• La Cellule PDV, « Point de Vente » se préoccupe exclusivement de la gestion informatique des centres autos.

• La Cellule PDV, « Point de Vente » se préoccupe exclusivement de la gestion informatique des centres autos.

Maintenance et déploiement de l’informatique des centres Maintenance et déploiement de l’informatique des centres

Assistance des l’utilisateurs sur les applications métiers et problèmes sur le matériel

Assistance des l’utilisateurs sur les applications métiers et problèmes sur le matériel

• Chaque centre auto dispose d’un serveur dit « encaissement » doté d’une application autonome basé sur SQL Server.

• Chaque centre auto dispose d’un serveur dit « encaissement » doté d’une application autonome basé sur SQL Server.

Le sujet du projet de stage se fonde sur la sauvegarde de cette base. Le sujet du projet de stage se fonde sur la sauvegarde de cette base.

Introduction

INTRODUCTION INTRODUCTION INTRODUCTION INTRODUCTION • Rôle de l’administrateur de base de données

• Besoin de l’entreprise



Rôle de l’administrateur de BD

Rôle de l’administrateur de base de donnéesRôle de l’administrateur de base de donnéesRôle de l’administrateur de base de donnéesRôle de l’administrateur de base de données

• Gestion des droits d’accès• Optimisation de la base• Gérer la sauvegarde et maintenance

• Gestion des droits d’accès• Optimisation de la base• Gérer la sauvegarde et maintenance

• Sur un très grand nombre de serveur de BD, le besoin de supervision est nécessaire

• Sur un très grand nombre de serveur de BD, le besoin de supervision est nécessaire

• Le DBA doit parfois créer ces propres outils de supervision applicative

• Le DBA doit parfois créer ces propres outils de supervision applicative



De plus : De plus :

Besoin de l’entreprise

Besoin de l’entrepriseBesoin de l’entrepriseBesoin de l’entrepriseBesoin de l’entreprise Superviser la sauvegarde et la

maintenance de bases de données autonomes de 300 sites, tous les jours.

Superviser la sauvegarde et la maintenance de bases de données autonomes de 300 sites, tous les jours.

Base de données autonome pour chaque

centre autos

Vision globale et centralisée de tous les bases de données

Un outils de supervision applicative peut être une réponse



Étude préalable

Etude PréalableEtude PréalableEtude PréalableEtude Préalable

• Gestion du projet

• Phases du projet



Gestion du projet

Gestion du projetGestion du projetGestion du projetGestion du projet

• But « Réalisation d’un outil de supervision applicative »• But « Réalisation d’un outil de supervision applicative »

• Orienté vers « La sauvegarde d’un grand nombre de bases de données autonomes »

• Orienté vers « La sauvegarde d’un grand nombre de bases de données autonomes »

• Organisé autour « Collecte d’information »en flux tirée des flags d’exécutions

des tâches planifiées

« Historisation des données » Stockage en base de données

« Accessibilité de l’outil de supervision » Application orientée Web

• Organisé autour « Collecte d’information »en flux tirée des flags d’exécutions

des tâches planifiées

« Historisation des données » Stockage en base de données

« Accessibilité de l’outil de supervision » Application orientée Web



Phases du projet

Phases du projetPhases du projetPhases du projetPhases du projet1. Prise de connaissance de l’existant1. Prise de connaissance de l’existant

2. Spécification, maquette et validation2. Spécification, maquette et validation

3. Développement3. Développement

4. Recette / Livraison4. Recette / Livraison

5. Mise en production5. Mise en production

6. Formation et documentation6. Formation et documentation



La réalisation d’un planning prévisionnel, va permettre de respecter des délais de mise en production à chaque étape du projet.

La réalisation d’un planning prévisionnel, va permettre de respecter des délais de mise en production à chaque étape du projet.

Un cahier des charges a permis de mettre en confrontation les attentes du maître d’ouvrages et les solutions proposées à chaque étape.

Un cahier des charges a permis de mettre en confrontation les attentes du maître d’ouvrages et les solutions proposées à chaque étape.

Les phases 2 à 5 sont répétés au cours de

l’implémentation

Présentation du projet

Présentation du projetPrésentation du projetPrésentation du projetPrésentation du projet

• Rapport de supervision des sauvegardes

• Etapes de construction



Étapes de construction du rapport

Serveur WAMP

Étapes de construction du rapportÉtapes de construction du rapportÉtapes de construction du rapportÉtapes de construction du rapport

• Le schéma présente 3 étapes indépendantes qui fera l’objet d’une même logique de découpage au cours de l’implémentation.

• Le schéma présente 3 étapes indépendantes qui fera l’objet d’une même logique de découpage au cours de l’implémentation.

Collecte d’information en flux tiré

Analyse + Intégration

Dialogue avec

présentation du rapport et autres pages

Serveur HTTP Apache

DB MySQL

Rép. Central

1 2 3

• Chaque étape de l’implémentation sera mis en production après validation des jeux de tests.

• Chaque étape de l’implémentation sera mis en production après validation des jeux de tests.

Page HTMLPage HTML



Vue du rapport des sauvegardes

Vue du rapport des sauvegardesVue du rapport des sauvegardesVue du rapport des sauvegardesVue du rapport des sauvegardesTâches observées

Liste des serveurs

Indice de gravité

Statut de la tâche

OK Opération exécutée correctement

ABS Opération non exécutée

KO Opération exécutée avec défaillance



Type d’information

Quels types d’informations Quels types d’informations doivent être collectées ?doivent être collectées ?

Quels types d’informations Quels types d’informations doivent être collectées ?doivent être collectées ?

Les FLAGLes FLAGLes FLAGLes FLAG• Flag = réponse d’exécution de script

• Le nom du Fichier Flag doit respecter une syntaxe

• Organisation autour des flags



Les Flags

Les flags = réponse d’exécution de scriptLes flags = réponse d’exécution de scriptLes flags = réponse d’exécution de scriptLes flags = réponse d’exécution de script

• Au sein de la société, il est fait usage des scripts de commandes pour réaliser des petites tâches récurrentes (exemple : script pour la sauvegarde d’une base Microsoft SQL)

• Au sein de la société, il est fait usage des scripts de commandes pour réaliser des petites tâches récurrentes (exemple : script pour la sauvegarde d’une base Microsoft SQL)

• Par principe, le script crée un fichier, nommée ‘FLAG’, pour répondre de la bonne exécution de l’opération commandée ou de la défaillance de celle ci. Cela se traduit par 2 types de fichiers :

- Tâche exécutée sans échec NomDuFlag.OK

- Tâche exécutée avec échec NomDuFlag.KO

• Par principe, le script crée un fichier, nommée ‘FLAG’, pour répondre de la bonne exécution de l’opération commandée ou de la défaillance de celle ci. Cela se traduit par 2 types de fichiers :

- Tâche exécutée sans échec NomDuFlag.OK

- Tâche exécutée avec échec NomDuFlag.KO

• L’avantage dans la génération de fichiers de type ‘FLAG’, est qu’ils ne sont rattachés à aucun système, mise à part qu’ils doivent respecter une syntaxe de nom de fichier pour comprendre leur signification.

• L’avantage dans la génération de fichiers de type ‘FLAG’, est qu’ils ne sont rattachés à aucun système, mise à part qu’ils doivent respecter une syntaxe de nom de fichier pour comprendre leur signification.



Syntaxe des noms de fichier ‘Flag’

Règles de nommage « fichier FLAG »Règles de nommage « fichier FLAG »Règles de nommage « fichier FLAG »Règles de nommage « fichier FLAG »• Syntaxe à respecter :

« FL_NomServeur_NomOpération_DateOP.OK ou .KO »

• Syntaxe à respecter : « FL_NomServeur_NomOpération_DateOP.OK ou .KO »

Exemple : « FL_FV004SE1_COPYSAVECAISSE_20080902.OK »

Notre serveur FV004SE1 a correctement réussi la tâche correspondant à l’opération du Script ‘COPYSAVECAISSE’ à la date du 02/09/2008

Exemple : « FL_FV004SE1_COPYSAVECAISSE_20080902.OK »

Notre serveur FV004SE1 a correctement réussi la tâche correspondant à l’opération du Script ‘COPYSAVECAISSE’ à la date du 02/09/2008



La simple lecture du nom du fichier ‘Flag’ nous donne tous les indications correspondantes à l’exécution d’un script.

La simple lecture du nom du fichier ‘Flag’ nous donne tous les indications correspondantes à l’exécution d’un script.

Notre outil de supervision, va reproduire de façon automatique, cette analyse littérale.

Notre outil de supervision, va reproduire de façon automatique, cette analyse littérale.

Organisation autour des ‘Flag’

Organisation autour des flagsOrganisation autour des flagsOrganisation autour des flagsOrganisation autour des flags



Planificateur de tâches

Script de commandes

lance rend FLAG

Analyse État FLAG

OK : Tâche exécutée avec succès

KO : Tâche exécutée avec échec

ABS : Pas d’exécution de la tâche

• Un fichier *.LOG de type « journal rapport » est crée dans le cas de Flag KO• Un fichier *.LOG de type « journal rapport » est crée dans le cas de Flag KO

Étapes majeures du projet

Les étapes majeures Les étapes majeures du projet ?du projet ?

Les étapes majeures Les étapes majeures du projet ?du projet ?

• La remontée des flags sur un serveur central

• Intégration des flags dans la base de données

• Construction du rapport de supervision

• Analyse des flags



• Rappel des étapes du projet

Étapes de construction du rapport

Serveur WAMP

Étapes de construction du rapportÉtapes de construction du rapportÉtapes de construction du rapportÉtapes de construction du rapport

Collecte des ‘flag’ en flux tiré

Analyse + Intégration

Dialogue avec

Présentation du rapport et autres pages

Serveur HTTP Apache

DB MySQL

Rép. Central

1 2 3

Page HTMLPage HTML



La remontée des ‘Flags’

Serveur WAMP

La remontée des flagsLa remontée des flagsLa remontée des flagsLa remontée des flags

Liste des flags « Serveur Centre Auto »FL_STOPSTARTMEDIA_FV004SE1_20080830.OK

FL_STOPOSCAR_FV004SE1_20080830.OK

FL_BACKUPDATABASE_FV004SE1_20080830.OK

FL_STOPSQL_FV004SE1_20080830.OK

FL_BACKUPDATABASEMDF_FV004SE1_20080830.OK

FL_COPYSAVECAISSE_FV004SE1_20080830.KO

Liste des flags « répertoire central »FL_STOPSTARTMEDIA_FV004SE1_20080830.OK


FL_BACKUPDATABASE_FV004SE1_20080830.OK




Connexion Serv. Centre Auto

Copie des « FLAG » du jour

Un fichier sur le modèle FL_nomserveur_datedujour.OUT

est crée sur le répertoire central lorsque le serveur n’a pas été atteint

Un Email « rapport » est envoyé une fois tous les serveurs joint un à un

1

2



Mode d’analyse des ‘Flags’

Mode d’analyse des flagsMode d’analyse des flagsMode d’analyse des flagsMode d’analyse des flags



La collecte d’informations est terminée, nous passons à l’étape d’analyse La collecte d’informations est terminée, nous passons à l’étape d’analyse

• Mode d’analyse– Rechercher l’existence du fichier ‘Flag’ et traduire son état soit OK, soit KO,– Ou l’inexistence du fichier ‘Flag’ qui sera traduit par un état d’absence ABS.

• Mode d’analyse– Rechercher l’existence du fichier ‘Flag’ et traduire son état soit OK, soit KO,– Ou l’inexistence du fichier ‘Flag’ qui sera traduit par un état d’absence ABS.

• Flexibilité de l’application– La reconstruction du nom du fichier (du Flag) à rechercher est lié au

paramètre de l’application dont la source est notre base de données.

• Flexibilité de l’application– La reconstruction du nom du fichier (du Flag) à rechercher est lié au

paramètre de l’application dont la source est notre base de données.

L’application est tournée vers :- une analyse simple de recherche,- d’une flexibilité dans la recherche de nouveau script.

L’application est tournée vers :- une analyse simple de recherche,- d’une flexibilité dans la recherche de nouveau script.

Détaille de l’analyse

Détaille de l’analyse des flags collectéesDétaille de l’analyse des flags collectéesDétaille de l’analyse des flags collectéesDétaille de l’analyse des flags collectées

Tb_operation

STOPSTARMEDIA

STOPOSCAR

BACKUPDTABASE

STOPSQL

COPYSAVECAISSE

Tb_serveur

FV004SE1

FV005SE1

FV006SE1

…

FL_COPYSAVECAISSE_FV004SE1_20080830. *

Date du jour

aaaammjj

Construction du nom du fichier recherché

Répertoire Central FL_STOPSTARTMEDIA_FV004SE1_20080830.OK


FL_BACKUPDATABASE_FV004SE1_20080830.KO




1

2recherche


Fichier trouvé ?

3

Opération ABS

Lit extension OK ou KO

oui non



DB MySQL

Intégration des ‘Flags’ dans la BD

Intégration des flags dans la base de donnéesIntégration des flags dans la base de donnéesIntégration des flags dans la base de donnéesIntégration des flags dans la base de données L’analyse terminée, celle-ci va nous permettre de renseigner

notre base de données sur l’état du flag à une date donnée. L’analyse terminée, celle-ci va nous permettre de renseigner

notre base de données sur l’état du flag à une date donnée.

• Dans notre exemple :- le serveur « FV004SE1 »,- l’opération « COPYSAVECAISSE »- à la date du « 30/08/2008 »- La tâche a été exécuté avec une défaillance dans le processus, « statut du flag KO »

Nous pouvons maintenant insérer ces informations dans la table ‘Tb_flag’ Nous pouvons maintenant insérer ces informations dans la table ‘Tb_flag’

Id_flag Date_flag Etat_flag serveur opération

0000001 30/08/2008 KO FV004SE1 COPYSAVECAISSE

0000002 30/08/2008 OK FV004SE1 STOPOSCAR

0000003 30/08/2008 ABS FV004SE1 BACKUPDATABASE

Tb_flag

( INSERT )



Construction du rapport de supervision

+

Moteur de construction

Construction du rapport de supervisionConstruction du rapport de supervisionConstruction du rapport de supervisionConstruction du rapport de supervision

DB MySQL

Extraction des données

Données à assigner au modèle

Modèle du rapport

structuré en HTML

Rapport de supervision au format

HTML

Exemple de rapport de supervision

1

2



Implémentation de l’application

Implémentation Implémentation de l’applicationde l’applicationImplémentation Implémentation de l’applicationde l’application

• Langages de développements

• Construction d’une interface dynamique

• Présentation des différentes interfaces de l’application

• Environnements et outils de développements

• MCD Modèle conceptuel de données de la base



Langages de développements

Langages de développementsLangages de développementsLangages de développementsLangages de développements

• S’agissant d’une application orientée Web2.0, différents langages de développements ont été utilisés en fonction de la couche métier.

• S’agissant d’une application orientée Web2.0, différents langages de développements ont été utilisés en fonction de la couche métier.

Langages Type de développement Normes observées

PHP Langage orienté vers la construction de page HTML, il permet également de contrôler toute l’application

Version 5

HTML Structure des pages WEB XHTML1.1 strict

Moteur de Templates

Utilisation du moteur de gabarit « SMARTY » pour la gestion d’application web dynamique

Modèle MVC

CSS Mise en forme des pages HTML CSS 2.1

MYSQL Langage SQL de la SGBD MySQL Version 5



Environnement et outils de développements

Environnements et outils de développementsEnvironnements et outils de développementsEnvironnements et outils de développementsEnvironnements et outils de développements

• L’applicatif WAMPSERVER 2.0 installé sur un poste local permet de constituer un serveur WAMP Windows Apache Mysql PHP pour les tests de dévelop-pements, ceci avant la mise en production sur un serveur de production.

• L’applicatif WAMPSERVER 2.0 installé sur un poste local permet de constituer un serveur WAMP Windows Apache Mysql PHP pour les tests de dévelop-pements, ceci avant la mise en production sur un serveur de production.

• Un simple éditeur de texte comme NOTEPAD++ permet le dévelop-pement de code PHP et Mysql.

• Un simple éditeur de texte comme NOTEPAD++ permet le dévelop-pement de code PHP et Mysql.

• L’applicatif TOPSTYLE PRO a été nécessaire pour la construction des pages HTML, des feuilles de styles associées CSS, elle a permis également la validation des standards dictées par le W3C.

• L’applicatif TOPSTYLE PRO a été nécessaire pour la construction des pages HTML, des feuilles de styles associées CSS, elle a permis également la validation des standards dictées par le W3C.



MCD de la base

MCD de la baseMCD de la baseMCD de la baseMCD de la base



• Construction d’un MCD lors des spécifications d’implémentation de la base de données

• Construction d’un MCD lors des spécifications d’implémentation de la base de données

• Une base de données MySQL sera le cœur de l’application pour le stockage des informations

• Une base de données MySQL sera le cœur de l’application pour le stockage des informations

Interface WEB

Interface WebInterface WebInterface WebInterface Web



• Différentes interfaces permettent de manipuler les données.• Différentes interfaces permettent de manipuler les données.

Une démonstration sera plus parlante Une démonstration sera plus parlante

Construction d’une interface dynamique

Construction d’une interface dynamiqueConstruction d’une interface dynamiqueConstruction d’une interface dynamiqueConstruction d’une interface dynamique



Cette souplesse d’affichage est due au respect d’une construction sur le modèle MVC «Modèle Vue Contrôleur» pour une interface WEB.

Cette souplesse d’affichage est due au respect d’une construction sur le modèle MVC «Modèle Vue Contrôleur» pour une interface WEB.

• La présentation de l’interface nous a permis d’apprécier la dynamique et la souplesse de présentation des informations utiles à l’utilisateur.

• La présentation de l’interface nous a permis d’apprécier la dynamique et la souplesse de présentation des informations utiles à l’utilisateur.

C’est-à-dire, séparation des sources de données qui seront assignées au vue de présentation distincte, gérer par un contrôleur autonome.

C’est-à-dire, séparation des sources de données qui seront assignées au vue de présentation distincte, gérer par un contrôleur autonome.

De plus l’utilisation d’un moteur de gabarits « templates » comme Smarty, permet la construction dynamique de vue.

De plus l’utilisation d’un moteur de gabarits « templates » comme Smarty, permet la construction dynamique de vue.

Par Exemple : Vous avez pu constater la construction dynamique du tableau ‘rapport’ avec un nombre de ligne et colonne changeant.

Par Exemple : Vous avez pu constater la construction dynamique du tableau ‘rapport’ avec un nombre de ligne et colonne changeant.

Documentation de l’application

documentation de documentation de l’applicationl’application

documentation de documentation de l’applicationl’application

• Des différents composants du programme (annexe)

• Du code PHP avec « PHP Documentor » (interface)



Synthèse

SynthèseSynthèseSynthèseSynthèse

• Point sur le projet

• Les apports de l’outil de supervision applicative



• Les évolutions envisageables

Points sur le projet



Points sur le projetPoints sur le projetPoints sur le projetPoints sur le projet

• Point Fort- Autonomie face au problème rencontré,- Acquis de nouvelles connaissances,- Élaboration d’une application évolutive et flexible,- Code source et structure de l’applicatif bien documenté,- Application respectant le modèle standard MVC.

• Point Fort- Autonomie face au problème rencontré,- Acquis de nouvelles connaissances,- Élaboration d’une application évolutive et flexible,- Code source et structure de l’applicatif bien documenté,- Application respectant le modèle standard MVC.

• Point Faible- Défaut du respect du planning prévisionnel à chaque étape,- Manque de connaissance approfondie en PHP.

• Point Faible- Défaut du respect du planning prévisionnel à chaque étape,- Manque de connaissance approfondie en PHP.

Apports de l’outil



Les apports de l’outil Les apports de l’outil Les apports de l’outil Les apports de l’outil

Une interface visuelle simple d’utilisation Une interface visuelle simple d’utilisation

Une souplesse lié au paramétrage de l’application Une souplesse lié au paramétrage de l’application

Des nouvelles informations entraînant d’autres traitements Des nouvelles informations entraînant d’autres traitements

Évolutions envisageables

Par Exemple : La récupération de l’information « serveur non joignable » lors de la remonté des ‘Flags’ est une information récupéré pour relancer automatiquement les tâches de sauvegardes.

Par Exemple : La récupération de l’information « serveur non joignable » lors de la remonté des ‘Flags’ est une information récupéré pour relancer automatiquement les tâches de sauvegardes.

Un gain de temps sur l’information autour des sauvegardes Un gain de temps sur l’information autour des sauvegardes



Les évolutions envisageables Les évolutions envisageables Les évolutions envisageables Les évolutions envisageables

Remplacer PHPMyAdmin par une interface propre d’administration de la base de données

Remplacer PHPMyAdmin par une interface propre d’administration de la base de données

Remerciement

Créer des sessions utilisateurs pour l’accès à l’interface de supervision Créer des sessions utilisateurs pour l’accès à l’interface de supervision

Optimiser les requêtes (concevoir des requêtes préparées paramétrables) Optimiser les requêtes (concevoir des requêtes préparées paramétrables)

Permettre un déploiement par lot de nouveau script exécutant des tâches Permettre un déploiement par lot de nouveau script exécutant des tâches

Permettre de gérer plusieurs listes de serveurs indifféremment Permettre de gérer plusieurs listes de serveurs indifféremment



Remerciement Remerciement Remerciement Remerciement

Je remercie la société FeuVert :Je remercie la société FeuVert :

Mot de la fin

- d’avoir pu crée un outil de supervision sur des bases simples- d’avoir pu crée un outil de supervision sur des bases simples

- de m’avoir fait confiance et donner une grande liberté dans l’implémentation du programme

- de m’avoir fait confiance et donner une grande liberté dans l’implémentation du programme



FIN FIN

supervision et analyse de script batch

Entertainment & Humor