installation et configuration tis 3 0 1

22
Installation et configuration de Talend Integration Suite 3.0.1 Par jsdarges Date de publication : 20 janvier 2009 Ce tutoriel présente l'installation et la configuration de Talend Integration Studio 3.0.1 en environnement Unix - Red Hat.

Upload: gridech

Post on 20-Feb-2016

49 views

Category:

Documents


3 download

DESCRIPTION

Installation Et Configuratio

TRANSCRIPT

Page 1: Installation Et Configuration Tis 3 0 1

Installation et configuration deTalend Integration Suite 3.0.1

Par jsdarges

Date de publication : 20 janvier 2009

Ce tutoriel présente l'installation et la configuration de Talend Integration Studio 3.0.1 enenvironnement Unix - Red Hat.

Page 2: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 2 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

I - Introduction..............................................................................................................................................................3II - Configuration matériel............................................................................................................................................ 3III - Installation et configuration de TIS Administrator.................................................................................................3

III-A - Logiciels requis............................................................................................................................................ 3III-A-1 - MySQL 5+............................................................................................................................................3III-A-2 - Java..................................................................................................................................................... 4III-A-3 - Tomcat 5.5.27...................................................................................................................................... 4

III-A-3-a - Installation................................................................................................................................... 4III-A-3-b - Script de démarrage................................................................................................................... 4

III-A-4 - Subversion (SVN)................................................................................................................................6III-B - TIS Administrator......................................................................................................................................... 8

III-B-1 - Configuration pour Tomcat.................................................................................................................. 8III-B-2 - Pages d'administration Web................................................................................................................9III-B-3 - Gestion des projets........................................................................................................................... 10

III-C - CommandLine............................................................................................................................................ 11III-C-1 - Introduction........................................................................................................................................ 11III-C-2 - Installation et configuration............................................................................................................... 11III-C-3 - Exporter / Importer un projet............................................................................................................. 12III-C-4 - Résolution des problèmes.................................................................................................................13

III-D - Job server.................................................................................................................................................. 14III-D-1 - Introduction........................................................................................................................................ 14III-D-2 - Configuration..................................................................................................................................... 14III-D-3 - Déploiement.......................................................................................................................................15III-D-4 - Ajout d'un serveur dans la WebApp................................................................................................. 16

IV - Génération, déploiement et exécution d'un job..................................................................................................16IV-A - Mode d'exécution.......................................................................................................................................16IV-B - Résolution des problèmes......................................................................................................................... 17

V - TIS Client en environnement Windows...............................................................................................................17V-A - Lancement.................................................................................................................................................. 17V-B - Paramétrage............................................................................................................................................... 18V-C - Active Monitoring Control et Logs..............................................................................................................19

VI - Liens utiles..........................................................................................................................................................22VII - Remerciements.................................................................................................................................................. 22

Page 3: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 3 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

I - Introduction

La version 3.01 de Talend Integration Suite (TIS) permet comme la version 2.4.3 de travailler en collaborationsur un projet décisionnel. Mais la grande nouveauté réside sur la gestion du repository courant à un projet quipeut maintenant être sauvegardé non plus dans une base de données MySQL ou MSSQL mais grâce à un SVN(subversion). Cette solution a l'avantage d'être beaucoup plus rapide pour la sauvegarde, la mise à jour et ledéveloppement d'un projet.

Ce tutoriel va vous permettre en plus d'installer la nouvelle version de TIS sur une Red Hat, de comprendre lefonctionnement, la génération, le déploiement et l'exécution de script via la WebApp Talend nouvelle génération.

Un minimum de connaissance Linux est requis ainsi qu'une connaissance de TOS (gratuit) par exemple.

II - Configuration matériel

Tout comme la version 2.4.3, le choix de la configuration matérielle n'est pas à négliger. TIS demande beaucoup deressources, que ce soit mémoire ou CPU. Optez donc pour un serveur et des postes clients avec une configurationminimum suivante :

• Dual core 2Ghz• 3Go de mémoire• Disque dur de grande capacité si vous comptez manipuler de gros fichiers

III - Installation et configuration de TIS Administrator

Toutes les ressources seront installées dans le dossier /rsTalend dont l'utilisateurusrtalen est le propriétaire.

III-A - Logiciels requis

Au préalable, nous allons devoir installer et configurer plusieurs services et logiciels :

• MySQL 5+ or MsSQL Serveur (2000 2005)• Java JVM et JRE• Tomcat 5.5.x• Subversion (SVN)

Veuillez noter que je ne rentrerai pas dans le détail de l'installation et la configuration de ces logiciels.

III-A-1 - MySQL 5+

Pour gérer vos projets, TIS utilise soit une base MySQL soit une base MSSQL. Pour la suite du tutoriel nous utiliseronsla dernière version de MySQL (gratuite).

Téléchargez et installez la dernière version de MySQL avec votre gestionnaire de dépôts.

Démarrez le serveur MySQL :

# /etc/init.d/mysqld start

Avec les droits root de la machine, configurez le compte root MySQL en lui ajoutant un mot de passe :

Page 4: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 4 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

# mysqladmin -u root password rootpassword

Connectez-vous à la console MySQL sur la table MySQL avec le compte root MySQL :

# mysql -u root -p mysql

Créez la base de données talend_administrator et assignez les droits à l'utilisateur talend_admin (qui sera créé dansla foulée).

mysql> create database talend_administrator; mysql> GRANT ALL PRIVILEGES ON talend_administrator.* TO 'talendadmin'@'localhost' IDENTIFIED BY 'TyidP'; mysql> GRANT ALL PRIVILEGES ON talend_administrator.* TO 'talendadmin'@'%' IDENTIFIED BY 'TyidP';

III-A-2 - Java

Téléchargez et installez la dernières version de la machine virtuelle JAVA (JVM) et de Java Runtime Environnement :

Vérifiez que la machine virtuelle Java (JVM) est bien installée en affichant la valeur de la variable d'environnementJAVA_HOME.

# echo $JAVA_HOME

III-A-3 - Tomcat 5.5.27

III-A-3-a - Installation

Téléchargez et décompressez la dernière version de Tomcat 5.5.x dans le dossier /rsTalend à l'adresse suivante :http://tomcat.apache.org/download-55.cgi. La version qui sera utilisée tout au long de ce tutoriel et la version 5.5.27

Une fois décompressé, il ne vous reste plus qu'à configurer Tomcat dans le dossier /rsTalend/apache-tomcat-5.5.27.

Le serveur Tomcat écoute sur le port 8080 mais vous pouvez néanmoins changer la valeur de ce port qui pourraitêtre en conflit avec le port d'écoute d'Oracle XE par la valeur de votre choix en éditant le fichier /rsTalend/apache-tomcat-5.5.27/conf/server.xml.

III-A-3-b - Script de démarrage

Pour permettre une administration facile du serveur Tomcat nous allons créer un démon Tomcat dans le dossier /etc/init.d/ avec le compte root.

Pour cela commencez par créer un fichier nommé tomcat dans le dossier /etc/init.d/ et collez le code suivant :

# Script de gestion du démon Tomcat## chkconfig: 345 91 10# description: démarre et arrête le serveur Tomcat#

Page 5: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 5 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

# Charge les librairies.. /etc/rc.d/init.d/functions # Utilisateur qui lancera le serveur Tomcatuser=usrTalend # Chemin vers le dossier Tomcattomcat=/rsTalend/apache-tomcat-5.5.27/ # Script de démarragestartup=$tomcat/bin/startup.sh # Script d'arrêtshutdown=$tomcat/bin/shutdown.sh status(){ps ax --width=1000 | grep "[o]rg.apache.catalina.startup.Bootstrap start" | awk '{printf $1 " "}' | wc | awk '{print $2}' > /tmp/tomcat_process_count.txtread line < /tmp/tomcat_process_count.txtif [ $line -gt 0 ]; thenecho -n "tomcat ( pid "ps ax --width=1000 | grep "[o]rg.apache.catalina.startup.Bootstrap start" | awk '{printf $1 " "}'echo -n ") is running..."echoelseecho "Tomcat is stopped"fi} start(){ echo -n $"Starting Tomcat service: " su - $user -c "$startup" RETVAL=$? echo} stop(){ echo -n $"Stopping Tomcat service: " su - $user -c "$shutdown" RETVAL=$? echo} restart(){ stop start} case "$1" instart) start;;stop) stop ;;status) status tomcat ;;restart) restart ;;*) echo $"Usage: $0 {start|stop|status|restart}" exit 1esac exit 0

Pour un serveur Suse remplacez la ligne ". /etc/rc.d/init.d/functions" par ". /lib/lsb/init-functions".

Page 6: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 6 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

Vous pouvez bien évidement changer les valeurs des variables suivantes :

• tomcat• user

Donnez les droits d'exécution au script précédent puis ajoutez et activez le lancement du serveur tomcat audémarrage grâce à chkconfig :

# chmod a+x /etc/init.d/tomcat # cd /etc/init.d # /sbin/chkconfig --add tomcat # /sbin/chkconfig tomcat on

Pour lancer le serveur Tomcat il ne vous reste plus qu'à taper la commande suivante :

# /etc/init.d/tomcat start

Et voici les 3 commandes pour arrêter, redémarrer et voir le statut du démon Tomcat :

# /etc/init.d/tomcat stop # /etc/init.d/tomcat restart # /etc/init.d/tomcat status

Vérifiez maintenant que le serveur est bien lancé et configuré en lançant un navigateur web et en vous rendant àl'adresse suivante : http://localhost:8080/

III-A-4 - Subversion (SVN)

La nouveauté de TIS 3.0.1 et de permettre la sauvegarde des projets par SVN beaucoup rapide que de sauvegarderle repository dans la base MySQL.

Installez le paquet subversion avec votre gestionnaire de paquets.

Créez un répertoire pour la sauvegarde des projets dans le répertoire /rsTalend nommé svnRepository avec le compteusrtalend.

Ajoutez maintenant ce dossier au serveur SVN avec la commande suivante :

> svnadmin create /rsTalend/svnRepository

Editez maintenant le fichier de configuration du svn que vous venez de créer.

> vim /rsTalend/svnRepository/conf/svnserve.conf

Changez maintenant les paramètre suivants :

• anon-access = none

Page 7: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 7 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

• auth-access = write• password-db = passwd

Il faut maintenant définir les identifiants des personnes qui pourront se connecter au svn en éditant le fichier passwd.

> vim /rsTalend/svnRepository/conf/passwd

Ajoutez la ligne suivante : svnTISuser = svnTISpwd. Mais bien sûr vous pouvez choisir d'autres identifiants.

Maintenant nous allons ajouter l'utilisateur svn et le groupe svn pour qu'il puisse lancer le démon svnserve.

# groupadd svn # useradd -d /rsTalend/svnRepository -s /bin/false -g svn svn

Editer le fichier /etc/sysconfig/svnserve et remplacer la valeur de la variable SVNSERVE_OPTIONS par : "-d -r /rsTalend/svnRepository"

Donnez maintenant les nouveaux droits à l'utilisateur et le groupe svn sur le dossier /rsTalend/svnRepository :

# chown -R svn:svn /rsTalend/svnRepository

Relancez le démon svnserve

# /etc/init.d/svnserve restart

Si le démon svnserve ne s'est pas créé automatiquement lors de l'installation vous pouvez procéder comme lechapitre III-A-3-b en nommant le script svnserve et contenant le code suivant :

# Script de démarrage svnserve## chkconfig: 345 91 10# description: Démarre et arrête le démon svnserve# # Source function library.. /etc/rc.d/init.d/functions SVNSERVE_BIN=/usr/bin/svnserveSVN_REPOSITORY=/rsTalend/svnRepositoryuser=svn start(){ echo -n $"Starting svnserve service: " su - $user -c "$SVNSERVE_BIN -d -r $SVN_REPOSITORY" RETVAL=$? echo} stop(){ echo -n $ "Stopping svnserve service: " pkill svnserve RETVAL=$? echo} restart(){ stop

Page 8: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 8 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

start} case "$1" instart) start ;;stop) stop ;;restart) restart ;;*) echo $"Usage: $0 {start|stop|restart}" exit 1esac exit 0

Changez les valeurs des variables user et SVN_REPOSITORY par les bonnes valeurs.

III-B - TIS Administrator

III-B-1 - Configuration pour Tomcat

L'interface d'administration de TIS sera accessible par le WEB grâce au serveur Tomcat. Nous allons voir maintenantcomment configurer TIS Administrator.

Décompressez l'archive ADM-TISTE-...V3.0.1.zip (suivant votre version) et copiez l'archive war dans le dossierwebapps de Tomcat.

cp org.talend.administrator.war /rsTalend/apache-tomcat-5.5.27/webapps/

Copiez les pilotes MySQL Talend pour l'accès à la base de gestion talend_administrator dans le dossier common/lib/ de Tomcat.

cp /rsTalend/apache-tomcat-5.5.27/webapps/org.talend.administrator/WEB-INF/lib/mysql-connector-java-5.1.0-bin.jar /rsTalend/apache-tomcat-5.5.27/common/lib/

Changez le mot de passe de la page de configuration de la page WEB de Talend (que nous verrons plus tard) enéditant le fichier apache-tomcat-5.5.27/webapps/org.talend.administrator/WEB-INF/classes/database.properties.Changez la valeur du paramètre database.config.password par un mot de passe différent. Par exemple : talendAdmin

Dans ce fichier vous pouvez changer les informations de connexion au serveur MySQL pour la sauvegarde desprojets. Par exemple si vous avez défini une base de données et/ou des identifiants de connexion différents.

Relancez le serveur Tomcat avec la commande suivante :

# /etc/init.d/tomcat restart

Page 9: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 9 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

III-B-2 - Pages d'administration Web

L'administration des projets, l'exécution des jobs... sont maintenant possibles en se rendant à l'adresse suivante :http://localhost:8080/org.talend.administrator. Cette interface a été développée avec le google web toolkit ce quia l'avantage d'être rapide mais aussi permet de rafraichir certaines parties du site plutôt que tout l'ensemble.

Avant de vous connecter à l'application web de TIS Administrator, vous pouvez vérifier que la base de donnéesMySQL TIS est bien configurée en cliquant sur le bouton [Go to db config page]. La page suivante vous demanded'entrer le mot de passe de la page de configuration de la base de données (par défaut admin ou un autre si vousl'avez modifié comme vu précédemment).

Revenez maintenant sur la page de connexion en cliquant sur le bouton [Go to login page]. Entrez maintenant lesidentifiants suivants : [email protected]/admin (qui sont les identifiants par défaut pour se connecter à la paged'administration de TIS). Un conseil : ne cochez pas "Remember me on this computer" car avec Internet Explorervous allez vous connecter et vous déconnecter à l'infini quand vous cliquerez sur login.

Remarque : si vous rencontrez un problème pour vous connecter, vérifiez la configuration de la base de données.

Si l'erreur suivante apparaît, redémarrez le serveur MySQL :

Cliquez maintenant sur le lien [License] dans le menu de gauche et entrez votre numéro de licence TIS. Vous devriezmaintenant avoir accès aux liens suivant (après vous êtes reconnecté à la WebApp) :

Pour des raisons de sécurité il est préférable de changer les identifiants du compte [email protected]/admin.Pour cela, cliquez sur le lien [Accounts]. Sélectionnez le compte [email protected]. Entrez les nouveauxidentifiants dans la partie de droite et cliquez sur le bouton [Save].

Vérifiez que la configuration de TIS est correcte en cliquant sur l'onglet [Configuration].

Tous les points doivent être en vert sauf pour les paramètres Command line port et Archive path qui ne sont pasencore configurés.

Page 10: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 10 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

Le paramètre Archive path correspond au dossier où seront générés les jobs avant leur déploiement. Commevous pouvez le voir sur le screenshot précédent j'ai indiqué comme dossier /rsTalend/tmpTisArchive que j'ai crééprécédemment avec l'utilisateur urstalend.

III-B-3 - Gestion des projets

• Projects

Maintenant que TIS est configuré, vous pouvez ajouter un projet. Pour cela cliquez sur le lien [Projets] puis sur lebouton [Add project] et remplissez les champs comme l'exemple suivant. Le projet developpezProject sera notrebase de travail avec l'utilisateur [email protected] qui sera créé plus tard.

Remarquez que dans ce formulaire d'ajout de projet vous avez le choix entre un projet Java et Perl comme avec laversion 2.4.3. Mais ce qui change c'est le type de repository : il ne vous est plus obligé de sauvegarder vos projets enbase de données mais de le faire sur un SVN (que nous avons configuré un peu plus haut). Je vous conseille doncde prendre cette option car avec plus de 25 jobs dans une projet la base MySQL ne suit plus... et vous allez mettreplus longtemps à ouvrir un job, mettre à jour les contextes... que si vous preniez le type subversion.

Dans le champs url, indiquez l'url subversion où vous souhaitez sauvegarder votre projet. Comme vous pouvez leconstater, j'ai indiqué l'adresse : svn://192.168.0.6/developpezProject. Ne mettez pas localhost à la place de l'adresseip à moins que vous comptiez développer, générer et exécuter les jobs sur cette machine. La suite de l'adresse svndoit indiquer le nom du projet (il sera alors ajouté automatiquement au repository svn).

Comme vous pouvez le constater, l'interface de configuration des utilisateurs, et du reste d'ailleurs, est beaucoupplus user-friendly : tout en Ajax (que du bonheur). De plus vous avez un onglet stats qui vous permet de voir quands'est connecté un utilisateur pour la dernière fois, etc...

Une fois les utilisateurs ajoutés il ne vous reste plus qu'à autoriser ces derniers à développer sur un projet. Pour celacliquez sur le lien [Projects authorizations]. Sélectionnez les utilisateurs à autoriser sur le projet developpezProjectet faites un glisser / déposer sur le projet à droite. (c'est pas beau l'Ajax ?)

• Lien [Locks]

Page 11: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 11 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

Sachant que vous développez collaborativement sur un projet, l'onglet [Locks] va vous permettre de déverrouiller unjob, un schéma... qu'une personne utilisait et dont le lock n'a pas été supprimé en fin de traitement. Il suffit pour celade sélectionner la ligne d'un job à déverrouiller et de cliquer sur le bouton [Delete].ATTENTION de ne pas supprimer une ligne d'un job en cours d'utilisation car cela pourrait provoquer des erreursdans le job.

• Liens [Job Conductor] et [Servers )

Nous verrons plus tard à quoi servent ces deux parties très importantes et utiles.

III-C - CommandLine

III-C-1 - Introduction

L'utilitaire commandLine fourni avec TIS va vous permettre de vous connecter à un projet distant (ou non) afin depouvoir exporter, importer des projets et générer des jobs. Il doit être exécuté sur la machine où vous souhaitezgénérer des scripts (ici notre serveur).

III-C-2 - Installation et configuration

Commencez par décompresser le dossier nommé TIS_TE-All-r.....V3.0.1.zip dans le dossier /rsTalend où sur unposte Windows.

Sur le serveur Red Hat (ou Unix en général) :

Donnez les droits d'exécution au script commandline.sh et suivant votre version Unix, le fichier TISTE-système-gtk-version. Editez maintenant le fichier commandline.sh et remplacez "TISTE-linux-gtk-x86 par TISTE-système-gtk-version.

Téléchargez et installez le dépôt screen s'il n'est pas déjà sur le serveur Unix. Puis comme Tomcat au paragraphe III-A-3-b créez un script pour démarrer le démon que vous nommerez "commandline" puis collez les lignes suivantes :

#!/bin/sh### BEGIN INIT INFO# Default-Start: 2 3 4 5# Default-Stop: S 0 1 6# Description: Commandline script### END INIT INFO COMMANDLINE=/rsTalend/TIS_TE-All-release-V3.0.1CMD_WORKSPACE=$COMMANDLINE"/commandline-workspace"STARTUP=commandline.shUSER=usrtalendNAME=commandline . /lib/lsb/init-functions do_start(){echo -n $"Starting commandline service " su - $UER -c "rm -Rf $CMD_WORKSPACE" su - $USER -c "cd $COMMANDLINE && screen -dmS cmdLine ./$STARTUP" RETVAL=$? echo }

Page 12: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 12 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

do_stop(){ echo -n $"Stopping commandline service: " su - $USER -c "screen -r cmdLine" RETVAL=$? echo } case "$1" instart)do_start ;;stop) do_stop ;;*) echo $"Usage: $0 {start|stop}" exit 1esac exit 0

Remplacez les valeurs des variables COMMANDLINE et USER si nécessaire.

Lancez le démon commandline avec la commande :

# /etc/init.d/commandline start

L'utilitaire commandline se lancera dans un nouveau terminal grâce à Screen par l'utilisateur usrtalend.

Pour récupérer la session screen cmdLine créée précédemment il vous suffit de vous connecter avec l'utilisateurusrtalend puis de tapez la commande screen -r cmdLine. Vous aurez alors accès à l'utilitaire et vous pourrez exporter,importer... vos projets. Pour retourner sous votre terminal principal tapez successivement sur Ctrl+A puis D.

Si vous avez besoin d'arrêter le démon tapez la commande suivante puis tapez "stopServer" dans l'invite decommande de la commandline.

# /etc/init.d/commandline stop

Maintenant que l'utilitaire commandline est lancé vous pouvez vérifier que tout est OK en allant sur la WebApp dansla partie [Configuration] où la ligne "Command line port" est devenue verte.

III-C-3 - Exporter / Importer un projet

Lancez le démon commandline si ce n'est pas déjà fait (sous Linux) et commandline.bat (sous Windows).

Accédez au terminal screen commandline (avec l'utilisateur usrtalend si vous êtes sous Linux).

usrtalend >screen -r cmdLine

Connectez vous à la WebApp (distante ou locale)

Page 13: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 13 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

Talend> initRemote http://192.168.0.6/org.talend.administrator

Vérifiez que la commande a bien été exécutée :

Talend> listCommand -a

Connectez-vous maintenant au projet que vous voulez exporter :

talend> logonProject -pn developpezProject -ul [email protected] -up jspassword ADDED_COMMAND 2 talend>!ENTRY org.talend.libraries 1 0 2008-01-12 14:20:32.445!MESSAGE 2008-01-12 14:20:32,445 INFO org.talend.repository.model.ProxyRepositoryFactory - Darges, Jean-Sebastien logged on developpezProject

Explication :

• -pn : le nom du projet• -ul : login d'un administrateur TIS• -up : mot de passe d'un compte administrateur TIS

Une fois cette commande ajoutée, un texte assez conséquent s'affiche à l'écran. Cela peut durer un certain temps.A la fin de l'affichage du texte, vous n'aurez plus l'invite de commande " talend > ". Tapez la commande de listingpour vérifier que vous êtes bien connecté au projet :

listCommand -a 2:COMPLETED LogonProjectCommand log on developpezProject

Exportez maintenant le projet avec la commande suivante :

talend> exportItems /rsTalend/developpezProject.zip

Explication :

exportItems permet d'exporter tous les objets d'un projet. Pour n'exporter qu'un objet en particulier, affichez la listedes commandes disponibles du commandLine en tapant "help" dans l'invite de commande Talend.

Pour importer des objets dans un projet la commande est la suivante :

talend> importItems /rsTalenc/developpezProject.zip

Si vous voulez fermer la connexion au serveur tapez la commande stopServer ou faite un "Ctrl + A puis D" pourquittez la session screen sans la couper.

III-C-4 - Résolution des problèmes

Si vous avez des problèmes pour vous connecter en commandLine, pleins de messages d'erreurs... Relancez ledémon commandline ou supprimez le dossier commandline-workspace.

Page 14: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 14 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

# rm -Rf commandline-workspace

Si vous n'arrivez pas à vous connecter à la WebApp vérifiez que le démon Tomcat est bien lancé.

Si vous n'arrivez pas à exporter un projet, vérifiez la connexion à la base de données MySQL et au SVN.

Si vous rencontrez des problèmes pour ré-importer un projet, vérifiez que vous avez les droits nécessaire sur ce projet.

III-D - Job server

III-D-1 - Introduction

Job server est une application fournie avec TIS qui permet à la WebApp de déployer les jobs sur le serveur oùs'exécute ce job server.

Avant de commencer le déploiement du job server, vérifiez que Java JRE et JVM sont bien installés sur la machinequi l'exécutera.

III-D-2 - Configuration

Décompressez le dossier org.talend.remote.jobserver_xxx (xxx : la version) dans le dossier /rsTalend/jobserver quevous aurez préalablement créé (sur votre serveur) ou dans un dossier sous Windows où vous souhaitez exécuterun job.

• Pour un ordinateur s'exécutant sous Windows

Editez le fichier start_rs.bat.

Modifiez les valeurs des variables si nécessaire.

Editez maintenant le fichier conf/TalendJobServer.properties.

Modifiez les ports pour les variables :org.talend.remote.jobserver.server.TalendJobServer.COMMAND_SERVER_PORTorg.talend.remote.jobserver.server.TalendJobServer.FILE_SERVER_PORT=8001org.talend.remote.jobserver.server.TalendJobServer.MONITORING_PORT=8888si vous souhaitez que job serveur écoute sur d'autres ports.

Modifiez la variable org.talend.monitoring.jmx.api.OsInfoRetriever.OS_PARTITIONS. Cette variable permetd'indiquer les partitions présentes sur le serveur.Indiquez par exemple une valeur : C:,D: si vous avez deux partitions nommées C et D.

• Pour un ordinateur s'exécutant sous Linux

Editez le fichier start_rs.sh.

Modifiez les valeurs des variables si nécessaire.

Editez maintenant le fichier conf/TalendJobServer.properties.

Si vous êtes sur un Linux amd64 bits, changez la valeur de la variable MY_JSYSMON_LIB_DIR par"$MY_ROOT_PATH"/jsysmon-20061229/native/linux_2.6/amd64/

Page 15: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 15 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

Modifiez les ports pour les variables :org.talend.remote.jobserver.server.TalendJobServer.COMMAND_SERVER_PORTorg.talend.remote.jobserver.server.TalendJobServer.FILE_SERVER_PORT=8001org.talend.remote.jobserver.server.TalendJobServer.MONITORING_PORT=8888si vous souhaitez que job serveur écoute sur d'autres ports.

Modifiez la variable org.talend.monitoring.jmx.api.OsInfoRetriever.OS_PARTITIONS. Cette variable permetd'indiquer les partitions présentes sur le serveur.Indiquez par exemple une valeur : /,/dev,/home si vous avez trois partitions nommées /, dev et home.

Donnez maintenant les droits d'exécution sur les fichier start_rs.sh et stop_rs.sh.

III-D-3 - Déploiement

• Pour un ordinateur s'exécutant sous Linux

Ajoutez un nouveau démon "jobserver" comme dans le paragraphe III-A-3-b et collez les lignes suivantes :

# Script jobserveur## chkconfig: 345 91 10# description: Démarre et arrête le démon jobserver# . /etc/rc.d/init.d/functions user=usrtalendjobserver=/rsTalend/jobserver_3.0.1startup=start_rs.shshutdown=stop_rs.sh start(){ echo -n $"Starting joserver service: " su - $user -c "cd $jobserver && sh $startup &" RETVAL=$? echo} stop(){ echo -n $ "Stopping jobserver service: " su - $user -c "cd $jobserver && sh $shutdown" RETVAL=$? echo} restart() { stop start} case "$1" instart) start ;;stop) stop ;;restart) restart ;;*) echo $"Usage: $0 {start|stop|restart}" exit 1

Page 16: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 16 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

esac exit 0

Démarrez maintenant le démon jobserver avec la commande :

/etc/init.d/jobserver start

Pour arrêter le job server tapez la commande suivante

sh start_rs.sh

• Pour un ordinateur s'exécutant sous Windows

Double cliquez sur start_rs.bat pour lancer le job server. Une fenêtre d'invite de commande se lance. Laissez-làouverte jusqu'à ce que vous n'ayez plus besoins d'exécuter de job dessus à distance.

Si vous avez besoins d'arrêter le job server, double cliquez sur stop_rs.bat.

III-D-4 - Ajout d'un serveur dans la WebApp

Maintenant que le job server est exécuté, vous pouvez ajoutez ce serveur à la WebApp. Allez sur le site de la WebApp,connectez-vous avec un compte administrateur puis cliquez sur le lien [Server]. Cliquez sur le bouton [Add server]et remplissez les champs comme suivant :

Une fois ajouté, le serveur doit apparaître dans la liste des serveurs avec des étoiles comme ceci :

Tous les serveurs présent dans cette liste, pourrons être utilisés par la WebApp pour déployer et exécuter des jobs.

IV - Génération, déploiement et exécution d'un job

IV-A - Mode d'exécution

La partie [Job conductor] de la WebApp vous permet de gérer l'exécution de jobs à distance en tâche planifiée ou non.

Admettons que nous avions un job nommé createFileJob et que nous voulions l'exécuter sur le serveur de production :

Commencez par ajouter ce job comme tâche au job conducteur en cliquant sur le bouton [Add task]. Remplissezles champs comme suivant :

Une fois le job ajouté, il devrait apparaître dans la liste des tâches du job conducteur avec le statut "Ready togenerate". Cliquez maintenant sur le bouton [Generate].

A ce moment là, la WebApp va récupérer la dernière version du job grâce au SVN et le commandLine et générerune archive au format zip dans le dossier d'archive temporaire (/rsTalend/tmpTisArchive). Cette action peut durerassez longtemps mais quand elle sera finie, le statut de la tâche passera en "Ready to deploy". Cela signifie que la

Page 17: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 17 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

WebApp est prête à déployer le job sur le serveur de production, comme indiqué dans les paramètres du job, grâceau connecteur jmx du job server.

Cliquez sur le bouton [Deploy]. Après avoir transféré l'archive du job sur le serveur en question à savoir dans la partiejob serveur (ici /rsTalend/jobserver/TalendJobServersFiles/archiveJobs), elle est dé zippée dans le dossier repository.Les scripts sont maintenant disponibles pour l'exécution dans le dossier /rsTalend/jobserver/TalendJobServersFiles/repository/nom_du_job_identifiant/nom_du_job/lib. Vous avez dans ce dossier un *.bat et un *.sh pour lancer le jobsoit sur un serveur Linux soit sur un serveur Windows.

Maintenant que le statut est passé en "Ready to run", cliquez sur le bouton [Run]. La WebApp va lancer le job distantgrâce au job server et mettre le statut en [Running...]. Une fois le job terminé, le statut repassera en [Ready to run].

Vous pouvez alors voir les statistiques de l'exécution du job en allant dans l'onglet "Logs". Si un problème est survenudurant l'exécution du job, la colonne "Error status" se rempli et vous indique les causes de l'erreur.

ATTENTION : ne pas oublier de re-générer et redéployer un job qui a été modifié.

Maintenant que vous avez compris comment se déroule l'exécution d'un job vous pouvez ajouter un tâche planifiéesur ce job grâce au menu qui se trouve en dessous de la liste des jobs.

IV-B - Résolution des problèmes

• Après un clique sur [Generate] :

Connection to Generator failed : vérifiez que la commandLine est bien lancée en vous connectant avec le compteusrtalend puis en lançant la commande screen -r cmdLine. Si vous n'accédez pas au terminal, la commandLine n'estpas lancée ; sinon tapez la commande listCommand -a dans l'invite de commande talend> pour voir la dernière étapequi a généré une erreur pour corriger le problème.

Compilation error : comme son nom l'indique c'est un erreur de compilation lors de l'exportation du job grâce à lacommandline. Vérifiez le job en question et les sous jobs si celui-ci en contient (des fois les noms du job d'un tRunJobdisparaît...).

• Après un clique sur [Deploy] :

Connection to server failed : le job serveur sur le serveur de déploiement n'est pas en exécution. Allez dans la partie"Servers" de la WebApp pour voir l'état du serveur. Vérifiez aussi que le serveur à les ports 8001 à 8002 et 8888sont ouverts.

Sending error : vérifiez que l'utilisateur qui lance le démon jobserver a les droits nécessaires sur le dossier /rsTalend/jobserver/TalendJobServersFiles et les dossiers sous-jacents du serveur de déploiement.

• Après un clique sur [Run] Unexpected error, contact your administrator : vérifiez que votre job de comportepas d'erreurs en regardant dans l'onglet code de votre job dans le client TIS.

V - TIS Client en environnement Windows

V-A - Lancement

Double cliquez sur TISTE-win32-x86.exe. La fenêtre suivante doit alors s'afficher à l'écran.

Page 18: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 18 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

Cliquez sur le bouton [...] pour ajouter une connexion à un serveur. La fenêtre suivante doit s'afficher à l'écran :

Remplir les champs demandés à savoir :

• Repository : "local" pour développer un projet non collaboratif ou "remote" pour se connecter à une WebApp• Name : le nom que vous souhaitez donner à cette connexion.• Description : une description de cette nouvelle connexion• User E-mail : le login d'un compte TIS (mettez ce que vous souhaitez pour un développement local)• User Password : le mot de passe associé au compte (mettez ce que vous souhaitez pour un développement

local)• Url : ce champs s'affiche pour une connexion de type "remote", indiquez alors l'url de la WebApp.

Appuyez sur le bouton [OK]. Vous pouvez maintenant cliquer sur le bouton d'actualisation des projets poursélectionner votre projet.

Cliquez sur le bouton [Open] pour lancer TIS et le chargement du projet.

V-B - Paramétrage

Cliquez successivement sur Window > Préférences.

Page 19: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 19 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

Lorsque Talend importe le schéma d'une table d'une base de données, il se peut qu'il ne l'importe pas avec le bon typede données par exemple : lors de l'importation d'une table Oracle si une colonne est de type NUMBER, il l'importeraen tant que BigDecimal mais il est préférable de l'importer en Int ou Integer.Pour remédier à ce problème, vous avez la possibilité de changer les schémas d'import en cliquant successivementsur Talend > Metadata of TalendType. Double cliquez sur mapping_XXX.xml (où XXX le nom d'une base de données).Il suffit maintenant de changer l'ID du type de la colonne à modifier en mettant celui d'un autre qui est plus à mêmede correspondre.

V-C - Active Monitoring Control et Logs

L'AMC : Activity Monitoring Control, fournit des fonctions avancées de monitoring permettant de rassembler lesinformations de log collectées, de mieux comprendre le composant sous-jacent et l'exécution du job, en prévenantd'éventuelles erreurs et en renforçant les décisions en matière de gestion des systèmes.

Pour avoir un rendu graphique des logs, des statistiques et des mesures, il faut créer des tables dans une base dedonnées de votre choix où vous voulez sauvegarder ces informations.

Créez un job dans l'interface de TIS et ajoutez trois composants tCreateTable se situant dans l'onglet "Database"de la palette.

Configurez les trois composants comme suivant :

• Sélectionnez la base de données dans laquelle seront sauvegardés les logs d'activité. Choisir de préférenceune connexion du projet.

• Indiquez le nom de la table à créer dans le champ "Table name" à savoir STATS, LOGS, METERS.• Modifiez le schéma de la table à créer. Pour ne pas avoir à créer le schéma des 3 tables manuellement,

ajoutez les composants tLogCatcher, tFlowMeterCatcher, tStatCatcher du menu "Logs and Errors" de lapalette et copiez / collez dans le schéma de la table le schéma du composant catcher correspondant.

• Désactivez ou supprimez les 3 composants Catcher• Exécutez le job pour créer vos 3 tables.

Page 20: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 20 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

Avant toute chose créez un fichier nommé "license" sans extension dans le dossier du client TIS. Copiez le numérode licence AMC dans ce fichier et ne pas oublier pas de faire un retour chariot en fin de ligne.

Activez l'auto-refresh de la base de données en cliquant successivement sur Windows > Preferences > AMC etcochez la checkbox "Auto-refresh the database source".

Activez maintenant la sauvegarde en base de données en cliquant successivement sur Windows > Preferences >AMC > Data source Type. Cochez le radio-button "Database" et cliquez sur le bouton [Add]. Entrez un nom et cliquezsur le bouton [Next].

Remplissez les champs nécessaires à la connexion à votre base de données. Pour finir cliquez sur le bouton [Check]pour vérifier la connectivité avec le serveur Oracle et sur le bouton [Next].

Renseignez le nom des 3 tables AMC et cliquez sur le bouton [Finish].

Page 21: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 21 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

De retour dans la fenêtre de configuration de l'AMC, choisissez la connexion précédemment créée dans le menudéroulant "Database".

Pour terminer cliquez sur le bouton [OK].

Maintenant que les logs sont configurés, il s'agit d'indiquer à Talend d'utiliser cette configuration pour chaque job créé.

Cliquez successivement sur Windows > Preferences > Talend > Stats and Logs et remplissez les champs commesuivant :

• Cochez "On database"

Page 22: Installation Et Configuration Tis 3 0 1

Installation et configuration de Talend Integration Suite 3.0.1 par jsdarges

- 22 -http://jsdarges.developpez.com/tutoriels/installation-et-configuration-tis-3-0-1/

• Remplissez les champs pour la connexion à la base de données et ndiquez les tables STATS, LOGS andMETERS dans les champs correspondants.

VI - Liens utiles

Forum Talend.Tutoriels Talend.Nouveaux composants Talend.Installation de la version 2.4.3.

VII - Remerciements

Fleur-Anne Blain.