talend data mapper : simplifiez-vous l'intégration de sap !
Post on 22-Jan-2017
1.150 Views
Preview:
TRANSCRIPT
Copyright Synaltic 2015 1
DataMapper, Simplifiez-vous l’intégration de SAP
Talend Connect 2015
Copyright Synaltic 2015 2
Présentation
Pourquoi Talend ?
Le choix du DataMapper
Design Pattern de développements
Échanges avec SAP
Les Gains & Problèmes rencontrés
Conclusion
Sommaire
Copyright Synaltic 2015 3
Patrick N.Patrick N. est chef de projet pour un grand industriel. Après 15 années dédiées à déployer SAP en Belgique et en Europe, il se consacre au management du système d’information ainsi qu’à la gestion des processus et à l’amélioration continue. Il travaille actuellement en tant que Projects Manager pour l’implémentation Talend (DI et MDM).
Sébastien VanottiSébastien est en charge de la cellule expertise au sein de Synaltic Group. Il a développé de fortes compétences sur l’ensemble des briques Talend.
Présentation Intervenants
Copyright Synaltic 2015
Pourquoi Talend ?
Copyright Synaltic 2015 5
Choix à l’origine de la solution MDM :Agnostique quant au Master Data (Modèle générique)Vaste choix de connecteurs y compris SAPCoût
Migration de BIS SeeburgerOpportunité
Contexte initial du besoin
Copyright Synaltic 2015
Le choix du DataMapper
Copyright Synaltic 2015 7
Contexte SAP avec l’utilisation des IDOC Fichiers multi-structures à plat (positionnel ou XML) utilisés pour les interfaces
Plusieurs solutions proposées par la société TalendUne approche Data Integration classiqueL’utilisation du nouveau composant DataMapper (début 2014)
Un contexte SAP
Copyright Synaltic 2015 8
Très forte complexité à traiter ces fichiers en version DI (tXMLMap)
Première solution proposée par Talend : utilisation du tXMLMap
Copyright Synaltic 2015 9
Exemple de mapping à l’aide du DataMapper
Deuxième solution proposée : Le DataMapper (Mars 2014)
Copyright Synaltic 2015 10
Nouvelle brique logicielle rajoutée à la plateforme Talend (Version 5.5)Perspective dédiée, appelable depuis un composant tHMap en DI
ObjectifsManipuler des fichiers à structures complexe (hiérarchique, multi-boucles)
IDOCEDIFACTHL7X12
Types d’import possibles
Qu’est-ce que le DataMapper ?
Copyright Synaltic 2015 11
Réalisation d’un prototype par Talend en Mars 2014Prototype concluant
Migration de la version 5.4.1 vers la version 5.5.1 (Août 2014)Présence du DataMapper dans cette versionNouvelles fonctionnalités
Le DataMapper
Copyright Synaltic 2015 12
Intervention de Synaltic pour Expertise MDM & DI en Septembre 2014Forte expertise sur les domaines MDM et DI Expérience naissante sur le DataMapperSynaltic et le client acceptent de relever le challenge dans ce contexte
A la suite des premiers ateliers, le choix final s’est porté sur une solution hybride Data Integration et Data Mapper.
Orchestration de jobs en Data IntegrationAppel des mapping DataMapper à certains niveauxEnrichissements des données effectués en Data Integration
Le DataMapper & Synaltic
Copyright Synaltic 2015
Design Pattern de développements
Copyright Synaltic 2015 14
Mise en place d’une solution hybride : DataMapper + Data Integration
Palier à certaines absences de fonctionnalitésUtiliser les avantages des deux outilsLiaison entre les deux : le composant tHmap
Utilisation de demi-flux et de formats pivotsEvolutivité et adaptabilitéFaciliter la lisibilité et la maintenance
Approche choisie
Copyright Synaltic 2015 15
ORDER RESPONSE Confirmation de commande
DESADV Note d’envoi
ORDER Commande (vente et achat)
INVOICE Facture client
SUPPLIER INVOICE Facture fournisseur
Types de documents SAP
Copyright Synaltic 2015 16
Jobs d’interfaçage avec les différentes gateway (applications sources)
Découpage des traitements en plusieurs étapes Fichier texte vers format XML
Faciliter la lisibilitéFichier XML vers format Pivot (XML)
Format du type de documents + enrichissementUtilisation du composant tHMap
Pivot vers format de sortie attendu Transformation à l’aide du composant tHmap
Routing du fichier généré vers les environnements ciblesFTP, SAP, Répertoire réseau, Mail…
Archivage du fichier
Design de développement
Copyright Synaltic 2015 17
Etape spécifique : Fichier XML vers format PivotEnrichissement des données à l’aide de base de données (Oracle) ou SAP effectué en Data Integration
Instabilité à cette époque de l’utilisation de la base de données dans le datamapperCréation d’une joblet spécifique
Valorise les balises vides du format pivot avec des données provenant d’autres sources
Développement de classes Java spécifiques pour certaines transformations dans le DataMapper
Permet d’étendre les capacités du DataMapper
Spécificités
Copyright Synaltic 2015 18
Création d’une table de paramétrage permettant de « router » les fichiers générés vers une ou plusieurs cibles
Fonctionnement proche de l’ESB
Routage variable en fonction du clientPar exemple, le client1 est paramétré pour recevoir une facture sur sa plateforme dédiée, être notifié par mail (avec éventuellement fichier en pièce jointe) et peut être sur un serveur FTP d’archivage.
Amélioration de la maintenance et du suivi des éléments envoyés aux clients
Gestion Multicanal
Copyright Synaltic 2015 19
Mise en place d’un monitoring fonctionnelTables de monitoring spécifiques alimentées à l’aide des composants de log TalendGestion de mails d’alerte en cas d’erreurIndexation des données dans ElasticsearchTableaux de bord Kibana
Ajout d’une gestion de reprise d’erreur spécifique orientée document
Extension de la fonctionnalité d’origine de reprise sur erreur de TalendPossibilité de reprendre un document à n’importe quelle étape du traitement et dans l’état correspondant
Monitoring
Copyright Synaltic 2015 20
TALEND PLATFORM
ArchitectureGATEWAYS
RFC SERVER Clients et Fournisseur
s
SAP
RFC
Table
BAPIBases de données Oracle
TAC JobServer
Elastic/Kibana
Nexus
MDM
Copyright Synaltic 2015
Échanges avec SAP
Copyright Synaltic 2015 22
Dans le cadre du projet, la quasi-totalité des composants SAP disponibles dans la palette Talend ont été utilisés
Lecture table SAP (tSAPTableInput)
Appels BAPI (tSAPBAPI)
Push d’IDOC dans SAP (tSAPIDocOutput)
Problème rencontré avec le composant de lecture des IDOCSFormat du fichier XML récupéré non exploitableImpossibilité de le faire fonctionner avec le mode SNCToujours le cas même en version 5.6.1
SAP & Talend : Les composants
Copyright Synaltic 2015 23
Le contexte du projet nécessite l’utilisation d’une connexion sécurisée avec SAP, appelée SNC
Nécessite des paramétrages supplémentairesParamétrage avancé des composants SAP (propriétés spécifiques du driver JCO fourni par SAP)Paramétrage de l’utilitaire SAPCrypto fourni par SAP (installé sur le serveur Talend)Paramétrage des autorisations utilisateurs dans SAP
Difficultés rencontréesPeu de documentation sur la méthode à suivre pour le driver JCONombreuses briques à prendre à compte
SAP : Connexion sécurisée SNC
Copyright Synaltic 2015 24
Nouvelle brique logicielle de la version 5.6.2
Ajouté suite aux nombreuses demandes client sur SAPRéactivité de la part de Talend.
Permet de récupérer les IDOC provenant de SAP de manière aisée
Utilisation d’un nouveau composant dédié : tSAPIdocReceiver
Possibilité d’utiliser une connexion SNC
SAP & Talend : Le RFC Server
Copyright Synaltic 2015
Les Gains et Problèmes rencontrés
Copyright Synaltic 2015 26
ProjetsManque de connaissance du produit à remplacerDifficulté à accéder aux sources (BIS Seeburger)Montée en compétences difficile liée au changement technologique et au manque de documentation (DataMapper)
ProduitManque de documentation au démarrage du projetFaible intégration de l’outil dans Talend (en 5.5.1, lié à la récente acquisition du produit). Routines Talend non disponibles dans le DataMapperFormats requis non présents mais supportés (EDIFACT)
Les difficultés rencontrées
Copyright Synaltic 2015 27
FonctionnelsPossibilité d’évolution : capacité à satisfaire plus de demandesPossibilité d’étendre le spectre des activités grâce aux fonctionnalités Talend (ex. connexion SAP)
TechniquesPlateforme moderne, évolutive et performante Réappropriation des flux (Refactoring & lisibilité)Plus stable : Mise en place d’une Exploitation et Supervision (interface conviviale, suivi plus détaillé)
Les gains
Copyright Synaltic 2015
Conclusion
Copyright Synaltic 2015 29
Après X mois d’utilisation de Talend, nous le recommandons comme outil pour d’autres projets
Choix du DataMapper s’est avéré le bon choix
Réactivité de Talend sur l’implémentation de nouvelles fonctionnalités.
« Si un client aujourd’hui veut démarrer de l’interfaçage SAP Talend, il ne doit pas hésiter. La version 6 apporte des évolutions importantes qui rendent son utilisation plus aisée »
Conclusion
Copyright Synaltic 2015
Data Driven Approach
Questions / Réponses
Copyright Synaltic 2015
Data Driven Approach Merci de votre attention.
Contacts :contact@synaltic.frsvanotti@synaltic.fr
@synaltichttp://www.synaltic.fr
top related