fme et le cloud : nouvelles méthodes de travail et …...nouveaux modèles economiques prestataire...
TRANSCRIPT
![Page 1: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/1.jpg)
FME et le Cloud :Nouvelles méthodes
de travailet nouveaux modèles
économiquesOlivier Gayte - Veremes
![Page 2: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/2.jpg)
Nouvelles méthodesde travail
![Page 3: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/3.jpg)
1. Les données
![Page 4: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/4.jpg)
Jeux de données sur AWS
● Via Reader FME
○ Sentinel-2
○ Landsat 8
○ Terrain Tiles
● Via S3downloader ou autre
○ Atmospheric Modelsfrom Météo-France
○ Open City Model (OCM)
○ OpenStreetMap on AWS
○ …
● https://aws.amazon.com/fr/earth/
![Page 5: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/5.jpg)
Exemple : inondations Aude 10/2018
● Modèle 3D pdf
● Sources
○ Terrain Tiles on AWS
○ Sentinel-2 on AWS
○ SPC Méditerranée + cd11
![Page 6: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/6.jpg)
Exemple : inondations Aude 10/2018
![Page 7: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/7.jpg)
2. La puissance
![Page 8: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/8.jpg)
Besoins de puissance
● Gros volumes de données● Traitement d’images● 3D● Traitements parallélisés● Apprentissage (deep learning)● …
![Page 9: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/9.jpg)
Dans le cloud on peut…
● Louer une machine pour quelques heures■ 2 à 128 vCPU■ 0,5 à 1952 Go RAM
● Profiter des bonnes occases : Spot
![Page 10: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/10.jpg)
Bonne pratique
![Page 11: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/11.jpg)
Environnement de travail FME
![Page 12: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/12.jpg)
Choisir sa machine pour un traitement FME● Critères de choix
○ Processeur○ vCPU
■ 2 à 128○ RAM
■ 0,5 à 1952 Go○ Disque
■ hdd, ssd, NVMe ssd, gp2 ou iops○ Réseau
■ -> 25 Gbits/s
![Page 13: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/13.jpg)
Exemple : Production de Mosaïque de la France● Source
○ Sentinel2 sur AWS○ Canal Truecolor (rgb), résolution 10m○ 4 systèmes de projection utm 29-30-31-33○ 237 tuiles, total 9,2 Go jp2
● Résultat○ 1 image jp2 de 3,7 Go○ 14.10e9 pixels○ Lambert93
● Téléchargement / WMS :https://s3.eu-west-3.amazonaws.com/veremes-public/france.jp2https://demo.veremes.net/wms/public/france_sentinel2_10m_l93_2019
![Page 14: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/14.jpg)
Exemple : Production de Mosaïque de la France● Conception des traitements, préparation des données, test
○ EC2 Burst T3 Medium○ 4 Go RAM
● Production de la mosaïque○ Instance linux EC2 R5.4xlarge 128 Go RAM - 16 vCPU○ Intel Xeon Platinum 8175, disque 1To○ Durée traitement : 12h05○ Tarif à la demande : 1,184 euro/heure○ Tarif Spot : 0,268 euro/heure
![Page 15: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/15.jpg)
Travailler à distance avec FME
● MS-Windows
○ RDP Bureau à distance
● Linux
○ Terminal X
○ https://www.veremes.com/travailler -avec-fme-workbench-sous-linux
![Page 16: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/16.jpg)
3. Les services
![Page 17: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/17.jpg)
3. Les servicesStockage
S3, RDS, DynamoDB, Aurora, Redshift
Requêtage, Big DataEMR, Redshift, Athena
IASageMaker, Rekognition
![Page 18: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/18.jpg)
Athena● Service de requêtage
![Page 19: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/19.jpg)
Exemple : requêtage OSM par Athena *
● Base OpenStreetMap (Planet)
○ 45 Go PBF / 3 à 5 To en Postgis
● Base OSM sur AWS
○ OSM PBF -> Apache ORC
* https://aws.amazon.com/fr/blogs/big-data/querying-openstreetmap-with-amazon-athena/
![Page 20: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/20.jpg)
Exemple 1 : requêtage OSM par AWS-Athena
● Initialisation dans la console AWS-Athena
![Page 21: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/21.jpg)
Exemple 1 : requêtage OSM par AWS -Athena
● Requête SQL dans FME
![Page 22: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/22.jpg)
Exemple 1 : requêtage OSM par AWS -Athena
● Recherche des hydrants à Lyon
![Page 23: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/23.jpg)
Athena
● Facturation au To parcouru
● Suivi de la consommation dans la console Athena
![Page 24: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/24.jpg)
Exemple 2 : AWS - Rekognition
● Service de reconnaissance d’image
![Page 25: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/25.jpg)
Exemple 2 : AWS - Rekognition
![Page 26: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/26.jpg)
Nouveaux ModèlesEconomiques
![Page 27: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/27.jpg)
Prestataire Utilisateur
Développement Investit (logiciel et infrastructure)Exploite
Maintenance Entretient
Prestataire Utilisateur
Service en ligneLogiciel, infrastructure, maintenance, exploitation
LoueConsomme
Modèle traditionnel
Modèle SaaS
![Page 28: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/28.jpg)
FME Cloud
● Déploiement instances FME ServerInfrastructure AWS2 cœurs 4 Go RAM -> 48 cœurs 192 Go RAMNombre de moteurs illimitéA l’heure ou par an
● Utilisable pour un usage commercial
![Page 29: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/29.jpg)
Exemple 1 :MyRécépissé
![Page 30: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/30.jpg)
My RécépisséEditeur : Groupe NAT
ServiceRéponse automatique aux DT/DICT
ClientsExploitants de réseaux (eau, télécom…)
![Page 31: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/31.jpg)
My RécépisséVersion On-Premise1 instance par client
![Page 32: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/32.jpg)
My RécépisséVersion Cloud1 instance pour tous les clients
Limite les coûts de maintenance et exploitationOffre commerciale pour les petites structures
![Page 33: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/33.jpg)
Exemple 2 :gtfOnline
![Page 34: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/34.jpg)
gtfOnlineEditeur : Veremes
ServiceAccès en ligne à des traitements FME par GTF
Plateforme mutualisée (AWS)
Traitements et données privés
![Page 35: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/35.jpg)
Un modèle à 3 acteurs
UtilisateurBesoin de traitement en ligne
ConcepteurDéveloppe un traitement FME Desktop
Exploitant (Veremes)Fournit l’infrastructure (AWS) et licences (GTF, FME Cloud)Publie le traitement sur FME Cloud
![Page 36: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/36.jpg)
Exemple : graceTHD Checker
Utilisateur
Concepteur
Exploitant
![Page 37: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/37.jpg)
Conclusion
● FME et cloud : 2 technologies complémentaires
● Long travail d’éducation et de formation
● Veremes est à vos côtés
![Page 38: FME et le Cloud : Nouvelles méthodes de travail et …...Nouveaux Modèles Economiques Prestataire Utilisateur Développement Investit (logiciel et infrastructure) Exploite Maintenance](https://reader036.vdocuments.fr/reader036/viewer/2022071101/5fd9e72ea7c71e410505def5/html5/thumbnails/38.jpg)
Merci !