missions difficultés bilan - jonathanhaehnel.fr · contexte missions difficultés bilan sommaire 1...
Post on 14-Oct-2020
0 Views
Preview:
TRANSCRIPT
ContexteMissions
DifficultésBilan
Soutenance de stage
HAEHNEL Jonathan
IUT Robert Schuman - LSIIT
19 juin 2011
Haehnel Jonathan Soutenance de stage 19 juin 2011 1/ 40
ContexteMissions
DifficultésBilan
Sommaire
1 Le Contexte
2 Mes missions
3 Difficultés rencontrées
4 Retour d’expérience
Haehnel Jonathan Soutenance de stage 19 juin 2011 2/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
L’entreprise
Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)
Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
L’entreprise
Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)
Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
L’entreprise
Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)
Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
L’entreprise
Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)
Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
L’entreprise
Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)
Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
L’entreprise
Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)
Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
La fouille de données
Qu’est ce que la fouille de données ?Processus de découverte de règles, de relations à travers unegrande quantité de données grâce à des méthodesautomatiques.
Domaines d’applicationMédecine, Télédétection, chimie,etc...
Haehnel Jonathan Soutenance de stage 19 juin 2011 4/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
La fouille de données
Qu’est ce que la fouille de données ?Processus de découverte de règles, de relations à travers unegrande quantité de données grâce à des méthodesautomatiques.
Domaines d’applicationMédecine, Télédétection, chimie,etc...
Haehnel Jonathan Soutenance de stage 19 juin 2011 4/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Illustration : les ilots
Haehnel Jonathan Soutenance de stage 19 juin 2011 5/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
L’existant
Un projet basé sur l’existant4 différents algorithmes déja implémentés4 différents logiciels
Il faudra donc :Beaucoup d’analyse avant le développementUn esprit d’intégration durant le développement
Haehnel Jonathan Soutenance de stage 19 juin 2011 6/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
L’existant
Un projet basé sur l’existant4 différents algorithmes déja implémentés4 différents logiciels
Il faudra donc :Beaucoup d’analyse avant le développementUn esprit d’intégration durant le développement
Haehnel Jonathan Soutenance de stage 19 juin 2011 6/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les besoins
Objectif du stageIl faut tester les différents algorithmes en faissant varier desparamètres initiaux.
Pourquoi tester ?LSIIT : création et implémentation de la Cardinalisation etdes QuantilesDéterminer les points forts de ces deux algorithmes parrapport aux algorithmes déjà reconnus.Evolution de certaines caractéristiques (temps d’exécution,précision, poid, etc..)
Haehnel Jonathan Soutenance de stage 19 juin 2011 7/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les besoins
Objectif du stageIl faut tester les différents algorithmes en faissant varier desparamètres initiaux.
Pourquoi tester ?LSIIT : création et implémentation de la Cardinalisation etdes QuantilesDéterminer les points forts de ces deux algorithmes parrapport aux algorithmes déjà reconnus.Evolution de certaines caractéristiques (temps d’exécution,précision, poid, etc..)
Haehnel Jonathan Soutenance de stage 19 juin 2011 7/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les besoins
Objectif du stageIl faut tester les différents algorithmes en faissant varier desparamètres initiaux.
Pourquoi tester ?LSIIT : création et implémentation de la Cardinalisation etdes QuantilesDéterminer les points forts de ces deux algorithmes parrapport aux algorithmes déjà reconnus.Evolution de certaines caractéristiques (temps d’exécution,précision, poid, etc..)
Haehnel Jonathan Soutenance de stage 19 juin 2011 7/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les besoins
Objectif du stageIl faut tester les différents algorithmes en faissant varier desparamètres initiaux.
Pourquoi tester ?LSIIT : création et implémentation de la Cardinalisation etdes QuantilesDéterminer les points forts de ces deux algorithmes parrapport aux algorithmes déjà reconnus.Evolution de certaines caractéristiques (temps d’exécution,précision, poid, etc..)
Haehnel Jonathan Soutenance de stage 19 juin 2011 7/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les algorithmes
La cardinalisation, Relaggs, la Discrétisation et les Quantiles.Implémentant le mécanisme de propositionnalisation, qui enfait, permet le passage de plusieurs tables relationnelles à uneseule table.
Pourquoi ?Algorithmes travaillant avec une seule table en entrée.Pas toujours le cas en fouille de données.
Haehnel Jonathan Soutenance de stage 19 juin 2011 8/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les algorithmes
La cardinalisation, Relaggs, la Discrétisation et les Quantiles.Implémentant le mécanisme de propositionnalisation, qui enfait, permet le passage de plusieurs tables relationnelles à uneseule table.
Pourquoi ?Algorithmes travaillant avec une seule table en entrée.Pas toujours le cas en fouille de données.
Haehnel Jonathan Soutenance de stage 19 juin 2011 8/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les logiciels
Proper :Transforme deux tables en une seule.Lancement et Configuration des algorithmes
Weka Explorer :Evalue la table résultat de ProperConstruit l’arbre de décision
DataGenerator :Peu de données réellesGénérateur aléatoire de données
DataDiscretizor : implémente l’algorithme de discrétisation
Haehnel Jonathan Soutenance de stage 19 juin 2011 9/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les logiciels
Proper :Transforme deux tables en une seule.Lancement et Configuration des algorithmes
Weka Explorer :Evalue la table résultat de ProperConstruit l’arbre de décision
DataGenerator :Peu de données réellesGénérateur aléatoire de données
DataDiscretizor : implémente l’algorithme de discrétisation
Haehnel Jonathan Soutenance de stage 19 juin 2011 9/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les logiciels
Proper :Transforme deux tables en une seule.Lancement et Configuration des algorithmes
Weka Explorer :Evalue la table résultat de ProperConstruit l’arbre de décision
DataGenerator :Peu de données réellesGénérateur aléatoire de données
DataDiscretizor : implémente l’algorithme de discrétisation
Haehnel Jonathan Soutenance de stage 19 juin 2011 9/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les logiciels
Proper :Transforme deux tables en une seule.Lancement et Configuration des algorithmes
Weka Explorer :Evalue la table résultat de ProperConstruit l’arbre de décision
DataGenerator :Peu de données réellesGénérateur aléatoire de données
DataDiscretizor : implémente l’algorithme de discrétisation
Haehnel Jonathan Soutenance de stage 19 juin 2011 9/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Concrêtement...
Haehnel Jonathan Soutenance de stage 19 juin 2011 10/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Comment cela marche ? (processus)
Haehnel Jonathan Soutenance de stage 19 juin 2011 11/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Comment cela marche ? (processus)
Haehnel Jonathan Soutenance de stage 19 juin 2011 12/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Comment cela marche ? (processus)
Haehnel Jonathan Soutenance de stage 19 juin 2011 13/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Comment cela marche ? (processus)
Haehnel Jonathan Soutenance de stage 19 juin 2011 14/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Comment cela marche ? (processus)
Haehnel Jonathan Soutenance de stage 19 juin 2011 15/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Comment cela marche ? (manipulation)
Haehnel Jonathan Soutenance de stage 19 juin 2011 16/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Peut-on le faire à la main ? (manipulation)
Haehnel Jonathan Soutenance de stage 19 juin 2011 17/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Peut-on le faire à la main ? (manipulation)
Haehnel Jonathan Soutenance de stage 19 juin 2011 18/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Peut-on le faire à la main ? (manipulation)
Haehnel Jonathan Soutenance de stage 19 juin 2011 19/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Peut-on le faire à la main ? (manipulation)
Haehnel Jonathan Soutenance de stage 19 juin 2011 20/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Peut-on le faire à la main ? (manipulation)
Haehnel Jonathan Soutenance de stage 19 juin 2011 21/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les besoins
Pourquoi automatiser les tests ?Possible de faire un test manuellement, mais :
Très longTrès répétitifBeaucoup de manipulation entre logicielsSource d’erreurs
Avec un automate/logiciel, c’est :RapideSûrPrêt à être interprétéFiable (plusieurs supports) et évolutif
Haehnel Jonathan Soutenance de stage 19 juin 2011 22/ 40
ContexteMissions
DifficultésBilan
LSIITBesoinsExistantAnalyse
Les besoins
Pourquoi automatiser les tests ?Possible de faire un test manuellement, mais :
Très longTrès répétitifBeaucoup de manipulation entre logicielsSource d’erreurs
Avec un automate/logiciel, c’est :RapideSûrPrêt à être interprétéFiable (plusieurs supports) et évolutif
Haehnel Jonathan Soutenance de stage 19 juin 2011 22/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
Modification ergonomique de Proper (1 semaine)
Objectif de la missionRendre l’interface de choix d’une base de données, d’une table etd’un champs plus pratique à utiliser.
Haehnel Jonathan Soutenance de stage 19 juin 2011 23/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : le script
Implémente le processus de test
Haehnel Jonathan Soutenance de stage 19 juin 2011 24/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : le script
Effectue toutes les mesures.
Haehnel Jonathan Soutenance de stage 19 juin 2011 25/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : le script
Effectue toutes les mesures.
Haehnel Jonathan Soutenance de stage 19 juin 2011 26/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : le script
Effectue toutes les mesures.
11 classes - 2 packages Java.
Haehnel Jonathan Soutenance de stage 19 juin 2011 27/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : l’interface graphique
Améliore la convivialité.Découpage en 3 grands axes.
Haehnel Jonathan Soutenance de stage 19 juin 2011 28/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : l’interface graphique (configuration)
Haehnel Jonathan Soutenance de stage 19 juin 2011 29/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : l’interface graphique
Améliore la convivialité.Découpage en 3 grands axes.
Haehnel Jonathan Soutenance de stage 19 juin 2011 30/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : l’interface graphique (execution)
Haehnel Jonathan Soutenance de stage 19 juin 2011 31/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : l’interface graphique
Améliore la convivialité.Découpage en 3 grands axes.
Haehnel Jonathan Soutenance de stage 19 juin 2011 32/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : l’interface graphique (visualisation)
Haehnel Jonathan Soutenance de stage 19 juin 2011 33/ 40
ContexteMissions
DifficultésBilan
Rénovation de ProperDéveloppement de DataTester
DataTester : l’interface graphique
Plusieurs modes d’utilisation (GUI/Console/Avancée)
Haehnel Jonathan Soutenance de stage 19 juin 2011 34/ 40
ContexteMissions
DifficultésBilan
Difficultés rencontrées
Un projet informatique...n’est pas un long fleuve tranquille.
Un contexte avec des concepts complexesIntégration difficile des logiciels dans mon applicationUn cahier des charges parfois trop évolutif
Haehnel Jonathan Soutenance de stage 19 juin 2011 35/ 40
ContexteMissions
DifficultésBilan
Difficultés rencontrées
Un projet informatique...n’est pas un long fleuve tranquille.
Un contexte avec des concepts complexesIntégration difficile des logiciels dans mon applicationUn cahier des charges parfois trop évolutif
Haehnel Jonathan Soutenance de stage 19 juin 2011 35/ 40
ContexteMissions
DifficultésBilan
Difficultés rencontrées
Un projet informatique...n’est pas un long fleuve tranquille.
Un contexte avec des concepts complexesIntégration difficile des logiciels dans mon applicationUn cahier des charges parfois trop évolutif
Haehnel Jonathan Soutenance de stage 19 juin 2011 35/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan technique
Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)
Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan technique
Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)
Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan technique
Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)
Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan technique
Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)
Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan technique
Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)
Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan technique
Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)
Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan humain
Découverte du milieu de la recherchePas de cahier des charges fixePerpétuel prototypeMeilleure compréhension de la fouille de données et de cesconcepts.Esprit d’initiative et autonomie
Haehnel Jonathan Soutenance de stage 19 juin 2011 37/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan humain
Découverte du milieu de la recherchePas de cahier des charges fixePerpétuel prototypeMeilleure compréhension de la fouille de données et de cesconcepts.Esprit d’initiative et autonomie
Haehnel Jonathan Soutenance de stage 19 juin 2011 37/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan humain
Découverte du milieu de la recherchePas de cahier des charges fixePerpétuel prototypeMeilleure compréhension de la fouille de données et de cesconcepts.Esprit d’initiative et autonomie
Haehnel Jonathan Soutenance de stage 19 juin 2011 37/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan humain
Découverte du milieu de la recherchePas de cahier des charges fixePerpétuel prototypeMeilleure compréhension de la fouille de données et de cesconcepts.Esprit d’initiative et autonomie
Haehnel Jonathan Soutenance de stage 19 juin 2011 37/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Bilan humain
Découverte du milieu de la recherchePas de cahier des charges fixePerpétuel prototypeMeilleure compréhension de la fouille de données et de cesconcepts.Esprit d’initiative et autonomie
Haehnel Jonathan Soutenance de stage 19 juin 2011 37/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Fin de la présentation
Merci de votre attention !
Haehnel Jonathan Soutenance de stage 19 juin 2011 38/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Les algorithmes (2)
RELAGGS Pour chaque îlot, on effectue des statistiques.
Discretisation Pour chaque îlot, on cherche combien de bâtimentsont une aire supérieure et inférieure à une airedonnée.
Haehnel Jonathan Soutenance de stage 19 juin 2011 39/ 40
ContexteMissions
DifficultésBilan
Bilan techniqueBilan humain
Les algorithmes (3)
Quantiles Pour chaque îlot, on cherche le nombre de batimentscontenus dans une intervalle donnée.
Cardinalisation ...
Haehnel Jonathan Soutenance de stage 19 juin 2011 40/ 40
top related