ContexteMissions

DifficultésBilan

Soutenance de stage

HAEHNEL Jonathan

IUT Robert Schuman - LSIIT

19 juin 2011

Haehnel Jonathan Soutenance de stage 19 juin 2011 1/ 40

ContexteMissions

DifficultésBilan

Sommaire

1 Le Contexte

2 Mes missions

3 Difficultés rencontrées

4 Retour d’expérience

Haehnel Jonathan Soutenance de stage 19 juin 2011 2/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

L’entreprise

Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)

Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

L’entreprise

Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)

Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

L’entreprise

Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)

Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

L’entreprise

Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)

Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

L’entreprise

Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)

Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

L’entreprise

Stage au Laboratoire de la Science de l’Image, del’Informatique et de la Télédétection à Illkirch, du 11 avril au18 juin 2011Laboratoire de recherche multi-diciplinairesL’image au coeur des préoccupationsEffectif de 174 personnes dans 7 équipesIntégration dans l’équipe de Fouille de Données etBioinformatique Théorique (8 perm.)

Haehnel Jonathan Soutenance de stage 19 juin 2011 3/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

La fouille de données

Qu’est ce que la fouille de données ?Processus de découverte de règles, de relations à travers unegrande quantité de données grâce à des méthodesautomatiques.

Domaines d’applicationMédecine, Télédétection, chimie,etc...

Haehnel Jonathan Soutenance de stage 19 juin 2011 4/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

La fouille de données

Qu’est ce que la fouille de données ?Processus de découverte de règles, de relations à travers unegrande quantité de données grâce à des méthodesautomatiques.

Domaines d’applicationMédecine, Télédétection, chimie,etc...

Haehnel Jonathan Soutenance de stage 19 juin 2011 4/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Illustration : les ilots

Haehnel Jonathan Soutenance de stage 19 juin 2011 5/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

L’existant

Un projet basé sur l’existant4 différents algorithmes déja implémentés4 différents logiciels

Il faudra donc :Beaucoup d’analyse avant le développementUn esprit d’intégration durant le développement

Haehnel Jonathan Soutenance de stage 19 juin 2011 6/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

L’existant

Un projet basé sur l’existant4 différents algorithmes déja implémentés4 différents logiciels

Il faudra donc :Beaucoup d’analyse avant le développementUn esprit d’intégration durant le développement

Haehnel Jonathan Soutenance de stage 19 juin 2011 6/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les besoins

Objectif du stageIl faut tester les différents algorithmes en faissant varier desparamètres initiaux.

Pourquoi tester ?LSIIT : création et implémentation de la Cardinalisation etdes QuantilesDéterminer les points forts de ces deux algorithmes parrapport aux algorithmes déjà reconnus.Evolution de certaines caractéristiques (temps d’exécution,précision, poid, etc..)

Haehnel Jonathan Soutenance de stage 19 juin 2011 7/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les besoins

Objectif du stageIl faut tester les différents algorithmes en faissant varier desparamètres initiaux.

Pourquoi tester ?LSIIT : création et implémentation de la Cardinalisation etdes QuantilesDéterminer les points forts de ces deux algorithmes parrapport aux algorithmes déjà reconnus.Evolution de certaines caractéristiques (temps d’exécution,précision, poid, etc..)

Haehnel Jonathan Soutenance de stage 19 juin 2011 7/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les besoins

Objectif du stageIl faut tester les différents algorithmes en faissant varier desparamètres initiaux.

Pourquoi tester ?LSIIT : création et implémentation de la Cardinalisation etdes QuantilesDéterminer les points forts de ces deux algorithmes parrapport aux algorithmes déjà reconnus.Evolution de certaines caractéristiques (temps d’exécution,précision, poid, etc..)

Haehnel Jonathan Soutenance de stage 19 juin 2011 7/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les besoins

Objectif du stageIl faut tester les différents algorithmes en faissant varier desparamètres initiaux.

Pourquoi tester ?LSIIT : création et implémentation de la Cardinalisation etdes QuantilesDéterminer les points forts de ces deux algorithmes parrapport aux algorithmes déjà reconnus.Evolution de certaines caractéristiques (temps d’exécution,précision, poid, etc..)

Haehnel Jonathan Soutenance de stage 19 juin 2011 7/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les algorithmes

La cardinalisation, Relaggs, la Discrétisation et les Quantiles.Implémentant le mécanisme de propositionnalisation, qui enfait, permet le passage de plusieurs tables relationnelles à uneseule table.

Pourquoi ?Algorithmes travaillant avec une seule table en entrée.Pas toujours le cas en fouille de données.

Haehnel Jonathan Soutenance de stage 19 juin 2011 8/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les algorithmes

La cardinalisation, Relaggs, la Discrétisation et les Quantiles.Implémentant le mécanisme de propositionnalisation, qui enfait, permet le passage de plusieurs tables relationnelles à uneseule table.

Pourquoi ?Algorithmes travaillant avec une seule table en entrée.Pas toujours le cas en fouille de données.

Haehnel Jonathan Soutenance de stage 19 juin 2011 8/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les logiciels

Proper :Transforme deux tables en une seule.Lancement et Configuration des algorithmes

Weka Explorer :Evalue la table résultat de ProperConstruit l’arbre de décision

DataGenerator :Peu de données réellesGénérateur aléatoire de données

DataDiscretizor : implémente l’algorithme de discrétisation

Haehnel Jonathan Soutenance de stage 19 juin 2011 9/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les logiciels

Proper :Transforme deux tables en une seule.Lancement et Configuration des algorithmes

Weka Explorer :Evalue la table résultat de ProperConstruit l’arbre de décision

DataGenerator :Peu de données réellesGénérateur aléatoire de données

DataDiscretizor : implémente l’algorithme de discrétisation

Haehnel Jonathan Soutenance de stage 19 juin 2011 9/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les logiciels

Proper :Transforme deux tables en une seule.Lancement et Configuration des algorithmes

Weka Explorer :Evalue la table résultat de ProperConstruit l’arbre de décision

DataGenerator :Peu de données réellesGénérateur aléatoire de données

DataDiscretizor : implémente l’algorithme de discrétisation

Haehnel Jonathan Soutenance de stage 19 juin 2011 9/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les logiciels

Proper :Transforme deux tables en une seule.Lancement et Configuration des algorithmes

Weka Explorer :Evalue la table résultat de ProperConstruit l’arbre de décision

DataGenerator :Peu de données réellesGénérateur aléatoire de données

DataDiscretizor : implémente l’algorithme de discrétisation

Haehnel Jonathan Soutenance de stage 19 juin 2011 9/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Concrêtement...

Haehnel Jonathan Soutenance de stage 19 juin 2011 10/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Comment cela marche ? (processus)

Haehnel Jonathan Soutenance de stage 19 juin 2011 11/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Comment cela marche ? (processus)

Haehnel Jonathan Soutenance de stage 19 juin 2011 12/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Comment cela marche ? (processus)

Haehnel Jonathan Soutenance de stage 19 juin 2011 13/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Comment cela marche ? (processus)

Haehnel Jonathan Soutenance de stage 19 juin 2011 14/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Comment cela marche ? (processus)

Haehnel Jonathan Soutenance de stage 19 juin 2011 15/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Comment cela marche ? (manipulation)

Haehnel Jonathan Soutenance de stage 19 juin 2011 16/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Peut-on le faire à la main ? (manipulation)

Haehnel Jonathan Soutenance de stage 19 juin 2011 17/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Peut-on le faire à la main ? (manipulation)

Haehnel Jonathan Soutenance de stage 19 juin 2011 18/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Peut-on le faire à la main ? (manipulation)

Haehnel Jonathan Soutenance de stage 19 juin 2011 19/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Peut-on le faire à la main ? (manipulation)

Haehnel Jonathan Soutenance de stage 19 juin 2011 20/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Peut-on le faire à la main ? (manipulation)

Haehnel Jonathan Soutenance de stage 19 juin 2011 21/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les besoins

Pourquoi automatiser les tests ?Possible de faire un test manuellement, mais :

Très longTrès répétitifBeaucoup de manipulation entre logicielsSource d’erreurs

Avec un automate/logiciel, c’est :RapideSûrPrêt à être interprétéFiable (plusieurs supports) et évolutif

Haehnel Jonathan Soutenance de stage 19 juin 2011 22/ 40

ContexteMissions

DifficultésBilan

LSIITBesoinsExistantAnalyse

Les besoins

Pourquoi automatiser les tests ?Possible de faire un test manuellement, mais :

Très longTrès répétitifBeaucoup de manipulation entre logicielsSource d’erreurs

Avec un automate/logiciel, c’est :RapideSûrPrêt à être interprétéFiable (plusieurs supports) et évolutif

Haehnel Jonathan Soutenance de stage 19 juin 2011 22/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

Modification ergonomique de Proper (1 semaine)

Objectif de la missionRendre l’interface de choix d’une base de données, d’une table etd’un champs plus pratique à utiliser.

Haehnel Jonathan Soutenance de stage 19 juin 2011 23/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : le script

Implémente le processus de test

Haehnel Jonathan Soutenance de stage 19 juin 2011 24/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : le script

Effectue toutes les mesures.

Haehnel Jonathan Soutenance de stage 19 juin 2011 25/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : le script

Effectue toutes les mesures.

Haehnel Jonathan Soutenance de stage 19 juin 2011 26/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : le script

Effectue toutes les mesures.

11 classes - 2 packages Java.

Haehnel Jonathan Soutenance de stage 19 juin 2011 27/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : l’interface graphique

Améliore la convivialité.Découpage en 3 grands axes.

Haehnel Jonathan Soutenance de stage 19 juin 2011 28/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : l’interface graphique (configuration)

Haehnel Jonathan Soutenance de stage 19 juin 2011 29/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : l’interface graphique

Améliore la convivialité.Découpage en 3 grands axes.

Haehnel Jonathan Soutenance de stage 19 juin 2011 30/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : l’interface graphique (execution)

Haehnel Jonathan Soutenance de stage 19 juin 2011 31/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : l’interface graphique

Améliore la convivialité.Découpage en 3 grands axes.

Haehnel Jonathan Soutenance de stage 19 juin 2011 32/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : l’interface graphique (visualisation)

Haehnel Jonathan Soutenance de stage 19 juin 2011 33/ 40

ContexteMissions

DifficultésBilan

Rénovation de ProperDéveloppement de DataTester

DataTester : l’interface graphique

Plusieurs modes d’utilisation (GUI/Console/Avancée)

Haehnel Jonathan Soutenance de stage 19 juin 2011 34/ 40

ContexteMissions

DifficultésBilan

Difficultés rencontrées

Un projet informatique...n’est pas un long fleuve tranquille.

Un contexte avec des concepts complexesIntégration difficile des logiciels dans mon applicationUn cahier des charges parfois trop évolutif

Haehnel Jonathan Soutenance de stage 19 juin 2011 35/ 40

ContexteMissions

DifficultésBilan

Difficultés rencontrées

Un projet informatique...n’est pas un long fleuve tranquille.

Un contexte avec des concepts complexesIntégration difficile des logiciels dans mon applicationUn cahier des charges parfois trop évolutif

Haehnel Jonathan Soutenance de stage 19 juin 2011 35/ 40

ContexteMissions

DifficultésBilan

Difficultés rencontrées

Un projet informatique...n’est pas un long fleuve tranquille.

Un contexte avec des concepts complexesIntégration difficile des logiciels dans mon applicationUn cahier des charges parfois trop évolutif

Haehnel Jonathan Soutenance de stage 19 juin 2011 35/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan technique

Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)

Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan technique

Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)

Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan technique

Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)

Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan technique

Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)

Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan technique

Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)

Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan technique

Gros travail d’analyse possible grâce à une bonne modélisation(UML)Perfectionnement en POO JavaLibrairies Swing et JDBCRéalisation de diagrammes avec JFreeChartNouveaux logiciels : Eclipse, PgAdminIII, Weka et Proper.Apprentissage du LaTeX pour le rapport et la présentation(Beamer)

Haehnel Jonathan Soutenance de stage 19 juin 2011 36/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan humain

Découverte du milieu de la recherchePas de cahier des charges fixePerpétuel prototypeMeilleure compréhension de la fouille de données et de cesconcepts.Esprit d’initiative et autonomie

Haehnel Jonathan Soutenance de stage 19 juin 2011 37/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan humain

Découverte du milieu de la recherchePas de cahier des charges fixePerpétuel prototypeMeilleure compréhension de la fouille de données et de cesconcepts.Esprit d’initiative et autonomie

Haehnel Jonathan Soutenance de stage 19 juin 2011 37/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan humain

Découverte du milieu de la recherchePas de cahier des charges fixePerpétuel prototypeMeilleure compréhension de la fouille de données et de cesconcepts.Esprit d’initiative et autonomie

Haehnel Jonathan Soutenance de stage 19 juin 2011 37/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan humain

Découverte du milieu de la recherchePas de cahier des charges fixePerpétuel prototypeMeilleure compréhension de la fouille de données et de cesconcepts.Esprit d’initiative et autonomie

Haehnel Jonathan Soutenance de stage 19 juin 2011 37/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Bilan humain

Découverte du milieu de la recherchePas de cahier des charges fixePerpétuel prototypeMeilleure compréhension de la fouille de données et de cesconcepts.Esprit d’initiative et autonomie

Haehnel Jonathan Soutenance de stage 19 juin 2011 37/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Fin de la présentation

Merci de votre attention !

Haehnel Jonathan Soutenance de stage 19 juin 2011 38/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Les algorithmes (2)

RELAGGS Pour chaque îlot, on effectue des statistiques.

Discretisation Pour chaque îlot, on cherche combien de bâtimentsont une aire supérieure et inférieure à une airedonnée.

Haehnel Jonathan Soutenance de stage 19 juin 2011 39/ 40

ContexteMissions

DifficultésBilan

Bilan techniqueBilan humain

Les algorithmes (3)

Quantiles Pour chaque îlot, on cherche le nombre de batimentscontenus dans une intervalle donnée.

Cardinalisation ...

Haehnel Jonathan Soutenance de stage 19 juin 2011 40/ 40