l'évaluation individuelle des chercheurs: du bon usage de la
TRANSCRIPT
L’évaluation individuelle des chercheurs:du bon usage de la bibliométrie
Denis Jérome
Laboratoire de Physique des Solides, Université Paris-Sud, Orsay
URFIST Avril 2011
Université Paris-Sud, Orsay
Académie des [email protected]
Réflexions de l’Académie des Sciences sur l’évaluation des chercheurs et enseignants-
chercheurs
1er rapport: 8 Juillet 2009
URFIST Avril 2011
1er rapport: 8 Juillet 2009Evaluation individuelle des enseignants-chercheurs et des chercheurs en sciences exactes et expérimentales
2ème rapport: 17 Janvier 2011Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs
http://www.academie-sciences.fr/activite/rapport/rapport080709.pdf
http://www.academie-sciences.fr/activite/rapport/avis170111.pdf
Evaluation chercheurs et enseignants-chercheurs
URFIST Avril 2011
URFIST Avril 2011
Compétence, transparence et éthique
BibliométrieN’est pas une étude scientifique détaillée par des professionnels du domaine
URFIST Avril 2011
Importance de l’évaluation par les pairs et ses limites
L’importance des pairs pour apprécier:Contribution scientifique (originalité de pensée, innovation conceptuelle, création d’école, rayonnement..)
URFIST Avril 2011
Les limites de l’évaluation par les pairs:Nombre excessif d’évaluations, subjectivité (faible compétence d’évaluateurs) conflits ou communauté d'intérêts, effets de groupe
Les failles de l’évaluation par les pairs --> chercher d’autres outils
Fondements de la bibliométrie
Les principaux indicateurs, à partir des bases de données
Ceux qui classent un journal: facteur d’impact
Ceux qui se rapportent aux citations des articles
URFIST Avril 2011
Ceux qui se rapportent aux citations des articles
URFIST Avril 2011
URFIST Avril 2011
Existence of web-databases with inverted bibliographic data for citation analysis
Google Scholar scholar.google.com free
Scopus (Elsevier) scopus.com
Les bases de données
URFIST Avril 2011
Scopus (Elsevier) scopus.com
ISI Thomson http://portal.isiknowledge.comWeb of Sciences (accés INIST-CNRS)JCR : Coverage, Physics, Chemistry, Bio-Med 80-100%
Maths and Engeneering 40-60%NASA ADS adsdoc.harvard.edu freeMathreviews (with bibliographic notes) free
Les indicateurs
• Ceux qui se rapportent à la revue. Globalisation des articles
• Ceux qui sont liés à l’impact de chaque article publié
URFIST Avril 2011
• Ceux qui sont liés à l’impact de chaque article publié par la revue
Reste un problème majeur: le lien entre l’impact de l’article et l’impact d’un auteur (co-auteur ?) et ensuite entre impact de l’auteur et sa qualité
Facteurs d'impact 2007
Nature Physics
Nature Materials
Eur Phys Lett
CR Phys
J Math Soc
CR Math
Facteurs d’impact : le classement 2007
-Avatars des bases de données bibliographiques+informatique, base ISI-Reuters
-Nombre moyen de citationspar an
-> Classement des revues
URFIST Avril 2011
0 10 20 30 40 50 60
Science
Nature
New England J Med
Lancet
JAMA
PloS Med
PloS Bio
Ann Rev Bio
Cell
Angewandte Chemie
JACS
Phys Rev Lett
Phys Rev B
Rev Mod Phys
IF
-> Classement des revues
-Calcul sur 2 ans!Trop court pour Maths, Physique-Favorise les magazines
--> Indice de popularité d’une revue
-->manipulable par les éditeurs
Il n’est pas un indice d’audience pour un article ou un auteur en particulier
Physique/Nature
1500
2000
2500
Physique/Science
1400
1600
1800
2000
IF= 29.27 IF=30.92(1975-2007)
La physique à Nature et Science
(Skew distribution)
URFIST Avril 2011
0
500
1000
1500
0 20 40 60 80 100 120
# article0
200
400
600
800
1000
1200
0 20 40 60 80 100 120
Les 100 premiers articlesNature et Science publient essentiellement en bio et médical
25% des articles reçoivent 90% des citations.Le taux moyen de citations n’est pas représentatif pour l’évaluation.
h articles withh citations≥
Num
ber
of c
itatio
ns
4050
60 J.Hirsch, 2005
Definition of h
URFIST Avril 2011
h1 2010 30 40 50 60
Num
ber
of c
itatio
ns
020
1030
Ranking of the article
Lost Citations
i= g
∑ ≥ 2
Definition of g
Num
ber
of c
itatio
ns
4050
60
URFIST Avril 2011
h g
N i
i=1
∑ ≥ g2L.Egghe, 2006
1 2010 30 40 50 60
Num
ber
of c
itatio
ns
020
1030
Ranking of the article
g ou h ?
Dans les deux cas,
� Partir de fichiers propres, homonymies, genre,chercheurs vagabonds,…
-> g rend compte des travaux à long temps de vie,
URFIST Avril 2011
Calcul de g facile à partir de fichiers ISI avec le logiciel librehttp://pasquier.claude.free.fr/publications/publisdata.php
-> g rend compte des travaux à long temps de vie, fort impact. g peut augmenter vite dans le temps.
-> le rapport g/h est indicatif de l’impact d’un chercheur-> l’évolution de g/h dans le temps est indicative d’impact-> quelle est la contribution relative des 10 premiers papiers
à g?-> g ne favorise pas la prolifération des articles
G versus H y = 1.3626x1.0952
R2 = 0.9139
200
250
300
t
g augmente plus vite que h en temps
URFIST Avril 2011
0
50
100
150
0 20 40 60 80 100 120
H
LPS
LKB
Nobel
in Physics
Deux exercices sur g et h
g et h du comité de réfléxion évaluation AS (2009)
80
100
120
140
160
Des coutumes différentes suivant les disciplines
URFIST Avril 2011
0
20
40
60
80
Bio
Med
Bio
Med
Bio
Med
Bio
Int
Bio
MolChi
m
PhysPh
ysBio
Mol
Sci U
niChi
m Ph
ysChi
mIn
ter App
lBio
Int
Bio
Int
Sci U
niBio
Med
Sci U
niMec
a In
foMec
a In
foMec
a In
foIn
ter App
lIn
ter App
lMat
hMat
hMat
h Mat
h
Bio-Med Chimie-Physique Meca, Info, Applis Maths
Histogramme d'après h
0
2
4
6
8
10
12
0_9
10_1
9
20_2
9
30_3
9
40_4
9
50_5
9
60_6
9
70_7
9
80_8
9
90_9
910
0_10
9Physique
Chimie
Maths
•Distribution large•Différents domaines
Un ensemble homogène: les membres de l’AS
Des histogrammes (2008)
URFIST Avril 2011
Histogramme d'après G
0
1
2
3
4
5
6
7
8
9
10
0_9
10_1
920
_29
30_3
940
_49
50_5
960
_69
70_7
980
_89
90_9
910
0_10
911
0_11
912
0_12
913
0_13
914
0_14
915
0_15
916
0_16
917
0_17
918
0_18
9
Physique
Maths
Chimie0_
9
10_1
9
20_2
9
30_3
9
40_4
9
50_5
9
60_6
9
70_7
9
80_8
9
90_9
910
0_10
9
h factors in the US (in physics)
Associate Professor 10-20Full Professor 18Fellow APS 15-20Member US Acad of Sciences 45
•Différents domaines => différentes coutumes
Les français ne sont pasmoins visibles que les américains en science !
Auteur (autorship)
Repérer à qui revient quoi?.
• Travail en collaboration mais l’idée est individuelle.
URFIST Avril 2011
• Travail en collaboration mais l’idée est individuelle.• Ordre alphabétique ou ordre hiérarchique?• Utiliser les critères de Vancouver (identifier les auteurs)
Il est important de s’informer sur les co-auteurs.
Test en ligne des indicateurs
INIST + Web of KnowledgeProblème des noms composés et du choix du bon auteur
Calcul de h et de g
URFIST Avril 2011
Calcul de h et de g
http://pasquier.claude.free.fr/publications/publisdata.php
Quand et comment utiliser ou ne pas utiliser la bibliométrie
Quand l’utiliser,
Chercheurs seniorsPour un tour d’horizon de jury monodisciplinaireJury pluridisciplinaire,avec des experts conscients
URFIST Avril 2011
Jury pluridisciplinaire,avec des experts conscients des différences.
Quand ne pas l’utiliser,
Cas de chercheurs juniors, cas des livresRecommandation 1
Recommandations 1
• Evaluation bibliométrique porte seulement sur l’article , la source primaire de diffusion des connaissances
(bannir le facteur d’impact de toute évaluation)
• Valider la qualité des données, les normalisations, les écarts
URFIST Avril 2011
• Ne comparer que ce qui est comparable (mêmes communautés, age)
• Utiliser des distributions pour y replacer le chercheur
• Détecter la course au facteur d’impact, le chasseur de primes, volatilité du chercheur avec conséquences sur l’originalité
Recommandations 1(suite)
• Pas pour des chercheurs trop jeunes--> éviter la chasse aux citations
• OK pour les promotions DR2,DR1,… ou recrutements,
•Bien considérer l’originalité du travail (peu prise en compte par la bibliométrie)
URFIST Avril 2011
Quand et comment utiliser ou ne pas utiliser la bibliométrie
Comment l’utiliser,
• L’associer avec le qualitatif en aval et consulter le 5,10,publications du chercheur
• Tenir compte de l’age et des distributions
URFIST Avril 2011
• Tenir compte de l’age et des distributions• Justifier une différence entre bibliométrie et résultat
d’évaluation, Recommandation 2
Recommandations 2
• La bibliométrie est plus qu’un nombre!• Prendre en compte les fichiers bibliométriques associés• Concentrer l’évaluation sur les 5, 10, 20 articles choisis parle candidat (avec leurs fichiers pdf fournis)
• Qui vous a cité? --> Permet d’évaluer l’interdisciplinarité• Replacer les citations d’un article par rapport à la moyenne
URFIST Avril 2011
du journal, à la discipline---> neutralise l’effet impact factor
Spécificités par disciplines I
SHS: peu de publications par chercheurs, formes diverses, ouvrages, bibliométrie pas adaptée --> labelliser des revues.
Economie: population très distribuée, aux frontières, existence d’une liste de revues, bibliométrie peu utilisée mais pas hostile pour des chercheurs comparables avec placement dans la distribution.
Maths: petite communauté,bases de données avec informations bibliographiques (Mathscinet, Zentralblatt Math), évaluation qualitative par les pairs.
URFIST Avril 2011
(Mathscinet, Zentralblatt Math), évaluation qualitative par les pairs.
Maths appliquées, informatique, mécanique: évaluation par l’oral et les pages perso des chercheurs, conférences invitées, bibliométrie est un complément pour des personnes compétentes.
Astrophysique: base de données ADS, bibliométrie utilisée avec modulation des indicateurs.En géosciences, bibliométrie utilisée.
Physique: grande communauté où la bibliométrie est utilisée de manière primaire avec les autres critères. Facteur d’impact encore trop pris en compte.
Spécificités par disciplines IIChimie: Large utilisation officieuse des indicateurs
Bio-med: Utilisation du facteur d’impact à l’extrème. Classement des revues --> financement des hopitaux. Outils en place pour l’évaluation individuelle. Logiciel SIGAPS, Grande sensibilité aux règles d’éthique.
URFIST Avril 2011
Etudes pour améliorer la bibliométrie• Tests rétrospectifs sur 3-5-7 ans
Comparer les décisions des jurys CNRS, CNU, IUF, ERC,..aux prédictions bibliométriques
• Affiner les indicateurs pour l’évaluation individuelle. Mise au point de critères appropriés pour (embauche, promotion, prix….
URFIST Avril 2011
promotion, prix….Les rendre sensibles à l’originalité, l’innovation, la création d’écoles
• Comité de pilotage d’experts avec l’OST pour la mise au point de directives concrètes (au niveau européen)
• Valider les procédures de l’AERES pour l’évaluation des chercheurs
ConclusionUn fait: la bibliométrie existe, elle est très mal utilisée, les bases de données sont sous-employées.
Certains domaines n’en n’ont pas besoin, d’autres l’utilisentà outrance et mal.
Bibliométrie peut informer (révéler) à condition d’être utilisée
URFIST Avril 2011
Bibliométrie peut informer (révéler) à condition d’être utilisée par les pairs (et experts).Doit être transparente et acceptée par les candidats.
La décision revient aux pairs.L’évaluation couvre plus que les seules performances en recherche.
EVALUATION ET BIBLIOMETRIE
POINTS A EXAMINER
I - Les objectifs de la bibliométrie- Evaluation d’individus, d’équipes, d’institutions- Parts respectives de la bibliométrie et de l’évaluation par les pairs- Facteur d’impact versus indicateur bibliométrique
II - Validation des évaluations bibliométriques- Problèmes posés par les homonymies et autres biais ; intérêt d’un identifiant- Validation du calcul des indicateurs
III - Importance de la contribution des différents auteurs- Valeur de la place dans l’ordre des auteurs ; intérêt des formulaires demandés par
certaines revues ; qui fait quoi ?
URFIST Avril 2011
certaines revues ; qui fait quoi ?
IV - Valeur comparée des différents indicateurs- Facteur H, Facteur G, nombre total de citations, etc.- Problème de l’âge des auteurs et de l’évolution des index dans le temps
V - Habitudes et pratiques des différentes disciplines et des différents pays
VI - Tests rétroactifs pour comparer les prévisions et les décisions effectivement prises par les comités d’évaluation basés sur la bibliométrie
VII - Importance d’une participation de la France aux recherches ayant le but d’améliorer les indicateurs ou d’en trouver de nouveaux (éventuellement combinatoires)
VIII - Elaboration de règles de bon usage á l’attention des experts scientifiques et des autorités administratives