evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

30
Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation L’évaluation des établissements et des politiques documentaires à l’heure de la bibliométrie MEDIADIX - URFIST Saint-Cloud 13 avril 2010 Manuel Durand-Barthez - URFIST Paris

Upload: manuel-durand-barthez

Post on 20-Jun-2015

1.552 views

Category:

Education


0 download

DESCRIPTION

Aspects techniques et institutionnels de l'évaluation bibliométrique des organismes de recherche.

TRANSCRIPT

Page 1: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Evaluation et caractérisation des entités de recherche : acteurs et

méthodes en documentationL’évaluation des établissements et

des politiques documentaires à l’heure de la bibliométrie

MEDIADIX - URFIST

Saint-Cloud 13 avril 2010

Manuel Durand-Barthez - URFIST Paris

Page 2: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Principes fondamentaux

Contexte législatif français : la LOLFSous-ensemble Enseignement

supérieur & Recherche : le programme P 150

Référentiels internationaux : classements de Shanghai, de Leyde, du Times QS/THE, le PRSP de Taïwan…

Page 3: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

La cible des indicateurs

Capacités de financementInfrastructurePotentiel humain:

Enseignants () chercheurs Etudiants, dont doctorants BIATOS

Employabilité des étudiants sortantsQuotité enseignement / recherche ; etc…

Page 4: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

L’enjeu des publications

Item visible Article scientifique : indicateur privilégié

(format, périodicité)Evaluation rapide via la citation

Page 5: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

L’OST: un acteur, des référentiels

G.I.P. à couverture interministérielle dans le domaine de la Recherche

Fournit des informations notamment dans trois domaines liés au P150 de la LOLF: Publications scientifiques Brevets Programmes PCRD

Page 6: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Des domaines privilégiés

Sciences de la matièreSciences de la nature et de la vie« La base de données source est le Web of

Science® de Thomson Reuters qui fait référence pour la bibliométrie dans les domaines des sciences de la matière et de la vie. » Méthodologie IPERU, Chap.II.1

Page 7: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Le W.O.S. : 3 bases

6650 titres6650 titres en Sciences Technologie Médecine

Base Science Citation Index1950 titres1950 titres en Sciences sociales

Base Social Science Citation Index1150 titres1150 titres en Sciences humaines

Base Arts & Humanities Citation Index

Page 8: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

EVALUATION DES SOURCES(Titres des revues)

JOURNAL CITATION REPORTJOURNAL CITATION REPORT(J.C.R.)(J.C.R.)Tableau statistique annuelparaît au Printemps de l’année « n+1 »

2008: > 6500 titres analysés en STM≈ 2000 en Sci. sociales

Page 9: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Journal: EMBO JImpact Factor: 8.295  Cites in 2008 to articles published in: 2007 = 3309 

2006 = 4494 07+06 = 8303

Number of articles published in: 2007 = 454  2006 = 547

07+06 = 1001Calculation:

Cites to recent articles 8303------------------------------ = ---------- = 8.295 Number of recent articles 1001

Page 10: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Bilan critique

Modèle anglo-saxon privilégiant la recherche appliquée

Citations quantifiées sans nuances, sur une « première

couronne » sans tenir compte des différences de

pratique dans chaque disciplineAbsence flagrante des Sciences

humaines

Page 11: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Problématique des SHSSciences sociales relativement

bien couvertes dans le SSCI: Economie (209 titres) Sc. Educ. (113 titres) Droit (104 titres) Sociologie (100 titres)

Page 12: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Problématique des SHS

La base AHCI (Arts & Humanities) du WOS est dépourvue de modules d’évaluation statistique

Listes de l’AERES issues de l’ERIH European Reference Index for the Humanities.

Présentent des carences (dénombrement + classement)

Page 13: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Les alternatives

Aux BD de référenceAu facteur d’impact des

revuesAu facteur H associé aux

chercheursA l’évaluation par les pairs

Page 14: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Les BD de référence

ScopusScholar GoogleDBLP (informatique)Journalbase (SHS = WOS + Scopus +

ERIH + AERES) env. 10.000 titres sur 21.000 entrées (initiative CNRS/TGE Adonis - Michèle Dassa & Christine Kosmopoulos)

Page 15: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Facteurs d’impactTraçabilité des citations : par qui la

publication citante est-elle citée ; par qui la publication citant la citée est-elle elle-même citée etc…

Exécution itérative du PageRank de Google (méthode de la « marche aléatoire »)

Définition de collèges invisiblesEigenfactor lié au J.C.R. (ISI)Scimago Journal Rank lié à Scopus

(Elsevier)

Page 16: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Réseaux de co-citations

Autre approche des collèges invisiblesCitebase (S. Harnad et T. Brody, Univ.

Southampton) lié au miroir britannique d’ArXiv

CiteseerX (Pennsylvania State Univ.) domaines de l’informatique et des mathématiques appliquées

Page 17: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Facteur H

Page 18: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Variantes du Facteur « H »Facteur « G » de Leo Egghe (Univ. Anvers)Nombre « g » d'articles dont la somme des Nombre « g » d'articles dont la somme des

nombres de citations est au moins « g2 »nombres de citations est au moins « g2 » un « g-index » de 10 indique que l'auteur a écrit un « g-index » de 10 indique que l'auteur a écrit

10 papiers dont la somme des citations est au 10 papiers dont la somme des citations est au moins de 100moins de 100

Il est censé remédier au « gel » des Il est censé remédier au « gel » des publications captées au-dessus de l’indice H publications captées au-dessus de l’indice H en tenant compte du nombre en tenant compte du nombre exceptionnellement élevé de citations exceptionnellement élevé de citations générées par quelques-unes d’entre ellesgénérées par quelques-unes d’entre elles

Page 19: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Variantes du Facteur « H »

Multiples facteurs dérivés sous l’application Publish or Perish de Will Harzing, liée à Scholar Google, tenant compte de: L’ancienneté de l’article Le nombre d’auteurs 6 combinaisons résultent de l’intersection

de ces deux paramètres

Page 20: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Evaluations alternatives qualitatives

A l’origine sur les preprints d’ArXivSur l’article, dans la revue même, type

Open Access : European Geological Union

Sur des articles publiés dans diverses revues, par des collèges thématiques: Faculty of 1000 liée à l’éditeur BioMed Central

Page 21: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Rapporter l’évaluation

GRAAL (Universités)SIGAPS (C.H.U. et organismes

assimilés de Santé)CRAC (Compte rendu annuel d’activité

des chercheurs du CNR) restructuré en BD RIBAC (Recueil d’informations pour un observatoire des activités des chercheurs)

Page 22: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Rapporter l’évaluation

CNRS : rapport d’activité à 2 et à 4 ansFiches UR3 (fiches individuelles

d’activité enseignant-chercheur ou chercheur concernant les 4 dernières années)

Fiches AERESContrats quadriennauxContrats d’objectifs

Page 23: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Acteurs de l’évaluation: fonction (1)

Type de tâche effectuée Repérage

Adressage Patronymes

Comptage Indices & facteurs

Impact des revues où publié Facteur H

Page 24: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Acteurs de l’évaluation: fonction (2)

Restitution Avalisée directement (instance

centrale) Débattue en conseil

Taux d’occupation Unique supplémentaire

Page 25: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Acteurs de l’évaluation: statut

Corps des Bibliothèques IngénieurAdministratifEnseignant-chercheurChercheur« Autre »…?

Page 26: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Acteurs de l’évaluationFormation à la tâche

Empirique (« tas »…)Stage courtSpécialisée

Page 27: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Acteurs de l’évaluation:évolution des méthodes

Opportunité de travaux coopératifsMutualisation des expériences (groupes de

travail associant les catégories professionnelles et les domaines disciplinaires)

Appels de l’OST à enrichir et faire évoluer ses bases et modèles

Exemple de la coopérative EREFIN (une vingtaine d’organismes coparticipants, dont l’OST)

Page 28: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Conclusion 1

Soutenir et faire évoluer les professionnels de l’information- documentation

Le cas échant, impliquer les SCD pour mieux les intégrer à l’environnement universitaire, lorsque la situation s’y prête

Page 29: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Conclusion 2

Moduler, nuancer, faire évoluer les indicateurs dans le sens d’une caractérisation optimale des entités

Compter, certes oui, mais pourquoi, à quelle fin ?

Page 30: Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

Conclusion 3

Vers un document « unique » (…?!) pour l’évaluation ?