-1

Rapport d’évaluation des projets du programme hospitalier de recherche clinique

1997

PLAN GENERAL

IntroductionA) Présentation du programme hospitalier de recherche clinique 1997

1- L’appel à projets 19972- Critères d’éligibilité des projets3- Orientations de l’appel d’offre4- Calendrier du déroulement de la procédure de sélection des projets

B) Procédure de sélection des projets1- Remontée des dossiers2- Sélection des projets

C) Procédure de suivi des dossiers sélectionnés du PHRC 1997D) Evaluation du PHRC 1997

1- Résultats globaux1.1 Projets sélectionnés1.2 Projets par délégation Régionale à la recherche clinique (DRRC)1.3 Devenir des projets1.4 Publications1.5 Résultats par disciplines des projets sélectionnés1.6 Budget

2- Analyse des publications issues du PHRC 19972.1 rappels méthodologiques

2.1.1 Généralités2.1.2 Les méthodes

2.1.2.1 Quantitative2.1.2.2 Qualitative

2.2 Analyse des résultats2.2.1 Quantitatifs2.2.2 Qualitatifs

3- Analyse des échecsConclusionsBibliographieAnnexes

2

Préface

Pour la cinquième année consécutive la Mission de l’observation, de la prospectiveet de la recherche clinique de la Direction de l’hospitalisation et de l’organisation dessoins publie les résultats de l’évaluation du Programme hospitalier de rechercheclinique (PHRC).

Portant sur le programme 1997, cette évaluation demeure très satisfaisante auregard du nombre de projets soutenus ayant donné lieu à une publication dans unerevue à comité de lecture. Toutefois, la proportion de ces publications baisselégèrement par rapport aux années antérieures ce qui est probablement lié auxmodalités spécifiques de gestion du PHRC 1997 qui expérimentait unedéconcentration complète de la sélection au plan régional.

L’évaluation mise en œuvre par deux méthodes évaluatives comparative consolidedes résultats qui seraient sinon imparfaitement mesuré par la seule méthode de«l’impact factor». La méthode SIGAPS nouvellement mise en œuvre dans certainsCHU et issue de la méthode évaluative de l’INRA que nous avions utilisée lesannées antérieures semble pertinente pour une juste évaluation.

Le rôle irremplaçable joué par le PHRC dans la dynamisation de la rechercheclinique se trouve confirmé par cette nouvelle évaluation et je remercie tous lesacteurs hospitaliers de cette recherche clinique, promoteurs et investigateurs, quiœuvrent au développement des techniques diagnostiques et thérapeutiques dedemain dans l’objectif constant de mieux soigner et prendre en charge les patients.

Le Directeur de l’Hospitalisation et de l’organisation des soins

Jean CASTEX

3

INTRODUCTION

Pour la cinquième année consécutive depuis 1992, l’appel à projet du ProgrammeHospitalier de Recherche Clinique 1997 (PHRC) poursuit l’objectif de permettre auxétablissements de santé publics et participant au service public hospitalier d’assurer lamission de recherche que le législateur leur a confié.

Le lancement du PHRC 1997 s’est accompagné d’un élargissement expérimental desmissions dévolues, aux délégations à la recherche clinique (DRC) par le transfert dela responsabilité de sélection des projets dans le cadre de la définition d’une politiquede site.

Les DRC créées au sein de chaque établissements hospitalo-universitaire (CHU) àl’initiative de leur directeur général, reflètent la double composante hospitalière etuniversitaire du CHU et comprennent des représentants : de la direction, despersonnels hospitalo-universitaires et praticiens hospitaliers désignés par la CME etpar le directeur de l’unité de formation et de recherche. Lorsqu’il sont présents sur lesite ou dans la zone d’influence du CHU, des représentants des hôpitaux généraux,des hôpitaux spécialisés, des centres anti-cancéreux ou des organismes de recherche(INSERM, CNRS,…) sont associés aux activités des DRC.

Les orientations politiques retenues par le Ministre chargé de la santé visaient àsoutenir la mobilisation des acteurs hospitaliers autour de deux grands axes :

• conforter l’ancrage de la recherche en milieu hospitalier,

• confier à titre d’essai aux DRC créées dans les 27 centres hospitaliersuniversitaires français, le choix des dossiers éligibles à un financement duPHRC (cette mission était confiée, lors des années précédentes, au comiténational de recherche clinique (CNRC) placé sous l’autorité de la directiondes hôpitaux pour les dossiers éligibles à l’appel à projets national)

Un somme de 9 Millions d’euros par an était consacré au PHRC 1997 (soit 27Millions d’euros sur 3 ans), répartie sous forme d’un droit de tirage attribué à chaqueDRC, pour des projets d’une durée de 1 à 3 ans.

4

A) Présentation du Programme Hospitalier de Recherche Clinique 1997

1) L’appel à projets 1997

• Rappel du champ de définition de la recherche clinique

La recherche clinique est une activité de recherche effectuée chez l’homme etdont la finalité est l’amélioration de la santé humaine. Elle est située en aval de larecherche expérimentale sur laquelle elle s’appuie.

Cette recherche hospitalière était ouverte à tous les établissements publics etprivés participant au service public hospitalier et donc soumis à dotation globale defonctionnement.

Le développement de la recherche clinique, au titre des missions confiées à cesétablissements, vise à améliorer de façon constante, par la découverte de nouvellesinnovations, les méthodes diagnostiques et thérapeutiques et est donc une orientationmajeure de la politique de santé. En 1997, outre les essais cliniques, les pouvoirspublics ont souhaité étendre le PHRC à des études d’évaluation de la qualité et del’organisation des soins.

2) Critères d’éligibilité des projets :

1. Etre conformes à la définition de la recherche clinique et exclure la recherchefondamentale, expérimentale (exemple : recherche animale).

2. Etre déposés par des demandeurs habilités.

3. Réunir les conditions d’acceptabilité des projets en respectant les dispositionsjuridiques en vigueur (dispositifs de la Loi n° 88-1138 du 20 décembre 1988relative à la protection des personnes se prêtant à des recherches biomédicales).

4. S’intégrer dans le projet d’établissement.

3) Orientations de l’appel d’offre :

Les orientations retenues en 1997 étaient :

- la mise en œuvre d’essais thérapeutiques,

- l’évaluation de stratégies diagnostiques et thérapeutiques,

- l’évaluation de technologies médicales innovantes,

- le développement d’études médico-économiques.

5

4) Calendrier de la procédure de sélection des projets :

La procédure s’est déroulée selon le calendrier suivant :

B) Procédure de sélection du PHRC 1997

1°) Dépôt des dossiers

Les projets émanaient de chercheurs cliniciens hospitalo-universitaires ou hospitalierset étaient transmis aux DRC des CHU qui sélectionnaient ceux qui avaient respectésles orientations retenues dans la limite du droit de tirage financier attribué à chaqueDRC (annexe 1).L’ensemble des projets retenus était ensuite adressé à la « division des équipements,des matériels médicaux et des innovations technologiques » de la Direction desHôpitaux en charge du PHRC pour enregistrement, classement et contrôle de leurconformité administrative puis vérification par le CNRC de l’adéquation des thèmesproposés avec les orientations de l’appel à projets.

2°) Sélection des projets

Le choix des thématiques de recherche était laissé ouvert pour permettre aux DRC desoutenir d’authentiques démarches de recherche clinique.

Pour assurer leur nouveau rôle, il était préconisé, après 5 ans de mise en place despremières DRC, un renouvellement de tout ou partie de la composition desdélégations qui devaient associer tous les acteurs de la recherche au niveau régional(CHU, unités INSERM, centre de lutte contre le cancer, centre hospitalierspécialisées, centres hospitaliers,….). Une identification précise de l’instancescientifique qui avait la responsabilité de la sélection des dossiers était égalementréclamée.

Chaque DRC fait parvenir à la direction des hôpitaux selon un résumé de dossierformaté:

• la liste des dossiers qu’elle a retenue à l’échelon régional,• la liste des dossiers refusés,• le procès verbal de la délibération de la DRC concernant la délibération

finale des projets.

6

Les directeurs d’agence régionale de l’hospitalisation étaient tenus informés destravaux des DRC de leur région. Leurs avis sur la sélection des projets réalisée par lesDRC devait figurer dans les documents à transmettre à la direction des hôpitaux.

La liste des dossiers sélectionnés par les DRC transmise à la direction des hôpitaux àfait l’objet d’un contrôle ultime avec l’assistance de le CNRC :

• vérification de l’appartenance des thématiques au champ de la rechercheclinique,

• repérage des redondances parmi les dossiers sélectionnés dans différentesrégions,

• réorientation des certains dossiers vers les sources adéquates definancement public,

• examen de la conformité des dossiers aux lois bioéthiques,• synthèse et avis sur les propositions régionales à l’attention des ministres.

Contrairement aux années antérieures, en raison de l’expérience de délégation de lasélection au niveau régional, la faisabilité, la méthodologie, l’utilité et lespublications antérieures des demandeurs étaient exclues du champ d’investigation duCNRC pour les projets de PHRC 1997.

Sur les 320 projets de PHRC sélectionnés par les DRC, seuls 17 projets ont étérefusés par le CNRC après avis motivé.

C) Procédure de suivi des PHRC 1997

En aval de l’appel à projets, les DRC jusqu’en 1999, avaient la charge de suivre lamise en œuvre des dossiers selon les bonnes pratiques de recherche. Chaque année,elles devaient conduire des évaluations intermédiaires et participer à l’évaluationfinales des résultats obtenus. Sous l’autorité du directeur général du CHU site de laDRC, elles devaient transmettre au ministre toutes les informations relatives à cesévaluations. Ces rapports d’évaluation n’étant pas formalisés selon une procédure standardisée, ilexiste autant de formes de rapports que de DRC et il n’est pas toujours clairementprécisé s’il s’agit de rapports relatifs à des projets terminés ou non.Les publications citées sont souvent des bibliographies se rapportant au thème duPHRC plutôt que l’expression du résultat de la recherche entreprise donc directementissue de celle-ci.Un formulaire d’évaluation standard (cf. annexe 2) a été mis en place par la DHOS en1999. Dans le cadre de ce formulaire, une date limite de remontée des donnéesrelatives au PHRC 1997 avait été initialement fixée au 30/06/2004.En fait, les délais seront largement dépassés et de nombreuses relances écrites ettéléphoniques auprès des DRC seront nécessaires pour tenter d’obtenir l’exhaustivitédes informations demandées. La date finale de remontée des résultats des projets1997 sera finalement repoussée jusqu’en décembre 2004.

7

D) Evaluation des résultats des 303 projets sélectionnés en 1997

1. Résultats globaux

1.1 Projets sélectionnés

Sur 683 dossiers du PHRC déposés en 1997, 303 projets ont fait l’objet d’unavis favorable et ont bénéficié d’un financement soit 44% pour un montant total de27192 Keuros sur 1 à 4 ans. Les caractéristiques du montant financier des dossiersétaient les suivantes :

Les 303 projets 1997 retenus émanaient des catégories d’établissement suivants:

a) Centres hospitaliers et universitaires : 267 (88%)b) Centres de lutte contre le cancer : 19 ( 6%)c) Centres hospitaliers et PSPH: 15 ( 5%)d) Centres hospitaliers spécialisés : 2 ( 1%)

8

1.2 Projets retenus par délégations à la recherche clinique

Graphique n°1: Répartition des projets retenus par les DRC

La graphique n°1 ci-dessus représente l’évolution du nombre de projets nationauxacceptés par DRC entre 1994 et 1997. On notera que pendant cette période lepourcentage de projets du PHRC en Ile-de-France est passé de 48% à 19% (pour untotal de 223 projets financés en 1994 et 303 en 1997, avec un mode de sélectionconfié aux DRC en 1997).

1.3 Devenir des projets

Pour l’analyse de leur devenir, les projets ont été classés de la façon suivante :- projets ayant abouti à publication (« public)- projets perdus de vue (« pv »)- projets arrêtés (« arrêt »)- projets non achevés (« en cours »)- projets ayant fait l’objet d ‘une communication orale ou de

l’affichage d’un poster à un congrès (« com »)- projets ne se prêtant pas à une publication (« divers »)

En 1997, 44% des projets déposés ont été retenus (1994 : 223 retenus pour 530déposés, 1995 : 226 retenus pour 758 déposés, 1996 : 185 retenus pour 651 déposéset 1997 : 303 retenus pour 683 déposés). La proportion de projets ayant donné lieu en1997 à au moins une publication dans une revue à comité de lecture est tombé de78% [176] en 1994, 65% [139] en 1995, 66% [123] en 1996 à 60% [183] en 1997 .Les projets « communication », « en cours » et « divers » sont passés dans le mêmetemps de 13% [30] en 1994 à 23% [50] en 1995, 20% [37] en 1996 et 23% [70] en1997.

0

20

40

60

80

100

120

Nom

bre

de p

roje

ts fi

nanc

és

PHRC 94

PHRC 95

PHRC 96

PHRC 97

9

La proportion de « perdu de vue » et « d’arrêt » est passée de 8% [19] en 1994 à 12%[25] en 1995, 14% [26] en 1996 et 17% [50] en 1997.Pour les 20 projets arrêtés (7%), les causes d’arrêt étaient : des inclusionsinsuffisantes de patients (11), l’abandon du projet avant mise en œuvre (3), l’arrêt duproduit étudié (3) des problèmes techniques (1), une obsolescence du projet (1), unchangement d’affectation de l’investigateur (1) et parfois une décision de la DRC (1).31 projets 1997 (soit 10.23%) étaient encore en cours au moment de l’évaluation, lerapport final était reporté entre 2005 et 2009 .Enfin, la proportion de projets n’ayant donné lieu, au moins, qu’à communication(s)dans un congrès international avant publication est de 12% en 1997 contre 9% en1996, 14% en 1995 et 5% en 1994.

Tableau n°1 . Devenir des projets entre 1994 et 1997.

1.4 Publications

Ce sont au total, 183 projets (60%) contre 122 projets (66%) en 1996, 139projets (63%) en 1995 et 177 en 1994 (78%) qui on fait l’objet de l’évaluationdes publications qu’ils ont induits.

PHRCarticle 183 60,40% 123 66,13% 139 64,95% 176 78,22%

com 35 11,55% 17 9,14% 30 14,02% 12 5,33%

divers 4 1,32% 6 3,23% 6 2,80% 5 2,22%

en cours 31 10,23% 14 7,53% 14 6,54% 13 5,78%

perdu vue 30 9,90% 11 5,91% 11 5,14% 6 2,67%

arrêt 20 6,60% 15 8,06% 14 6,54% 13 5,78%

TOTAL 303 44,36% 186 28,57% 214 28,23% 225 42,45%

DEPOSES 683 651 758 530non financés 0 0 6

1997 1996 1995 1994

10

Graphique n°2 : délais des publications des projets PHRC de 1994 à 1996

Lorsque l’on mesure les délais de publication dans une revue scientifiqueinternationale à comité de lecture (621 publications pour les PHRC 1994, 1995, 1996et 1997), on constate que pour les projets financés sur une période de 1 à 4 ans , cesdélais sont de 5 à 6 ans à partir de l’année de la mise en œuvre du projet.

1.5 Disciplines des projets retenus

Toutes les disciplines ou spécialités médicales sont représentées avec uneprédominance confirmée pour la gastro-entéro-hépatologie (36), la neurologie (30),l’hématologie (26), le cardio-vasculaire (25) et l’uro-néphrologie (22). L’oncologie,spécialité transversale à toute les discipline concerne 76 projets 1997. Ce ne sont plus que 17 projets (28 en 1996 et 1995 - 50 en 1994) qui comportent, defaçon partielle ou exclusive, une recherche en génétique moléculaire.La poursuite de la montée en charge des projets ayant pour thèmes l’épidémiologie,l’économie et la qualité de vie se stabilise avec 22 projets en 1997 (22 projets en1996 et 19 en 1995).Enfin, la gériatrie est en progression avec 7 projets.

1.6 Budget

Les Projets de PHRC 1997 ont été financés sous forme d’un droit de tirage attribué àchaque DRC, pour des projets d’une durée de 1 à 4 ans (annexe 1). Il convient denoter que la durée de financement concerne majoritairement des projets d’une durée

0%

10%

20%

30%

40%

50%

60%

pour

cent

age

des

publ

icat

ions

0-1 an 2 ans 3 ans 4 ans 5 ans 6 ans et +

PHRC 97PHRC 96PHRC 95PHRC 94CUMUL PHRC

11

de 3 ans contrairement aux années précédentes où la durée du financement serépartissait principalement sur des projets de 2 et 3 ans (tableau ci-dessous).

2- Analyse des publications issues du PHRC 1995

2.1 Méthodologie

2.1.1 Généralités

L’évaluation des résultats du PHRC 1997 à fait l’objet d’une évaluationessentiellement quantitative dans l’attente de la constitution d’un groupe d ‘expertsqui puisse se livrer à une évaluation plus qualitative, notamment en terme d’impactdes résultats pour le système de soins.

L’instrument d’évaluation des publications le plus utilisé est le facteur d’impact« impact factor »(IF).

Ce dernier représente pour une année donnée, le rapport entre le nombre de citationssur le nombres d’articles publiés par une revue scientifique, sur une période deréférence de deux ans.L’« impact factor » a largement été critiqué comme unique critère de référence del’évaluation (ou de la « catégorisation ») des résultats des projets de rechercheclinique dans la mesure où il ne s’agit que d’une évaluation du contenant et non ducontenu de la publication.

Les principales critiques concernant la méthode d’évaluation quantitative par lamesure de la « valeur » des publications par l’ « impact factor (IF) », convergentesdans de nombreuses revues (cf. bibliographie : 2-10) sont les suivantes :

- l’IF mesure l’impact de la revue et non celui de l’article lui-même.

- le JCR (« Journal Citation Report ») utilisé pour le calcul de l’impactfactor, est un recueil de données statistiques des périodiques issues du« Science Citation Index » (SCI) qui recense des publications

1997 1996 1995 1994Projet 1 an 10 (3%) 9 (5%) 25 (11%) 17 (7%)Projet 2 ans 71 (23%) 74 (40%) 80 (36%) 94 (41%)Projet 3 ans 221 (73%) 74 (40%) 73 (33%) 81 (36%)Projet 4 ans 1 (0,3%) 28 (15%) 42 (19%) 36 (16%)

DUREE des PROJETS de PHRC FINANCES

12

émanant d’environ 4000 à 6000 périodiques chaque année et quiprivilégie les revues en langue anglaise,

- les auteurs anglo-saxons citent préférentiellement les chercheursanglo-saxons,

- les articles publiés et cités d’une même revue ne concernent que lesdeux dernières années qui ont précédé l’année de publication del’impact factor, alors que certaines disciplines nécessitent des tempsde développement plus longs,

- l’« Institute of Scientific Information » (ISI), organisme qui produit leJCR et le SCI, n’élimine pas les auto-citations qui gonflentartificiellement le nombre de citations de certaines revues,

- certains domaines très spécifiques de recherche disposent de peu derevues dans lesquelles publier, ces dernières n’étant lues que par desspécialistes,

- les monographies ne sont pas prises en compte,

- il existe de nombreux biais méthodologiques dans les articles publiés,

- certaines revues de différents pays retarderaient les publications quisont présumées avoir un impact fort de santé publique et pourlesquelles les pouvoirs publics locaux n’ont pu anticiper de solutions.

- 2.1.2. Méthodologie:

La méthodologie d’évaluation suivante a été adoptée dans le présent rapport

2.1.2.1. L’évaluation quantitative

L’évaluation quantitative a été réalisée à partir de la meilleure publication issue d’unprojet de PHRC, dans une revue à comité de lecture.Pour cette évaluation ont été utilisés les classements des revues à comité de lecturenationales et internationales, dans lesquelles ont été publiés les résultats des projets1997, en utilisant deux systèmes différents de modulation du facteur d’impact : celuide la faculté de Créteil et le Système d’Interrogation, de Gestion et d’Analyse desPublications Scientifiques (SIGAPS) inspiré de la méthode bibliométrique del’I.N.R.A. (utilisé par la DHOS pour l’évaluation des PHRC 1994, 1995 et 1996).

- Le système de classification (catégorisation) des revues médicalesutilisée par la faculté de médecine de Créteil (adoptée par leConseil de gestion de l’université - document interne à la Faculté)

13

Cette classification est utilisée pour la promotion ou le recrutement du personnelhospitalo-universitaire. Elle sert à apprécier la qualité des travaux effectués par lespostulants.

Dans cette classification 703 revues (qui figurent par ailleurs au JCR) ont été classéesen 3 catégories :

- « A » : excellent ou très bon niveau- « B » : niveau bon à moyen - « C » : niveau faible ou insuffisant

Cette classification a été établie de la manière suivante :

Pour chaque discipline, la faculté de Médecine de Créteil a demandé localement defournir une liste de 6 experts, comprenant :

- 2 experts français (dont au moins 1 membre du Conseil national desUniversités),

- 2 experts européens,- 2 experts étrangers, en général nord-américains.

Les 6 experts ont classé chacun en « A », « B » ou « C » les revues de leur discipline.Les revues évaluées par les experts étaient par ailleurs des revues répertoriées dans leJCR.En moyenne, chaque expert communiquait un classement concernant 15 revues.Le classement définitif des revues a été fait par les membres du bureau du conseil del’UFR et les membres des commissions scientifiques et de la recherche clinique de laFaculté de Médecine de Créteil en tenant compte principalement de la note donnéepar les experts (note moyenne).L’élaboration de la grille de Créteil modifiée et revalidée en 2001 qui a été utiliséepour l’évaluation du PHRC 1997 prend en compte l’impact factor 2000 qui repose surl’exploitation des données issues des articles publiés ou cités au JCR pour les années1998 et 1999, seules connue lors de l’élaboration de la grille. On peut regretter quel’impact factor utilisé ne puisse être celui correspondant à l’année de publication durésultat final du projet issu du PHRC. En effet, il existe une certaine variabilité del’impact factor pour une même revue d’une année à l’autre, d’autant plus marquées’il s’agit d’un domaine émergent dans une revue nouvelle.

C’est ce qui explique l’intérêt de compléter cette évaluation par une méthodepermettant un autre système de classification :

- Un système dérivé de la grille de « catégorisation » de l’INRAutilisé pour l’évaluation des PHRC 1994, 1995 et 1996 (cf. bibliographie11 et 12 et annexe 3: « Qualification de la production académique ») : leSystème d’Interrogation, de Gestion et d’Analyse des PublicationsScientifiques (SIGAPS) développé par la DRC du CHU de Lille encours de diffusion dans 15 autres CHU (adresse e-mail :http://sigaps.univ-lille2.fr/indicateurs.php)

14

La représentation détermine au maximum 5 zones, correspondant au regroupementdes valeurs de l’impact factor des revues. Les limites de ces zones sont obtenues à partir des paramètres caractéristiques de ladistribution des fréquences (Percentiles et quartiles).

a) Le premier groupe de revues, dit « faible » (E), comprend 25% del’ensemble des revues avec un facteur d’impact qui varie entre 0.100 et0.456.

b) Un deuxième groupe de revues dit « moyen/faible » (D) regroupe 25% desrevues et son facteur d’impact varie de 0.457 à 0.850.

c) Un troisième groupe de revues dit « moyen » (C) regroupe 25% des revueset son facteur d’impact varie de 0.851 à 1.700.

d) Il existe ensuite un groupe « fort » (B) qui représente 15% des revues dontle facteur d’impact varie de 1,710 à 2.917.

e) Enfin, un groupe « d’excellence» (A), rassemble 10% des revues (566) avecun facteur d’impact élevé de 2.939 à 46.233 (revues prestigieuses).

Pour se rapprocher de l’esprit qui a présidé à l’élaboration de la grille de Créteil avecclassification des revues par spécialité médicale « à dire d’experts », est utilisée pourla présente évaluation la « catégorisation » des publications par domaines et pardisciplines du JCR-SCI selon la méthodologie SIGAPS (cf. annexe 4). En 2001, Il existait 6057 journaux scientifiques recensées, dont 1814 classés dans ledomaine des « sciences médicales », 1043 dans celui de la « biologie », 426 danscelui de « l’agronomie », 400 dans celui de la « physique », 282 dans celui de« l’informatique », et 105 dans celui des « sciences et éducation » (tous ces domainesdes revues ont accueillis des publications issues du PHRC entre 1994 et 1997).Ces domaines sont eux-mêmes subdivisés en disciplines de regroupement despécialités (cf. annexe 4)

2.1.2.2. L’évaluation qualitative

Une méthode « à dire d’expert » n’a pas pu être mise en œuvre pour sélectionnerles publications issues du PHRC 1997 dont l’impact médical apparaîtparticulièrement significatif, pour les raisons citées ci avant.

2.2. Analyse des résultats.

2.2.1. Analyse quantitativeCe sont 183 projets (après 122 en 1995, 139 en 1995 et 177 en 1994) qui ont abouti àune publication dans une revue à comité de lecture avant le terme du 31/12//2003 etqui ont été classés selon la grille de Créteil 2001 et par la méthode SIGAPS (pour lespublications postérieures à 2001, c’est le dernier « Impact factor » connu de 2001 quià été utilisée).Les 183 articles qui ont été publiés représentaient 4 champs, 35 disciplines et 134revues du JCR-SCI en 1997.Certaines «disciplines» de ces revues regroupent plusieurs spécialités, par exemple :

15

• « discipline cardio-vasculaire » : cardio-vasculaire, hématologie etpneumologie,

• « discipline soins intensifs » : anesthésie, réanimation et douleur,• « discipline orthopédie » : orthopédie et rhumatologie.

La méthode SIGAPS a permis de classer 73% des publications non classées par lagrille de Créteil (43/59 en 1997, 18/25 et 72% en 1996, 31/45 et 69% en 1995, 19/25et 76% en 1994).Les champs et disciplines des PHRC 1997 ayant donné lieu à publications sontreprésentés dans le tableau ci-dessous :

DISCIPLINES AGR BIO MED SCI&EDUVET 1 0 0 0BIOCHIMIE 0 3 0 0

BIOLOGIE 0 3 0 0

BIOPHYSIQUE 0 1 0 0BIOTECHNOLOGIE 0 4 0 0

GENETIQUE 0 3 0 0

IMMUNOLOGIE 0 8 0 0MICROBIOLOGIE 0 6 0 0

PHYSIOLOGIE 0 0 0 0

APPLICATION INFORMATIQUE 0 0 0 0CYBERNETIQUE 0 0 0 0

INFORMATION 0 0 0 0BIOMEDICAL 0 0 5 0

CARDIO -PULMO-HEMATO 0 0 24 0

ANESTHESIE-REANIMATION 0 0 10 0DERMATOLGIE 0 0 2 0

ENDOCRINOLOGIE 0 0 11 0

GASTRO-ENTEROLOGIE 0 0 8 0MEDECINE GLE 0 0 11 0

GERIATRIE 0 0 4 0SANTE PUBLIQUE 0 0 5 0

MAL. INFECTIEUSES 0 0 3 0

NEUROLOGIE 0 0 12 0GYNECO-OBSTETRIQUE 0 0 3 0

ONCOLOGIE 0 0 18 0

OPHTALMOLOGIE 0 0 4 0ORTHODONTIE 0 0 0 0

RHUMATO-ORTHOPEDIE 0 0 5 0

O.R.L 0 0 2 0PATHOLOGIE 0 0 1 0

PEDIATRIE 0 0 4 0PHARMACIE 0 0 0 0

PSYCHIATRIE 0 0 3 0

PSYCHOLOGIE 0 0 0 0RADIOLOGIE 0 0 8 0

SPORT 0 0 0 0

CHIRURGIE 0 0 2 0TOXICOLOGIE 0 0 1 0

NEPHRO-UROLOGIE 0 0 6 0SCIENCES GLES 0 0 0 2

TOTAL 1 (1%) 28 (15%) 152 (83%) 2 1%)

DOMAINES des PUBLICATIONS du PHRC 1997

16

En 1997, selon la même méthodologie employée en 1994 et 1995, les 5 groupes de laméthode SIGAPS ont été ramenés à 3 comme pour celle de Créteil (Tableau 2):

- Le classement A (Créteil) correspond au classement « A » deSIGAPS, les revues d’excellence.

- Le classement B (Créteil) correspond au classement « B » et « C » deSIGAPS soit des revues de bon niveau ou s’effectuent les échangesd’informations scientifiques entre chercheurs.

- Le classement C (Créteil) correspond au classement « D » et« E » deSIGAPS soit des revues de niveau faible.

Tableau 2. Comparaison du classement des publications issues des PHRC de1994 à 1997, par la grille de Créteil

On constate dans le tableau 2, que la proportion de publications dans des revues nonclassées (NC) par Créteil croit au fil des années (32% en 1997, 21% en 1996, 30% en1995 et 14% en 1994) en raison d’une mise à jour ancienne de la grille qui date de2001 et qui ne prend pas en compte la création de nouveaux périodiques. Laproportion parmi les publications classées (hors NC) des revues de niveau « C » sestabilise au niveau de 15% [19/124] en 1997 (10% [10/97] en 1996, 13% [13/97]en1995 et 16% [25/152] en 1994). Les publications classées au niveau « A » ou « B »en 1997 se situent à 85% [105/124] en 1997 (90% [87/97] en 1996, 87% [84/97] en1995 et 84% [127/152] en 1994).

Dans les 3 tableaux suivants (Tableaux 3, 4 et 5), les publications sont évaluées selonla méthode SIGAPS (issue de la méthode bibliométrique de l’INRA utilisée lesannées précédentes). Les revues qui ont accueillis les publications du PHRC sontclassées successivement par rapport à l’ensemble des champs des revues répertoriéespar le JCR-SCI, puis par champ spécifique d’appartenance et enfin par disciplines.

A 61 33,33% 52 42,28% 55 39,57% 72 40,91%

B 44 24,04% 35 28,46% 29 20,86% 55 31,25%

C 19 10,38% 10 8,13% 13 9,35% 25 14,20%

NC 59 32,24% 26 21,14% 42 30,22% 24 13,64%

TOTAL PUB 183 123 139 176NC: non classés par Créteil

Grille Créteil 1997 1996 1995 1994

17

Tableau 3. Classification des publications des PHRC 1994-1997 par rapport àl’ensemble des domaines répertoriés par le JCR-SCI .

Tableau 4. Classification des publications des PHRC 1994-1997 par rapport auxdomaines spécifiques d’appartenance répertoriés par le JCR-SCI .

Tableau 5. Classification des publications des PHRC 1994-1997 par rapport auxdisciplines répertoriées par le JCR-SCI .

A (100-q90) 61 33,33% 49 39,84% 52 37,41% 64 36,36%

B (q90-q75) 43 23,50% 32 26,02% 31 22,30% 54 30,68%

C (q75-q50) 26 14,21% 24 19,51% 21 15,11% 19 10,80%

D (q50-q25) 26 14,21% 5 4,07% 13 9,35% 17 9,66%

E (q25-0) 10 5,46% 5 4,07% 8 5,76% 16 9,09%

F (NR) 17 9,29% 8 6,50% 14 10,07% 6 3,41%

TOTAL PUB 183 123 139 176NR: non répertorié par le JCR-SCI

SIGAPS 1997 1996 1995 1994

A (100-q90) 68 37,16% 65 52,85% 59 42,45% 92 52,27%

B (q90-q75) 43 23,50% 32 26,02% 26 18,71% 29 16,48%

C (q75-q50) 31 16,94% 10 8,13% 22 15,83% 21 11,93%

D (q50-q25) 11 6,01% 1 0,81% 7 5,04% 10 5,68%

E (q25-0) 13 7,10% 7 5,69% 11 7,91% 18 10,23%

F (NR) 17 9,29% 8 6,50% 14 10,07% 6 3,41%

TOTAL PUB 183 123 139 176NR: non répertorié par le JCR-SCI

SIGAPS 1997 1996 1995 1994

A (100-q90) 93 50,82% 84 68,29% 74 53,24% 107 60,80%

B (q90-q75) 29 15,85% 17 13,82% 24 17,27% 21 11,93%

C (q75-q50) 31 16,94% 6 4,88% 15 10,79% 20 11,36%

D (q50-q25) 7 3,83% 2 1,63% 5 3,60% 14 7,95%

E (q25-0) 7 3,83% 6 4,88% 7 5,04% 8 4,55%

F (NR) 16 8,74% 8 6,50% 14 10,07% 6 3,41%

TOTAL PUB 183 123 139 176NR: non répertorié par le JCR-SCI

SIGAPS 1997 1996 1995 1994

18

Les 3 graphiques suivants (graphiques 3, 4 et 5) permettent de visualiser lacorrespondance entre la grille de Créteil et le classement selon la méthode SIGAPS,pour les domaines spécifiques et les disciplines des publications (En abscisse :niveaux A, B, C et NC de Créteil et en ordonnées : le pourcentage de publicationsclassées A, B ou C, D ou E et NR de SIGAPS par rapport aux niveaux de Créteil).

Graphique 3. Correspondance grille de Créteil et SIGAPS par domainesspécifiques pour la classification des publications du PHRC 1997.

Graphique 4. Correspondance grille de Créteil et SIGAPS par disciplines pourla classification des publications du PHRC 1997.

Les graphiques n°3 et n°4 de la relation entre le grille de Créteil et la méthodeSIGAPS montrent que c’est dans le classement par discipline du JCR-SCI qu’elle estle mieux établie (pondération du facteur d’impact par le classement par disciplinescientifique des revues et regroupement B-C et D-E de SIGAPS). La méthode

0%

20%40%

60%

80%100%

Pour

cent

ages

de

publ

icat

ions

cl

assé

es S

IGA

PS

A B C NC

Classement Créteil

ABCDENR

0%

20%40%

60%

80%100%

Pour

cent

ages

de

publ

icat

ions

cl

assé

es S

IGA

PS

A B C NC

Classement Créteil

ABCDENR

19

SIGAPS permet en outre de classer 42 publications (non classées par Créteil) dansdes revues répertoriées par discipline : 7 sont classées en A, 7 en B, 9 en C, 15 en D,4 en E et 17 dans des revues non répertoriées par le SCI-JCR. Le graphe n°5 ci-dessous portant sur 621 publications entre 1994 et 1997 confirme cette relation.

Graphique 5. Correspondance grille de Créteil et SIGAPS par disciplines pourla classification des publications des PHRC 1994 à 1997.

On voit dans la grille et les graphiques n°5 ci-dessous, que parmi les PHRC 1997ayant donné lieu à publications dans des revues à comité de lecture, la proportion depublications bien ou très bien classées dans des revues internationales à comitéde lecture, est la plus faible enregistrée depuis 1994, phénomène plus marquéavec la grille de Créteil.

Niveau A et B Créteil 105 (57%) 85 (71%) 84 (60%) 127 (72%)

Tous champs 153 (84%) 107 (87%) 113 (81%) 148 (84%)

Champ spécifique 142 (78%) 107 (87%) 107 (77%) 142 (81%)

Discipline 130 (71%) 105 (85%) 104 (75%) 137 (78%)

Niveau A et BC SIGAPS

PHRC 1997 PHRC 1996 PHRC 1995 PHRC 1994

0%

20%

40%

60%

80%

Pour

cent

age

des

publ

icat

ions

cl

assé

es S

IGA

PS

A B C NC

Classement Créteil

ABCDENR

20

Graphiques n°5 a et b . Comparaisons des publications des PHRC de 1994 à1997 rapportés à une base 100 (Créteil, et SIGAPS par discipline)

Créteil SIGAPS

2.2.2. Analyse qualitative

Les retards accumulés dans la remontée des évaluations issues des DRC et lechangement de Présidence du CNRC n’ont pas permis de réaliser une analysequalitative des résultats du PHRC 1997 comme ce fut le cas pour les années 1994 et1995.

3- Analyse des échecs

En 1997, on enregistre une augmentation du nombre de projets de PHRC financés(303) contre 185 en 1995, 226 en 1994 et 220 en 1995. Il est rappelé que la sélectiondes PHRC 1997 a été confiée aux DRC des régions, le CNRC n’étant intervenu quepour les projets non conformes à la directive (hors champ). La proportion de projetsn’ayant abouti ni à publications ou communications, en dehors de ceux en cours oune se prêtant qu’à l’élaboration d’un rapport, est passé de 8.44% en 1994 à 16,50% en1997 presque essentiellement en raison des perdus de vue, puisque le taux d’arrêts estresté à peu près stable aux alentours de 7% pour la même période.Le retard pris au lancement de l’appel à projets du PHRC 1996 s’est répercuté surceux de 1997 et 1998.

En 1997, 30 projets (10%) ont été perdus de vue (13) ou n’ont abouti à aucunepublication ou communication versus 11 (6%) projets en 1996, 11 (5%) projets en1995 et 6 (3%) projets en 1994. La recherche par investigateur principal et par motsclefs du projet sur « PUBMED-MEDLINE » (site INTERNET international deréférence des publications médicales) est restée par ailleurs sans résultat. Ils ferontl’objet d’un traitement particulier.

20 projets ont été arrêtés en 1996 (7%) contre 15 en 1996 (8%), contre 14 en 1995(7%) et 15 en 1994 (7%). On note la constance de ce pourcentage au cours desannées.

0%

20%

40%

60%

80%

100%

PHRC97

PHRC96

PHRC95

PHRC94

NCCBA

0%

20%

40%

60%

80%

100%

PHRC97

PHRC96

PHRC95

PHRC94

NRDEBCA

21

4 projets (1%) ont été classés en « divers » en 1997 contre 6 en 1996 et 1995 (3%)et 5 en 1994 (2%). Les thèmes de ces 4 projets étaient : 2 guides de recommandation,la constitution d’un réseau de coordination de médecins autour d’une pathologie et unguide de recommandation pour la télé-médecine. Ils ont fait l’objet de rapports maisn’ont pas donné à une publication ou communication.

31 projets (10%) restent « en cours » contre 14 projets (8%) en 1996, 14 projets(7%) en 1995 et 13 projets (6%) en 1994. Les explications invoquées en dehors duretard à la mise en œuvre (1999 et 2000) sont : des problèmes d’inclusion liés à laméthodologie, des défections de co-investigateurs, des retards à l’obtention desautorisations (AFSSAPS, CCPPRB), des difficultés de recrutement d’ARC, des sousfinancements et un suivi à 5 ans après inclusions. Tous ces projets sont poursuivisavec l’autorisation de leurs DRC.

Enfin, 35 projets 1997 (12%) (9%) contre 17 en 1996 (9%), 30 en 1995 (14%) et 12en 1994 (5%) ont fait l’objet de 1 à 11 communications à des congrès internationauxavec abstract et une publication directement issue du résultat de certains projets étaitencore en cours au moment de l’évaluation.

L’aboutissement des projets 1997 au 31/12/2004 met en évidence un taux depublications et/ou de communications moins élevé que pour les PHRC des annéesprécédentes.

22

Conclusions

Dans le cadre du PHRC 1997, 303 projets de recherche ont été analysés (185 en1996, 220 en 1995 et 226 en 1994) à partir de leur publication scientifique dans larevue présentant la plus grande notoriété :

• 183 projets (60%) en 1997 (contre 122 projets (65%) en 1996, 139 (63%) en1995 et 177 (78%) en 1994} ont abouti à la publication d’au moins unarticle original dans une revue médicale à comité de lecture et dans 71% descas (85% en 1996, 75% en 1995 et 78% en 1994) cette revue était classéetrès bonne à excellente. Ce résultat apparemment plus flatteur que celui desannées précédentes en quantité marque en pourcentage un fléchissement parrapport aux années précédentes.

• 35 projets (12%) en 1997 (contre 17 projets en 1996 (9%), 30 (14%) en1995 et 12 (5%) en 1994} ont fait l’objet d’une communication lors d’uncongrès international. C’est légèrement inférieur au résultat de 1995 maissupérieur de 25% à celui de 1996.

• 85 projets (28%) en 1997 (contre 46 projets (25%), 45 (21%) en 1995 et 37(16%) en 1994} n’ont fait l’objet d’aucune publication, ni communication àla date limite de l’évaluation :

1. 1% en 1997 (3% en 1996 et 1995 et 2% en 1994) échappent auxcritères de la méthode d’évaluation,

2. 10% en 1997 (8% en 1996, 7% et 1995 et 6% en 1994) étaient encoreen cours de réalisation,

3. 7% en 1997 (8% en 1996, 7% en 1995 et 7% en 1994) ont étéabandonnés,

4. 10% en 1997 (6% en 1996, 5% en 1995 et 2% en 1994) ont étéperdus de vue.

Les résultats quantitatifs en terme de publications restent satisfaisants. Toutefois, enterme de proportion entre projets financés et projets financés ayant donné lieu à unepublication et en terme de qualité de publications, on note un fléchissement parrapport aux résultats des PHRC 1993 à 1996 avec l’utilisation de méthodes

23

d’évaluation similaires. Il n’existe toujours pas d’étude comparable dans la littérature.Le CHU de Lille à propose de diffuser via une société de services la méthodeSIGAPS pour l’évaluation des publications effectuées dans les CHU. 15 CHU sont encours d’acquisition du logiciel.Comme pour l’évaluation des PHRC depuis 1993, il convient de noter la nécessitéd’avoir un recul temporel suffisant pour pouvoir apprécier les résultats des projets derecherche clinique en terme de publication.Les 17% (14% en 1996, 12% en 1995 et 9% en 1994) de projets abandonnés ouperdus de vue en 1996 correspondent à des causes aléatoires et largementimprévisibles qui ne sont pas sans rapport avec le délai assez long entre le moment del’appel à projets et la fin de sa réalisation lorsqu’il a été sélectionné, ce qui confirmel’attention que les experts doivent porter à la faisabilité des projets lorsqu’ils donnentleur avis devant la commission de sélection.L’évaluation de l’impact des résultats des PHRC à partir de l’analyse qualitative despublications issus de ces projets n’a pu être réalisée pour ceux de 1997 comme en1996. En 1994 et 1995, cette analyse avait conforté les résultats de l’analysequantitative. Il reste difficile pour sa réalisation de sélectionner des expertsdisponibles et indépendants des investigateurs dans la discipline concernée. Lacréation d’un groupe d’expert chargé de cette évaluation palier cette carence.L’objectif de promouvoir la recherche clinique, par un soutien financier spécifique àdes projets de recherche, dans les établissements de santé assurant le service publichospitalier, notamment les CHU et les CLCC, est largement atteint en 1997 commedepuis sa mise en œuvre en 1993. Le niveau des revues internationales qui ontaccueilli les publications issues du PHRC 1997 comme ceux de 1994 à 1996démontre la qualité et le sérieux des projets sélectionnés, malgré un relatiffléchissement des résultats pour cette dernière année évaluée. Enfin, le résultat serait sans doute encore plus probant si l’on pouvait y rapporter demanière exhaustive les monographies publiées, les participations à des congrèsinternationaux, la délivrance de thèses ou de DEA.

24

Bibliographie

1) A Decline in the U.S. Share of Research ArticlesMahbubur Rahman, M.B., B.S., M.P.H., Ph.D., Tsuguya Fukui, M.D., M.P.H., Ph.D.N. Engl. J. Med., Vol. 347, N°. 15, October 10, 2002. 2) Le facteur d’impact des revues, un indicateur bibliométrique à manier avecprudence.Tiiu Ojasoo, Hervé Maisonneuve, Yves MatillonPresse Méd 2002 ; 31 : 775-813) Differences in the quality of Spanish clinical trials published in internationalperiodicals and of the ones presented in general medicine periodicals with widereadershipDelgado Rodriguez M, Ruiz-Canela M, Irala-Estecez J, Lliorca Diaz J, Martinez-Gonzalez MARev Clin Esp 2001 Aug ;201(8) :437-434) Impact factor or do we have to choose between the impact factor and the Revue de

Chirurgie Orthopedique ?Dumontier C, Nizard R, sautet A.Rev Chir Orthop Reparatrice Appar Mot 2001 Apr ;87(2) : 115-285) Research activities of juniors physiciansRubak SL, Niemann T, Jensen JWUgeskr Laeger 2002 Aug 5 ; 164(32) : 3777-816) Count of the scientific publications coming from SpanishFigueredo E, Munoz Blanco FRev Esp Anaestesiol Reanim 2002 jun-jul ;49(6) : 306-137) Impact factor bias and proposed adjustments for its determinationA. Fassoulaki, K Papilas, A Paraskeva and K. PatrisActa Anaesthesiologica Scandinavica 2002 Aug ; 46(7) : 9028) Journal prestige, publication bias, and other characteristic associated with citation

of published studies in peer-reviewed journals.Callaham M, Wears RL, Weber E .JAMA 2002 Jun 5 ;287(21) : 2847-50.9) Impact factors : uses and abusesNeuberger J, Counsell C.Eur J. Gastroenterol Hepatol 2002 Mar ;14(3) : 209-1110) Language biases in the Science Citation Index and its serious consequences for

national research evaluation in international comparison : the case of Germanyand France.

Thed N. van Leeuwen, Henk F Moed, Robert J.W. Tijssen, Martijn S. Visser andAnthony F.J. van RaanResearch Evaluation, vol9,2 (August 2000), 155-15611) The SCI journal citation reports : a potential tool for studying journals ?Marie-Hélène Magri, Anne SolariScientometrics, vol. 35, N°1(1996) 93-117

25

12) A new approach to the SCI Journal Citation Reports a system for evaluatingscientific journalAline Solari, Marie-Hélène MagriScientométrics, vol. 47, N°3(2000) 605-625

26

ANNEXE 1

Droit de tirage par

DRC et par an (MF)

Paris-Ile-de-France AP-HP 25,00Alsace CHU de Strasbourg 1,50Aquitaine CHU de Bordeaux 3,50Auvergne CHU de Clermont-Ferrand 0,75Basse Normandie CHU de Caen 2,00Bourgogne CHU de Dijon 0,90Bretagne-Brest CHU de Brest 1,10Bretagne-Rennes CHU de Rennes 1,20Centre CHU de Tours 1,25Champagne Ardennes CHU de Reims 0,20Franche Comté CHU de Besançon 1,70Haute Normandie CHU de Rouen 1,00Languedoc Roussillon-Montpellier CHU de Montpellier 1,60Languedoc-Roussillon-Nîmes CHU de Nîmes 0,60Limousin CHU de Limoges 0,40Lorraine CHU de Nancy 1,20Midi Pyrénées CHU de Toulouse 2,00Nord Pas de Calais CHU de Lille 2,50Pays de loire-Nantes CHU de Nantes 2,5Pays de Loire-Angers CHU d'Angers 1,25Picardie CHU d'Amiens 0,50Poitou Charentes CHU de Poitiers 0,30Provence Alpes Côte d'Azur-Marseille APM 5,00Provence Alpes Côte d'Azur-Nice CHU de Nice 1,70Rhône Alpes-Grenoble CHU de Grenoble 2,00Rhône Alpes-Lyon HCL 6,60Rhône Alpes-St Etienne CHU de St Etienne 1,50Antilles-Fort de France CHU de Fort de France 0,15Antilles-Pointe à Pitre CHU de Pointe à Pitre 0,10TOTAL 70,00

Délégation à la recherche clinique

27

ANNEXE 2

RRAAPPPPOORRTT DD''ÉÉVVAALLUUAATTIIOONN DD''UUNN PPRROOJJEETT DDEE RREECCHHEERRCCHHEE CCLLIINNIIQQUUEE 11999977

DRC de : /________________________________/ Code /__________/

Investigateur principal

Nom : Spécialité :

PUPH CCA, AHU, PHU MCUPH PH Autres

Téléphone : Télécopie :

e-mail :

Adresse professionnelle :

Titre du projet

Nature du projet (*) :

Essai thérapeutique contrôlé PhysiopathologieEvaluation : thérapeutique Epidémiologie

diagnostique Mise au pointscores, critères prédictifs

technologiqueEtudes d'impact : qualité de vie, performance hospitalière, études coût/bénéfice, évaluation des pratiques professionnelles, …

(*) Cocher l’item principal

28

Projet multicentrique : Oui Non

Collaboration dans le cadre du projet :

INSERM CNRS CEA Autres

Participation française à un projet international

Cofinancement : Avez-vous un financement autre que le PHRC ?

Oui Non

Si oui, préciser :

Source Montant

Déroulement du projet :

L'étude concerne :

Des patients Des dossiers Des tissus d'origine humaine (cellules, tissus, ADN) Des animauxAutres

Début de la recherche : Fin de la recherche:

Durée effective de la recherche conforme à la durée prévisionnelle : Oui Non

RESUME DES CONCLUSIONS PRINCIPALES DE L’ETUDE

29

Publication(s) ISSUE(S) du projet de recherche clinique financé par le PHRC 96:

. Article(s) original(aux) (joindre la photocopie de la première page)

1. Revue : Année : Tome :Pages :Auteurs :Titre :

2. Revue : Année : Tome :Pages :Auteurs :Titre

3. Revue : Année : Tome :Pages :Auteurs :Titre

Etc.

Ou à défaut, communication à des congrès :

1. Société savante : Lieu : Date :Titre :Auteurs :

2. Société savante : Lieu : Date :Titre :Auteurs :

3. Société savante : Lieu : Date :Titre :Auteurs :

Etc.

30

SI LE PROJET A PRIS DU RETARD ou A ETE INTERROMPU :

Difficultés rencontrées :

. de recrutement

Refus fréquent des patients : Oui Non

Si oui, commenter :____________________________________________________________________

____________________________________________________________________

. d’application des lois bioéthiques

Si oui, préciser :_____________________________________________________________________

_____________________________________________________________________

. financières

Sous financementImpossibilité d’utiliser les créditsDélai d’obtention des créditsCoordination des cofinancementsAutres

Si oui, préciser :_____________________________________________________________________

_____________________________________________________________________

. liées à l’emploi des personnels de recherche

Recrutement

Si difficultés de recrutement, préciser lesquelles :_____________________________________________

_____________________________________________________________________________________

. autres

Si oui, préciser :__________________________________________________________________________________ ________________________________________________________________________________

31

ANNEXE 3

QUALIFICATION DE LA PRODUCTION ACADEMIQUEM-H Magri – A. Solari

Institut National de la Recherche AgronomiqueDirection de l’innovation et des systèmes d’information

Centre de recherche de JouyUnité Centrale de Documentation Information Scientifique et Technique

Octobre 2002

Dans les processus d’évaluation, on assimile souvent les travaux de recherche aux revuesqui les hébergent. Parmi les différentes méthodes d’évaluation des revues, une seule s’estvéritablement imposée, l’analyse de citations, au travers d’un indicateur, le facteurd’impact1. Pour éviter les interprétations abusives qu’entraîne l’utilisation des valeursindividuelles du facteur d’impact, nous répartissons les revues en différents groupes :chaque année, pour chaque discipline scientifique ISI couverte par la revue2 ou quelquesoit la discipline, nous construisons cinq groupes déterminés statistiquement en fonctiondes valeurs des facteurs d’impact en utilisant les paramètres caractéristiques de ladistribution de fréquence de cet indicateur bibliométrique3. Ces cinq groupes sontcodifiés par une couleur de référence :

CentralesRevues extrêmes fortes supérieures inférieures faibles

Notoriétéinternationale

exceptionnelleremarquablehors norme

excellenteexemplaire

correcteconvenablehonorable

passableacceptable

médiocre

Le groupe d’appartenance se substitue donc à la valeur de l’indicateur et peut êtredifférent selon les contextes disciplinaires dans lesquels apparaît la revue.

L’exemple qui suit indique le type d’analyse menée pour chacune des revues de publicationdu corpus étudié :

La revue Genomics est utilisée par le pôle Créteil en 2000. Cette revue possède, en 2000, unfacteur d’impact de 3,425 et est répertoriée par l’ISI dans deux disciplines : biotechnology &applied microbiology et genetics & heredity

1 Le facteur d’impact est publié par l’Institute for Scientific Information (ISI) dans le Science Citation Index,Journal Citation Report (JCR). Annuellement et depuis 1974, le JCR fournit des informations qualitatives etsurtout quantitatives sur plus de 5700 revues scientifiques. Il se présente sous forme d’un recueil de nombres.Pour chacune des revues, on y trouve le nombre d’articles publiés par la revue et le nombre de citations qu’elle areçues. A partir de ces deux dénombrements, l’ISI construit plusieurs indicateurs bibliométriques, le plus utilisédans les processus d’évaluation étant le facteur d’impact.

2 Les 5700 revues présentes dans le SCI JCR sont répertoriées dans environ 170 disciplines scientifiques. Unerevue peut appartenir à plusieurs disciplines (jusqu’à 4 pour les revues étudiées dans ce corpus).

3 Pour plus d’information, voir Magri et al, 97 ; Magri et Solari 96, 98 ; Solari et Magri 2000.

32

Notre analyse de la valeur du facteur d'impact permet de positionner la revue :-.dans le groupe de notoriété exceptionnelle toutes disciplines confondues4 -.dans le groupe de notoriété excellente en biotechnology & applied microbiology-.dans le groupe de notoriété correcte en genetics & heredity

Pour qualifier la revue Genomics, nous retenons les statuts suivants :1)son statut, toutes disciplines confondues soit sa notoriété exceptionnelle 2)son statut disciplinaire le meilleur soit sa notoriété excellente en biotechnology & appliedmicrobiology

4 C’est à dire : mathématiques, sciences de la vie, physique, médecine etc.

33

ANNEXE 4

DOMAINE Nbre REVUES IF A Nb rev IF B Nb rev IF C Nb rev IF D Nb rev IF E Nb revTOUS DOMAINES 6057 [46,233-2,939] 566 [2,917-1,710] 846 [1,700-0,851] 1406 [0,850-0,457] 1415 [0,456-0,100] 1417AGRONOMIE 426 [3,240-1,500] 41 [1,490-1,100] 60 [0,990-0,682] 100 [0,620-0,351] 104 [0,348-0,110] 102BIOLOGIE 1043 [46,233-4,500] 98 [4,476-2,516] 146 [2,513-1,296] 244 [1,284-0,640] 244 [0,639-0,100] 244COMPUTER 282 [3,900-1,681] 26 [1,679-0,950] 38 [0,939-0,570] 62 [0,561-0,346] 65 [0,341-0,100] 64MEDECINE 1814 [35,933-3,658] 169 [3,649-2,255] 253 [2,250-1,323] 421 [1,321-0,677] 421 [0,674-0,110] 423PHYSIQUE 400 [16,200-3,194] 37 [3,180-1,799] 56 [1,787-0,963] 92 [0,954-0,536] 93 [0,533-0,119] 93SCIENCES & EDUCATION 105 [27,955-1,471] 9 [1,423-0,799] 13 [0,770-0,500] 24 [0,494-0,280] 23 [0,278-0,115] 23

DOMAINE DISCIPLINE Nbre REVUES IF A Nb rev IF B Nb rev IF C Nb rev IF D Nb rev IF E Nb revAGRONOMIE VET 131 [2,943-1,410] 12 [1,400-0,934] 19 [0,930-0,530] 30 [0,490-0,290] 31 [0,283-0,112] 31

BIOCHIMIE 118 [31,639-6,432] 11 [6,373-3,472] 16 [3,314-1,926] 26 [1,893-1,111] 27 [1,000-0,250] 27BIOLOGIE 159 [29,219-5,588] 15 [5,558-3,295] 23 [3,192-1,743] 37 [1,739-0,812] 37 [0,800-0,110] 38BIOPHYSIQUE 42 [15,235-7,173] 4 [5,381-3,644] 5 [3,243-2,146] 9 [1,960-0,932] 9 [0,824-0,112] 9BIOTECHNOLOGIE 84 [13,619-3,943] 8 [3,688-2,570] 12 [2,540-1,480] 19 [1,479-0,730] 20 [0,697-0,119] 20GENETIQUE 48 [29,600-12,333] 4 [10,542-4,383] 7 [3,410-2,317] 11 [2,297-1,538] 11 [1,488-0,258] 11IMMUNOLOGIE 67 [46,233-12,157] 6 [7,674-3,826] 9 [3,787-2,640] 15 [2,552-1,430] 15 [1,211-0,278] 16MICROBIOLOGIE 80 [19,179-6,398] 7 [6,134-3,554] 12 [3,276-1,960] 18 [1,871-1,250] 18 [1,154-0,314] 19PHYSIOLOGIE 36 [12,753-3,896] 4 [3,610-2,827] 5 [2,787-1,770] 9 [1,660-1,140] 9 [0,975-0,186] 9APPLICATION INFORMATIQUE 51 [3,421-1,716] 5 [1,632-1,155] 6 [1,110-0,632] 11 [0,626-0,410] 11 [0,383-0,125] 12CYBERNETIQUE 56 [2,884-1,681] 5 [1,679-1,431] 8 [1,333-0,552] 13 [0,538-0,341] 13 [0,316-0,100) 14INFORMATION 55 [3,900-2,360] 5 [1,877-1,290] 7 [0,950-0,522] 12 [0,511-0,286] 12 [0,264-0,100] 12

PHYSIQUE ACOUSTIQUE 19 [1,862-1,633] 2 [1,615-1,440] 2 [1,312-0,994] 4 [0,851-0,625] 4 [0,490-0,178] 4SCI&EDU SCIENCES GLES 61 [27-955-1,593] 6 [1,500-0,930] 7 [0,856-0,600] 12 [0,556-0,340] 12 [0,312-0,115] 13

DOMAINE DISCIPLINE Nbre REVUES IF A Nb rev IF B Nb rev IF C Nb rev IF D Nb rev IF E Nb revBIOMEDICAL 103 [27,960-3,600] 9 [3,498-1,850] 14 [1,761-1,171] 22 [1,160-0,614] 22 [0,613-0,149] 23CARDIO -PNEUMO-HEMATO 134 [16,250-4,210] 13 [4,163-2,676] 18 [2,637-1,553] 31 [1,550-0,757] 31 [0,756-0,142] 32ANESTHESIE-REANIMATION 40 [5,956-3,486] 4 [3,381-2,279] 5 [2,250-1,143] 9 [1,133-0,739] 9 [0,724-0,230] 10DERMATOLGIE 32 [4,645-2,714] 3 [2,550-2,234] 5 [1,862-1,193] 8 [1,174-0,846] 8 [0,787-0,147] 8ENDOCRINOLOGIE 92 [23,456-5,820] 9 [5,440-3,246] 13 [2,880-1,989] 21 [1,970-1,157] 22 [1,122-0,131] 22GASTRO-ENTEROLOGIE 39 [13,200-6,170] 4 [4,750-3,280] 5 [2,737-1,594] 8 [1,580-0,923] 9 [0,830-0,164] 9MEDECINE GLE 127 [29,650-2,898] 12 [2,818-1,710] 17 [1,612-0,747] 29 [0,740-0,393] 29 [0,382-0,130] 29GERIATRIE 20 [5,294-4,490] 2 [2,878-2,436] 3 [2,292-1,841] 5 [1,778-0,894] 5 [0,634-0,412] 5SANTE PUBLIQUE 77 [3,966-2,755] 7 [2,730-1,868] 11 [1,860-1,350] 18 [1,339-0,798] 18 [0,782-0,185] 19MAL. INFECTIEUSES 31 [6,881-4,910] 3 [4,212-2,523] 7 [2,126-1,250] 7 [1,213-0,643] 7 [0,628-0,243] 8NEUROLOGIE 198 [27,152-5,330] 18 [5,212-2,880] 27 [2,860-1,638] 45 [1,635-0,722] 45 [0,678-0,111] 45GYNECO-OBSTETRIQUE 51 [3,550-2,960] 4 [2,871-2,196] 7 [1,792-1,142] 10 [1,000-0,670] 10 [0,669-0,185] 11ONCOLOGIE 71 [35,933-6,737] 7 [5,960-3,900] 10 [3,688-1,966] 16 [1,938-1,257] 17 [1,241-0,269] 17OPHTALMOLOGIE 42 [5,333-2,870] 4 [2,424-1,850] 6 [1,828-0,934] 9 [0,843-0,620] 10 [0,561-0,129] 10ORTHODONTIE 45 [3,940-2,180] 4 [1,935-1,613] 7 [1,590-0,985] 10 [0,973-0,713] 11 [0,710-0,333] 11RHUMATO-ORTHOPEDIE 60 [7,389-2,219] 6 [2,193-1,614] 8 [1,500-0,962] 14 [0,957-0,611] 14 [0,520-0,110] 14O.R.L 32 [2,532-1,758] 3 [1,586-1,158] 4 [1,121-0,856] 8 [0,795-0,587] 7 [0,569-0,346] 8PATHOLOGIE 42 [8,654-5,533] 4 [3,290-2,811] 6 [2,165-1,727] 10 [1,548-0,851] 10 [0,694-0,298] 10PEDIATRIE 63 [3,780-2,864] 6 [2,770-1,753] 8 [1,742-1,220] 14 [1,151-0,749] 14 [0,720-0,122] 15PHARMACIE 113 [23,825-3,900] 11 [3,854-2,642] 16 [2,472-1,533] 26 [1,530-0,860] 27 [0,857-0,151] 27PSYCHIATRIE 43 [11,981-5,550] 4 [4,735-2,776] 6 [2,650-1,717] 10 [1,640-0,858] 10 [0,714-0,247] 10PSYCHOLOGIE 28 [11,660-5,979] 3 [5,756-3,350] 4 [3,119-1,778] 7 [1,747-1,323] 7 [1,310-0,386] 7RADIOLOGIE 59 [7,879-3,437] 6 [3,327-2,370] 8 [2,313-1,745] 13 [1,720-0,857] 14 [0,842-0,241] 14SPORT 64 [2,810-1,600] 6 [1,595-1,225] 10 [1,180-0,899] 15 [0,830-0,445] 15 [0,400-0,118] 16CHIRURGIE 111 [6,670-2,820] 11 [2,790-2,000] 16 [1,890-0,940] 27 [0,890-0,600] 26 [0,590-0,130] 27TOXICOLOGIE 51 [6,640-3,179] 5 [2,851-2,211] 7 [1,856-1,575] 12 [1,558-0,925] 12 [0,894-0,324] 12NEPHRO-UROLOGIE 46 [6,337-3,614] 4 [3,470-2,266] 7 [2,160-1,531] 10 [1,472-0,590] 10 [0,573-0,177] 11