Démarche qualité de l’ANRet le processus Sélection

Caroline Lefebvre

11/04/12

Plan1 – Démarche qualité et organisation1.1 Historique de la démarche1.2 Pourquoi mettre en place un SMQ et être certifié?1.3 Qui sont nos clients?1,4 Ecoute clients1.5 Notre organisation1.6 Maîtrise et cohérence du système qualité1.7 Politique qualité1.8 Processus métier

2 – Quels apports pour l’ANR et ses clients?3 – Le processus de Sélection et les critères d’évaluation

1.1 – Historique de la démarche qualité

Début de la mise en place du SMQ : Avril 2006

ANR certifiée ISO 9001 version 2000 depuis juin 2008 : uniquement le processus de Sélection pour les métiers

Renouvellement chaque année de l’audit de certification pour maintenir le certificat.

Certification avec extension du périmètre (Programmation et Suivi-bilan), passage en version 2008 pour les deux sites de l’agence : 3,4 juin 2010

Renouvellement de certification lors de l’audit 30, 31 mai et 1 juin 2011

1.2 – Pourquoi mettre en place un SMQ et être certifié?

répondre aux attentes de nos clients en fonctionnant ensemble de manière cohérente et efficace.

L’ANR doit réunir toutes les conditions pour satisfaire les besoins des « clients » externes et internes,

• en effectuant la meilleure sélection possible…,

• dans les meilleurs délais,• dans le respect des pratiques des

communautés scientifiques.

1.3 – Qui sont nos clients?

Equipes de recherche PublicsEquipes de recherche privésAssociationsEntreprisesParties intéressées : les tutelles, le CA, le public

1.4 – Ecoute clients Enquêtes de satisfaction : réalisée

tous les deux ans auprès de plus de 1000 porteurs de projets.

Comité des utilisateurs

Cap ANR

Autres : séminaires avec les présidents d’université, les entreprises, visites dans les universités

1.4 – Ecoute clientsComité des utilisateurs : - Le comité des utilisateurs a pour rôle d‘échanger avec les principaux responsables de l’ANR, sur la perception des processus de l’agence, de leur efficacité et de rendre compte des difficultés rencontrées. - Comité créé en 2011 qui s’est réuni deux fois.- Les différents profils d’utilisateurs sont représentés dans ce comité ainsi que les principaux types de bénéficiaires.

- Liste des membres du comité validée par le directeur général et publiée sur le site de l’ANR. Une procédure existe.

- Renouvellement partiel sur une base annuelle avec 3 années de participation maximum pour chaque membre.

- 2 réunions par an

- Chaque réunion fait l’objet d’un OdJ et d’un cr.

1.4 – Ecoute clientsCap ANR : CAP ANR - Conseil Appui aux Projets ANR -

est un réseau inter-établissements publics d'enseignement et de recherche, initié par Grenoble INP, il s'adresse aux personnes référentes des établissements impliquées dans le montage, le suivi administratif et juridique des projets ANR. CAP ANR rassemble actuellement plus de 50 établissements inscrits dont 12 établissements membres fondateurs soient environ 80 participants. Le réseau bénéficie d'un espace commun de travail, a constitué des groupes de travail, se réunit régulièrement pour des échanges d'expériences, d'optimisation de gestion, d'amélioration de pratiques en lien avec le montage et le suivi des projets ANR.Des réunions du réseau CAP ANR avec des représentants de l'ANR ont permis une communication privilégiée et une identification de personnes référentes dans les établissements publics.Informations complémentaires, contact : francoise.dallut@grenoble-inp.fr

1.5 – Notre organisation

Une structure de 258 collaborateurs répartis sur deux sites (rue de Bercy et rue Watt) dont :

– 50 % de chercheurs dont les compétences recouvrent l’ensemble des thématiques des appels à projets

– 50 % de personnel dédié aux fonctions d’accompagnement (Finances/RH/Communication/International)

1.5 – Notre organisation : Service qualité

Un responsable qualité : qui assure la cohésion du système de management de la qualité, le maintien de son applicabilité et sa montée en maturité.

Des correspondants qualité (1 par dépt) : qui contribuent à la diffusion du SMQ vers les opérationnels et les remontées des départements vers le RQ.

Des pilotes de processus : référents métier, formateurs

Des groupes de travail : qui contribuent à l’amélioration du fonctionnement.

11

Système de management de la qualité

Revue de direction annuelle

Comité de pilotage qualité bimensuel

Revue d’efficacité des processus

Groupes de travail

Analyse et traitement des réclamations

Formations

Séminaires

Audits internes et externes

Analyses des risques processus

Revue de projets et analyses impact

1.6 Maîtrise et cohérence du système

Plan de progrèsPilotes

processus

Plan d’actions

Resp qualité

1.7 – Politique qualité de l’ANR

3 axes stratégiques :

1- Action centrée sur la satisfaction des équipes de recherche,

 2 - Amélioration continue des modes

de fonctionnement, 3 - Développement des

compétences du personnel.

1.7 – Objectifs qualité de l’ANR

• Modifiez les styles du texte du masque– Deuxième niveau

• Troisième niveau– Quatrième niveau

» Cinquième niveau

Indicateurs : ex Budget

• Modifiez les styles du texte du masque– Deuxième niveau

• Troisième niveau– Quatrième niveau

» Cinquième niveau

Indicateurs : ex délai

• Modifiez les styles du texte du masque– Deuxième niveau

• Troisième niveau– Quatrième niveau

» Cinquième niveau

Cartographie des processus

Mesure des performances et amélioration continue (M2)

ManagementANR (M1)

Aff

air

es

Gén

éra

les.

S1

.4

Ress

ou

rces

hu

main

es.

S1

.1

Juri

diq

ue.S

1.2

Ach

at-

marc

hés

pu

bli

cs.S

1.3

Bu

dg

et

et

Con

trôle

de

Gest

ion

.S1

.5

Info

rmati

qu

e S

3

Com

mu

nic

ati

on

.S4

Équipes de Recherche

(UniversitésOrganismesIndustrielsAssociations)

Équipes de Recherche

(UniversitésOrganismesIndustrielsAssociations)

SUIVI / BILAN SELECTION PROGRAMMATION

Paie

men

t et

Com

pta

bil

ité.S

5

1.8 Processus métier

18

Suivi de projets

Bilan de programmes

n n+1 n+2 n+3 n+4 n+5 année

Durée du cycle de réalisation : 6-8 ans

Programmation

Sélection

de

projets

n+6

Les trois Processus de réalisation de l'ANR

•~ 14.500 experts mobilisés /an•38,5 % d’experts internationaux

50 colloques en Ile de France et en Région

Programmes partenariaux :• 40 % d’industriels dans les comités des programmes

partenariaux• 50 % d’ industriels pour les expertises

200 experts dans les Comités

Scientifiques Sectoriels

2 – Quels apports pour l’ANR et ses clients?

Homogénéisation des pratiquesMise en œuvre des bonnes pratiques et

conservationAmélioration continueStructuration de l’organisationPréservation des données et maîtrise

documentairesGarantir l’égalité de traitement et

l’excellence des projets sélectionnés et financés.

3 – Le processus de Sélection et les critères d’évaluation

Principales étapes de l'AAP

Ouverture de l’AAPMois MM

Clôturede l’AAPMois MM

2e CEMois MM

FinancementMois MM

1ère réunionComité

d’évaluation

Pour chaque proposition :- Nomination des

rapporteurs et lecteurs- Propositions d’au

moins 2 experts externes

2ème réunionComité

d’évaluation

Expertise experts externe

Comitéde pilotage

Classement des projets en 3 listes :A : excellents projetsB : bon projets, avec remarquesC : projets rejetés

Décision de

financement ANR

Contractualisation &

financement

Classement final des projets à partir des listes A et B

CoPilMois MM

21

w w w . a g e n c e - n a t i o n a l e - r e c h e r c h e . f r

Quelques étapes du processus de sélection

• Examen de la recevabilité• Attribution des projets aux rapporteurs et lecteurs• Examen de l’éligibilité• Désignation des experts extérieurs• Réception des avis des experts extérieurs• Evaluation des projets par le comité d’évaluation• Examen des projets (classés A et B) par le comité de

pilotage• Etablissement de la liste des projets sélectionnés par

l’ANR• Publication de la liste + comités évaluation et de

pilotage• Envoi d’un avis aux coordinateurs• Instruction et finalisation du dossier administratif et

financier• Publication de la liste des projets financés

Critères de recevabilité inscrits dans l’AAP (vérification réalisée par l’ANR)

Reprise des critères du texte de l’AAP!!!!

• La proposition de projet doit être soumise dans les délais, au format demandé et être complète 

• Le document scientifique, dans la mise en page et la typographie fournies par l’ANR, ne doit pas dépasser 40 pages

• Le coordinateur du projet ne doit pas être membre du comité d’évaluation ni du comité de pilotage du programme

• La durée du projet doit être comprise entre 24 mois et 48 mois .

• Nombre minimal de partenaires (y compris le partenaire coordinateur) : X

23

Critères d’éligibilité inscrits dans l’AAPReprise des critères du texte de l’AAP!!!!

• La proposition de projet ne doit pas être jugée par le comité d’évaluation identique à une autre proposition recevable de l’édition 2012 de la programmation de l’ANR

• La proposition de projet ne doit pas être jugée par le comité d’évaluation comme portant atteinte à un droit de propriété intellectuelle caractérisant une contrefaçon au sens de la propriété intellectuelle (ou « plagiat »)

• Le projet doit entrer dans le champ de l’appel à projets• Type de recherche : cet appel à projets est ouvert :

• à des projets de Recherche fondamentale,• à des projets de Recherche industrielle,• à des projets de Développement Expérimental.

• Composition du consortium  : xxxxx• Autres critères (en particulier pour les programmes

transnationaux…)

24

Critères d’évaluation (cf. texte AAP)

• Pertinence de la proposition au regard des orientations de l’appel à projets

• Qualité scientifique et technique • Méthodologie, qualité de la construction du projet

et de la coordination • Impact global du projet • Qualité du consortium • Adéquation projet – moyens / Faisabilité du projet

Seuls les critères décrits dans l’AAP peuvent être considérés

Par exemple : ne pas financer un projet parce que son laboratoire a reçu trop d’argent n’est pas un critère d’évaluation.

25

Critères d’évaluation : Notation

Pour chaque critère examiné, la valeur des notes correspond aux commentaires suivants :0 - La proposition ne répond pas au critère examiné ou ne peut pas être évaluée en raison d’informations manquantes ou incomplètes1 -Très médiocre. Le critère est traité de manière superficielle et non satisfaisante2 - Médiocre. La proposition présente de sérieuses faiblesses intrinsèques en liaison avec le critère en question3 - Acceptable. Même si la proposition satisfait au critère dans les grandes lignes, elle présente des faiblesses auxquelles il faudrait remédier4 - Bon. La proposition satisfait au critère de manière appropriée, bien que certaines améliorations soient possibles5 - Excellent. La proposition traite avec succès tous les aspects pertinents du critère en question. Les lacunes éventuelles sont mineures

26

Comité d’évaluationRôle des membres

• Le président et/ou vice-présidentAnime des débats et garantit le respect des procédures

• Le rapporteurAssure l’évaluation d’un ou plusieurs projets conformément aux procédures et élabore l’avis destiné à être transmis au coordonnateur de projet

• Le lecteurAssure l’évaluation d’un ou plusieurs projets conformément aux procédures

• Le membre du CEParticipe aux débats, sauf conflit d’intérêts

27

Comité d’évaluation Engagement des membres

Le membre du comité :- s’engage à respecter les dispositions de la charte de

déontologie de l’ANR (notamment le § 8 « les membres de comités »)

- sort pendant la discussion sur un projet s’il a un conflit d’intérêt

- s’engage à respecter la confidentialité :

• des dossiers• des expertises et des évaluations• des discussions du CE• des résultats

S’engage à rédiger un avis sur les projets dont il est rapporteur en tenant compte des expertises et des discussions du CE

28

Rôle de l’ANR

• Le responsable scientifique de l’ANR− Il est le garant du respect de la procédure− Il rappelle les règles de fonctionnement (respect de la

certification ISO 9001 – sélection) et ne participe pas à la discussion scientifique, ni au classement des propositions

• L’équipe ANR du programme− Organise les réunions− Assure la logistique− Rédige les comptes rendus (y consigne la gestion des

conflits)− Ne participe pas à la discussion scientifique, ni au

classement des propositions

29

Évaluation des projets « suite » d’un premier financement ANR

• Le projet initial devrait être clairement identifié (année, AAP, le cas échéant titre, acronyme,…) ; en particulier dans le document scientifique (partie « état de l’art »), le coordinateur doit avoir précisé les résultats majeurs du projet initial 

• S’il le juge nécessaire pour l’évaluation du nouveau projet, le président du CE peut compléter ces informations en interrogeant le responsable de l’ANR sur les résultats du projet initial

30

Classement à l’issue du Comité d'Evaluation

Le CE fournit au Comité de pilotage une liste des projets classés en 3 catégories :

− Recommandés et prioritaires : liste A classée. 10 à 15% du nombre de projets soumis sont classés 1er ex-aequo

− Acceptables mais non prioritaires : liste B classée

− Rejetés : liste C non classée (projets ne devant en aucun cas être retenus)

Identification de quelques projets à risques : propositions qui, à partir d’un acquis scientifique solide et d’une intuition ou d’un travail exploratoire, tentent d’atteindre un objectif ambitieux par une voie originale, quelquefois inédite, et dont le résultat final espéré, s’il est atteint, pourra avoir un impact important.

31

Recommandation pour l’élaboration des avis envoyés aux coordonnateurs des projets

Structure et contenu de l’avis envoyé

• Modèle de présentation (> 400 mots)− Introduction : objectifs généraux de la proposition− Commentaires sur chacun des critères d’évaluation− Synthèse : points forts, points faibles et recommandations

• L’avis, rédigé par le rapporteur et validé par le président, fait la synthèse :− des expertises extérieures − des évaluations du rapporteur et du lecteur − des discussions du CE− des discussions du CP (éventuellement)

• L’avis est envoyé par l'ANR− aux coordonnateurs des projets non retenus, six

semaines au plus tard après la réunion du CP− aux coordonnateurs des projets retenus (voir ce qui a

été mis dans le texte de l’AAP au § 3 !!!)

32

Le processus de Sélection en chiffres

Budget de programmation : 629,3 M€