enjeux et modalités de l’évaluation de la performance

Le 23ème colloque de l’ADMEE – Europe

« Évaluation etenseignement supérieur »

Paris – 12, 13 et 14 janvier 2011

Enjeux et modalités de l’évaluation de la performance globale dans

une organisation publique : le cas des universités françaises

Elodie DUPUYDoctorante en Sciences de Gestion

David CARASSUS Enseignant-chercheur

• Actuellement, l’enseignement supérieur est confrontéà des exigences de qualité et d’excellence de plusen plus fortes.

• En France, mise en place de la LRU avec 3principaux objectifs : « rendre l'université attractive » ; « rendre la recherche universitaire visible à l'échelle

internationale » ; « sortir de la paralysie de la gouvernance actuelle ».

Contexte de l’étude

Dupuy - Carassus2

Présentateur

Commentaires de présentation

Loi relative aux Libertés et Responsabilités des Universités du 10 août 2007

• De nombreuses démarches développées dans cesens :

l’Opération Campus ; l’opération Grand Emprunt ; l’essor des Pôles de Recherche et d’Enseignement

Supérieur ; le choix de la fusion pour certaines universités.

• Les réformes actuelles privilégient aussi toutes unemeilleure prise en compte de la globalité del’activité des universités, entraînant un nécessairerenouvellement du mode d’évaluation de leurperformance.


Dupuy - Carassus3

Présentateur


Opération Campus = février 2008, en faveur de l'immobilier universitaire + amorçant de grands rapprochements entre universités = dans le but faire émerger des campus d'excellence qui seront la vitrine de la France et renforceront l'attractivité, ainsi que le rayonnement de l'université française Opération Grand Emprunt = décembre 2009, financer en particulier des dépenses liées aux établissements de l’enseignement supérieur et, ainsi, de donner aux universités les moyens de leur autonomie Les politiques gouvernementales françaises favorisent aussi, depuis 2006, l’essor des Pôles de Recherche et d’Enseignement Supérieur sur le territoire français qui répondent non seulement aux objectifs de mutualisation, mais aussi de mise en cohérence des activités et des moyens des universités En réponse à ces mêmes objectifs, certaines universités ont, elles, fait le choix de la fusion, comme Montpellier, Strasbourg, ou encore l’université de Lorraine

• En effet, les universités sont actuellementsurévaluées : tant par des organes de contrôle interne qu’externe ; et que ce soit au niveau de leur performance en

matière d’enseignement, de recherche et degouvernance ;

mais pas de manière globale.

• Le « Balanced Scorecard » (BSC) de Robert S.Kaplan et David P. Norton (1992) est un outil decontrôle de gestion qui, au vu de ses différentescaractéristiques, doit pouvoir répondre à cetteproblématique de changement à laquelle lesuniversités françaises doivent faire face aujourd’hui.

4Dupuy - Carassus


Présentateur


Contrôles externes de l’Inspection Générale de l’Administration de l’Education Nationale et de la Recherche (IGAENR), de la Chambre Régionale des Comptes (CRC), ou de l’Agence d'Evaluation de la Recherche et de l'Enseignement Supérieur (AERES).

⇒ Comment mesurer la performance globale d'un établissement universitaire ?

Problématique

Dupuy - Carassus5

Sommaire

I. Les enjeux internes et externes de lamesure de la performance globaleuniversitaire

II. Les modalités de mise en œuvre d’uneévaluation globale de la performanceuniversitaire

Dupuy - Carassus6

Sommaire


I.1 Des enjeux internes en matière demanagement

I.2 Des enjeux externes en matière decommunication

Dupuy - Carassus7

• Le passage aux Responsabilités et CompétencesElargies (RCE) des universités a entraîné denouveaux risques : financiers ; au niveau des ressources humaines ; patrimoniaux.

⇒ La construction d’une vision plus globale del’activité universitaire permettrait alors unmanagement moins risqué par notamment la miseen place d’outils : financiers, des ressources humaines et patrimoniaux ; de connaissance, de prévision et de suivi ; permettant de dégager des leviers de performance.

8Dupuy - Carassus

I. Les enjeux internes et externes de la mesure de la performance globale

universitaireI.1 Des enjeux internes en matière de management

Présentateur


FI = Du fait de l’intégration de la masse salariale dans leur propre budget, celui-ci va être multiplié par deux ou trois, impliquant une gestion renforcée. RH = plus larges responsabilités : le transfert de la masse salariale des personnels titulaires, la possibilité élargie d’engager des enseignants contractuels, de nouvelles attributions en matière de politique indemnitaire et d’intéressement, de nouveaux modes de recrutement des enseignants-chercheurs, etc. Pat = les universités, victimes de la vétusté et de l'obsolescence de leurs bâtiments, sont aujourd'hui confrontées à la nécessité de réhabiliter leur patrimoine afin de l’adapter à leurs besoins et de respecter l'ensemble des réglementations environnementales et sanitaires.

⇒ La maîtrise de l’activité universitaire dans saglobalité demande un renouveau du contrôleinterne organisationnel et du dialogue de gestiondans les universités, ce qui amènerait à unrenforcement du pilotage des risques, et donc à unemeilleure vision des opportunités.

• Le contrôle interne organisationnel doit représenterun « moyen de régulation de l’organisation enproposant des améliorations et corrections ausystème existant » (Joras, 1997) ;

• Le dialogue de gestion doit correspondre à unprocessus d’échange, et permettre de maîtriserl’activité universitaire.

Dupuy - Carassus



9

⇒ Ces enjeux managériaux internes intéressent : l’équipe dirigeante universitaire pour l’aider dans ses

prises de décision ; tous les responsables, politiques et administratifs,

de composantes et de servicescommuns/généraux pour les aider à développer unevéritable politique d’établissement.

Dupuy - Carassus



10

Sommaire


I.1 Des enjeux internes en matière demanagement

I.2 Des enjeux externes en matière decommunication

Dupuy - Carassus11

• Le passage à l’autonomie des universités a entraînéde nouvelles obligations en matière detransparence.

• Les universités doivent désormais appliquer : les pratiques de la certification des comptes mises

en place depuis 2006 suite à l’application de la Loi deSécurité Financière de 2003 (ajout d’un contrôleexterne par les commissaires aux comptes) ;

les normes comptables internationales (IAS).

12Dupuy - Carassus


universitaireI.2 Des enjeux externes en matière de communication

Présentateur


Les universités vont pouvoir jouir des pratiques concernant la certification des comptes mises en place depuis 2006 par d'autres établissements publics nationaux suite à l’application des articles 135 et 136 de la Loi de Sécurité Financière du 17 juillet 2003. se concentrer sur la comptabilisation des contrats pluriannuels, le respect de la césure des exercices, la comptabilisation des subventions d'investissement, l'exhaustivité de la comptabilisation des droits acquis au personnel, le respect des règles en matière d'information financière ou encore l'application des règles fiscales pour leurs activités fiscalisées

⇒ Ces nouvelles exigences se traduisant par uneamélioration de la qualité des comptesuniversitaires et de la reddition de ces derniers,représentent des enjeux à la mesure de laperformance globale des universités françaises, etpermettent à celles-ci de s’intégrer plus aisémentdans des activités à l’échelle internationale.

13Dupuy - Carassus



⇒ La qualité des comptes universitaires : enjeu institutionnel et relationnel important pour l’Etat ; support à l’évaluation quantitative et qualitative

globale de l’activité et de la performanceuniversitaire entre l’Etat et les universités(SYMPA) ;

enjeu politique pour d’autres financeurs, existants oupotentiels (collectivités locales, l’Europe, lespartenaires publics-privés, les banques).

⇒ L’amélioration de la reddition des comptesuniversitaires : obligation de la certification des comptes ; augmentation de la responsabilité des établissements

universitaires face à leurs parties prenantes.14

Dupuy - Carassus



Présentateur


permettant une mise en cohérence avec ses propres démarches dans le cadre contractuel nouveau SYstème de répartition des Moyens à la Performance et à l’Activité (SYMPA) collectivités locales dans le cadre de conventions, partenaires intéressés par des informations comptables et financières de qualité permettant non seulement une reddition des comptes, mais aussi une analyse fiable en fonction de besoins spécifiques.

Sommaire

I. Les enjeux internes et externes de la mesurede la performance globale universitaire


Dupuy - Carassus15

Sommaire


II.1 Une réelle prise en compte de la globalitéde l’activité universitaire

II.2 Le BSC, un outil multidimensionneld’évaluation de la performance

Dupuy - Carassus16

• La globalité de la performance universitairedemande : des outils de pilotage accessibles pour l’ensemble des

acteurs d’une université ; des contrats d’objectifs et de moyens (Carlier et

Ruprich-Robert, 1998) ; une analyse de la situation de l’université concernée

par rapport à d’autres établissements de même type.• Elle peut être appréhendée selon les propositions de :

Ramond (1993) : le contrôle des résultats d’uneorganisation nécessite la création de tableaux debord répondant à plusieurs impératifs ;

Breid (1994) : évolution des outils de pilotageclassiques autour de 3 facteurs : l’horizon temporel,le niveau de couverture des facteurs contribuant àla performance et la dimension comportementale.

Dupuy - Carassus

II. Les modalités de mise en œuvre d’une évaluation globale de la performance

universitaireII.1 Une réelle prise en compte de la globalité de l’activité

universitaire

Présentateur


COM en émergence réponde aux enjeux garder une vision globale », « enrichir la vision du manager opérationnel »,« nourrirl’analyseetle diagnosticdesresponsablesd’unité »,etenfin« doterlaDirection Générale d’un système d’information et de contrôle lui permettant de remplir pleinement sa fonction de pilotage stratégique». Pour le premier de ces facteurs, il semble nécessaire qu’une gestion prévisionnelle, infra-annuelle, annuelle et pluriannuelle soit aussi mise en oeuvre pour répondre aux enjeux actuels. Pour le second facteur, les outils actuels du pilotage universitaire, au delà des informations quantitatives économico-comptable, devraient aussi prendre en compte des éléments qualitatifs liés à la performance organisationnelle, plus complexe et englobante dans les organisations publiques - bénéfique non seulement à l’équipe dirigeante de l’établissement, mais aussi aux partenaires extérieurs (Carassus et Carassus, 2006). Pour le troisième facteur, celui lié à la dimension comportementale, les universités semblent devoir s’orienter vers des outils qui aident à la décision, notamment sur le plan stratégique.

• Des enjeux étudiés précédemment découlel’amélioration de la performance des universités,qui doit être définie de manière pluridimensionnelle,afin de pouvoir mettre en œuvre l’évaluation globalede celle-ci.

• Selon Ducq (2008), puis Carassus et Gardey (2010),la performance peut alors être envisagée selon 5dimensions : politico-territoriale ; de qualité de services publics rendus ; managériale ; de développement du capital humain ; économico-légale.

• Sur ces 5 dimensions devront donc être fondées lesdifférentes pratiques instrumentales ouorganisationnelles des universités.


universitaireII.1 Une réelle prise en compte de la globalité de l’activité

universitaire

18

Sommaire


II.1 Une réelle prise en compte de la globalité del’activité universitaire

II.2 Le BSC, un outil multidimensionneld’évaluation de la performance

Dupuy - Carassus19

• Le BSC regroupe les facteurs clés de succès d’uneentreprise autour de quatre axes majeurs,interdépendants entre eux et dépendants de la visionstratégique de l’entreprise, que sont : l’axe « finance » ; l’axe « clients » ; l’axe « processus internes » ; l’axe « apprentissage organisationnel ».

• Il met sur un même plan d’importance desinformations rétrospectives et prospectives, maissurtout financières et non financières.

• C’est un outil : intégrateur : complément essentiel aux outils

traditionnels de gestion ; multifonctionnel : peut servir à tous les acteurs de

tous les secteurs.


universitaireII.2 Le BSC, un outil multidimensionnel d’évaluation de la

performance

• L’adaptation du BSC au secteur public et plusparticulièrement aux universités françaises : « Public Sector Scorecard » (PSS), avec l’ajout de

l’axe « usagers - parties prenantes » (Moullin, 2002) ; priorisation de l’axe « clients » (Kaplan 1998 ; Lohri,

2000) ; possibilité d’intégrer un axe « politique » (Bessire,

2000 ; Atkinson, Waterhouse, Wells, 1997) ; possibilité d’intégrer un axe « environnement »

(Gombaud-Saintonge, Geze, Panet, 2003 ; Choffel,Meyssonnier, 2005) ;

possibilité d’intégrer un axe « société » (Kaplan etNorton, 2001), mais pas encore d’actualité.

Dupuy - Carassus



performance

21

Présentateur


préoccupations sociales, environnementales, et économiques

22Dupuy - Carassus

II. Les modalités de mise en œuvre d’une évaluation globale de la performance universitaire

II.2 Le BSC, un outil multidimensionnel d’évaluation de la performance

MOYENS HUMAINS

REALISATIONS

EFFETS/IMPACTS

MOYENS ORGANISATIONNELSMOYENS FINANCIERS

OBJECTIF GENERAL

⇒ Un exemple de BSC à destination d’un Vice-Président du ConseilScientifique (CS) d’une université en matière de recherche

Dupuy - Carassus



MOYENS HUMAINS

MOYENS ORGANISATIONNELS

MOYENS FINANCIERS

Tendre vers le meilleur niveau

national et international en

matière de recherche

Dupuy - Carassus



REALISATIONS

EFFETS/IMPACTS

Tendre vers le meilleur niveau

national et international en

matière de recherche

24

25Dupuy - Carassus



MOYENS FINANCIERS MOYENS HUMAINS MOYENS ORGANISATIONNELS

REALISATIONS

EFFETS/IMPACTS

26Dupuy - Carassus



MOYENS HUMAINS

REALISATIONS

EFFETS/IMPACTS


MOYENS FINANCIERS

OBJECTIF GENERAL

⇒ Un exemple de BSC à destination d’un Vice-Président du Conseil desEtudes et de la Vie Universitaire (CEVU) d’une université en matière deformation

Dupuy - Carassus



MOYENS HUMAINS


MOYENS FINANCIERS

Accroître la réussite des étudiants dans

les diverses formations proposées

Dupuy - Carassus



REALISATIONS

EFFETS/IMPACTS

Accroître la réussite des étudiants dans

les diverses formations proposées

29Dupuy - Carassus




REALISATIONS

EFFETS/IMPACTS

30Dupuy - Carassus



⇒ Un exemple de BSC à destination d’un Vice-Président du Conseild’Administration d’une université en matière de gouvernance

MOYENS HUMAINS

REALISATIONS

EFFETS/IMPACTS

MOYENS ORGANISATIONNELSMOYENS FINANCIERS

OBJECTIF GENERAL

31Dupuy - Carassus



MOYENS HUMAINS


MOYENS FINANCIERS

Redynamiser la gouvernance

actuelle

Dupuy - Carassus



REALISATIONS

EFFETS/IMPACTS

Redynamiser la gouvernance

actuelle

33Dupuy - Carassus




REALISATIONS

EFFETS/IMPACTS

⇒ La mise en œuvre du BSC au sein des universitésfrançaises permettrait donc de dépasser lasegmentation actuelle entre la mesure de laperformance au niveau de l’enseignement, de larecherche et de la gouvernance et de mettre enœuvre une évaluation globale de la performanceuniversitaire.

34Dupuy - Carassus



performance

Le 23ème colloque de l’ADMEE – Europe

« Évaluation etenseignement supérieur »

Paris – 12, 13 et 14 janvier 2011

Enjeux et modalités de l’évaluation de la performance globale dans

une organisation publique : le cas des universités françaises

Elodie DUPUYDoctorante en Sciences de Gestion

David CARASSUS Enseignant-chercheur

enjeux et modalités de l’évaluation de la performance

Documents