annual results and impact evaluation workshop for rbf - day seven - la mesure des résultats...
DESCRIPTION
A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.TRANSCRIPT
Audit | Tax | Advisory
LA MESURE DES RÉSULTATS (MODÈLES DE TRANSFERTS CONDITIONNÉS) Le rôle de l’Audit Externe Concurrent
mars 2014
Audit | Tax | Advisory
Sujets à traiter
• L’Audit, l’Audit Externe, l’Audit Interne, la Concurrence.
• Coûts et bénéfices désirés du modèle ACE
• Expériences
• Leçons apprises
• Conclusion
Audit | Tax | Advisory
Les 4 Questions
Plus tard ou plus tôt pendant la phase de la conception d’un programme (de préférence au plus tôt), l’équipe responsable des définitions stratégiques, est confronté à 4 questions liées à la Fonction de l’Audit:
Audit | Tax | Advisory
Les 4 Questions
Est-ce que j’ai besoin
d’inclure la fonction
Audit dans mon Projet?
Est-ce que c’est plus
convenable définir un
Audit Interne ou un
Audit Externe?
Est-ce que mon projet
doit considérer un Audit
Concurrent?
Qu’est-ce que je doit faire
avec les résultats de
l’Audit?
Audit | Tax | Advisory
En construisant des (possibles) réponses • La fonction Audit n’est pas équivalent à la structure Audit.
Quelques organisations créeront leur structure d’Audit Interne, d’autres externaliseront cette activité; d’autres élaboreront un Secteur de Suivi et Évaluation; des petites organisations trés orientées vers le client externe pourront développer la fonction dans un secteur de Service clientèle.
• Cependant, toutes les organisations doivent prévoir le besoin de la fonction audit, chargée d’évaluer ce qu’on a fait, ce qu’on aurait dû faire et proposer des corrections en cas de déviations. Sans ce circuit de feedback, les organisations vont en aveugle tout le long de leur cycle de vie, sans apprendre les déviations jusqu’à la fin de l’operation.
Audit | Tax | Advisory
Audit Externe vs. Audit Interne
• Le but de l’audit externe classique n’est pas l’accomplissement des objectifs de l’auditée, mais c’est assurer la véracité de l’information financière rapporté.
• L’audit interne se concentre sur le processus et sur l’observance qui a l’organisation des procédures définis; le résultat est pertinent quant au résultat mesurable du processus.
• Le dilemme n’est pas tel: ce sont deux modèles avec des objectifs et des méthodes différents, dans le plus mauvais des cas, indépendants entre eux, dans le meilleur, complémentaires.
Audit | Tax | Advisory
Le modèle ACE
• Entre ces deux schémas traditionnels, il y a l’Audit Concurrent Externe (ACE), avec des tensions évidentes et des chevauchements des frontières conceptuelles.
• Il soutient le fort mandat d’indépendance et de source d’opinion vers l’extérieur d’un côté, mais il incorpore un grand nombre des outils de l’audit interne pour l’évaluation des processus et la mesure des résultats et l’approche sur les opportunités d’amélioration.
Audit | Tax | Advisory
Quels Projets sont des candidats pour un ACE? • Opération soutenue pendant le temps
• Modèle d’opération distribué
• Nombreux acteurs impliqués
• Un composant transactionnel élevé entre les acteurs
• Introduction des Modèles de Gestion Innovants
• Modèles de Gestion fondés sur des Résultats
• Cadres d’opération changeants
Audit | Tax | Advisory
Quels Projets sont des candidats pour un ACE?
Les projets candidats idéels sont ceux où la compléxité de l’operation en matière de variation pendant les temps, quantité des participants et distribution géographique demandent l’utilisation d’un schéma d’évaluation et rapport fréquant et proche pour assurer que l’information soit donnée d’une façon opportune pour permettre la correction ou la confirmation de l’opération.
Audit | Tax | Advisory
Le Problème des résultats de l’Audit
• N’importe quelle est la réponse aux questions antérieures, on doit toujours définir ce qu’on fait avec les résultats de l’audit, en étant conscient que:
– Il y a toujours la possibilité de déviations dans l’opération (et même dans la conception);
– Les déviations détectées peuvent être comprises comme des défauts ou opportunités d’amélioration;
– Cacher (ou réglementer) les déviations n’améliore pas la performance d’un projet.
– Le plus détaillé l’objectif souhaité, les plus spécifiques les résultats de l’audit.
Audit | Tax | Advisory
Est-ce que j’ai besoin d’inclure la fonction
Audit dans mon Projet?
Est-ce que c’est plus convenable définir un
Audit Interne ou un Audit Externe?
Est-ce que mon projet doit considérer un Audit
Concurrent?
Qu’est-ce que je doit faire avec les résultats de
l’Audit?
La fonction Audit est inévitable. Donc, on recommande la planifier correctement
Les deux modèles classiques sont complémentaires, alors ils peuvent coexister dans un modèle.
Pas tous les projets sont des candidats pour obtenir des bénéfices d’un modèle ACE, c’est essentiel identifier quels en seraient.
Les audits génèrent des résultats, en général exprimés comme des déviations; être conscient de ça depuis la conception du projet aide la planification des actions à dérouler en face de ça.
Audit | Tax | Advisory
Bénéfices du modèle ACE
• Détection précoce des déviations et opportunités d’amélioration.
• Incorporation de la connaissance des points de vue des différents acteurs impliqués.
• Adaptation rapide des programmes de travail aux changements normatifs.
• Collaboration avec l’accomplissement des objectifs à travers l’application de critères d’acceptation uniformes.
• Conformation des Équipes Pluridisciplinaires, en facilitant l’interlocution fluide avec les acteurs.
Audit | Tax | Advisory
Coûts du modèle ACE • Application intensive d’heures
• Courbes d’apprentissage prononcées
• Disponibilité des Contreparties
• Définition soigneuse et stratégique des accomplissements
• Décision stratégique de ce qu’on doit faire avec les résultats
• Effort pour documenter les décisions administratives
Audit | Tax | Advisory
Notre expérience en ACE
PROAPS REMEDIAR
BID
2003
PISMIP PLAN NACER APL1
BIRF
2005
PISMIP PLAN NACER APL2
BIRF
2009
FESP
BIRF
2011
Audit | Tax | Advisory
Qu’est-ce qu’on apprend?
• Quoi faire
• Quand le faire
• Comment le faire
• Avec quoi le faire
• Avec qui le faire
Audit | Tax | Advisory
Feuille de Route pour un ACE Identification des
Processus Centraux
Développement du Plan de Travail Application du Plan de
Travail
Planification du Cycle de Travail
Programmation du Travail de Terrain
Relevé dans le Terrain
Consolidation et Analyse Clôture de Rapports
Audit | Tax | Advisory
Risques Implicites pour la Direction du Projet
• Risques de la Portée – Que le Plan de Travail ne couvre pas la portée souhaitée – Qu’il la couvre mais qu’il ne satisfasse pas les besoins
stratégiques
• Risques du Contrôle – Décentralisation excessive – Trop de Rigidité
• Risques de Détection – Que le Plan de Travail n’évolutionne pas avec la vitesse
suffisante pour détecter des déviations émergentes – Des variations parmi les évaluateurs indépendants
• Risques de Pertinence – Les observations dans un lieu peuvent ne pas être
pertinents pour un autre
Audit | Tax | Advisory
Défis
• Incorporer les réalités locales aux directives du Programme
• Coordonner les agéndas des ressources et les contreparties pour accomplir les dates limites engagées
• Compatibiliser les expectatives du consultant avec des responsabilités de l’auditeur
• Adapter le programmes de travail aux changements normatifs sans affecter les dates limites.
Audit | Tax | Advisory
Directives Générales pour un ACE
• Équipe professionnelle pluridisciplinaire et localisée
• Revision constante des Programmes de Travail
• Formation et actualisation constante
• Important composant de surveillance et coordination
• Contact constant avec les contreparties
Audit | Tax | Advisory
Directives Générales pour un ACE
• Équipe professionnelle pluridisciplinaire et localisée
• Revision constante des Programmes de Travail • Formation et actualisation constante • Important composant de surveillance et
coordination • Contact constant avec les contreparties
Audit | Tax | Advisory
AUDITORES DE CAMPO
JEFE DE PROYECTO
COORDINADOR DE SISTEMAS DE
INFORMACIÓN
COORDINADOR DE AUDITORÍA
COORDINADOR DE AUDITORÍA TÉCNICA
SUPERVISOR DE AUDITORÍA
SUPERVISOR DE AUDITORÍA TÉCNICA
AUDITOR DE SISTEMAS DE INFORMACIÓN
AUDITOR DE CAMPO AUDITOR TÉCNICO DE
CAMPO
EQUIPO DE COORDINACIÓN DE AUDITORÍA
EQUIPO DE COORDINACIÓN DE AUDITORÍA
TÉCNICA
EXPERTO EN ESTADISTICA BASE CENTRALE
BASE LOCAL
BASE MIXTE
CHEF DU PROJET
EXPERT EN STATISTIQUE
COORDONATEUR DES SYSTÈMES D’INFORMATION
COORDONATEUR D’AUDIT
COORDONATEUR D’AUDIT TECHNIQUE
ÉQUIPE DE COORDINATION D’AUDIT TECHNIQUE ÉQUIPE DE COORDINATION
D’AUDIT
AUDITEUR DES SYSTÉMES D’INFORMATION
SURVEILLANT D’AUDIT
AUDITEUR DE TERRAIN
BASE LOCALE
AUDITEUR TECHNIQUE DE TERRAIN
SURVEILLANT D’AUDIT TECHNIQUE
Audit | Tax | Advisory
Directives Générales pour un ACE
• Équipe professionnelle pluridisciplinaire et localisée
• Revision constante des Programmes de Travail
• Formation et actualisation constante
• Important composant de surveillance et coordination
• Contact constant avec les contreparties
Audit | Tax | Advisory
Audit | Tax | Advisory
Directives Générales pour un ACE
• Équipe professionnelle pluridisciplinaire et localisée
• Revision constante des Programmes de Travail
• Formation et actualisation constante
• Important composant de surveillance et coordination
• Contact constant avec les contreparties
Audit | Tax | Advisory
AUDIT CONCURRENT
ADMINISTRATIF ET DES PRESTATIONS
Audit | Tax | Advisory
Directives Générales pour un ACE
• Équipe professionnelle pluridisciplinaire et localisée
• Revision constante des Programmes de Travail
• Formation et actualisation constante
• Important composant de surveillance et coordination
• Contact constant avec les contreparties
Audit | Tax | Advisory
Cycle de travail
Audit Externa Concurrent
Mois “1” Mois “2” Mois “3” Mois “4”
Période en cours
d’analyse
Présentation
des Rapports
Relevé auditeur de terrain
Visites de surveillance
Révision des Rapports
Relevé auditeur de terrain
Montage de
l’échantillon
Clôture des
Rapports
Audit | Tax | Advisory
Directives Générales pour un ACE
• Équipe professionnelle pluridisciplinaire et localisée
• Revision constante des Programmes de Travail
• Formation et actualisation constante
• Important composant de surveillance et coordination
• Contact constant avec les contreparties
Audit | Tax | Advisory
Facteurs Critiques de la Réussite
• Équipe de travail experte et formée
• Communication efficiente
• Adaptation aux changements du modèle d’opération
• Feedback constant avec les contreparties
• Planification soigneuse des temps et des ressources
Audit | Tax | Advisory
Leçons apprises
• Les courbes d’apprentissage prononcées demandent la planification soigneuse des changements d’ACE dans le cycle de vie du projet.
• Le renforcement du rôle de l’auditeur à travers l’adoption de ses observations comme contraignant pour le programme, à court terme demande l’effort de négociation de la part de la conduite du Programme, mais à long terme il renforce les résultats.
Audit | Tax | Advisory
Conclusion
• Le schéma d’ACE donne l’indépendance d’un audit externe avec un encadrement méthodologique orienté à l’évaluation de processus.
• Pas tous les Programmes vont bénéficier d’un modèle d’ACE.
• Clairement, ces Programmes qui bénéficient d’un modèle ACE vont obtenir plus de bénéfices avec ce modèle qu’avec un modèle d’audit traditionnel.