rapport contre vérification avril-mai 2015 projet 108050

numéro du projet: 108050

DÉCEMBRE 2015

Vincent Kamenyero Francis Mandazou

Paula Mommers Patrick Paluku

Peter Bob Peerenboom Ernest Schoffelen

Jean-Pierre Tsafack Jennie van de Weerd

Jean-Claude Wema Michel Zabiti

CONTRE VÉRIFICATION

PROJET FBP CCT SANTÉ

RAPPORT CONTRE VERIFICATION – PROJET 108050

DECEMBRE 2015 © CORDAID 1

REMERCIEMENTS

Nos remerciements s’adressent à toutes les personnes qui ont participé au succès de la contre vérification du projet FBP CCT Santé, Numéro : 108050.

Cette mission de contre-vérification de deux semaines a donné lieu à de nombreux échanges entre bénéficiaires, experts ainsi qu’avec les acteurs locaux et institutionnels lesquels poursuivent le même objectif : l’accès aux services de santé de base et de qualité pour les citoyens de la République Démocratique du Congo.

Sans votre disponibilité, votre professionnalisme ainsi que votre diligence, nous n’aurions pu fournir ce présent rapport récapitulant les objectifs du programme et notre progression dans l’atteinte des objectifs fixés collectivement.

La collaboration et contribution de chacun ont permis de fournir un travail de qualité.

Nos remerciements s’adressent à vous tous : personnel et patients des centres de santé et hôpitaux visités lors de la contre vérification.

Nous tenons également à remercier chaleureusement le personnel des BCZS et AAP et le Cabinet du Gouverneur de la Province lesquels ont été d’une précieuse aide. En l’occurrence:

- aux BCZS Katana - spécialement Martin Birhange (AG),

- aux BCZS Idjwi - spécialement Jules Ruhunemungu (superviseur),

- aux BCZS Miti Murhesa - spécialement Bahati Lunanga (superviseur).

- au personnel de l’AAP - spécialement Désire Mupenda (vérificateur), Blaise Ciza (vérificateur médical) ainsi

que Jackson Byamungu (chargé du programme Santé).

- M. Patrick Paluku, conseiller au secrétariat du Cabinet du Gouverneur de la Province

Nous réitérons donc tous nos remerciements pour votre contribution.



TABLE DES MATIÈRES REMERCIEMENTS ......................................................................................................................................... 1

RÉSUMÉ ....................................................................................................................................................... 4

1. INTRODUCTION ........................................................................................................................... 6

1.1. le sud kivu et le financement basé sur la performance (fbp) .........................................................................6

1.2. le projet .......................................................................................................................................................................6

1.3. les parties prenantes et leurs rôles ................................................................................................................... 8

1.4. la mission de contre vérification et ses objectifs ............................................................................................. 8

2. MÉTHODOLOGIE .........................................................................................................................10

2.1. introduction .............................................................................................................................................................. 10

2.2. contre verification .................................................................................................................................................. 10

2.3. evaluation des contrats de performance du regulateur .............................................................................. 12

2.4. cadre d’analyse des six éléments dans le fbp ................................................................................................... 13

3. CONTRE-VÉRIFICATION ............................................................................................................ 15

3.1. quantité des hopitaux et des centres de santé ................................................................................................. 15

3.1.1. introduction .............................................................................................................................................................. 15

3.1.2. resultats et constats pma ..................................................................................................................................... 16

3.1.3. resultats et constats pca ..................................................................................................................................... 20

3.1.4. points forts .............................................................................................................................................................. 20

3.1.5. points faibles ............................................................................................................................................................ 21

3.1.6. recommendations ..................................................................................................................................................... 22

3.2. qualité hopitaux et centres de santé .................................................................................................................. 23

3.2.1. introduction .............................................................................................................................................................. 23

3.2.2. écarts contre vérification de qualité ............................................................................................................... 24

3.2.3. points forts ...............................................................................................................................................................26

3.2.4. points faibles qui nécessitent une attention particulière ............................................................................26

3.2.5. recommandations .................................................................................................................................................... 27

3.3. quantité et qualité bureaux central zones de santé (bczs) ......................................................................... 28

3.3.1. introduction ............................................................................................................................................................. 28

3.3.2. constats au niveau des bczs................................................................................................................................... 29

3.3.3. points forts ...............................................................................................................................................................30

3.3.4. points faibles ............................................................................................................................................................30

3.3.5. recommandations ....................................................................................................................................................30

3.4. évaluation du regulateur du niveau provincial .............................................................................................. 31

3.4.1. contrat avec le ministère provinciale de la santé .......................................................................................... 31



3.4.2. contrat avec le bureau 2 de la dps ...................................................................................................................... 32



3.4.5. contrat avec le bureau de l’inspecteur provincial ......................................................................................... 33

3.4.6. analyse des forces et faiblesses .......................................................................................................................... 33

3.4.7. analyse des constats ..............................................................................................................................................34

3.4.8. recommandations .................................................................................................................................................... 35

4. LES SIX ÉLÉMENTS DU FBP ...................................................................................................... 36

4.1. lien entre résultats (indicateurs de performance) et paiement .................................................................. 36

4.2. contactualisation.................................................................................................................................................... 36

4.3. autonomie de gestion .............................................................................................................................................. 36

4.4. séparation des fonctions ....................................................................................................................................... 37

4.5. équité .......................................................................................................................................................................... 37

4.6. voix de la population .............................................................................................................................................. 37

5. CONCLUSIONS ET RECOMMENDATIONS ................................................................................ 38

ANNEXE 1: TERMES DE REFERENCE ........................................................................................................41

ANNEXE 2: ITINERAIRE DE MISSION ...................................................................................................... 45

ANNEXE 3: SUBSIDE QUANTITATIF PAR CAPITA PAR AN .................................................................. 46

ANNEXE 4: RÉSULTATS QUANTITATIFS PMA ....................................................................................... 47

ANNEXE 5: RÉSULTATS QUANTITATIFS PCA ........................................................................................ 52

ANNEXE 6: RESULTATS QUALITATIFS ................................................................................................... 54

ANNEXE 7: RESULTATS QUALITÉ HÔPITAUX ....................................................................................... 57

ANNEXE 8: OUTILS DE VÉRIFICATION REGULATEURS ........................................................................ 58



RÉSUMÉ

La contre évaluation du programme FBP au Sud Kivu a eu lieu de 19 avril au 4 mai 2015 et a été exécutée par une équipe mixte de Cordaid Pays-Bas, Burundi, CAR, Cameroun et RDCongo. Dans le programme FBP actuel, Cordaid intervient dans trois zones de santé (Idjwi, Katana, Miti-Murhesa) qui comptent en tout une population estimée à 686.500 (dénombrement 2014). Ce programme envisage d’améliorer la disponibilité et l’utilisation des services de santé de la reproduction de qualité dans trois zones de santé de la province du Sud Kivu et la régulation par le Ministère Provincial de la Santé et la Division Provinciale de la Santé à travers la stratégie de Financement Basé sur la Performance (FBP). L’objectif principal de la contre évaluation est ‘améliorer le programme FBP en Sud Kivu par l’identification des points forts et faibles’ en faisant

1. la vérification des résultats quantitatifs et qualitatifs des FOSA, des différents organes administratifs et de la vérification de la communauté concernant la satisfaction

2. l’analyse de l’application des six principes du FBP 3. l’évaluation de la pertinence des indicateurs et outils d’évaluation de qualité

Il est pris un échantillon de 15 Centre de Santé (d’un total de 56 CdS) et 3 Hôpitaux (d’un total de 8 HGR/CH). Pour les organes administratifs, les 3 Bureaux Central de Zone de Santé, le Ministère Provincial de Santé, la Division Provincial de Santé et 3 de ses bureaux (B2, B3, B5) sont pris en compte.

En ce qui concerne les objectifs du projet, les observations suivantes sont faites : Ad 1.

a. Les écarts entre les vérifications quantitatives et qualitatives des HGR et des BCZS et la contre vérification sont minimaux ; les écarts entre les vérifications quantitatives et qualitatives des CdS et la contre vérification sont plus importants et parmi des raisons se trouvent :

des erreurs de remplissage, et d’incomplétude des registres les indicateurs qui ne sont pas toujours SMART et/ou pertinents et/ou vérifiable au niveau de la

vérification (p.ex. cas référé et arrivé à l’hôpital) une gestion financière faible négligence de prendre des simples mesures pour corriger des aspects de qualité qui sont

identifiés par l’équipe de vérification qualitative et le manque de suivi par l’equipe de vérification pour pousser la prise des mesures correctives faible enregistrement de la rétro information PMA/PCA incomplet : TBC, PF (Hôpital confessionel) Faiblesse dans l’analyse, le suivi et l’évaluation des plans de management Les vérificateurs ne travaillent pas de la même façon Des erreurs dans la sommation des points

b. Le personnel est disponible et motivé et a une compréhension suffisante du programme FBP c. Les CdS et HGR disposent d’un plateau technique suffisant pour réaliser des services de qualité d. Le programme et les indicateurs évoluent bien sur base des constats faits par les vérificateurs ce qui est

visible dans leurs commentaires dans les registres. e. Les BCZS planifient des supervisions selon les problèmes, sauf à Miti Murhesa f. Pour les organes administratifs, le FBP aide à développer la planification rationnelle, à effectuer les

réunions régulièrement et une mise en application effectives des taches des membres de l’équipe. g. Faible relation entre le résultat à atteindre et le travail des différents bureaux de régulateur.



Ad 2. a. La majorité des indicateurs est bien liée au paiement, mais certains ne sont pas SMART b. La programmation de travail est devenue une habitude ; les évaluations et les vérifications ont lieu

régulièrement c. L’autonomie de gestion pour les prestataires des soins de santé est partiellement assurée (la gestion du

personnel exclus d. La séparation des fonctions de régulation, prestation et consommation est plus ou moins assurée malgré

le fait que Cordaid et AAP exercent à la fois des paiements et de la vérification e. L’égalité d’accès aux services reste un souci permanent ; comment bien identifier les indigents ? f. La voix de la communauté est renforcée, mais reste faible au niveau régional

Ad 3.

a. Certains indicateurs de qualité ne sont pas suffisamment SMART et pertinents b. Pour la quantité la définition d’un cas valide pose quelquefois un problème c. Certains indicateurs ne sont pas liés à la performance du contracté d. L'ajout et la suppression de certains indicateurs sans communication et le consentement ; le même

compte pour les changements des prix unitaires

Les recommandations les plus importantes seront de : Réviser les indicateurs quantitatifs et qualitatifs pour les rendre plus clairs et sans ambiguïté Réviser les outils de performance regulierement selon les changements des indicateurs et/ou d’autres

changements du programme Inclure une guide pratique simple pour définir précisément les cas à considérer par le FBP dans les

différents registres Adapter le manuel de procédure après la révision des indicateurs Voir les modalités de séparation de différentes fonctions de l´AAP et de Cordaid Réviser les contrats avec des organes de régulateurs selon la reforme politique qui a eu lieu récemment en

Sud Kivu et considérer le DPS comme un ensemble des bureaux émanent du MPS Envisager les missions de contre-vérification périodiquement



1. INTRODUCTION

1.1. le sud kivu et le financement basé sur la

performance (fbp) Depuis actuellement dix ans, Cordaid et ses partenaires gouvernementaux et non gouvernementaux (Ministère de la Santé et l’AAP) mettent en œuvre un programme de Financement Basé sur la Performance dans le Sud Kivu. Cette approche a été étendue depuis 2008 dans le secteur de l’Education avant de gagner celui de la justice et de la police. Des résultats encourageant ont été enregistrés au courant de toutes ces années apportant des améliorations aussi bien dans l’accès de la population aux services sociaux de base mais aussi dans la qualité des services fournis par les prestataires. Cette qualité devant être garantie par des normes nationales, l’approche FBP a été étendue au niveau de la régulation provinciale depuis 2011 à travers les différents ministères provinciaux concernés (Santé, Education, Justice et Intérieur) ainsi que les Divisions Provinciales et les Inspections Provinciales y afférentes. Des contrats de performance avec le ministère Provinciale et la DPS sont signés avec Cordaid en conformité avec les différents cahiers des charges assignés par le Gouvernement à ces différentes institutions (voir tableau 3 ci-dessous). Une Agence d’Achat des Performances (AAP) contracte ainsi les prestataires des services (Centres de santé, Hôpitaux généraux de références, Ecoles, Administrations des territoires, Prisons, Tribunaux de paix et sous commissariats de la Police Nationale) ainsi qu’avec les régulateurs au niveau périphérique (BCZS, Inspections des pools).

1.2. le projet Ce projet dans le secteur de la Santé fait suite à deux autres précédents dans lesquels seules la quantité et la qualité de l’offre étaient recherchées à travers le FBP. Certains indicateurs liés à l’accès aux services ayant bien évolués pendant quelques années, ils ont ensuite connu une certaine stagnation quant à la demande. Il s’agit plus précisément de l’utilisation des méthodes contraceptives modernes et les services de CPN. Le nombre d’accouchements assistés a connu également une évolution stationnaire après quelques années d’amélioration.

L’actuel projet s’est donné ainsi l’objectif de stimuler la demande sur l’utilisation des services de PF et de CPN tout en encourageant les accouchements assistés dans des formations sanitaires. Le projet a pour objectif principal d’améliorer la disponibilité et l’utilisation des services de santé de la reproduction de qualité dans trois zones de santé de la province du Sud Kivu et la régulation par le Ministère Provincial de la Santé et la Division Provinciale de la Santé à travers deux stratégies : le Financement Basé sur la performance et le Conditionnal Cash Transfer.



Tableau 1 : Evolution des indicateurs de la Santé de la Reproduction

Le projet est mis en œuvre dans trois (3) Zones de Santé (ZS) d’un total de 34 ZS de la province de Sud Kivu : Katana, Miti Murhesa et Idjwi. De manière spécifique, le projet vise à :

1. Augmenter la qualité et l’accessibilité géographique et financière des services de santé de base (PMA et PCA) ; 2. Améliorer l’accès des femmes aux soins maternels de bonne qualité au cours de leur grossesse, à

l’accouchement et en post-natal ; 3. Offrir plus de choix aux femmes (et hommes) en âge de procréation aux services de planning familial de bonne

qualité ; 4. Améliorer l’accès des populations vulnérables aux services de santé à travers la stimulation de leur adhésion et

le renforcement des Mutuelles de Santé ; 5. Renforcer les capacités humaines et techniques en augmentant le plateau technique à tous les niveaux dans

les zones de santé concernées ; 6. Renforcer le rôle de régulation de l’Etat et la bonne gouvernance dans le système de santé ; 7. Maintenir le programme FBP au Sud Kivu afin de renforcer le plaidoyer en faveur de l’adoption et l’appui

effectif au programme par le gouvernement de la RDC dans le processus de mise à l’échelle. Quelques résultats du projet sont présentés dans les tableaux 1 et 2.

Tableau 2 : Evolution de la qualité des prestations des CdS

Score qualité T4 2013 T1 2014 T2 2014 T3 2014 Score Moyen

Idjwi 78% 76% 78% 76% 77%

Katana 81% 81% 83% 81% 82%

Miti Murhesa 72% 72% 70% 72% 72%

Moyenne 3 ZS 77% 76% 77% 76% 76,5%

Indicateurs par ZS Baseline

2011

Objectifs ZS Idjwi ZS Katana ZS Miti Murhesa

Périodes 0ct 2012 -

Sept 2013

0ct 2013 –

Sept 2014

0ct 2012 -

Sept 2013

0ct 2013 –

Sept 2014

0ct 2012 -

Sept 2013

0ct 2013 –

Sept 2014

L’utilisation de la CPN 95 % 114 % 125 % 112 % 146 % 105 % 144 %

Femmes ayant réalisés 3

CPN

25 % 90 % 66 % 41,4 % 52 % 29 % 46 % 36,5 %

Tx d’accouchements

eutociques dans CS

42 % 90 % 52 % 60,5 % 66 % 90 % 25 % 43 %

Proportion des

Nouvelles inscrites PF

(Inj+Pillules)

62 % 80 % 110 % 65 % 140 % 43 % 92,2 %

Proportion des

Renouvellement PF (Inj

+ Pillules)

34 % 58,6 % 34 % 82,6 % 17 % 33,3 %



1.3. les parties prenantes et leurs rôles

Aux différents niveaux du programme FBP, des relations contractuelles ont été établies entre les parties prenantes suivantes qui jouent chacun un rôle spécifique :

Tableau 3 : Relations contractuelles entre Parties prenantes et leurs rôles

BÉNÉFICIAIRES

CONTRACTANTS

MINISTERE

PROVINCIAL DE LA

SANTE

DIVISION

PROVINCIALE DE LA

SANTE

EQUIPE CADRE DES

ZS

FOSA (HGR, CH ET

CDS)

ASLO

Cordaid Contrat

Vérification

Paiement

Contrat

Vérification

Paiement

AAP Vérification Vérification Contrat

Vérification

Paiement

Contrat

Vérification

Paiement

Contrat

Vérification

Paiement

Ministère Provincial

de la Santé

Vérification

Division Provincial

de la Santé

Vérification Vérification Vérification

La question de séparation des fonctions reste encore à clarifier sur les rôles que jouent aussi bien Cordaid avec les régulateurs provinciaux que ceux que jouent l’AAP avec les régulateurs périphériques et les prestataires des services.

1.4. la mission de contre vérification et ses objectifs

L’objectif principal de la mission de contre vérification est d’améliorer le programme FBP au Sud Kivu par l’identification de points forts et des points faibles (voir Annexe 1, Termes de Références).

Les objectifs spécifiques sont :

Vérifier à travers un échantillon la véracité des résultats : a. quantitatifs et qualitatifs dans les FOSA ; b. des différents organes administratifs (le régulateur) ; c. de la vérification de la communauté concernant la satisfaction.

Analyser jusqu'à quel niveau le projet applique les six principes du FBP : a. Lier le paiement à la performance (indicateurs) ; b. Approche contractuelle (cycle business plan et vérification) ; c. Autonomie de gestion pour les prestataires des soins de santé ; d. Séparation des fonctions ; e. Egalité d’accès aux services ; f. Renforcement de la communauté (autonomisation de l’utilisateur final)

Sur base de ces objectifs, il est clair que la mission envisage aussi bien une contre-vérification qu’une revue de l’organisation du programme. Les résultats de la mission seront utilisés pour améliorer le programme au Sud Kivu



quant à la gestion des données et l’organisation ; pour vérifier s’il y a de fraude dans la mise en œuvre du programme ; pour réviser les différents outils d’évaluation de la quantité et de la qualité (si nécessaire) (voir Annexe 2, Programme de la Mission).

Les interventions complémentaires (bracelets et CCT) ne font pas partie de cette évaluation. Ces interventions sont sur investigation de Swiss TPH dans une étude longitudinale et la partie quantitative dans cette étude ne fera pas partie de cette contre vérification. La satisfaction de ces interventions sera prise ensemble avec la partie communautaire.



2. MÉTHODOLOGIE

2.1. introduction Cette contre-vérification comporte 5 parties :

1. Une vérification des données quantitatives validées par l’AAP dans un échantillon des centres de Santé (CdS) et des hôpitaux/centres hospitaliers dans les trois zones de Santé couvertes par le projet pour la période de Septembre 2013 – Août 2014 (chapitre 3.1.).

2. Une vérification des données qualitatives vérifiées par le BCZS dans le même échantillon des centres de santé (CdS) et des hôpitaux dans les trois zones de Santé couvertes par le projet pour le premier trimestre 2015 (Janvier – Mars) (chapitre 3.2.).

3. Une vérification des données quantitatives et qualitatives validées par l’AAP dans les trois Bureaux Centraux des Zones de Santé (BCZS) pour la période de Septembre 2013 – Aout 2014 (chapitre 3.3.).

4. Une évaluation des contrats de performance avec le régulateur au niveau de la province du Sud-Kivu (chapitre 3.4).

5. Une analyse de l’application des 6 principes FBP dans le projet (chapitre 4). Le rapport est clôturé avec des conclusions et des recommandations (chapitre 5).

2.2. contre verification

Sélection de l’échantillon

De chaque Zone de Santé, l’Hôpital Général de Référence et 5 CdS étaient inclus dans l’échantillon. La sélection des 5 CdS étaient basé sur le montant de subside payé par capita.

Sur base des données quantitatives validées par l’AAP et retrouvées dans le portail FBP Sud-Kivu http://health.pbfsudkivu.org/ et le coût par indicateur dans le contrat, le montant payé par capita pour la quantité pour la période de Septembre 2013 - Aout 2014 était calculé. Parce que le score de qualité sur la même période était environ le même pourcentage pour toutes les structures concernées, celui n’est pas pris en compte dans ce calcul.

L’annexe 3 donne le nombre total des CdS par zone et le montant qui était payé pour l’année prise en compte. Les 3 centres les plus performantes et les trois les moins performante étaient sélectionnés et un extra. Après discussion sur l’accessibilité géographique des centres retenus, une sélection finale était faite. Pour chaque zone, 5 CdS et un hôpital/centre hospitalier étaient retenus.

Pour la contre vérification tous les indicateurs quantité étaient retenues et trois mois étaient sélectionnés par hasard. Les mois sélectionnés pour la contre vérification de la quantité, étaient Octobre 2013, Mars 2014 et Juillet 2014. Pour la qualité dans les FOSA, le premier trimestre de 2015 était choisi (juste vérifié par les vérificateurs du régulateur (BCZS) parce que ce n’est pas possible de vérifier la qualité rétroactive).

http://health.pbfsudkivu.org/



Tableau 4 : Les CdS et Hôpitaux retenus dans les 3 districts (Idjwi, Katana, Miti-Murhesa)

Zone de Santé Idjwi Katana Miti-Murhesa

Total de CdS 21 17 18

CdS Retenues ($) CSR Mugote ($0,42) Mpene ($0,54) Bushongo ($0,66) Lumala ($0,76) Mafula ($0,93)

Ibinja ($0,43) Birava ($0,46) CSR Ihimbi ($0,85) CSR Mugeri (0,93) Katana Nuru ($1,05)

Kavuma ($0,39) Kahungu ($0,49) Bushumba ($0,67) Lwiro ($0,98) Mbayo ($0,38)

Total HGR/CH 3 2 3

HGR ($) Monvu ($0,09) Katana ($0,08) Miti-Murhesa ($0,09)

BCZS Quantité Quantité Quantité et Qualité

Patient 3 - 3

Pre-test

Pour des raisons d’harmonisation de l’approche des contre-vérificateurs externes, deux centres de santé proche de Bukavu étaient choisis pour faire un test. Les deux centres retenus étaient Murhésa (US$0,28 par capita) et Mulungu (US$1,96 par capita).

L’équipe externe de Murhésa était composée d’Ernest Schoffelen, Jean Pierre Tsafack, Francis Mandazou et assistée par Désiré Mupenda (l’AAP) et Jean-Claude Wema (Cordaid Bukavu), et l’équipe de Mulungu était composée de Paula Mommers, Vincent Kamenyero, Jennie van de Weerd et assisté par Jackson Byamungu (AAP) et Michel Zabiti (Cordaid Bukavu).

Après le test, les équipes ont décidé de ne pas inclure la contre vérification des patients au niveau de la communauté. L’équipe de Murhésa a pu seulement retrouver 1 patient sur 10 recherchés dans la communauté et à cause de ça il ne pouvait pas finaliser les deux outils (qualitative et quantitative). L’équipe de Mulungu n’a pas pu trouver le temps pour la vérification des patients après finalisation des deux outils. Les équipes étaient d’opinion que c’était plus important de vérifier tous les indicateurs quantitatifs achetés par l’AAP et tout le checklist qualitative. Pour la vérification de BCZS, les équipes ont décidé que tous les équipes feront la contre vérification quantitative, mais que seulement l’équipe de Miti Murhesa fait la vérification qualitative pour le BCZS de Miti Murhesa.

Exécution

Trois équipes étaient formées d’un contre vérificateur de Cordaid Siege, un de Cordaid pays (exclus Bukavu), un membre de l’équipe Cordaid Santé Bukavu et un membre de l’AAP. Un membre de l’équipe de BCZS était également associé pour faciliter l’accès aux FOSA et comme observateur.



Tableau 5 : Les équipes formées par district

Zone de Santé Idjwi Katana Miti Murhesa

Cordaid Siège Ernest Schoffelen Jennie van de Weerd Paula Mommers

Cordaid Extérieur Jean Pierre Tsafack Francis Mandazou Vincent Kamenyero

Cordaid Bukavu Jean Claude Wema Michel Zabiti Mamadou Sylla

AAP Désiré Mupenda Jackson Byamungu Blaise Ciza

BCZS Jules Ruhunemungu Martin Birhange Bahati Lunanga

Pour 6 jours, les équipes étaient sur terrain en prenant une structure par jour. L’équipe de Miti Murhesa a fait la contre vérification du BCZS le dernier jour.

Analyse

Les outils utilisés étaient les outils utilisés par l’AAP, BCZS et DPS pour la vérification. Les résultats des contra vérifications étaient mis dans un logiciel Excel (séparément pour quantité et qualité). Les données contre vérifiées étaient comparées avec les données dans les rapports de vérification (Katana et Miti Murhesa) et les données du portail http://health.pbfsudkivu.org/ (Idjwi).

Pendant deux jours, les équipes ont travaillé ensemble pour les mis en commun des points forts et faibles et ont formulé des recommandations. Le premier jour, cette mise en commun était ensemble avec les équipes de l’AAP et BCZS. Le deuxième jour uniquement par le groupe Cordaid. Après ce deuxième jour, une distillation des points les plus importants était faite pour la restitution de lundi 4 mai 2015. Le feedback de cette réunion est pris en compte dans ce rapport.

2.3. evaluation des contrats de performance du

regulateur

L’objectif de l’évaluation a été double : la vérification de la validité des résultats des différents organes administratifs et l’identification des points forts et faibles du programme. L’équipe d’évaluateurs était composée de deux personnes : Dr Peter Bob Peerenboom, spécialiste en santé publique, consultant indépendant du bureau d’étude Tangram, et M. Patrick Paluku, conseiller au secrétariat du Cabinet du Gouverneur de la Province. M Paluku a été impliqué dans le passé à la vérification trimestrielle de la performance du Ministère Provincial de la Santé.

Les documents suivants étaient analysés :

Renforcement de l’Etat dans le Sud Kivu, basé sur la performance ; Manuel de procédures avec les organes de régulation. Cordaid, mars 2015.

Plan d’achat des indicateurs de performance, année 2015. Comparaison des indicateurs 2012-2013 et 2013-2014. Rapport d’évaluation des indicateurs Ministère de la Santé 2014-2015 projet 108050 an 3, mars 2015. Rapport d’évaluation du projet 108050 au deuxième bureau de la Division Provinciale de la Santé du Sud

Kivu, mars 2015. Rapport d’évaluation du projet 108050 au cinquième bureau de la Division Provinciale de la Santé du Sud

Kivu, juillet 2014.




Rapport d’évaluation du projet 108050 au bureau du Médecin Inspecteur Provincial du Sud Kivu, année 3, mars 2015.

Rapport d’évaluation du projet 108050 au troisième bureau de la Division Provinciale de la Santé du Sud Kivu, an 3, mars 2015.

Cette analyse a servi de développer un guide pour les interviews avec des parties prenantes au niveau de la DPS. Les personnes rencontrées étaient :

28/4/15 :

MPS : Dr Justine Mamvura, conseiller santé et genre ; M. Mutambala Mokolokera Tit, conseiller chargé des questions administratives.

29/4/15 :

Bureau 2 de la DPS : Claude Wilondja, administrateur gestionnaire ; Liévain Bingana, administrateur gestionnaire.

Bureau 5 de la DPS : Dr Zolo Musafini, chef de bureau ; Robert Banywesize, datamanager ; Justin Bengeya, chef de cellule SNIS.

Bureau du Médecin Inspecteur Provincial : Dr Emmanuel Burhole Masumbuko, MIP. Bureau 3 de la DPS : Patrick Cizungu, Pharmacien Inspecteur Provincial ; Clementine Nyota, pharmacien ;

Warren Isababa, superviseur ; Emmaunuel Irenge, laborantin ; Leon Atimbiri, responsable de la cellule médicaments.

2.4. cadre d’analyse des six éléments dans le fbp

Cordaid a développé un cadre d’analyse pour des projets FBP qui comporte six éléments clés. Chaque élément à ses questions détaillées et la grille d’évaluation pour les interviews est basée sur ces questions.

La première session au début de la mission a rassemblé toutes les parties prenantes. Après une brève présentation des six éléments de FBP, l’ensemble de groupe a expliqué comment les principes sont appliqués dans le projet au Sud-Kivu. Ensuite, les membres étaient divisés en 3 petits groupes pour une discussion un peu plus approfondi sur les éléments dans l’approche qu’ils voulaient garder, changer et / ou perdre.

A la fin de la mission, les participants internes (AAP, BCZS, DPS) à la contre vérification ont rediscuté les 6 éléments et ont donné un score pour chaque élément.



Figure 1 Les six éléments du FBP



3. CONTRE-VÉRIFICATION

3.1. quantité des hopitaux et des centres de santé

3.1.1. introduction

Les outils pour la vérification quantitative (les canevas standards, la protocole de remplissage et les bordereaux) se trouvent dans le manuel de procédure dans le portail http://health.pbfsudkivu.org/.

Pour la contre vérification quantité, les mois d’octobre 2013, mars 2014 et juillet 2014 sont vérifiés. Dans le courant du programme, il y avait des changements dans la grille les indicateurs sans que les outils ni les contrats entre l’AAP et Cordaid étaient adaptés. Les différences sont identifiées par les vérificateurs pendant la mission et sont les suivants :

CdS :

La distribution de Vitamine A était remplacée par deux indicateurs : ‘Enregistrement en CPS2’ et ‘4 visites standards CPS2’.

Les journées d’hospitalisation étaient remplacées par ‘Nouveau cas en observation’.

L’indicateur ‘CPN total nouvelles + 3 visites standards’ est remplacé par deux indicateurs : ‘CPN au 4ième mois (début T2)’ et ‘CPN 3 visites standards accomplies’

HGR/CH :

Les indicateurs pour le TB dans la grille de PMA étaient aussi repris dans la grille des indicateurs PCA.

Les indicateurs Actes Majeures et Mineures Chirurgicaux et Jours d’Hospitalisation sont supprimés et remplacé par l’indicateur ’Score qualité de soins à HGR/CH évalué pas les pairs’.

Les paquets des indicateurs achetés aux deux niveaux sont élargis à cause de projet SSR, ‘Next Generation’. Pour la contra vérification, seulement les indicateurs dans le tableau ci-dessous du projet 108050 sont retenues.




Tableau 6 : Indicateurs PMA et PCA

INDICATEURS PMA INDICATEURS PCA

Consultations externe (Nouveau cas)

Nouveau cas suivi en observation

Patients graves référés et arrivés à l’hôpital

Enfants complètement vaccinés

Enfant de 12 à 59 mois inscrit à la CPS 2

Enfant de 12 à 59 mois ayant réalisé 4 visites standards

Nouveaux cas TBC et dépistés

Nombre de cas TBC traites et BK après 6 mois

Grossesses à haut risque référée et arrivée

Pilule et Injectable (nouvelle acceptantes)

Pilule et Injectable (ancienne acceptantes)

PF : Insertion d’implants ou DIU

CPN au 4ième mois (début T2)

CPN 3 visites standards accomplies

Accouchements assistés dans FOSA

Nouveau cas vus par le médecin

Retro-Informations arrivées


Nombre de cas TBC traites et BK après 6 mois

Transfusions sang – Don Bénévole

Césariennes

Autres accouchements dystociques

PF : Ligature et Vasectomie

3.1.2. resultats et constats pma

L’outil de remplissage de l’AAP propose certain tableaux et informations que doivent être rempli avant qu’un cas peut être vérifié. Malheureusement, ces exigences ne sont pas toujours suivi par les centres, ne sont pas contrôlées comme telle par les vérificateurs et de temps en temps ne sont pas en accordance avec les normes nationales. L’outil de remplissage ne donne pas une définition pour tous les indicateurs qui sont mis en compte et la définition donnée n’est pas SMART. L’absence de propres registres a comme résultat l’absence des entêtes sur les colonnes, une confusion des colonnes – ils ne sont pas toujours mis dans le même ordre alors le remplissage diffère entre les CdS. Mais il faut mentionner aussi que les vérificateurs de l’AAP évoluent sur base des constats faits ce qui est visible dans les commentaires de différents vérificateurs dans les registres.



Tableau 7 : Les constats généraux sur les différents indicateurs de PMA

INDICATEURS COMMENTAIRES GÉNÉRAUX

Consultations externe (Nouveaux cas)

Pas de nom ou le résultat des tests fourni par le labo Numéro de dossier de patient n’est pas bien rempli, sauf pour quelques

CdS et les hôpitaux Absence de traitement proposé et même des signes cliniques (quelques

cas avec seulement les noms étaient comptés). En place de traitement, le numéro d’ordinogramme est donné

Nouveau cas suivi en observation

Pas de relation entre le registre CE et observation Pas de date de sortie Pas de respecte des jours maximum pour l’observation

Patients graves référés et arrivés à l’hôpital Pas de relation entre le registre CE et le registre de référence Pas de check au niveau de l’hôpital et pas de retro-information donnée

au CdS Pas mentionné le lieu de référence

Enfants complètement vaccinés

Pas possible de contrôler si l’enfant a reçu tous les vaccinations sur les dates prévues à cause d’absence de jour de naissance

Difficile de contrôler à cause de façon d’enregistrer : pas dans un dossier d’enfant mais dans un registre de vaccination

Enfant de 12 à 59 mois inscrit à la CPS2 Enregistrer trop tard ou pas de date de naissance

Enfant de 12 à 59 mois ayant réalisé 4

visites standards

Visites antérieurs ne sont pas remplis Le contenu de la visite n’est pas pris en compte dans la vérification Dates des vaccinations ne sont pas mentionnées


La plupart des CdS ne donne pas ce service aux patients parce que le traitement des cas TBC se fait dans des centres spéciaux indiqués.

Nombre de cas TBC traites et BK après 6

mois

La plupart des CdS ne donne pas ce service aux patients parce que le traitement des cas TBC se fait dans des centres spéciaux indiqués.

Grossesses à haut risque référées et

arrivées

Pas de check au niveau de l’hôpital et pas de retro-information donnée au CdS

Cas référés ne sont pas indiqué comme référé dans le registre CPN L’HGR n’est pas toujours indiqué dans le registre et le point de

référence n’est pas donné

Pilule et Injectable (nouvelle acceptantes) Le plu part du temps bien rempli

Pilule et Injectable (ancienne acceptantes) Pas possible de vérifier l’existence de l’utilisateur 3 mois avant

PF : Insertion d’implants ou DIU Le plu part du temps bien rempli

CPN au 4ième mois (début T2) Manque d’information de dernière menstruation. Difficile (impossible) de contrôler si c’est vraiment le 4ième mois.

Pas indiqué quels services (vaccinations, Fer, Mebendazole etc.) sont donné et souvent pas la date

Indications des effets pervers (première et troisième visite très élevée)

CPN 3 visites standards accomplies Pas indiqué quels services (vaccinations, Fer, Mebendazole etc.) sont donné et souvent pas la date

Indications des effets perverses (premier et troisième visite très élevée)

Accouchements assistés dans FOSA Date de sortie de CdS pas mentionnée Pas d’information sur des accouchements antérieurs Pas d’information sur accouchement à haut risque



Les resultats quantitatifs les plus importants

Les figures suivantes montrent les plus importants résultats quantitatifs des CdS. Les résultats sont présentés par un pourcentage de différence entre le nombre des cas compté lors de la vérification faite par l’AAP et le nombre des cas compté lors de la contre-vérification faite par les experts pendant la mission. Si le pourcentage est positif, cela signifie que le numéro des cas compté pendant les vérifications normales était plus haut que pendant la contre-vérification. Si le pourcentage est négatif, cela signifie qu’il y avait compté plus des cas pendant la contre-vérification.

Figure 2 Le pourcentage d’écart total entre vérification et contre-vérification des consultations externes

Figure 3 Le pourcentage d’écart entre vérification et contre-vérification des nouveaux cas suivis en observation

0%

2%

4%

6%

8%

10%

12%

Total Katana Total Idwji Total Miti Murhesa

l'écart total de consultations externes (nvx cas) dans 3 districts



Figure 4 Le pourcentage d’écart entre vérification et contre-vérification des patients graves référés et arrivés à l’hôpital

Figure 5 Le pourcentage d’écart entre vérification et contre-vérification des accouchements assistés dans les CdS

Dans l’annexe 4 les détails des pourcentages d’écarts de la contre vérification quantité sont inclus.

En général le constat peut être fait que les vérificateurs font leur travail raisonnablement mais ils ne travaillent pas tous dans la même façon : p.ex. Quelques uns acceptent des erreurs de remplissage et d’incomplétude des registres et autres pas et il y en a des erreurs dans la sommation des points.

Il peut être constaté aussi que 1) de fois des différences majeures viennent à travers des outils qui ne sont pas bien harmonisé (registre de consultations externes, registre de CPN, registre de patients graves référés) ; 2) que les indicateurs ne sont pas écrit assez SMART et il n’y a pas un guide simple disponible pour les FOSA dans lequel il est bien expliqué comment de remplir les registres et quel donnée peut être compté ou pas (cas suivi en observation, patients graves référés, enfants de 12 à 59 mois ayant réalisé 4 visites standards) ; 3) il y en a aussi des différences entre les 3 équipes malgré le teste pour harmoniser leur façon de travailler.



De fois les différences sont grandes mais les numéros ne sont pas assez grands comme dans les indicateurs CPS 2 et les indicateurs des pilules et injectables (nouveaux et ancien acceptants). L’écart moyen de toutes les vérifications de tous les CdS et tous les districts est 14% (Katana : 21% ; Idwji : -3% ; Miti-Murhesa : 18%). 3.1.3. resultats et constats pca

Les plus importants résultats des hôpitaux sont montrés dans les figures 6 et 7 et sont dirigés aux ‘nouveaux cas vus par le médecin’ et ‘autres accouchements dystociques’. Pour les hôpitaux, l’écart moyen est seulement 8% ce qui est un très bon résultat pour les vérificateurs. Les indicateurs de TB ne sont pas pris en compte à cause des fautes dans les formats et que les changements n’étaient pas bien partagé avec tous les équipes.

Figure 6 Pourcentage écart entre vérification et contre-vérification nouveaux cas vus par le médecin

0%

20%

40%

HGR Katana HGR Idwji HGR Miti Murhesa

% ecart Nouveaux cas vus par le médecin

Figure 7 Pourcentage écart entre vérification et contre-vérification autres accouchements dystociques

0%

10%

20%

HGR Katana HGR Idwji HGR Miti Murhesa

% ecart Autres accouchements dystociques

Les résultats des autres indicateurs se trouvent dans Annexe 5.

En général il peut être fait les mêmes observations que pour la vérification des indicateurs de la quantité PMA.

3.1.4. points forts

La contre vérification des données a révélé des aspects positifs pouvant améliorer la qualité des données recueillies au niveau de l’hôpital ainsi qu’au niveau des centres de santé visités. Il ressort pendant cette contre vérification que toutes les formations sanitaires disposaient de registre des prestations de soins ce qui facilite la vérification des données payées au niveau de l’AAP. Ainsi, on trouve au niveau des services techniques de prestations de soins tels que la maternité, la pédiatrie, la gynéco-obstétrique, la chirurgie, la CPN et la consultation externe chaque



responsable qui pouvait mettre à jour les données et rendre disponibles les outils de collecte des données. Il est à noter que, pendant la contre vérification des données, le personnel a reconnu les erreurs dans le remplissage des registres ce qui constitue un point positif dans l’amélioration de l’utilisation des outils. Les erreurs reconnues par le personnel étaient à l’origine de la réduction des cas qui pouvaient être vérifiés à cause de manque de remplissage correct des registres. De fois ces erreurs constatées étaient déjà indiquées par les vérificateurs de l’AAP et les améliorations pouvaient être vu dans les mois après la vérification. Alors parmi les vérificateurs il y en a une bonne évolution sur base des faits constatés. L’hôpital Général de Référence de Katana est doté d’une banque de sang. La contre vérification des données produites au niveau de cette banque de sang a montré une bonne utilisation des registres avec une forte implication des donneurs bénévoles grâce aux effets multiplicateurs du FBP qui ont motivé le personnel en charge de cette banque de sang à développer des stratégies permettant d’avoir plus de donneurs de sang. En comparant la zone de santé de Katana aux zones de santé d’Idjwi et de Muti Murhesa, la contre vérification des données produites et vérifiées a montré quelques aspects positifs dans la mise en œuvre du programme FBP. Ainsi dans la zone de santé d’Idjwi, les données contre vérifiées étaient conformes à celles validées par l’AAP. Ce même constat a été fait dans la zone de santé Miti Murhesa où les prestataires ont été très sensibles aux conseils des évaluateurs afin d’améliorer la qualité de leurs prestations.

3.1.5. points faibles

La contre vérification des données déclarées et vérifiées au niveau des centres de santé a mis en exergue quelques insuffisances dans la tenue des registres et la différence entre les données déclarées et vérifiées. Il a été remarqué dans les centres de santé les points suivants :

La mauvaise tenue des registres de prestations de soins où il n’y a pas d’en tête, ni rapport de clôture mensuelle, de rature dans les registres qui pourraient évoquer une tricherie des données déclarées par les prestataires ce qui peut causer un remplissage incorrect

La non-conformité des registres de prestation aux exigences des normes nationales et aussi bien au niveau de l’AAP et au niveau des prestataires : beaucoup de registres ont été achetés par les prestataires dont le tracé ne respecte pas les normes éditées par le ministère de la santé ;

Pour la quantité les indicateurs ne sont pas toujours assez SMART et la définition d’un cas valide pose quelquefois un problème.

La documentation et l’archivage laisse à désirer quelque fois. Les écarts ont été constatés dans les données rapportées dans les SNIS et celles des registres des

prestations. Ces écarts ont été évalués à plus de 10% et touchent notamment les nouveaux cas suivis mis en observation (Katana 61%) de différence entre les données vérifiées et celles contre vérifiées. Lors qu’il y en a plus des nouveaux cas suivis mis en observation comptés pendant la contre vérification en Idwji -13% et Miti-Murhesa -16%. Il en est de même pour les cas référés (Katana 33% ; Miti-Murhesa 91% ; Idwji -20%)

Quant aux 2 indicateurs de CPS 2, un écart constaté entre les quantités produites et quantités vérifiées et la contre vérification a trouvé des chiffres très bas. La mauvaise tenue de registre de CPS qui montre que beaucoup d’enfants de CPS1 se trouvent dans le registre de CPS 2 et l’absence de précision sur le statut vaccinal des enfants en CPS2 donnent les causes des écarts ;

Ces écarts constatés dans les données de la contre vérification touchent également la CPN. Ainsi, 81% (Katana) d’écart ont été relevés entre les grossesses à haut risques référés et celles enregistrées dans le registre de CPN. Cette incohérence entre les effectifs des femmes ayant suivi successivement la CPN1, 2, 3 et 4 a entrainé des effets pervers liés à la CPN1 et 3 qui sont subventionnées. Cette situation explique l’intention des cas de fraude par les prestataires.

Pas tous les CdS donnent un PMA complet: pour les activités de TB quelques centres spécifiques sont indiqués par le gouvernement alors dans les CdS visités aucun donne ces activités et le CS Birava n’a pas de maternité. Dans ces cas il y en a un problème de considérer les points pour les activités ou pas.



Au niveau des hôpitaux, la tenue de certains registres et autres constats touchant les indicateurs ont fait ressortir les faits suivants :

En Katana, la séparation des groupes sanguins des donneurs et receveurs dans 2 registres différents (en octobre 2013, les groupes sanguins des donneurs et receveurs étaient ensemble et ils sont séparés à partir de Mars 2014) ; ce qui ne facilite pas le comptage des cas enregistrés.

Les erreurs de remplissage des registres de prestations de soins, dans la contre vérification des données produites au niveau des différents services de prestation des soins, il a été constaté que les cas prévues pour les items précis n’étaient pas correctement remplis et complétées. Cette situation constatée lors de la contre vérification des données ne permet pas la validation des données vérifiées. Et il est recommandé cependant aux formations sanitaires lors de cette visite de tenir les registres tels que le ministère de la santé et l’AAP exigent.

A l’autre côté, les vérificateurs de l’AAP n’ont pas suivi les guides pour le remplissage rigoureusement ce qui a augmenté les écarts aussi.

Les indicateurs de PCA tels que les actes de chirurgies majeures, mineures et les jours d’hospitalisations ne figurent pas sur le résumé mensuel alors qu’ils étaient enregistrés dans les registres de prestations. La révision de résumé par l’AAP en intégrant ces indicateurs cités;

Il y a constaté un manque de cohérence dans la numérotation des dossiers des patients et l’insuffisance de preuve de vérification de l’arrivée de retro information au niveau des Centres de Santé par l’AAP et il expliquera la proportion grande d’écart constatée pour les nouveaux cas vus par le médecins (Katana 35%), transfusion sanguine (Katana 58%), autres accouchements dystociques (Katana 13% ; Idwji 16%) et ligature et vasectomie (Katana 57% ; Miti-Murhesa 80%) au niveau des hôpitaux visitées.

Plus général, il est aussi constaté que :

Les vérificateurs de l’AAP ne travaillent pas tous de la même façon et que les fautes sont commises dans les calculs.

Lorsque les équipes ont essayé d’harmoniser les outils et leur façon de travailler, il apparaît qu’il y en a une différence entre l’interprétation des outils et les équipes. C’est sûr que cela a causé aussi des écarts entre les constats de la contre-vérification.

L’exploitation des outils utilisés et des rapports SNIS ont montré quelques insuffisances et incohérences dans la contre vérification des données produites par les formations sanitaires et vérifiées par l’AAP dans tous les 3 zones de santé.

Il a été constaté qu'il y a des indicateurs qui ne sont plus vérifiées, bien qu'ils apparaissent toujours sur la liste des indicateurs ; il s’agit des indicateurs tels que mentionnés dans paragraphe 3.1.1.

3.1.6. recommendations

Au regard des insuffisances constatées lors de cette contre vérification des données et dans le souci d’améliorer la qualité des données quantitative et de rendre le programme FBP plus performant, quelques recommandations ont été formulées. Il s’agit entre autres de:

Redéfinir les indicateurs qui doivent être pertinent et SMART pour faciliter la validation des cas enregistrés ;

Redéfinir les outils pour la vérification quantitative (les canevas standards, la protocole de remplissage et les bordereaux) et les rendre plus SMART ;

Élaborer un outil simple des exigences pour remplir ;

Analyser les données SNIS et les données produites avant la validation des données vérifiées pour éviter les effets pervers sur le budget du projet ;

Améliorer le remplissage des registres en respectant les normes nationales ;

Tenir à jour les registres de prestations de soins selon les normes nationales ;

Les hôpitaux doivent faire un feedback sur les cas de références reçus des Centre de Santé lors des réunions des soins de santé primaires (SSP) et remettre les fiches de contre référence aux CdS.



Pour les prochaines missions des contre-vérifications, tester bien les outils disponibles et harmoniser davantage le mode du travail de différentes équipes

Définir comment de traiter les points dans le cas que les CdS et/ou Hôpitaux ne donnent pas certains services.

3.2. qualité hopitaux et centres de santé

3.2.1. introduction

Dans la mise en œuvre du FBP, la qualité des services est très importante et fait partie des aspects de la contre vérification. Deux aspects de la qualité était prévu à savoir la qualité technique et la perception de la communauté de la qualité des services offerts par son centre de santé ou son hôpital. Le trimestre sous investigation était le 1

ière

trimestre de 2015 (janvier-mars). Par manque de temps, seulement un faible échantillon des malades ayant utilisé les services ont été interrogés et le nombre était tellement petit qu’on a décidé de ne pas utiliser ces résultats durant cette évaluation. La vérification de la qualité des CdS est réalisée une fois par trimestre par le BCZS de chaque district. La vérification de la qualité d’hôpitaux/centres hospitaliers est faite par les pairs. Le score qualité est un pourcentage composé et est basé sur la qualité communautaire (45%), les documents de base bien tenus (5%) et la qualité technique (50%). En suite le subside à obtenir pour la qualité est : 25% x montant obtenu par la quantité x score qualité

La contre vérification a montré les avancées importantes sur le terrain, mais aussi les points à améliorer. Sur la base des points à améliorer, les recommandations sont formulées pour permettre de corriger ses faiblesses. Les outils qualitatifs utilisés se trouvent dans le manuel de procédure dans le portail http://health.pbfsudkivu.org/. Les éléments les plus importants dans les deux outils sont résumés dans le tableau ci-dessous.

Tableau 8 : Une résumé des éléments les plus importants dans la qualité PMA et PCA

QUALITE PMA QUALITE PCA

Mise en place de l’équipe

Réalisation des activités

Planification et coordination du CS

Rapports d’activités communautaires

Activités curatives

Activités de la maternité

Activités préventives

Activités de supervision

Activités de suivi-évaluation

Audit de gestion des médicaments et autres intrants

Gestion financière

Fonctionnement de l’hygiène

Fonctionnement de laboratoire

Fonctionnement de l’hôpital

- Mise en place de l’équipe

- Activités de planification et coordination

- Activités de suivi-évaluation

- Gestion des médicaments et autres intrants

- Gestion des équipements

- Renforcement des capacités

- Hygiène hospitalière

Activités cliniques

- Activités curatives

- Appréciation de la qualité des soins

- Activités para clinique

Score de la Gestion Financière




3.2.2. écarts contre vérification de qualité

En général le pourcentage de la qualité réalisé par le BCZS est entre 73% et 96% pour les CdS dans les trois districts. Néanmoins, l’écart en Miti-Murhesa est plus que dans les autres zones de santé parce que on suspect que la complexité des indicateurs conjointement avec la qualité des vérificateurs de BCZS est une des causes d’un plus grand écart. Le CS Mugote au Idjwi n’est pas pris en compte parce que pas toute la liste des indicateurs était vérifiée pendant la contre-vérification à cause d’un problème de sécurité.

Figure 8 Résultats CdS de Katana de la vérification, de la contre-vérification et l’écart entre les deux

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Mugeri Ihimbi Katana Nuru Birava Ibinja

% réalisé BCZS % réalisé contre-vérification % écart

Figure 9 Résultats CdS d’Idwji de la vérification, de la contre-vérification et l’écart entre les deux

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Mafula Mpene Lumala Bushonga




Figure 10 Résultats CdS de Miti-Murhesa de la vérification, de la contre-vérification et l’écart entre les deux

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Kavumu Kahungu Bushumba Lwiro Mbayo


Figure 11 Résultats qualité d’hôpitaux de Katana, Idwji et Miti-Murhesa de la vérification, de la contre-vérification et l’écart entre les deux

-20%

0%

20%

40%

60%

80%

100%

HGRKatana

HGR Idwji HGR MitiMurhesa


Pour HGR Idwji, la qualité réalisé pendant la contra vérification est plus que pendant la vérification des pairs. Les écarts ne sont pas très grands. Tous les résultats de la contra vérification qualitative se trouve dans annexe 6 (CdS) et 7 (Hôpitaux).



3.2.3. points forts

Parmi les points forts révélés par la contre vérification en matière de la qualité des soins offerts par les hôpitaux et les centres de santé, nous pouvons relever les suivants : Il n’y a pas des grands écarts entre le score de qualité attribué par les vérificateurs des BCZS et les pairs (pour la vérification des hôpitaux) et celui issu de la contre vérification en Katana et Idwji. En Miti Murhesa l’écart est plus grand. Le plateau technique est suffisant pour offrir les services de qualité aux populations. Il s’agit en général du personnel en effectif et qualification requise. C’est un personnel motivé et consciencieux. Les équipements sont aussi présents et surtout dans les maternités permettant le suivi adéquat des femmes enceintes et les accouchements. Le personnel de santé et les populations comprennent et apprécient l’approche FBP. Le petit échantillon des patients tirés au hasard sont retrouvés dans la communauté et apprécient la qualité des soins reçus dans leur formation sanitaire. Ils jugent aussi raisonnable le coût des soins appliqué dans leur formation sanitaire. En général le personnel de santé applique les ordinogrammes pour assurer les diagnostics et les traitements corrects. Les indigents ont accès aux soins à travers un mécanisme de leur identification dans la communauté et l’offre gratuite de leurs soins de santé. Les outils de gestion sont bien tenus dans les formations sanitaires retraçant la gestion des structures en ressource humaine, matériel et financière et des activités. Les hôpitaux sont dans un bon état de salubrité garantissant la qualité des soins aux malades. A côté de cette amélioration de la qualité des soins, la contre vérification a identifié les points faibles qui nécessitent une attention particulière.

3.2.4. points faibles qui nécessitent une attention particulière

Le personnel dans les centres de santé n’est pas assez entreprenant. Des initiatives et des innovations n’ont pas été vues durant la contre vérification. Il en est de même pour la faible capacité des gestionnaires à planifier, à faire le suivi et à évaluer les activités et les finances. Les (petits) écarts sont expliqués par la complexité des indicateurs de qualité. Les indicateurs de l’évaluation de qualité ne sont pas SMART et donnent souvent lieu à des interprétations diverses et même une approche différente parmi les vérificateurs. D’autres indicateurs sont répétés plusieurs fois. Une grande proportion des indicateurs de qualité concerne les activités administratives (32) au détriment des activités de soins (curatives, préventives et promotionnelles, en total 53) et des autres activités (pharmacie, laboratoire, finance, en total 24). Tandis qu’il est également possible de rendre compte les indicateurs administratifs dans le plan de management. Surtout en Miti Murhesa, cette complexité des indicateurs conjointement avec la qualité des vérificateurs de BCZS est la cause d’un plus grand écart. Certains centres de santé ne disposent pas de la chaine de froid pour la conservation des vaccins et de certains réactifs du laboratoire et de certains médicaments. Ceci constitue une grande menace quant à la qualité des vaccins administrés aux enfants et à la qualité des certains réactifs de laboratoire et de certains médicaments comme l ‘oxytocine. Il y a un manque de personnel à certains postes clés du centre de santé notamment les accoucheurs qualifiés dans les maternités et les laborantins qualifiés. La gestion des financières des centres de santé est confiée aux personnels non aptes à le faire. Certains centres de santé ne réalisent pas le PMA complet ainsi que certains hôpitaux qui mettent en œuvre partiellement le PCA. Par exemple les CdS et hôpitaux qui ne traitent pas les patients avec la tuberculose. Au niveau



de l’évaluation de la qualité, l’équipe de la contre vérification a constaté que cette faiblesse n’est pas sanctionnée par la note zéro, mais le régulateur considère ce manquement comme non applicable par la structure alors le pourcentage est supérieur à ce qu'il devrait être. Les structures de santé ont l’obligation de réaliser le paquet complet des soins (PMA, PCA). En plus il y avait plusieurs outils et/ou formats rotatives et les vérificateurs ont fait des erreurs survenues dans la notation. Certains indicateurs sont restés statiques et évalués trimestriellement alors qu’ils pouvaient être évalués une fois par l’an ou intégré dans le plan de management comme condition de signature de contrat (dossier du personnel, carte sanitaire, l’organigramme, l’horaire de travail, le job description, le règlement d’ordre intérieur). Il est noté que les CdS et Hôpitaux de fois ne prennent pas les mésures simple pour les défis (fermeture des toilettes ou douches). Le non respect des normes de gestion des médicaments dans les pharmacies a été constaté comme les différents seuils à l’occurrence le seuil d’alerte. Au vue de ces faiblesses, les recommandations ont été formulées.

3.2.5. recommandations

Au regard des insuffisances constatées lors de cette contre vérification des données et dans le souci d’améliorer la qualité des données qualitative et de rendre le programme FBP plus performant, quelques recommandations ont été formulées. Il s’agit entre autres de:

L’équipe cadre de la zone devra faire un accompagnement de proximité des infirmiers titulaires et de leurs équipes sur la gestion des Centres de Santé afin de leurs rendre plus responsables, entreprenants et plus aptes à gérer certains sujets (par exemple les finances).

L’équipe technique du Ministère Provinciale de la Santé et le personnel de Cordaid et de l’AAP devraient réviser les grilles/indicateurs de qualité en mettant l’accent sur la qualité des services rendus aux malades et les rendre plus SMART.

Les équipes cadre des bureaux des zones de santé devraient rendre disponibles les chaines de froids dans tous les Centres de Santé pour la conservation des vaccins, des réactifs ainsi des médicaments.

Chaque zone de santé devrait élaborer une liste des médicaments traceurs permettant de traiter les maladies courantes de la zone de santé et assurer la disponibilité permanente des ses médicaments. Ceci à travers le respect du délai de commande des médicaments en tenant compte du seuil d’alerte et le stock défini.

L’équipe cadre de chaque zone de santé devrait attacher une importance particulière pour l’hygiène et assainissement dans les centres de santé de sa zone ainsi qu’à la compréhension et l’utilisation des ordinogrammes.

Le bureau Cordaid de Bukavu devrait revoir la proportion des primes de qualité des prestataires à la hausse quant à la distribution des numérations par indicateur et discuter si les coûts des subsides qualitatifs doivent atteindre plus de 25% des coûts des subsides quantitatifs actuels et si la proportion pour la satisfaction des patients doit être plus que actuelle. Dans le cas que la satisfaction des patients gagnera un plus haut pourcentage, les formats doivent être révisé et plus étendu.

Les vérificateurs de BCZS de Miti-Murhesa doivent être formés plus pour être capable de vérifier bien la qualité. En plus, tous les vérificateurs doivent être formés dans une approche unique.

Il doit être discuté si la vérification qualité peut être faite par les pairs (ensemble ou pas avec le BCZS) pour que les pairs apprennent des autre CdS.

Dès que tous les indicateurs sont révisés, les équipes devront vérifier les CdS bien pour déterminer qu’ils ont un score de qualité de plus de 60% qui est nécessaire pour obtenir un contrat de FBP.

Le BCZS doit controler bien que les CdS prennent les petits mésures faciles pour améliorer la qualité.



3.3. quantité et qualité bureaux central zones de santé

(bczs)

3.3.1. introduction

Les équipes mixtes des experts externes, des membres du BCZS et de l’AAP comme observateur de chaque district, ont vérifiés les données quantitatives du BCZS pour les mêmes mois que les FOSA, notamment le mois d’octobre 2013, de mars 2014 et de juillet 2014. La vérification qualité des données de BCZS était effectuée seulement pour le BCZS de Miti-Murhesa. Les outils qui ont été utilisés étaient ceux en cours d’utilisation au premier trimestre 2015 (http://health.pbfsudkivu.org) . L’équipe de la contre vérification de BCZS Miti-Murhesa était divisé en deux sous équipes, une s’occupant de la contre vérification quantitative, l’autre de la contre vérification qualitative avec la participation dans chaque équipe des membres des BCZS.

Tableau 9 : Les éléments dans la grille d’indicateurs de la quantité de BCZS

N° PRESTATION CIBLE MAXIMUM PAR MOIS

1 Supervisions du Médecin Chef de Zone 8

2 Supervisions de l’administrateur 8

3 Supervisions des infirmiers superviseurs 16

4 Supervisions du TDR 4

5 Supervision Nutritionniste 4

6 Autres Supervisions 5

7 Visites de validation des données dans les FOSA par l'équipe de BCZ 1 fx par trimestre (1 point pour chaque FOSA)

8 Visite de suivi et évaluation conjointe ECZ-AAP des plans Management 1 fx par trimestre

9 Réunion validation des données (le paiement si GESIS corrigé cfr SNIS corrigés envoyés par les CS)

1

10 Evaluation Trimestrielle de la qualité Technique dans les FOSA 1 point pour chaque FOSA

11 Qualité des activités de l'ECZ évaluée par la DPS (le montant est multiplié par le score qualité réalisé à l’évaluation qualité du trim passé si score inf. à 80%)

1 fx par trimestre

12 Promptitude et complétude des rapports SNIS et du GESIS à la DPS 1

Normalement, les vérifications quantitatives sont faites par des vérificateurs de l’AAP. Un paquet de 12 indicateurs est contracté au niveau de BCZS. Pour tous les indicateurs, une cible maximum est définie par mois. Par exemple, si l’équipe BCZS faisait plus des supervisions, ces extras ne sont pas payants. La vérification est faite une fois par trimestre.




Tableau 10 : Un résumé des groups d’indicateurs de la qualité de BCZS

QUALITÉ BCZS SCORE MAX

A. Score de la mise en place de l’ECZS 25

B. Score des activités de planification et de coordination de l’ECZS 55

C. Score des activités de suivi et évaluation de l’ECZS 29

D. Score des activités de l’encadrement et de l’assurance de la qualité par l’ECZS 46

E. Score de Gestion des équipements 12

F. Score de gestion financière 25

G. Score de fonctionnalité de l’approvisionnement en MEG et autres intrants 40

H. Score des activités de la gestion administrative 19

Total 251

La vérification de qualité pour le BCZS est faite par la DPS à la fin de chaque trimestre. Les indicateurs sont groupés dans huit catégories, comme indique en haut.

3.3.2. constats au niveau des bczs

Hors du fait que sur le bordereau de la quantité le mois est indiqué, il ne parait pas possible de vérifier les données par mois, seulement par trimestre. À cause de ce fait, les données quantitatives ne sont pas prises en compte.

La contre-vérification des données qualitatives est seulement faite chez le BCZS de Miti-Murhesa. L’écart entre la vérification faite par le DPS et la contre vérification était seulement 2% lors que dans les indicateurs séparés la différence est plus comme indiqué dans le tableau ci-dessous (p.ex. Score de la mise en place de l’ECZS et Score des activités de la gestion administrative).

Tableau 11 : Les résultats de la (contre) vérification de la qualité de BCZS Miti-Murhesa

Indicateur Score max

Valeur acquise

par DPS

Valeur contre-

vérification

Pourcentage DPS

Pourcentage contre-

vérification

LEADERSHIP DE L’ECZS

A. Score de la mise en place de l’ECZS 25 22 13 88% 52%

B. Score des activités de planification et de coordination de l’ECZS

55 39 42 71% 76%

C. Score des activités de suivi et évaluation de l’ECZS 29 26 21 90% 72%

D. Score des activités de l’encadrement et de l’assurance de la qualité par l’ECZS

46 41 40 89% 87%

E. Score de Gestion des équipements 12 10 10 83% 83%

F. Score de gestion financière 25 23 25 92% 100%

G. Score de fonctionnalité de l’approvisionnement en MEG et autres intrants

40 33 30 83% 75%

H. Score des activités de la gestion administrative 19 8 14 42% 74%

Total 251 202 195 80% 78%



La mission de la contre évaluation a pu identifier des points forts dans la mise en œuvre du programme FBR et des points faibles qui restent à améliorer au niveau des BCZS. Lors qu’on ne peut rien dire des données quantitatives, l’impression que les équipes ont des BCZS sont pris en compte.

3.3.3. points forts

La disponibilité de toutes les équipes des BCZS; la disponibilité des plans de management annuels, semestriels et trimestriels; la disponibilité de moyen roulant pour atteindre les centres de santés ; la planification des supervisions des structures de soins selon les problèmes identifiées; le respect de la planification des supervisions et la production des rapports de supervision; la disponibilité des outils de la gestion financière et des rapports financiers; la disponibilité des ressources humaines et matérielles (cadres des BCZS, chaîne froid, source d’énergie solaire) leur permettant d’atteindre les objectifs.

3.3.4. points faibles

La mission de la contre évaluation mets en exergue que certains indicateurs dans la grille d’évaluation ne peuvent pas être évalués au niveau de BCZS, comme la visite de validation des données dans FOSA, la visite de suivi des plans de managements avec AAP étant donné qu’il n’y a aucun document qui atteste que ces activités ont été réalisées par les BCZS.

La promptitude et la complétude des rapports SNIS et GESIS ne peuvent pas être vérifiées au niveau du BCZS suite manque d’accusé de réception émanant de la DPS. Les indicateurs contractés au niveau du BCZS ne représentent pas les priorités et les activités pertinentes du programme FBP et nécessitent une révision. Les modalités de prise en charge des indigents ne sont pas conformes aux réalités locales et certaines structures ne sont pas supervisées malgré les faiblesses identifiées dans ces dernières notamment au niveau du BCZS de Miti Murhésa.

Toutes les supervisions faites par le BCZS ne causent pas une amélioration de la qualité des CdS, notamment au niveau de Miti Murhesa.

Avec la nouvelle méthodologie d’évaluation de la qualité des FOSA par les tablettes, certains BCZS ne restent pas avec une copie du rapport d’évaluation de la qualité des FOSA.

Ensuite, la mission de la contre vérification a constaté une faiblesse de l’analyse, le suivi et l’évaluation des plans de management du BCZS et par conséquent il y a une faiblesse de l’encadrement de l’analyse, le suivi et l’évaluation des plans de management semestriel et trimestriel des FOSA de leurs ressorts. Il y a également un faible archivage des documents techniques et administratifs et du suivi de la gestion de la pharmacie en particulier au BCZS de Miti Murhésa.


De tous ces constats au niveau des BCZS, la mission de la contre vérification recommande ce qui suit : S’assurer que les indicateurs contractés au niveau du BCZS peuvent être vérifiés à leur niveau;

Procéder à la révision des indicateurs pour ressortir les priorités ainsi que les activités pertinentes en

rapport avec les attributions de la zone de santé conformément aux normes nationales et de les rendre

plus SMART;

Faire une supervision intégrée dans les structures en vue d’améliorer la qualité des soins.

La prise en charge des indigents doit être diversifiée par aire de santé et conformément aux réalités

locales ;



Les BCZS doivent s’assurer du respect des éléments constitutifs de la validité d’un indicateur pour sa prise

en compte

Les BCZS doivent rester avec une copie de l’évaluation de la qualité des FOSA (Miti Murhesa)

Assurer l’évaluation et le suivi du plan de management en précisant le niveau d’atteinte des résultats, en

précisant les contraintes rencontrées dans la mise en œuvre du plan de management, en dégageant les

voies de solutions pour atteindre les résultats fixés et en précisant les personnes responsables et les délais

d’exécution ;

Développer la culture de suivi et évaluation des activités planifiées à divers niveaux

Assurer le bon archivage des documents administratifs et techniques (Miti Murhesa)

Assurer le suivi de la gestion de la pharmacie (remplissage de fiches de stock, la sortie des médicaments

par date de péremption) (Miti Murhesa)

3.4. évaluation du regulateur du niveau provincial

Ce chapitre concerne l’évaluation du régulateur et plus précisément la contractualisation du Ministère Provincial de la Santé, de l’Inspection Provinciale de la Santé et trois bureaux de la Division Provinciale de la Santé (B2 appui aux établissements de soins, B3 Inspection Pharmaceutique et le B5 appui aux zones de santé). Ces contrats ne passent pas par l’AAP, mais ils sont signés directement entre le bureau de Cordaid Bukavu et le bureau du régulateur concerné, c'est-à-dire qu’il y a 5 contrats séparés.

L’équipe a eu une rencontre avec les responsables des différents bureaux (pour les personnes rencontrées voir les détails chapitre 2); durant la rencontre nous avons suivi les étapes suivantes :

i. La contre vérification des résultats vérifiés dans le dernier rapport trimestriel de vérification disponible au bureau de Cordaid ; en cas de besoin les responsables ont répondu aux questions d’éclaircissement;

ii. Une discussion sur les points forts et faibles tels qu’ils sont appréciés par les équipes contractés; iii. Une analyse des 6 principes FBP telles qu’applicable au contrat spécifique avec le régulateur; iv. Des suggestions pour améliorer le programme.

Dans ce chapitre nous décrivons les résultats de la contre vérification par bureau contracté. Une analyse des points forts et faibles et le respect des principes FBP sont décrits pour l’ensemble des bureaux visités. Un dernier paragraphe contient quelques recommandations. Les grilles d’indicateurs utilisées se trouvent en Annexe 8.

3.4.1. contrat avec le ministère provinciale de la santé

Le dernier rapport de vérification date de mars 2015. La contre vérification a constaté que cette vérification a été exécutée en bonne et due forme. Cependant il y a quelques observations à faire :

Il existe un canevas de suivi et d’évaluation du plan opérationnel; cependant nous constatons que l’existence de ce canevas depuis plusieurs années n’a pas motivé l’équipe à l’utiliser comme outil de travail. Il est conseillé de remplir périodiquement le tableau pour qu’on soit en mesure de suivre l’atteinte des résultats formulés.

Le MPS programme son travail trimestriellement par un plan de management, et il existe des réunions internes de suivi de l’exécution de ces plans avec des comptes rendu. Ces procès-verbaux sont globales sans qu’il ait des détails sur les indicateurs du plan annuel, ni une analyse des problèmes rencontrés.

Le résultat ‘Amélioration de l’offre des soins’ avec comme indicateur ‘80% des structures sanitaires privées de la ville de Bukavu et Uvira sont assainies’ est bien important, mais il manque un indicateur sur le répertoire des ITM’s dans la province qui relèvent également de l’autorité provinciale.

Dans le rapport définitif signé par Cordaid il y a des erreurs dans la colonne ‘score attribué’ par rapport à l’original rempli durant la vérification et il y a des cellules vides dans cette colonne. Par ailleurs, le total de la colonne ‘score attribué’ n’a pas été calculé, bien que le rapport a été signé.



3.4.2. contrat avec le bureau 2 de la dps

Après la fin du contrat en septembre 2014 il y a eu un vide. Le nouveau contrat a été signé en février avec un effet rétroactif jusqu’en octobre 2014. Jusqu’à nos jours aucune avance n’a été financée ni le paiement du deuxième trimestre dont le rapport de vérification date de 18 mars 2015. La contre vérification a constaté que cette vérification a été exécutée en bonne et due forme. Cependant il y a quelques observations à faire :

Il y a quelques erreurs administratives dans le tableau de vérification, tel que le remplissage de la colonne T1, bien que cette trimestre n’a pas été vérifié.

Un bon nombre des résultats n’ont pas été réalisé à cause d’un manque de moyens financiers. L’équipe de vérification a fait la remarque qu’il faut ‘éviter de faire plusieurs missions de terrain avec un

seul ordre de mission’. L’équipe du B2 a expliqué qu’ils s’organisent en missions conjointes pour éviter les dépenses. Etant donné que le FBP finance un résultat et que la tarification n’est pas liée aux coûts d’une activité, nous avons jugé qu’il ne faut pas défavoriser les missions conjointes. Mais l’ordre de mission, si elle est unique, doit contenir toutes les activités à mener pour qu’il soit clair que c’est une mission conjointe.

Dans les rapports d’évaluation de la qualité des services des ECZ en utilisant le canevas national, nous avons constaté que régulièrement l’équipe du B2 ne donne qu’un score total, sans qu’elle coche les détails du tableau. De cette manière on ne peut pas bien voir quels sont les éléments qui posent problèmes. Il est conseillé de cocher désormais tous les détails pour pouvoir calculer le score total d’une manière plus objective.


Le dernier trimestre (T4) de l’ancien contrat n’a pas été évaluée raison pour laquelle ce trimestre n’a pas été payé. Le nouveau contrat a été signé en février avec un effet rétroactif jusqu’en décembre 2014. Jusqu’à nos jours aucune avance n’a été financée. Le dernier rapport de vérification date du 30 mars 2015. La contrevérification a constaté que cette vérification a été exécutée en bonne et due forme. Cependant il y a quelques observations à faire :

Le tableau ‘Plan d’achat de performance’ et le canevas de la vérification ne sont pas cohérent à 100%. Le canevas de vérification contient encore le résultat sur le MINILAB, tant que ce résultat a été supprimé. L’équipe du B3 discute sur la cotation obtenue par rapport à certains indicateurs. L’équipe d’évaluation n’a

pas eu l’habitude de laisser un tableau de vérification remplie et signé par les deux parties à la fin de chaque séance de vérification.

Le résultat ‘Sanction des FOSA utilisant les subsides Cordaid pour acheter les médicaments sur le marché illicite’ et l’indicateur ‘Sanctions des récalcitrants’ ne nous semble pas bien formulé. Il s’agit naturellement de tous les médicaments achetés dans les FOSA concernées. Et l’indicateur ‘sanctions’ ne relève pas de la compétence unique du B3. Ceci demande une intervention de la hiérarchie qui n’est pas cosignataire du contrat.

Plusieurs activités ne sont pas menées manque de préfinancement. Le résultat sur la présence d’un agent du B3 à chaque poste frontalière a été réalisé dans l’ancien contrat

et le B3 suggère qu’il doit être supprimé.


Le dernier rapport de vérification date de juillet 2014. Le paiement de ce troisième trimestre du contrat (T3) n’a jamais été effectué, malgré l’existence d’un rapport de vérification. Depuis lors aucune vérification n’a été menée étant donné que le contrat entre ce bureau et Cordaid a été suspendu. La contrevérification a constaté que cette vérification a été exécutée en bonne et due forme. Cependant il y a deux observations à faire :



Le résultat ‘Intégration des données par tranche d’âge’ n’a pas été réalisée à cause du fait qu’il y a eu un blocage au niveau national qui imposait le canevas national comme seule et unique canevas pour informatiser les données. C'est-à-dire que la non atteinte de ce résultat n’était pas la faute du B5. Par la suite il y a eu des échanges par écrites qui ont mené au responsable du B5 de demander la suspension du contrat en cours. Au moment où des projets demandent des données hors du canevas national, le B5 est en mesure de développer un logiciel spécifique, mais c’est un travail supplémentaire qui doit être budgétisé.

Sur le résultat ‘audit des données dans les ZS’ un des indicateurs étaient ‘le suivi des recommandations précédentes’. Nous nous posons la question sur la pertinence de cet indicateur étant donné qu’il s’agissait en pratique souvent des zones qui ont été visitées pour la première fois.

3.4.5. contrat avec le bureau de l’inspecteur provincial

Le dernier trimestre (T4) de l’ancien contrat n’a pas été évaluée raison pour laquelle ce trimestre n’a pas été payé. Le nouveau contrat a été signé en février avec un effet rétroactif jusqu’en décembre 2014. Jusqu’à nos jours aucune avance n’a été financée. Le dernier rapport de vérification date du 30 mars 2015. La contrevérification a constaté que cette vérification a été exécutée en bonne et due forme. Cependant il y a quelques observations à faire :

Le rapport ne contient pas les détails de la cotation des indicateurs, mais uniquement les résultats à atteindre.

Le résultat ‘au moins 2 mutuelles de santé sont créées dans la province’ pourrait être valable dans l’ancienne structure de la DPS. Dans l’avenir la cellule qui s’occupe des mutuelles sera hiérarchiquement liée au Ministère et elle ne fait plus partie de la DPS.

L’indicateur ‘Un taux d’accroissement de 4% de nouveau adhérent aux MUSA’ n’est qu’indirectement lié à la performance de l’Inspecteur. Il y a beaucoup d’autres acteurs impliqués.

La province pilote l’approche SQI et le suivi des plans d’amélioration issu de SQI est parmi les résultats acheté. Il se pose la question à mi-terme comment cette approche se marie avec les indicateurs de qualité développé dans le cadre du FBP.

Le résultat ‘Supervision interne des bureaux et coordination de la DPS’ ne tient pas compte de la restructuration de la DPS ; le nouveau DPS est déjà nommé et il a commencé son travail.

3.4.6. analyse des forces et faiblesses

L’entretien libre avec les membres du personnel des bureaux contractés ont permis aux uns et les autres de s’exprimer sur la façon dont l’approche FBP a été exécutée. En général tous les acteurs sont convaincus que le FBP est une bonne approche, mais que depuis début 2014 il s’est instauré une certaine lourdeur dans l’exécution du projet avec certaines irrégularités et non-respects des clauses du contrat. Ce rapport n’est pas le lieu d’entrer en détails mais nous citons le constat majeur dans le dernier rapport d’évaluation du bureau du MIP « De tous les constats faits, il a été retenu que la majeure partie des irrégularités concernent les deux parties et dont les chances d’améliorer sont à privilégier en se focalisant sur le respect du Manuel de procédures en vigueur ». Ce dit, le constat peut être fait qu’actuellement les parties font un effort pour régulariser la situation, mais qu’on n’y est pas encore. Cordaid vient de virer l’argent lié à la dernière vérification en incluant une avance pour le trimestre en cours tel que prévu par le manuel. Cependant, cet argent n’est pas encore perçu par les intéressés vu la lenteur dans les procédures bancaires.

Les équipes d’évaluation dans les zones de santé sont également demandé aux ECZ leur appréciation par rapport au régulateur. Nous énumérons ici les points positifs et négatifs tels que cité par les équipes visités (les 5 bureaux et les ECZ).



Points positifs :

Le FBP a aidé à développer une planification rationnelle et une mise en application effective des tâches des membres de l’équipe. Les plans de travail trimestriels sont généralement établis, même si cette activité ne fait plus partie des indicateurs à acheter. C’est déjà devenu une habitude pour les trois bureaux de la DPS.

Le FBP aide à travailler en équipe et de bien gérer les relations entre le personnel. L’utilisation de l’argent obtenu est discutée en équipe.

Les réunions de travail s’effectuent régulièrement et on vise les résultats. Les indicateurs sont revus annuellement par une équipe mixte des deux parties contractantes ; dans la

majorité des canevas de cotation on a détaillé les résultats à atteindre ce qui permet à juger partiellement aussi la qualité du travail. De cette manière le FBP incite à un travail de qualité.

Les zones constatent avec satisfaction que la hiérarchie est de plus en plus présente.

Points faibles:

L’absence d’une relation entre les coûts d’un résultat à atteindre et la tarification FBP. Quelquefois il est difficile à obtenir un résultat satisfaisant à l’absence d’un budget de fonctionnement régulier.

Lors d’une évaluation l’équipe d’évaluation n’a pas l’habitude de laisser une copie de la cotation à la structure évalué, avec signature des deux parties, pour qu’elle puisse contrôler si le rapport final et la facturation par la suite sont conformes.

Le résultat à atteindre pour certains résultats ou indicateurs n’a aucune relation avec le travail ou la performance du bureau concerné. La non-atteinte de ces résultats est un facteur de démotivation des équipes. Elle va à l’encontre des principes du FBP.

Les résultats à atteindre ne concerne qu’une partie du travail à réaliser par les différents bureaux. Le danger est qu’on favorise les résultats contractés par rapport aux activités non-contractés.

Depuis 2014 on constate un retard assez régulier dans la signature des contrats et le paiement ; les partenaires contractés ne sont pas suffisamment informés sur ces retards. D’ailleurs les avances de 30% du budget telles que prévues dans le manuel de procédures ne sont pas versés depuis plus d’un an, ce qui les freine dans l’exécution des plans de travail.

La méthodologie de vérification n’implique pas encore une vérification sur le terrain des actes posés et la satisfaction des structures par rapport à l’encadrement de la hiérarchie.

La contractualisation séparée des différents bureaux d’une même structure ne favorise pas le travail en équipe ni la transparence dans la gestion.

L’approche de financement et les canevas de rapportage des différents partenaires qui appuient les zones de santé ne sont que peu harmonisés. A la fin de chaque trimestre il y a une surcharge de travail.

3.4.7. analyse des constats

Après avoir discuté avec les membres des différents bureaux au sujet des principes FBP l’équipe d’évaluation constate que :

La grande majorité des résultats à atteindre sont pertinents et en rapport avec la politique dans la matière. Pour beaucoup d’activités des canevas nationaux sont utilisés. Les indicateurs de qualité sont bien liés à la performance. Dans quelques contrats il y a des résultats/indicateurs faiblement liés à la performance du bureau contracté (voir pour les détails les paragraphes précédents).

Les contrats ne contiennent pas tous les résultats à atteindre par les structures contractées, ce qui emmène le risque de prioriser les activités contractées.

Sur les 5 structures contractées, quatre ont l’habitude d’établir des plans de travail trimestriel et l’exécution de ces plans sont évalués. Cependant, ces évaluations sont quelquefois très globales et ne suivent pas les résultats à atteindre des plans d’action annuels.

Les structures contractées gèrent leur propre budget FBP. En plus du FBP, le MPS a un budget de fonctionnement financé par la Province. Le décaissement de ce budget est encore faible. Le budget provincial ne contient pas encore des lignes FBP ni des lignes budgétaires pour le fonctionnement de la



DPS. Les activités de la DPS sont en majorité financées d’une manière ad-hoc par les programmes nationaux ou des partenaires au niveau de la province.

Pour le moment il n’y a qu’un seul bailleur (Cordaid) qui s’est engagé dans la contractualisation du régulateur. Cela pose le risque d’un certain clientélisme. Il est souhaitable que les différents partenaires qui interviennent dans la province, harmonisent leur façon de financer les activités du régulateur et que le financement de la contractualisation se fasse désormais par un panier commun. Ceci permettra de diversifier les équipes de vérification et de séparer les activités de vérification et de paiement.

Par rapport à la séparation des fonctions nous constatons qu’il y a toujours une forte liaison entre le régulateur qui est au même moment prestataires de services. Les HGR n’ont pas encore un statut d’établissement public et les FOSA et le régulateur sont encore fortement liés par rapport à la gestion du personnel.

Au niveau de l’IPS on est en train d’introduire le cadre organique qui a été développé au niveau national ; il prévoit une séparation nette entre l’Inspection Provinciale et la Division Provinciale de la Santé. La situation actuelle dans laquelle plusieurs bureaux sont contractés d’une façon séparée et pour laquelle le nouveau directeur du DPS n’est pas impliqué, risque de freiner la réorganisation de la DPS.

Nous constatons que le CPP-SS est fonctionnel et que la société civile y est représentée. Cependant l’organisation des clients en association reste faible, ce qui veut dire que la voix du client reste également faible dans les organes provinciaux. Les expériences en cours pour renforcer la voix de la communauté dans plusieurs zones est encourageante.


Payer immédiatement les avances préconisées dans les contrats et respecter les différents périodes d’échanges du contrat.

Renforcer la capacité du personnel clé en connaissance FBP (MPS, Cordaid) et promouvoir les mécanismes d’entente mutuelle entre les parties contractantes (réunions périodiques, visite de terrain ensemble, e.a.).

Renforcer la communication entre le bureau de Cordaid et les partenaires pour mettre fin au climat de méfiance entre eux.

Revoir à partir de juillet 2015 les indicateurs en tenant compte de la réorganisation du DPS avec la séparation de l’Inspection Provinciale et de la Division Provinciale de la Santé et le remaniement des différents bureaux au niveau de la nouvelle DPS. Considérer la DPS comme un ensemble des bureaux émanent du MPS.

Renforcer l’implication de l’Assemblée Provinciale dans l’approche FBP afin de la vulgariser d’avantage et d’introduire une ligne de financement de l’approche dans le budget provincial.

Introduire dans le budget provincial 2016 une ligne budgétaire de fonctionnement des nouvelles structures (IPS et DPS).

Rechercher d’autres sources de financement pour que la contractualisation du régulateur soit plus générale et que les différentes structures soient en mesure de mieux programmer l’ensemble de leur travail. Séparer l’activité de vérification par des équipes mixtes, et celle de paiement.

Instaurer un système de vérification sur le terrain avec des visites conjointes.



4. LES SIX ÉLÉMENTS DU FBP

La mesure dans laquelle le programme FBP Sud Kivu remplit les six principes du FBP était autoévaluée de manière suivante:

1. Session plénière d’identification des éléments clés des 6 principes ;

2. Travail de groupes pour identifier les aspects à atteindre, maintenir, éviter, et éliminer.

3. Sur base des résultats du travail de groupe, une discussion plénière avec la DPS pour compléter.

4.1. lien entre résultats (indicateurs de performance) et

paiement

Le principe de connecté le paiement sur base de performance est bien établi pour les différents niveaux du système de santé (provincial, zone de santé, Formations Sanitaires (FOSA)). Le barème des indicateurs de quantité et qualité est définis dans les contrats, et leur paiement se réalise après vérification trimestriel.

On constate qu’il y a des indicateurs qui manquent de clarté (ne sont pas formulés de manière SMART). Les différentes rubriques du questionnaire de qualité ne sont pas équilibrées. Un accent disproportionnel est mis sur des éléments administratifs (planification, documents) et moins sur la prestation des services.

4.2. contactualisation

Il existe des contrats pour chaque niveau qui définissent les indicateurs, le prix unitaire, le système de vérification, l’engagement des deux parties (AAP et structure), la résolution des conflits, les modalités de paiement, les conditions de signature des contrats. Aussi il y a des contrats avec les Associations Locales (ASLO) pour la vérification communautaire.

L’existence d’un Business Plan pour une période de 6 mois est une condition de signature des contrats. Les BPs sont évalués à plus de 70% mais le suivi manque souvent.

4.3. autonomie de gestion

Ce principe est partiellement atteint. Les discussions issues des travaux de groupe donnent une cotation de 7 à 8 sur 10.

L’allocation des revenues de la FOSA (recouvrements (tarifs) et subsides FBP) n’est pas complètement à la discrétion du personnel de la FOSA (boîte noire). Cette allocation est régie par certaines règles imposées par le niveau régulateur qui a fixé des normes de gestion financière d’une FOSA

Par exemple, l’allocation pour les primes du personnel ne peut pas passer 60% des recettes. Les FOSA définissent l’utilisation de leur fonds pour leur développement dans un plan qui doit être validé par le BCZS. Néanmoins, l’autonomie des FOSA est respectée car les normes peuvent être dépassées dans le cas où la FOSA donne des raisons fondées.

Chaque FOSA peut négocier son tarif avec la population (Comité de Développement de Santé, CODESA). Le tarif doit être approuvé par le BCZS qui recommande de réviser en baisse les tarifs pour augmenter l’accessibilité. La FOSA



possède son propre compte bancaire. Les recettes des subsides FBP ont un pourcentage plus élevé que les recettes de recouvrement des coûts (80% du total des revenues).

Les FOSA paient leur personnel (primes), mais n’ont pas le pouvoir de sélectionner leur personnel (hire and fire). Le personnel est affecté à la FOSA par le BCZS.Les structures ont libre choix d’acheter les intrants parmi les distributeurs pré-qualifiés.

4.4. séparation des fonctions

Le programme respecte le principe de séparation des fonctions. La fonction de contractualisation et de vérification et la fonction de paiement ne sont pas séparé. La majorité des participants pense qu’il faudra séparer ces fonctions (surtout le niveau régulateur est de cet avis), mais il n’existe pas un consensus sur la façon de séparer ces deux fonctions.

Les autres fonctions sont bien séparées:

La régulation: MPS (politique), DPS (technique), BCZS

La prestation: HGR/CH, CS, Codesa

Achat et vérification: AAP pour les FOSA et BCZS, Cordaid BKV pour la régulateur provinciale

Voix de la population: ASLO

4.5. équité

Le programme a désigné un système pour adresser le principe d’équité, mais l’accès pour les indigents reste un défi.

Chaque année, au niveau de chaque FOSA une liste des indigents est dressée par la CODESA. Les critères pour l’indigence ne sont pas harmonisés. On peut considérer cela comme un aspect positif de l’autonomie de gestion.

Il existe un bonus d’équité de 5% pour chaque FOSA. Ces fonds ne couvrent pas les coûts réels des soins. Le pourcentage fixe de 5% ne distingue pas le “case load” des indigents qui peut varier entre les FOSA.

Cette variation est prise en compte dans quelque mesure par un bonus d’isolement. Le bonus d’équité est calculé sur base des subsides quantitatifs plus le bonus d’isolement.

4.6. voix de la population

La population joue un rôle dans 3 domaines:

La vérification communautaire: L’AAP a contractualisé 56 ASLO qui réalisent une enquête communautaire

sur base d’un échantillon de 75 patients par CS. On prend l’échantillon des certains indicateurs:

Consultation externe, CPN, Vaccination, Planification Familial (PF), référence. L’enquête inclue des

questions sur l’existence du patient, sa satisfaction des services et le tarif ;

Sensibilisation de population: les ASLO sensibilisent la population sur le PF et réfèrent les femmes

enceintes pour le CPN au CS ;

La population participe dans la formulation et évaluation du business plan de la FOSA à travers la CODESA.



5. CONCLUSIONS ET RECOMMENDATIONS

La contre vérification a utilisé une méthodologie mixte pour évaluer le projet de financement basé sur la performance dans la province de Sud Kivu, l’est de RD Congo, en utilisant des éléments qualitatifs bien que des éléments quantitatifs.

En ce qui concerne les objectifs du projet, les observations suivantes sont faites :

Objectif 1. La vérification des résultats quantitatifs et qualitatifs des FOSA, des différents organes administratifs et de la vérification de la communauté concernant la satisfaction

1. Les résultats dans les rapports sont généralement valides mais il est clair qu’il y en a des écarts (de fois grands) entre les résultats quantitatifs vérifiés par les vérificateurs de l’AAP et les équipes de contre vérification. En général l’écart total par district est raisonnable. La non harmonisation des outils, ne respectant pas les exigences de remplissage, l'acceptation des erreurs dans les dossiers par les vérificateurs et les erreurs d'addition, constituent entre autre la base de ces écarts.

2. Les indicateurs mal formulé (pas SMART, la définition d’un cas valide pose quelquefois un problème), la façon d’enregistrer (enfants vaccinés dans un registre de vaccination au lieu d’un registre d’enfant), pas de check des références au niveau d’un autre FOSA, manque d’information (date de naissance, date de dernière menstruation, date de vaccination, pas d’information d’accouchement antérieur/haut risque) contribuent aussi aux écarts entre les vérifications et contre-vérification.

3. Il y en a des indicateurs qui provoquent les effets pervers comme le CPN 1 dans le 4ième

mois et le CPN 3 visites complètes : beaucoup de CPN 1 et les 3 visites sont enregistrés mais pas CPN 2

ième visite.

4. Il n’y a pas écrit ce qui se passe dans les différents contrôles de CPN, CPON, visites standards de CPS ce qui peut contribuer à l’amélioration de la qualité.

5. Pas tous les CdS et HGR/CH donnent le PMA et PCA complets. Les services de TB par exemple sont seulement donnés par des centres indiqués par le gouvernement et les FOSA confessionnelles ne donnent pas tous le paquet de FP. Ce n’est pas clair pour les vérificateurs comment de doter les points ou pas dans les cas les services ne sont pas fourni.

6. Les écarts dans les résultats qualitatifs en Katana et Idwji ne sont pas assez grands qu’en Miti-Murhesa. Surtout la mal compréhension des indicateurs, que les indicateurs ne sont pas SMART et en Miti-Murhesa la capacité des vérificateurs constituent la base de ces écarts. À l’autre côté, les FOSA ont gagné un score faible à cause d’une négligence de prendre des simples mesures (fermeture des toilettes et douches)

7. Les écarts de la qualité des HGR/CH est minimal ce qui veut dire que les pairs font un très bon travail.

8. La disponibilité et motivation du personnel à évaluer est très positif comme la compréhension du

programme PBF, la hausse de certains indicateurs et en général les CS disposent d’un plateau technique (RH, équipement, infrastructure) suffisant pour réaliser des services de qualité mais les capacités financières sont encore très faibles

9. Parmi les vérificateurs il y en a une bonne évolution sur base des faits constatés et ils corrigent les FOSA.

10. La satisfaction de la communauté n’a pas pris place par manque du temps. Dans une prochaine contre-vérification, assez de temps doit être pris pour vérifier la satisfaction communautaire.



11. Pour le régulateur, le FPB a aidé à développer une planification rationnelle, à travailler en équipe et les zones constatent (avec satisfaction) que la hiérarchie est de plus en plus présente. Mais il y en a aussi une absence d’une relation du résultat à atteindre avec le travail du bureau concerné pour certains indicateurs et les résultats à atteindre ne concernent qu’une partie du travail à réaliser.

12. Depuis 2014 il y en a un retard assez régulier depuis 2014 dans la signature des contrats et le paiement et

vue les changements dans la structure du gouvernement, la contractualisation des différents bureaux n’est plus correct ni favorable.

13. Les BCZS planifient leurs supervisions selon les problèmes identifiées dans les FOSA et ils respectent la

planification des supervisions et la production des rapports de supervision

Objectif 2. L’analyse de l’application des six principes du FBP

14. La majorité des indicateurs sont bien liés au paiement, mais certains ne sont pas SMART.

15. La programmation de travail est devenue une habitude; les évaluations et les vérifications ont régulièrement lieu.

16. L’autonomie de gestion pour les prestataires des soins de santé est partiellement assurée (gestion du

personnel, les CdS n’ont pas le pouvoir de sélectionner leur personnel (hire and fire) et le personnel est affecté à la FOSA par le BCZS).

17. La séparation des fonctions de régulation, prestation et consommation est plus au moins assurée

(organisation de l’administration publique ; la fonction de contractualisation et de vérification et la fonction de paiement ne sont pas encore bien séparé lors qu’il n’existe pas consensus sur la façon de séparer ces deux fonctions).

18. L’égalité d’accès aux services reste un souci permanent; comment bien identifier les indigents?

19. La voix de la communauté est renforcée, mais reste faible au niveau régional.

20. Il existe des contrats pour chaque niveau et les Business Plan existent pour une période de 6 mois ce qui est une condition de signature des contrats.

Objectif 3. L’évaluation de la pertinence des indicateurs et outils d’évaluation de qualité

21. Dans les outils quantité et qualité des FOSA se trouvent assez des indicateurs qui ne sont pas clairs ni

SMART ni pertinent et ils devraient être révisé

22. Il y en a des indicateurs pour le régulateur et les FOSA qui ne sont pas liés à leur performance et ils doivent être révisés, aussi vue les changements des structures de gouvernement.

Recommandations:

Revisiter les indicateurs qui doivent être pertinents et SMART et revoir l’outil de score de la qualité des FOSA.

Revisiter les indicateurs (SMART et pertinent) des différents régulateurs vus les changements de leurs structures.

Respecter les différentes périodes d’échanges définies dans le contrat. Promouvoir les mécanismes d’entente mutuelle entre les parties contractantes (réunions périodiques,

visite de terrain ensemble, e.a.).



Définir précisément les cas à considérer par le FBP dans les différents registres. Promouvoir la compréhension des indicateurs et la façon dont la performance est définie Améliorer le suivi et l’évaluation de l’exécution des plans de travail Revoir la vérification qualité des CdS : inclure les pairs pour apprentissage et amélioration Revoir la modalité de prise en charge des indigents Revoir à partir de juillet 2015 les contrats avec les 4 bureaux de la DPS. Considérer la DPS comme un

ensemble des bureaux émanent du MPS. Instaurer un système de vérification sur le terrain avec des visites conjointes. Envisager des missions de contre-vérification périodique. Renforcer l’implication de l’Assemblée Provinciale dans l’approche FBP afin de la vulgariser d’avantage et

d’introduire une ligne de financement de l’approche dans le budget provincial. Introduire dans le budget provincial 2016 une ligne budgétaire de fonctionnement des nouvelles

structures (IPS et DPS). Rechercher d’autres sources de financement pour que la contractualisation du régulateur se fasse par un

panier commun.



ANNEXE 1: TERMES DE REFERENCE

Termes de Reference pour l’évaluation - la contre-vérification et revu du programme de Santé de la Reproduction à travers le Financement Basé sur la Performance et le Conditionnal Cash Transfert dans trois zones de santé, à la Division Provinciale de la Santé et au Ministère Provincial de la Santé en Province du Sud Kivu

Contexte

C’est depuis 2006 que Cordaid intervient au Sud Kivu avec un mode de financement basé sur la performance. Grâce à l’esprit innovateur de ce mode de financement et au vu du contexte dans lequel fonctionne le système de santé dans la Province du Sud Kivu (salaire de l’Etat quasi inexistant et personnel payé sur base des recettes réalisées dans leurs institutions respectives) ce système a attiré les différents acteurs du système de santé en province (Ministère de la Santé, Inspection de la Santé, Bureaux Centraux des zones de santé et autres partenaires). Au départ ce mode de financement était limité à la zone de santé d’Idjwi considérée comme zone pilote pour l’intervention. La sélection de cette zone a été motivée par sa stabilité relative sur le plan sécuritaire et socio-économique par rapport au contexte général des autres zones de santé de la province. A ce jour ce programme a été élargi à d’autres zones de santé telles que la zone de santé de Katana, Miti-Murhesa, Shabunda et Walungu (la dernière dans le programme Next Generation).

Dans le programme 108050 actuel, Cordaid intervient dans trois zones de santé (Idjwi, Katana, Miti-Murhesa) qui comptent en tout une population estimée à 686.500 (dénombrement 2014). Ce programme envisage comme objective global : la disponibilité et l’utilisation des services de santé de santé de la reproduction de qualité dans trois zones de santé de la province du Sud Kivu et la régulation par le Ministère Provincial de la Santé et la Division Provinciale de la Santé à travers la stratégie de Financement Basé sur la Performance (FBP) et le Conditional Cash Transfert (CCT).

Dans le programme FBP du Sud Kivu, les objectifs les plus importants sont : 1. Les femmes ont accès aux soins maternels de bonne qualité au cours de leur grossesse, à l’accouchement

et en post-natal. 2. Les femmes (et hommes) dans l’âge de procréation ont le choix des services de planning familial de bonne

qualité. 3. Augmenter la qualité et l’accessibilité géographique et financière des services de santé de base (PMA et

PCA) 4. Renforcer le rôle régulateur de l’Etat et la bonne gouvernance dans le système de santé.

Dans toutes les 3 zones de santé, le FBP est mise en œuvre mais dans les zone de santé d’Idjwi et de Miti-Murhesa, le FBP est renforcé par une ou deux stratégies complémentaires visant à promouvoir le planning familial et l’accès aux soins de santé de la reproduction. En Miti-Murhesa il s’agit de la distribution des bracelets à chaque visite CPN pour les femmes enceintes. Ainsi une femme enceinte qui a accompli trois visites CPN se retrouve avec trois bracelets lors de l’accouchement. En Idjwi, le FPB est couplé à deux stratégies, notamment une réduction des frais de l’accouchement à hauteur de 60% si la femme a complété trois visites CPN. L’autre partie (40%) est payée par la mutuelle de santé lorsque la personne est affiliée et dans le cas contraire par la personne elle-même. La deuxième intervention complémentaire est le transfert cash (CCT) pour l’espacement des naissances. Les femmes s’enregistrent avec la date de leur dernier né. Chaque trois mois une vérification prends place et les femmes qui ne sont pas accoucher par leur prochain né obtiennent un transfert de cash pour encourager celles-ci à maintenir un espace raisonnable entre deux naissances.

Le programme a été évalué avant en 2010, 2011 et 2013 mais surtout sur l’impact et l’efficience du programme FBP avec des résultats que le programme a bien progressé, pratiquement tous les indicateurs des structures sanitaires ont continué à augmenter, mais surtout la planification familiale et les consultations prénatales ont peu progressés. D’autres aspects positifs notés incluent la qualité des soins améliorée, l’utilisation des services de santé augmentée, la supervision améliorée, des améliorations dans certaines infrastructures, la qualité perçue augmenté et plus de la



stabilité du personnel. Mais aussi que les coûts du programme sont relativement élevés et tendent à augmenter. La durabilité n’a pas jugé très positif.

Hors des évaluations comme mentionnés ci haut, le programme a constamment des vérifications des données mais les dernières années une contra vérification des données n’est jamais fait ni l’outil de qualité a été adapté ou le programme est jugé pas son structure ce qui nous amène de réaliser une évaluation et contre-vérification du programme de l’année 2013-2014.

I. Objectifs de l’évaluation et de la contre-vérification de l’année septembre 2013 - août 2014

L’objectif principal est d’améliorer le programme FBP en Sud Kivu par l’identification de points fort et faibles. Les objectifs spécifiques :

Vérifier à travers un échantillon la vigilance des résultats : a. quantitatifs et qualitatifs dans les FOSA b. des différents organes administratifs (le régulateur) c. de la vérification de la communauté concernant la satisfaction

Analyser jusqu'à quel niveau le projet applique les six principes du FBP :

a. Lier le paiement à la performance (indicateurs) b. Approche contractuelle (cycle business plan et vérification) c. Autonomie de gestion pour les prestataires des soins de santé d. Répartition des fonctions e. Egalité d’accès aux services f. Renforcement de la communauté (autonomisation de l’utilisateur final)

Sur base des objectives, c’est clair que la mission envisage aussi bien une contre-vérification que un revu de l’organisation du programme. Les résultats de la mission seront utilisés pour améliorer le programme en Sud Kivu quant à la gestion des données et l’organisation ; pour vérifier s’il y en a de fraude dans la mise en œuvre du programme ; pour réviser l’outil d’évaluation de qualité (si nécessaire). Les interventions complémentaires (bracelets et CCT) ne seront pas partie de cette évaluation. Ces interventions sont sur investigation de Swiss TPH dans une étude longitudinal et la partie quantitatif dans cette étude ne sera pas partie de cette contre vérification. La satisfaction de ces interventions sera pris ensemble avec la partie communautaire.

II. Méthodologie Introduction

Les informations pour cette évaluation - contre vérification proviennent de 1) la revue des documents du projet, 2) les interviews avec les principaux acteurs et partie prenantes, 3) une analyse des données et 4) la vérification des données sur terrain. Nous formons 3 équipes de 2-4 personnes. Chaque équipe sera composée d’un expert de contre-vérification et un assistant d’apprentissage (tous de Cordaid ; Pays-Bas, CAR, Cameroon, Burundi), ajouté avec une personne du bureau de Cordaid Bukavu comme observateur et optionnel une personne de Equipe Cadre de Zone ou un vérificateur de l’AAP pour investiguer un des 3 districts (Katana, Miti-Murhesa ou Idwji).

Pour la partie des différents organes administratifs (le régulateur), nous allons contracter un consultant (Dr. P.B. Peerenboom) pour le faire. Le consultant ferra ensemble avec un membre d’équipe les questions nécessaires pour les interviews du régulateur.



Revue des documents

Entre autre les documents suivants seront utilisés : 1. Les rapports mensuels, trimestriels et semestriels 2. Les contrats avec les parties prenantes 3. Les business plans des FOSA choisies 4. Les différentes évaluations faites

Analyse de 6 principes de FBP/Interviews

Dans la réunion avec les parties prenantes au début de la mission, nous allons utiliser les outils pour avoir déjà une impression de fonctionnement du programme selon les 6 principes de FBP. Si nécessaire, les parties prenantes seront interviewé davantage individuellement ou en groupe. Les partie prenantes sont entre autre de Ministère Provincial de la Santé, la Division Provincial de Santé, l’Équipe Cadre de Zone/Province, les bureaux B2-B3-B5, l’AAP, le personnel des FOSA, membres de la communauté, membres des ASLO’s, les vérificateurs, CODESA. Contre vérification (par échantillonnage)

1. Un échantillon de FOSA à rechercher sera pris par district à base de fonctionnement : 1 hôpital, 1 centre hospitalier, 2 centres de santé avec bonne fonctionnement et 2 avec mauvaise fonctionnement. Le critère pour assigner un FOSA sera 1) le pourcentage des subsides gagnés en comparaison avec les subsides maximum à gagner ou 2) le calcul du subside gagné par habitant du ‘catchment area’. Le choix des FOSA sera déterminé avant la mission mais pendant le premier jour de la mission il sera contrôler si notre choix est faisable dans le temps réservé. Pour un meilleur logistique/organisation c’est possible de changer les FOSA. Le bureau de Cordaid Bukavu choisira 2 FOSA dans lequel que nous pouvons faire la contra vérification en grand équipe pour acquérir un approche uniforme.

2. Également, nous prenons un échantillon des indicateurs de quantité les plus importants (environ 6) envisagé á la santé maternelle pour vérifier les résultats quantitatif.Pas toute l’année sera rechercher mais seulement un mois par trimestre de 2

ième année du projet 108050, septembre 2013-août 2014.

3. Pour vérifier les résultats des indicateurs de qualité, nous prenons l’outil d’évaluation de qualité et la dernière vérification de qualité (même si cela est fait dans la 3

ième année du projet*).

4. Pour la vérification de régulateur (DPS, IPS, B2, B3, B5, ECZ), le consultant Dr. P.B. Peerenboom prendra les indicateurs de la grille utilisé par structure. Si possible tous les indicateurs sont pris en compte, mais si nécessaire un échantillon sera pris.

5. L’échantillon pour la communauté sera fait à base de ‘sample size calculator for prevalence studies’ce que a résulté en prendre 36 personnes dans chaque zone de santé pour la satisfaction des patients. Hors des questions utilisées normalement, nous ajoutons des questions pour le volet des CCT et bracelets. Si ’il parait que 36 personnes et trop pour interviewer, nous prendrons moins après discussion au début de la mission

Dans les formations sanitaires sélectionnées, l’équipe compare les fiches de déclaration et validation, qui ont été remplies par les vérificateurs de l’Agence d’Achat, avec les données dans les registres de la FOSA. Finalement nous comparons ces données avec la base de données qui existe au niveau de l’AAP.

* La qualité des services dans les FOSA varie dans le temps. Après chaque supervision trimestrielle (pendant laquelle la fiche d’évaluation de la qualité est remplie) les FOSA mettent en place des améliorations ou des autres changements qui ont eu lieu (ruptures du stock etc) Afin d’éviter des grandes différents entre l’évaluation et la vérification, la dernière évaluation de la qualité est utilisée comme la base pour la vérification de la qualité.



Résultats attendus

1) Un rapport de maximum 25 pages (sans annexes) avec une analyse de la vigilance des données, la validité d’outil de qualité, l’organisation de ce programme FBP et des recommandations pour améliorer le programme. Les recommandations peuvent inclure à la fois des recommandations pour l’AAP et les autres structures/parties prenantes qui sont impliqués dans le projet actuel.

2) Une présentation des conclusions les plus importantes de cette évaluation à tous les parties prenantes et au BU Health en La Haye.



ANNEXE 2: ITINERAIRE DE MISSION

JOUR EQUIPES PETER BOB PEERENBOOM

19-20 avril voyage à Bukavu

21 avril préparation du programme et façon de travailler, réunion avec les parties prenantes, continuation de la préparation avec l'intrant du réunion

22 avril Vérification de 2 HC avec 2 équipes pour acquérir l'approche uniforme, retro-action plenière pour discuter les problèmes

23-25 avril vérification de 3 HC par district (Idwji, Katana, Miti-Murhesa) et vérification communautaire si possible

26 avril jour de repos voyage à Bukavu

27 -30 avril vérification de 3 HC par district (Idwji, Katana, Miti-Murhesa) et vérification communautaire si possible

27 voyage à Bukavu, 28 avril: vérification de MSP et DPS; 29 avril: vérification de B2 et B3; 30 avril: vérification de B5

1 mai retroaction de tous les données et préparation de la restitution; developpement des recommandations

retroaction de tous les données et préparation de la restitution; developpement des recommandations

2 mai partie d'équipe parte à leur pays, Paula restera pour préparation du restitution

voyage à Kigali

3 mai jour de repos

4 mai réunion de restitution



ANNEXE 3: SUBSIDE QUANTITATIF PAR

CAPITA PAR AN

IDJWI 253.038

KATANA 203.964

MITI MURHÉSA 205.674

Nom de FOSA Per capita montant



Bugarala $0,28 Ibinja $0,43 Cibumbiro $0,25

Bushusha $0,38 Birava $0,46 Murhesa $0,28

CSR Mugote $0,42 Ishungu $0,47 Cifuma $0,35

Kishenyi $0,45 Kabushura $0,52 Mbayo $0,38

Lemera $0,47 Luhihi $0,53 Kavumu $0,39

Bwando $0,47 Kabamba $0,53 Kashusha $0,41

Shayo $0,48 Iko $0,58 Kahungu $0,46

Bulegeyi $0,52 Mabingu $0,61 Kajeje $0,46

Bunyakiri $0,53 Mushweshwe $0,62 Buhandahanda $0,47

Muhyahya $0,53 Lugendo $0,64 Muganzo $0,48

Mpene $0,54 Kadjucu $0,69 Mushungurhi $0,53

Bwina $0,56 Irambira $0,74 Saint Pie X $0,57

CSM Kintima $0,64 Izimero $0,76 Itara $0,59

Nyakalengwe $0,64 Ihimbi $0,85 Combo $0,61

Kasihe $0,64 Mugeri $0,93 Kalwa $0,65

Misimbwe $0,64 Ciranga $1,02 Bushumba $0,67

Camahiri $0,64 Katananuru $1,05 Lwiro $0,98

Bushonga $0,66 Mulungu $1,96

Kisiza $0,66

Lumala $0,76

Mafula $0,93

HGR Monvu $0,09 HGR Katana $0,08 CH Kavumu $0,10

CH Bugarala $0,11 CH Birava $0,07 CH Lwiro $0,00

CH Kihumba $0,09 CH Murhesa $0,09

Les FOSA selectionnées sont marque en « bold ». Les 2 tests de Miti Murhésa en « italique ».



ANNEXE 4: RÉSULTATS QUANTITATIFS PMA pourcentage ecart entre la vérification et la contre verification des differents

indicateurs quantitatifs



ANNEXE 5: RÉSULTATS QUANTITATIFS PCA pourcentage ecart entre la vérification et la contre verification des differents

indicateurs quantitatifs

-10%

0%

10%

20%

30%

40%

50%

60%

70%

HGR Katana HGR Idwji CH Miti Murhesa

% ecart Transfusions sang-Don bénévole



0%

5%

10%

15%

20%

HGR Katana HGR Idwji CH Miti Murhesa

% ecart Autres accouchements dystociques



ANNEXE 6: RESULTATS QUALITATIFS résultats qualitatifs cds idwji

Indicateurs Score max

(cible)

CS Mugote CS Mafula CS Mpene CS Lumala CS Bushonga

% réalisé BCZS

% réalisé contra-

vérification écart

% réalisé BCZS

% réalisé contra-


% réalisé BCZS

% réalisé contra-


% réalisé BCZS

% réalisé contra-


% réalisé BCZS

% réalisé contra-


A. Score de la mise en place de l’équipe

10 100% 50% 50% 100% 60% 40% 90% 40% 50% 90% 80% 10% 90% 60% 30%

B. Score de réalisation des activités 96% 35% 61% 93% 73% 20% 0% 54% -54% 0% 82% -82% 0% 69% -69%

b1. Score des activités de planification et de coordination du CS

38 97% 42% 55% 97% 53% 45% 61% 13% 47% 87% 55% 32% 71% 68% 3%

b2. Score de réalisation des rapports d’activités Communautaires

16 100% 0% 100% 100% 81% 19% 75% 56% 19% 100% 94% 6% 88% 19% 69%

b.3. Score de réalisation des activités curatives

66 100% 19% 81% 100% 86% 14% 97% 61% 36% 87% 94% -7% 96% 84% 12%

b.4.Score des activités de la maternité

38 100% 0% 100% 94% 91% 3% 88% 71% 16% 97% 100% -3% 100% 64% 36%

b.5.Score de réalisation des activités préventives

73 91% 60% 31% 82% 62% 21% 75% 62% 14% 88% 74% 14% 55% 68% -14%

C. Score de réalisation des activités de supervision

6 100% 0% 100% 83% 33% 50% 50% 17% 33% 83% 67% 17% 67% 17% 50%

D. Score de réalisation des activités de suivi- évaluation

32

3% 84% -82% 78% 72% 6% 97% 97% 0% 84% 75% 9%

E. Score de l’audit de gestion des médicaments et autres intrants

23 87% 57% 30% 89% 44% 44% 91% 22% 69% 100% 52% 48% 70% 44% 25%

F. Score de gestion financière 27 87% 27% 60% 93% 85% 7% 74% 41% 33% 74% 41% 33% 96% 52% 44%

G. Score de fonctionnement de l’hygiène

28 89% 68% 21% 89% 79% 11% 89% 86% 4% 82% 50% 32% 86% 54% 32%

H. Score de fonctionnement de laboratoire

6 100% 100% 0% 83% 50% 33% 83% 17% 67% 100% 100% 0% 83% 50% 33%

Total 363 95% 41% 53% 93% 73% 20% 86% 55% 31% 89% 76% 13% 84% 65% 19%



résultats qualitatifs cds katana


(cible)

CSR Mugeri CSR Ihimbi CS Katana Nuru CS Birava CS Ibinja

% réalisé BCZS

% réalisé contra-


% réalisé BCZS

% réalisé contra-


% réalisé BCZS

% réalisé contra-


% réalisé BCZS

% réalisé contra-


% réalisé BCZS

% réalisé contra-



10 80% 50% 30% 100% 60% 40% 90% 80% 10% 90% 80% 10% 90% 50% 40%

B. Score de réalisation des activités 82% 68% 15% 91% 73% 18% 83% 74% 9% 75% 67% 8% 81% 60% 21%


38 74% 53% 21% 97% 47% 50% 61% 61% 0% 87% 84% 3% 71% 53% 18%


16 94% 100% -6% 100% 0% 100% 75% 19% 56% 100% 81% 19% 88% 56% 31%


66 89% 86% 3% 93% 91% 3% 97% 94% 3% 81% 73% 8% 96% 77% 19%


38 94% 42% 52% 94% 97% -3% 104% 57% 46% 0% 0% 0% 118% 50% 68%


73 71% 60% 11% 82% 74% 8% 75% 81% -5% 86% 75% 11% 56% 51% 4%


6 100% 83% 17% 83% 50% 33% 50% 67% -17% 83% 83% 0% 67% 33% 33%


32 94% 91% 3% 0% 0% 0% 78% 69% 9% 97% 84% 13% 84% 63% 22%


23 83% 39% 43% 87% 74% 13% 91% 26% 65% 100% 61% 39% 96% 35% 61%

F. Score de gestion financière 27 93% 59% 33% 93% 100% -7% 74% 67% 7% 74% 67% 7% 96% 85% 11%


28 93% 61% 32% 89% 68% 21% 89% 32% 57% 82% 4% 79% 86% 32% 54%


6 83% 67% 17% 83% 100% -17% 83% 83% 0% 100% 83% 17% 83% 83% 0%

Total 363 85% 66% 19% 91% 75% 16% 83% 67% 16% 80% 64% 16% 84% 58% 26%



résultats qualitatifs cds miti-murhesa


(cible)

CS Kavumu

CS Kahungu

CS Bushumba CS Lwiro CS Mbayo

% réalisé BCZS

% réalisé contra-

vérification

écart %

réalisé BCZS

% réalisé contra-

vérification

écart %

réalisé BCZS

% réalisé contra-


% réalis

é BCZS

% réalisé contra-


% réalisé BCZS

% réalisé contra-



10 100% 50% 50% 100% 50% 50% 90% 50% 40% 100% 70% 30% 70% 60% 10%

B. Score de réalisation des activités 92% 69% 23% 85% 62% 23% 88% 69% 20% 91% 57% 34% 75% 54% 21%


38 71% 39% 32% 74% 68% 5% 92% 50% 42% 71% 47% 24% 71% 58% 13%


16 100% 19% 81% 100% 100% 0% 75% 25% 50% 88% 81% 6% 81% 100% -19%


66 99% 77% 22% 90% 43% 46% 97% 55% 42% 92% 33% 59% 75% 46% 29%


38 97% 85% 12% 82% 58% 24% 96% 100% -4% 97% 100% -3% 104% 54% 50%


73 93% 82% 11% 84% 68% 16% 79% 49% 29% 92% 60% 32% 65% 49% 16%


6 67% 0% 67% 67% 50% 17% 50% 33% 17% 83% 50% 33% 67% 100% -33%


32 100% 56% 44% 84% 0% 84% 91% 38% 53% 97% 25% 72% 75% 50% 25%


23 74% 11% 63% 22% 11% 11% 91% 17% 74% 96% 17% 78% 67% 0% 67%

F. Score de gestion financière 27 96% 56% 41% 85% 59% 26% 74% 44% 30% 100% 19% 81% 81% 33% 48%


28 96% 4% 93% 68% 21% 46% 75% 7% 68% 96% 0% 96% 50% 0% 50%


6 83% 83% 0% 100% 50% 50% 83% 50% 33% 83% 67% 17% 83% 50% 33%

Total 363 96% 59% 37% 83% 56% 27% 86% 46% 40% 93% 44% 49% 73% 47% 26%



ANNEXE 7: RESULTATS QUALITÉ HÔPITAUX

HGR Katana HGR Idwji CH Miti-Murhesa


(cible) % réalisé

BCZS

% réalisé contra-


% réalisé BCZS

% réalisé contra-


% réalisé BCZS

% réalisé contra-


A. FONCTIONNEMENT DE L’HOPITAL

a1. Score de mise en place de l’équipe de l’HGR 10 100% 80% 20% 100% 60% 40% 100% 100% 0%

a2. Score de réalisation des activités de planification et de coordination

35 86% 77% 9% 86% 97% -11% 74% 89% 14%

a3. Score de réalisation des activités de suivi - évaluation 23 78% 91% -13% 78% 100% -22% 100% 100% 0%

a4. Score de gestion des médicaments et autres intrants 15 100% 80% 20% 100% 100% 0% 53% 93% 40%

a5. Score de gestion des équipements 14 86% 100% -14% 86% 100% -14% 93% 100% 7%

a6. Score de renforcement des capacités 4 50% 100% -50% 50% 75% -25% 50% 0% -50%

a7. Score d’hygiène hospitalière 25 84% 88% -4% 84% 100% -16% 92% 96% 4%

B. ACTIVITES CLINIQUES

b.1. Score des activités curatives

Score consultation de référence par le médecin 30 90% 100% -10% 90% 100% -10% 33% 90% 57%

Score de consultation ordinaire (HGR SEULEMENT) 6 83% 100% -17% 83% 100% -17% Centre Hospitalier

b.2.Score d’appréciation de la qualité des soins 9 100% 67% 33% 100% 100% 0% 89% 100% 11%

b.3. Score des activités para cliniques 40 88% 100% -13% 88% 63% 25% 80% 80% 0%

Score d’imagerie et examens complémentaires

b4. Score d’activités d’hospitalisation 129 92% 71% 21% 92% 98% -6% 76% 83% 7%

C. ACTIVITES DE GESTION

Score de la Gestion Financière 38 82% 95% -13% 82% 100% -18% 61% 100% 39%

Total 378 88% 84% 4% 88% 94% -6% 74% 89% 15%


MAI 2015 © CORDAID 58

ANNEXE 8: OUTILS DE VÉRIFICATION

REGULATEURS

Grille d’indicateurs de Ministère de Santé

Production d’un plan opérationnel 2015

Plan opérationnel 2015 actualisé et validé

Compte rendu de l’atelier de validation du plan opérationnel 2015 avec liste des présences des participants

Accusé de réception du plan de travail par le Gouverneur de Province

Outil (canevas) de suivi et d’évaluation du plan opérationnel mis en place ;

Compte rendu des réunions internes , suivi et d’évaluation du progrès et des résultats du plan opérationnel 2015

La production d’un plan de lobbying en faveur du FBP et de MUSA dans l’atteinte des objectifs inscrits dans le Plan Stratégique

Plan de Lobbying est actualisé et validé

Au moins 2 résultats obtenus par les actions de lobbying sont inventoriés

Le document du projet (50 % des projets negocies en province integre le PBFet ou les MUSA

Niveau des ressources et leur application

Le leadership du Ministère Provincial de la Santé est renforcé

Budget de travail 2015 avec l’évidence de l’alignement des partenaires aux priorités du Ministère de la Santé

Au moins 1 Contrat de performance est signé entre le Ministère Provincial de la Santé et un de différents partenaires du ministère.

Rapports d’exécution budgétaire, de suivi et d’évaluation

Rapports d’activités, itinérances sur terrain, correspondances

La reforme du Secteur Pharmaceutique est poursuivie

Le rapport financier de la construction de la CDR et les photos

Note technique de suivi de l’avancement du dossier, adressée au Gouverneur et ou au correspondant à Kinshasa sur la mise en place ou construction d’une CDR dans la province du sud kivu.

Rapport de suivi de travaux de construction de la CDR en province du sud kivu.

PV des réunions de la commission

Rapport de fermeture des pharmacies non viables et marchés pirates

Amélioration de l’Offre de soins

Répertoire des structures sanitaires privées de Bukavu et Uvira

Rapports d’inspections effectuées en insistant sur l’évaluation des recommandations précédentes.

Le plan de la mise en œuvre et le rapport d’exécution des recommandations

Niveau de Coordination, Supervision et de la gestion du CPP-SS

Rapport de la reunion CPP-SS

Les recommandations du CPP-SS sont exécutées à 80%

Rapport d’évaluation du bureau du Chef de Division de la santé avec plan de suivi de recommandations

Rapport de supervision



Grille d’indicateurs de l’Inspecteur Provincial

Activité annuelle

Evaluation annuelle du personnel

Au moins 2 nouvelles mutuelles de santé sont créées

Un accroissement de 4 % de nouveaux adhérents aux mutuelles de santé par rapport aux anciens membres est assuré

Activités trimestrielles

Supervision interne des bureaux et coordinnations de la DPS

Evaluation des performances au B2, B3 et B5

Suivi de réalisation de plan d'amelioration issu de SQI dans les diffrents bureaux et programme de la DPS

Evaluation et planification hebdomadaire des activités de l'ECP

Réalisation des recommandations issues des CA des zones de santé

Grille d’indicateurs de B2

Activités annuelles

Vulgarisation de l’outil indice dans les 34 zs de la province

Un cadre d’échange des hôpitaux sur les plans d’établissement hospitalier

Révision des outils d’évaluation qualité

Evaluation de la qualité des services des ECZ

Evaluation de la qualité des soins dans les Hôpitaux


Appui à l’élaboration des plans d’établissements hospitaliers des Hôpitaux (Panzi, HPGR, Idjwi et Kalehe)

Application d’un outil indice harmonisé dans les FOSA (12 Zones de santé)

Assurer le suivi de la mise en œuvre des plans d’établissements hospitaliers (Katana,Mubumbano, Bagira, Ciriri, Walungu,)

Suivi budgétaire du PAO de la province

Grille d’indicateurs de B3

Activités annuelles

Les fournisseurs pré qualifiés dans la Province sont connus

Les Pharmaciens des ZS et des HGR sont formés en PBF (Avec insistance sur le volet gestion des médicaments)

Les achats locaux des ONG, des pharmacies zonales, des HGR, des CS sont opérés chez les fournisseurs qualifiés par la Province (39 dont 5 ONG et 34 ZS)

Un rapport sur la capacité du MINILAB à travailler selon les normes BPL est élaboré par l’Expert


A chaque poste frontalier (Ruzizi 1, Ruzizi 2, Kavimvira et Kalundu), 1 agent du B3/DPS est présent pour le contrôle des entrees des medicaments

Les pharmacies non viables sont fermées dans la Province du Sud Kivu

Les sources d’approvisionnement des fournisseurs pré qualifiées par la Province et même d’autres Dépôts privés lucratifs et confessionnels sont connues

Les FOSA utilisant les subsides Cordaid pour acheter les médicaments sur le marché illicite sont sanctionnées

La promotion des activités des pharmacies en boite dans les ZS est assurée

Le suivi de l’utilisation des médicaments dans les structures est assuré

Les notes de retro-information SNIS/Med sont faites aux ZS

rapport contre vérification avril-mai 2015 projet 108050

Documents