l’évaluation : dans quel cadre et avec quels outils? · 2017-10-12 · contexte appel à projet...
TRANSCRIPT
L’évaluation : dans quel cadreet avec quels outils?
RENCONTRES RÉGIONALES DUSPORT SANTÉ BIEN-ÊTRE
AUVERGNE RHÔNE-ALPESSaint-Etienne - 13 décembre 2016
Avec le concours de la DRDJSCS Auvergne Rhône-Alpes
Les missions de l’Observatoire
RECENSER
Données sur l’activité physique et
sportive
Données sur la sédentarité
ANALYSER
Pour établir un état des lieux
SUIVRE ET EVALUER
Actions luttant contre la sédentarité
Actions promouvant l’activité physique
PROPOSER OU RÉALISER
Études avec le monde
universitaire
Études avec des partenaires
publics ou privés
APPROFONDIR
Évolutions et enjeux sur le thème de
l’activité physique et de la sédentarité
en France
COMMUNIQUER
Études de l’Onaps
Corinne Praznoczy - 13/12/2016 2
Contexte
Appel à projet CNDS : Actions de lutte contre l’obésité, l’inactivité physique et la sédentarité des jeunes de 12 à 25 ans
13 projets retenus Financés sur 3 ans Des porteurs de projet différents :
– 2 ligues de sports adapté, 1 centre socio-culturel, – 2 comités régionaux Sports pour tous, – 1 réseau sport santé bien-être, – 3 comités régionaux d’éducation physique et de gymnastique volontaire, – 1 office municipal des sports, – 1 comité départemental des offices municipaux des sports, – 1 comité départemental olympique et sportif, – 1 club sportif
Des projets différents également dans leur modalité
Corinne Praznoczy - 13/12/2016 3
Contexte
Une demande d’évaluation formalisée dans l’AAP Demandes en termes d’indicateurs
– Condition physique– Changement de comportement significatif (prise de licence)– Santé– Activité physique, sédentarité– Estime de soi– Motivation– Participation, assiduité…
Deux bilans intermédiaires et un bilan définitif à fournir par les porteurs
Deux évaluations globales intermédiaires et une évaluation finale à fournir par l’Onaps
– Sur les actions– Sur le processus d’évaluation, avec des projets et des structures porteuses
différents
Corinne Praznoczy - 13/12/2016 4
Territoires concernés
MayenneComité départemental olympique et sportif de Mayenne
Champagne-ArdenneRéseau sport santé bien-être
Rhône-AlpesLigue Sport adapté de Rhône-Alpes
AlsaceComité régional Sports pour tous
Basse-NormandieCentre socio-culturel et sportif Léo Lagrange à Colombelles
CorseComité régional d’éducation physique et de gymnastique volontaire de Corse
Paca - Comité
départemental des offices municipaux des sports des Bouches-du-Rhône
- Comité régional d’éducation physique et de gymnastique volontaire de PACA
AuvergneLigue d’Auvergne du Sport adapté
La Réunion - Office municipal
des sports de Saint-Joseph
- Comité régional Sports pour tous
LorraineSociété des Régates Messines
PicardieComité régional d’éducation physique et de gymnastique volontaire
Corinne Praznoczy - 13/12/2016 5
Batterie d’indicateurs
Indicateurs de processus
Ressources qu’il est prévu de mobiliser dans le projet (intervenants, matériel et supports,
partenariats…)
Ressources réellement mobilisées
Mode de recrutement des participants (critères d’orientation vers le programme, motivation repérée
des participants, état de santé objectif…)
Suivi des abandons
Si groupe constitué sur la durée :
Ambiance pendant les séances (interactions, capacité du groupe à coproduire, à échanger…)
Moments de convivialité en dehors des séances (liens tissés qui se poursuivent hors programme et
hors séances, enrichissement du réseau social des participants…)
Corinne Praznoczy - 13/12/2016 6
Batterie d’indicateurs
Corinne Praznoczy - 13/12/2016 7
Indicateurs de résultats
Nombre de projets ayant signalé un
indicateur de ce type dans leur dossier (sur
13 projets)
IMC† 4
Tour de taille 2
Qualité de vie(a) 4
Estime de soi(b) 5
Condition physique†† 13
Activité physique(c) 6
Sédentarité(c) 4
Satisfaction
Nbre de personnes, taux de participation, nbre d’abandons
(raisons)10
Suivi de fin de projet : inscription à des activités physiques, type
d’activité8
† Le guide Fnors indiquant la mesure du poids et de la taille chez les enfants et les seuils d’IMC pour déterminer la corpulence des enfants sera fourni aux porteurs de projet qui le souhaitent.†† Tous les projets proposent un indicateur de mesure de la condition physique différent, une harmonisation n’est donc pas envisageable.(a) Propositions : Profil de Duke (auto-administré)(b) Proposition : échelle de Rosenberg (auto-administré)(c) Propositions : IPAQ court (si auto-administré)
Bilan de la première année -Données quantitatives - 1ère analyse
Participation des projets au recueil des données : 7 projets ont transmis leurs données; 1 projet a rencontré un pb technique; 4 projets ont pris du retard et n’ont pas pu transmettre les données; 1 projet a son propre dispositif d’évaluation et un public « général » (Université de
Caen);
Participation : 1 018 enfants ou adolescents pour les 13 projets (dont 592 pour la Normandie)
Participants inclus dans le fichier de données: 276 enfants ou adolescents, pour les 7 projets; Taux de participation de 38 à 77% selon les projets; Taux d’abandon de 0 à 39% selon les projets; Raisons des abandons : changement d’emploi du temps scolaire, blessure, maladie,
transport, exclusion de l’établissement, pratique d’un autre sport, raisons familiales, déménagement;
Corinne Praznoczy - 13/12/2016 8
Descriptif à l ’inclusion (sur 276 enfants/7projets):
57% de filles
Âge moyen = 12,2 ans (240, 7 projets);
IMC moyen (kg/m2) = 26,3 (185, 6 projets);
Zscore moyen = 2,32 (161, 6 projets);
Corinne Praznoczy - 13/12/2016 9
Bilan de la première année -Données quantitatives - 1ère analyse
Corinne Praznoczy - 13/12/2016 10
Indicateur Unité Participants Projets Avant Après p
IMC kg/m2 140 6 26,5 26,4 NS
Zscore 138 6 2,34 2,31 NS
Souplesse (<0 ne touche pas le sol) cm 93 2 -5,0 -3,5 0,002
Distance parcourue en 6 mn m 30 2 637 601 NS
Temps en équilibre sur 1 jambe s 83 3 17,3 16,9 NS
Score santé physique Duke /100 24 2 79,2 82,1 NS
Score santé mentale Duke /100 24 2 70,4 87,5 <0,001
Score santé sociale Duke /100 24 2 70,4 75,4 NS
Score santé générale Duke /100 24 2 73,3 81,7 <0,001
Score Estime de soi Duke /100 24 2 71,7 84,2 <0,001
Estime de soi Rosenberg /40 67 3 28,3 30,1 0,005
Bilan de la première année -Données quantitatives - 1ère analyse
Indicateurs propres aux projets
Qualité de vie (1 projet) :
Estime de soi (2 projets) :
Activité physique (1 projet) :
Sédentarité (2 projets) :
Motivation :
Tests de condition physique hétérogènes : exploitation des résultats à venir
Corinne Praznoczy - 13/12/2016 11
Bilan de la première année -Données quantitatives - 1ère analyse
Satisfaction (94, 3 projets) :
96% satisfaits de l’action
89% recommanderaient l’action à un ami
Corinne Praznoczy - 13/12/2016 12
Bilan de la première année -Données quantitatives - 1ère analyse
Analyse des bilans et des entretiens
RECRUTEMENT
PARTENARIAT
ACTIONS
MOTIVATION
QUESTIONNAIRES
DONNÉES
LOCAUX
Corinne Praznoczy - 13/12/2016 13
Analyse des bilans et des entretiens
Questionnaires• nombreux et longs
• difficile à concilier avec le temps dédié à l’APS
Données• lourdes à traiter (saisie)
• nécessité de faire une déclaration CNIL
Corinne Praznoczy - 13/12/2016 14
Actions de lutte contre l’obésité, l’inactivité physique et la sédentarité des jeunes de 12 à 25 ans IMC (cible, résultat ?) => qui prend la mesure ? Dans quel
contexte ?
Activité physique, sédentarité : comment mesurer ? Questionnaire validé, type IPAQ, long ? Autre ? Mais quelle validité ? (temps, fréquence et niveau d’AP; contextes de sédentarité…)
Qualité de vie, estime de soi : indicateurs sensibles mais questionnaires longs, pas toujours faciles d’accès.
Motivation ? Dimension essentielle.
Suivi des bénéficiaires : difficile à mettre en place, quel financement ?
Corinne Praznoczy - 13/12/2016 15
Analyse des bilans et des entretiens
Actions de lutte contre l’obésité, l’inactivité physique et la sédentarité des jeunes de 12 à 25 ans
Vigilance CNIL : recueil de données personnelles = loi sur la protection des données (Règlement européen du 4 mai 2016 qui entrera en application en 2018 : durcissement de la responsabilité du responsable du traitement des données
Traitement des données, quantitative comme qualitative (compétence spécifique )
Corinne Praznoczy - 13/12/2016 16
Analyse des bilans et des entretiens
L’évaluation doit être financée
L’évaluation doit être à la mesure des porteurs de projet
Nécessité d’outiller, d’accompagner si nécessaire
Nécessité de prendre en compte les spécificités des porteurs de projet, en termes de ressources disponibles, compétences, « éthique » propre
Corinne Praznoczy - 13/12/2016 17
Analyse des bilans et des entretiens
Le rapport d’évaluation intermédiaire de cette première année sera publié en février 2017
Merci de votre attention
Site internet : www.onaps.fr
Mail: [email protected]
Compte twitter: @onaps_officiel
Corinne Praznoczy - 13/12/2016 18