Heuristique du questionnaire

Méthodologie de l'enquête statistique (2)Joachim Dornbusch, Groupe d'Expérimentation Pédagogique en

Sciences Economiques et Sociales, Académie de Versailles

A quoi sert le questionnaire (rappel)

1. Thème de l'enquête

Que veut-on savoir, vérifier sur ce thème ?

2. Hypothèses (questions,

problématique...)

De quelles données a-t-on besoin ? Comment

les obtenir ?

3. Questionnaire

Le questionnaire est donc un...

instrument, outil

qui sert à...

collecter, obtenir des données

Art ou science ?

Formuler des hypothèses pour les valider ou les invalider relève-t-il...de la science ?de l'art ?

Fabriquer un outil pour collecter ces données relève-t-il... de la science ?de l'art ?

Des règles heuristiques

Il n'y a pas de questionnaire parfait......mais il y en a de bons et de mauvais

Règles heuristiques :permettent l'obtention d'une solution satisfaisantepermettent d'identifier / de résoudre le plus de problèmes

possibleDans chacun des exemples qui suit, trouvez le

principal défaut de la question posée, essayez de la corriger et déduisez-en une règle plus générale.

Exemple 1

Faut-il facturer l'intervention des secours aux personnes qui se trouvent en difficulté en montagne à cause de leur comportement irresponsable qui entraîne un coût élevé pour la collectivité ?OuiNon

Règle n°1 : faire preuve de neutralité

La question est dite chargée ou orientée.Elle contient un argument implicite en faveur d'une

des modalitésLe vocabulaire connoté, péjoratif, critique ou au

contraire laudatif suffit à charger une question.

Correction possible

Vocabulaire plus neutrePensez -vous que l'intervention des secours en

montagne puisse être facturée aux personnes secourues dans certains cas ?

Solution alternative

Rééquilibrer la question en la chargeant dans les deux sens...

Selon vous, la facturation des secours en montagne...est possible lorsque la responsabilité des personnes

secourues est engagéeest à écarter car la gratuité des secours doit rester la

règle

Exemple n°2

Pensez-vous que le mariage soit un gage de stabilité pour le couple ?ouinon

Règle n°2 : tenir compte du conformisme

Une partie des répondants n'a pas d'opinion tranchée.

Ils auront tendance à se reporter sur l'opinion dominante ou l'opinion suggérée par l'enquêteur.

Notamment quand on leur soumet :un sloganune maximeune formule marquée au coin du bon sens...

Correction possible

Equilibrer les modalitésAvec laquelle de ces deux phrases êtes-vous le

plus d'accord ?Le mariage, c'est un gage de stabilité dans le coupleLe mariage, c'est la corde au cou

Exemple n°3

Selon vous, l'introduction de l'euro :a fait considérablement augmenter les prixa fait un peu augmenter les prixn'a pas eu d'effet sur les prixa fait diminuer les prix

Règle n°3 : équilibrer les modalités

Ici l'idée de la hausse apparaît plus plausible car elle correspond à 2 modalités.

Les modalités positives et négatives doivent être équilibrées ou symétriques.

Correction possible

Selon vous, l'introduction de l'euro :a fait augmenter les prixn'a pas eu d'effet sur les prixa fait diminuer les prix

Autre correction possible

Selon vous: l'introduction de l'euro a entraîné une augmentation des

prixla hausse des prix n'est pas due à l'euro mais à d'autres

facteurs

Exemple n°4

(à des personnes qui ont des enfants)Aidez-vous vos enfants à faire leurs devoirs ?

ouinon

Règle n°4 : prendre en compte les normes sociales

Ici une réponse est socialement préférable à l'autre

Les résultats reflèteront moins la réalité des comportements que l'adhésion à une norme.

De nombreux répondants optent pour le "oui" pour se conformer à un ...stéréotype parental

Correction possible

Question indirecte (et ouverte)Citez deux thèmes étudiés cette année en histoire-

géographie par votre fils / fille.

Exemple n°5

Concernant le fonctionnement de la Politique Agricole Commune, pouvez-vous me dire si vous êtes :entièrement d'accordplutôt d'accordplutôt pas d'accordpas du tout d'accord

Règle n°5 : ne pas provoquer des positionnements artificiels

Ici, les personnes sans opinion sur la PAC devraient se voir proposer une modalité : "sans opinion".

Lorsqu'on ne veut pas susciter des positionnement artificiels :introduire une modalité neutre / inciter les indécis à ne pas se

prononcerPour forcer la prise de position (tout le monde a un avis) :

retirer le "sans opinion" et mettre des "plutôt oui"/"plutôt non"Exemple, dans une question sur la pertinence de

l'éducation sexuelle dans les programmes scolaires, ne pas proposer de modalité "Je ne souhaite pas répondre"

Correction possible

Au sujet du fonctionnement de la Politique Agricole Commune, pouvez-vous me dire si vous êtes :d'accordpas d'accordsans opinion

Exemple n°6

Vous arrive-t-il d'avoir peur lorsque vous empruntez les transports en commun ?oui / non

Règle n°6 : dépersonnaliser les questions sensibles ou intimes

Le sujet abordé est sensible (avouer sa peur) surtout chez les hommes (introduction d'un biais dans les réponses).

La question doit être dépersonnalisée.Si ce n'est pas possible, introduire :

une modalité "ne souhaite pas répondre"un rappel de l'anonymat, de la finalité purement

statistique de la collecte des donnéesune formule de précaution...

Correction possible

DépersonnalisationSelon vous, les transports en communs sont-ils

des lieux potentiellement dangereux ?ouinon

Exemple n°7

Vous allez au cinéma en moyenne :jamaisrarement souventtrès souvent

Règle n°7 : éviter les termes ambigus ou subjectifs

"souvent " peut avoir une signification variable d'un individu à l'autre

Exemple n°8

Corrigé de l'exemple 7... mais toujours pas satisfaisant

Vous allez au cinéma en moyenne :jamais ou moins d'une fois par moisune fois par moisplus d'une fois par mois

Règle n°8 : indiquer une période de référence

Toute question de comportement doit comporter une période de référence :depuis le début de l'année civile...au cours de la semaine écoulée...au cours des dernières 24 heures...

Le choix de celle-ci dépend du comportement étudié

Correction possible

Au cours des 30 jours écoulés, c'est à dire depuis le 14 mai, vous vous êtes rendu au cinéma :jamaisune seule foisdeux fois ou plus

Exemple n°9

Au cours du mois écoulé, vous avez navigué sur des sites internet, en moyenne...30 minutes par jour1 heure par jour2 heures par jourplus de 2 heures par jour

Règle n°9 : ne pas demander d'opération complexe

Il est très difficile d'estimer correctement le temps passé à telle ou telle activité au cours d'une journée...

et plus encore de faire une moyenne.Proscrire les opérations complexes comme :

se classer soi-même dans la grille des PCSestimer un budget moyense souvenir de la date d'un évènement personnel...

Correction possible

Fournir une assistanceAujourd'hui, pouvez-vous me dire combien de

temps vous avez navigué sur des sites Internet :la première fois ?la deuxième fois ?...

Exemple n°10

Faut-il prendre des mesures pour limiter la consommation de médicaments psychotropes ?ouinon

Règle n°10 : utiliser le vocabulaire du répondant, pas celui de l'enquêteur

Le vocabulaire utilisé doit être le plus naturel possible pour le répondant, compte tenu de son milieu socioculturel, etc.

Penser aussi aux unités de mesure : la consommation d'une boisson s'exprime en verres, pas en centilitres.

Correction possible

Faut-il prendre des mesures pour limiter la consommation de médicaments qui agissent sur le système nerveux tels que les anxiolytiques ou les antidépresseurs ?ouinon

La question n'est pas encore satisfaisante.

Correction possible

Les médicaments qui agissent sur le système nerveux tels que les anxiolytiques ou les antidépresseurs sont aujourd'hui délivrés sur ordonnance. Faut-il prendre des mesures supplémentaires pour en limiter la consommation ?ouinon

Exemple n°11

Depuis un an, avez-vous consulté votre médecin généraliste et votre dentiste à titre préventif, c'est à dire sans présenter de symptômes particuliers ?ouinon

Règle n°11 : demander une chose à la fois

Certains répondants opteront pour la modalité "oui" uniquement s'ils ont consulté les 2 praticiens.

D'autres répondront "oui" pour avoir consulté l'un des deux.

Les questions doivent avoir un objet unique.Ici : il vaudrait mieux poser deux questions.

Exemple n°12

Au cours de l'année écoulée, avez-vous voyagé à plus de 100km de votre domicile ?jamaisune seule foisdeux foisplus de cinq fois

Règle n°12 : fournir une liste exhaustive de modalités

Ici les personnes qui ont voyagé 3 ou 4 fois ne peuvent pas se classer.

La liste des modalités proposées doit être exhaustive afin de permettre à tous les répondants de se classer.

Exemple n°12

Au cours de l'année écoulée, avez-vous voyagé à plus de 100km de votre domicile ?jamaisune seule foisdeux fois à quatre foisplus de cinq fois

Exemple n°13

Question d. Pensez-vous que le téléchargement illégal de musique et de films sur Internet...met en danger la création artistiquene met pas en danger la création artistique

Question e. Approuvez vous la récente loi "Hadopi" permettant l'interruption de la connexion à Internet des personnes pratiquant le téléchargement illégal de musique et de films ?ouinon

Règle n°13 : prendre en compte l'influence entre questions

La question d influence les réponses à la question e en suggérant un argument en faveur de la loi.

Il serait judicieux d'inverser les deux questions.

Exemple n°14

Actuellement, que consommez-vous au petit déjeuner ?

________________________________________________________________________________________________________________________________________________________

Règle n°14 : économiser les moyens

Les questions fermées doivent être préférées pour réduire le travail de codage / saisie.

Préférer :fermé à semi-ouvertsemi-ouvert à ouvert

La règle d'économie s'applique aussi à la longueur du questionnaire (facteur de rejet)

Correction possible

Pouvez vous me dire si, au cours des sept derniers jours, vous avez consommé au moins une fois l'un des aliments suivants au petit déjeuner :pain biscottescéréales(liste...)Autres :Je ne prends pas de petit déjeuner

Le choix du type de question...

Qu'est-ce qui justifie le recours à une forme ouverte dans certains cas ?Lorsqu'une modalité est socialement plus valorisée

qu'une autre, proposer un choix prédéfini oriente les réponses.

Lorsque le choix d'une modalité est une opération complexe (PCS)

Exemple n°15

Répondez honêtement aux questions qui suivent.

Règle n°15 : faire preuve de courtoisie et de sérieux

Eviter les injonctions, les formules soupçonneusesEviter les fautes d'orthographe (décrédibilise

l'enquête)Donner des raisons de collaborer

...sans pour autant révéler forcément l'objet précis de l'enquête

...et encore moins les hypothèses

Correction possible

Le questionnaire qui suit nous permettra de mieux connaître...

Nous vous remercions de bien vouloir y consacrer quelques minutes.

Exemple n°16

Dans un questionnaire auto-administréAu cours des 7 derniers jours, vous vous êtes

déplacé en automobile (en tant que conducteur ou en tant que passager) :

jamais une fois deux fois trois fois quatre fois cinq fois six fois sept fois huit fois neuf fois dix fois ou plus

Règle n°16 : rechercher la clarté typographique

Le questionnaire auto-administré doit être présenté de façon agréable et lisible

Les problèmes ici :confusion possible entre les modalitésrisque de rejet du questionnaire (rébarbatif)construire une échelle claire et ergonomique

Un questionnaire mal conçu...

A cause d'un questionnaire défectueux, quels problèmes peuvent affecter le déroulement d'une enquête ou entacher ses résultats?biais statistiquesaccroissement du taux de non-

réponseaccroissement de la charge de

travail

Quelques exercices...

Corriger des éléments de questionnaires

Trouver les règles qui s'appliquent et améliorer la question

Est-ce que vous vous lavez très souvent les cheveux ?ouinon

Trouver les règles qui s'appliquent et améliorer la question

Extrait d'un questionnaire diffusé par des lycéens :Savez-vous ce que sont l'anorexie et la boulimie ?

ouinon

Trouver les règles qui s'appliquent et améliorer la question

Extrait d'un questionnaire diffusé par des lycéens :A quelle fréquence mangez-vous du poisson par

semaine ?une foisplus d'une foisjamais

Cette question enfreint-elle une des règles ?

Sondage réalisé pour Le figaro/LCI par l'institut BVA du 5 au 6 mai 2006

Cette question enfreint-elle une des règles ?

Sondage réalisé pour Le figaro/LCI par l'institut BVA du 5 au 6 mai 2006