sta108sondagesmaths.cnam.fr › img › pdf › sta108_-_cours_08... · • les questions...

55
STA108 Sondages Magalie Senaux cours n°10 : 22DEC2017

Upload: others

Post on 25-Jun-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

STA108 Sondages

Magalie Senauxcours n°10 : 22DEC2017

Page 2: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

STA108 - Sondages

• Fabienne Le sager (MEDIAMETRIE) [email protected]• Sylvie Rousseau (INSEE) [email protected]• Magalie Senaux (MEDIAMETRIE) [email protected]• Aurélie Vanheuverzwyn (MEDIAMETRIE) [email protected]

Page 3: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Questionnaires, enquêteurs et

enquêtés1. Le processus de mesure et ses composantes2. Focus sur le questionnaire, quelques principes de

rédaction3. La programmation du questionnaire4. Le rôle de l’enquêteur5. Bibliographie

Page 4: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le processus de mesure et ses composantes

Les étapes de la démarche d’enquête par sondage

Conception Préparation Recueil Production des résultats

Livraison client

Page 5: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le processus de mesure et ses composantes

L’étape de conception

Lors de cette étape sont définis précisément :

• le mode de recueil (Face à Face, téléphonique, en ligne)

• la taille de l’échantillon

• la durée du terrain

• le plan de sondage

• les quotas

• le questionnaire : construction => programmation =>passation

Page 6: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le processus de mesure et ses composantes

Qu’est qu’un questionnaire ?

• Moyen de communication

• Outil permettant le recueil de données

• Composé d’un nombre + ou – élevé de questions portant sur des opinions, desgoûts, des comportements, …

La qualité d’une enquête repose en grande partie sur la rédaction du questionnaire.

Erreur de mesure

Non réponse

Page 7: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Questionnaires, enquêteurs et

enquêtés1. Le processus de mesure et ses composantes2. Focus sur le questionnaire, quelques principes de

rédaction3. La programmation du questionnaire4. Le rôle de l’enquêteur5. Bibliographie

Page 8: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Focus sur le questionnaire, quelques principes de rédactionLa construction d’un questionnaire

En règle générale on peut distinguer 3 phases :

• Définition de la problématique

- recueil du besoin client

- analyse documentaire

- recherche d’informations

• Phase qualitative : entretiens et réunions de groupe, échanges avec le client

• Phase quantitative : test de questionnaire pour valider et évaluer les hypothèses émises

Page 9: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Focus sur le questionnaire, quelques principes de rédactionLa construction d’un questionnaire

Les différents éléments d’un questionnaire

• des caractéristiques fixes (partie signalétique)

• des questions

• des questions-filtres

• des instructions destinées à l’enquêteur et/ou à l’enquêté

Page 10: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

L’agencement d’un questionnaire

Remerciements

EligibilitéIdentification de la cible Renseignements signalétiques

AccrochePrésentation de l’objectif de l’enquêteDemande de participation

Corps du questionnaire Traitement du sujet de l’enquête

Focus sur le questionnaire, quelques principes de rédactionLa construction d’un questionnaire

Page 11: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Quelques règles de base…

• Veiller à ce que les critères permettant d’identifier la cible à interroger et lescritères de quotas soient en début de questionnaire

• Commencer par des questions générales, simples et faciles à répondre

• Ordonner méthodiquement les thèmes abordés

• Distinguer les catégories d’informations recherchées

• Veiller à la cohérence des enchaînements et à la fluidité du discours

• Rester objectif et neutre : ne pas influencer la personne interrogée dans sesréponses

…tout en gardant à l’esprit le mode d’administration du questionnaire, son temps depassation et les étapes ultérieures de l’enquête (dépouillement, codification, saisie,vérifications, traitements, …)

Focus sur le questionnaire, quelques principes de rédactionLa construction d’un questionnaire

Page 12: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Organisation des questionsL’ordre des questions doit être correctement pensé, cela permettra de construireéventuellement des filtres logiques qui assureront une meilleure cohérence desréponses obtenues.Exemple : NBORDI

« Dans votre foyer, combien y a-t-il d’ordinateurs en état de fonctionner ? »[Consigne enquêteur : « Nous prenons en compte tous les ordinateurs à usage personnel et également ceux mis à disposition par l’employeur »]

1 : Un 2 : Deux 3 : Trois 4 : Quatre 5 : Cinq ou plus 6 : Aucun

UTILORDIFiltre : Equipés micro - Si Q NBORDI= 1 à 5Si un seul ordinateur – Q NBORDI= 1: « Vous personnellement, utilisez-vous cet ordinateur ? »Si plusieurs ordinateurs – Q NBORDI= 2 à 5 : « Vous personnellement, utilisez-vous au moins un de ces ordinateurs ?»

1 : Oui 2 : Non 3 : NSP

Focus sur le questionnaire, quelques principes de rédactionLa construction d’un questionnaire

Page 13: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Organisation des items de réponseL’ordre des items proposés en réponse peut avoir un impact sur les réponsesobtenues, on conseille d’utiliser la randomisation ou la rotation des items :

• La randomisation est une consigne de programmation qui permet de présenter àl’interviewé, dans un ordre aléatoire, les items d’une liste pré codée. La liste estsoumise à chaque interviewé dans un ordre de présentation différent, dû auhasard.

• La rotation est une consigne de programmation qui permet de présenter les itemsd’une liste pré codée en rotation. La liste est soumise à chaque interviewé,toujours dans le même ordre, mais elle ne démarre pas au même endroit.

Focus sur le questionnaire, quelques principes de rédactionLa construction d’un questionnaire

Page 14: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

L’objectif d’une question est d’obtenir une réponse traduisant exactement ou le plusfidèlement possible une réalité.La formulation de la question a une incidence directe sur la qualité de la réponse obtenuemais aussi sur la capacité / la volonté du répondant à y répondre.Si la question est trop compliquée ou si vous demandez en permanence la permission deposer une question, le risque est l'abandon…

Biais sur le répondant

Risque financier

Focus sur le questionnaire, quelques principes de rédactionLa formulation des questions

Page 15: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Dans beaucoup d’études, on parle de questions de comportement, d’attitude (notamment lesétudes dites U&A = Usages and Attitudes)

• Les questions dites comportementales portent sur le comportement ou l’usage présent,passé ou futur du répondant.Quoi, quand, combien, quelle quantité, quelle fréquence, dans quelles circonstances… ?

• Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou lesattentes du répondant.Que pensez-vous de…, quel est votre niveau de satisfaction, quelle image avez-vous de … ?

Focus sur le questionnaire, quelques principes de rédactionLa formulation des questions

Page 16: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Quelques règles à respecter pour éviter un biais de formulationUne question doit être courte, directe, lue (ou entendue) facilement. Dans la mesure dupossible, elle ne doit pas contribuer à induire de l'erreur de mesure ou à occasionner de lanon-réponse.

• Les termes employés doivent être simples clairs, précis, univoques (facilementinterprétable, pas de double sens)

Exemple : « Utilisez-vous l’e-mailing ? »

la réponse ne sera pas exploitable car on n'est pas sûr que l'interviewé l'aura comprise et/ou un terme est imprécis : à partir de combien d'e-mails et de quelle fréquence un envoi d'e-mails devient-il un "e-mailing » ?

Pour les échelles de temps, éviter les termes longtemps, souvent, rarement, de temps en temps, … remplacer par exemple par : depuis x mois, x fois/semaine, x fois/jour etc.

Focus sur le questionnaire, quelques principes de rédactionLa formulation des questions

Page 17: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Quelques règles à respecter pour éviter un biais de formulation• Une question ne doit contenir qu'une et une seule idée, éviter les questions à double

détente

« Diriez-vous de ce yaourt qu’il est bon et que sa texture est agréable ? »

il faut poser 2 questions (au moins) dans ce cas sinon la réponse "oui" ou "non" ne seraitpas interprétable. La question « Diriez-vous de ce yaourt qu’il est bon ? » n’apporte pasune information exploitable, le terme « bon » étant subjectif…, il serait judicieux decompléter par des questions permettant de qualifier le terme « bon » comme desnotations de différents critères : parfum, goût,…

• Une question ne doit pas suggérer une réponse particulière

« Achèteriez-vous cette voiture malgré ses défauts de sécurité ? » cette question contient déjà l'opinion de l'intervieweur. L'interviewé sera tenté de réagir

en fonction de cette opinion et non d'exprimer la sienne en dehors de cette influence

Focus sur le questionnaire, quelques principes de rédactionLa formulation des questions

Page 18: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Quelques règles à respecter pour éviter un biais de formulation• Une question doit utiliser un vocabulaire adapté et accessible au public auquel s’adresse

le questionnaire (éviter le jargon « métier »)

« Etes-vous contre le spamming ? »

si l'on ne s'adresse pas à un technicien, on a peu de chances d'être compris. Utiliser unepériphrase du style :

« Accepteriez-vous de recevoir des offres publicitaires dans votre boîte e-mail ? »

En l'occurrence, le terme de « spamming » recouvrant tant de réalités différentes, ilfaudra poser plusieurs questions complémentaires (quel type d'offres, quelles origines,sollicitées, non sollicitées, opt-in, opt-out etc. )

Focus sur le questionnaire, quelques principes de rédactionLa formulation des questions

Page 19: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Quelques règles à respecter pour éviter un biais de formulation• Attention aux doubles négations

« Ne pensez-vous pas qu'il est impossible que ... »

Remplacer par « pensez-vous qu'il est possible que … », à défaut, vous risquez de générer incompréhension et biais négatifs

• Eviter les QCM masquant les alternatives« Quel est votre mode de transport privilégié ? » le vélo la voiture la moto

ici, l'interviewé qui préfère le métro ne pourra répondre. Il manque en outre une case « autre à préciser » indispensable

Focus sur le questionnaire, quelques principes de rédactionLa formulation des questions

Page 20: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

A retenir…

Unidimensionnalité Brièveté

Neutralité

Respect de 3 critères

Focus sur le questionnaire, quelques principes de rédactionLa formulation des questions

Page 21: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

• Question ouverte : question à laquelle l’interviewé répond ce qu’il veut.

• Question fermée : question dont les réponses sont déterminées à l’avance etproposées à l’enquêté.

- Exclusive : une seule réponse possible- Multiple : propositions de réponses et plusieurs choix possibles- Echelle d’évaluation / note de satisfaction- Classement : classement des items par ordre de préférence

• Question semi-ouverte : compromis entre ouverte et fermée. Les réponses sontpré-codées mais pas proposées à l’enquêté.

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

Page 22: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Question ouverteUne question ouverte est une question qui suscite une réponse libre de la part del’interviewé.

Deux catégories de question ouverte :

• La question ouverte à réponse brève de type numérique (taille du foyer, âge del'individu, quantité consommée, nombre d'actes d'achat par mois…).

• La question ouverte à réponse développée pour laquelle on recherche spontanéité etapprofondissement. Ce type de question concerne le plus souvent des questionsd’opinion, en règle générale, les réponses ne sont pas prévues d’avance.

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

Page 23: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Question ouverte• Vision enquêté

- Laisse beaucoup de latitude dans le choix et la formulation de sa réponse

- Lui offre la possibilité d’exprimer tous les aspects d’une opinion, de diversifier et denuancer sa réponse

- Tâche exigeante et lourde qui peut décourager l’enquêté

- Risque d’être mal comprise et donner lieu à une réponse incomplète, superficielle,inexploitable

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

Page 24: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Question ouverte• Vision enquêteur

- Permet d’obtenir des données numériques précises

- Doit savoir recadrer un enquêté s’il a mal compris mais en restant neutre, sansinfluencer

• Vision statisticien d’enquête

- Lourdeur du codage, difficulté d’analyse, d’interprétation

- Outils d’analyse (text mining ou analyse textuelle)

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

Page 25: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Question semi-ouverteUne question semi-ouverte comporte une liste de réponses proposées, mais offre aussi lapossibilité d’ajouter une réponse libre.

Les questions semi-ouvertes s’avèrent utiles quand on ne maîtrise qu’une partie deschamps de réponse possible ou que l’on souhaite faire ressortir un nouvel item de réponse.

Plus faciles à manipuler que les QO et permettent de diminuer la non réponse dans le casde non exhaustivité des réponses possibles.

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

Page 26: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Question semi- ouverteExemple :

« Quel(s) genre(s) de films avez-vous l’habitude de voir au cinéma ? »Consigne de programmation : randomisation des items 1 à 14

1. Aventure 2. Comédie 3. Comédie dramatique 4. Film historique 5. Comédie française 6. Drame 7. Action 8. Fantastique 9. Film d’auteur 10. Policier/ Thriller 11. Dessin animé/ Film d’animation 12. Romance 13. Science-fiction 14. Western 15. Autre, précisez : ……………………………………….

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

Page 27: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Question fermée

• Exclusive à choix binaire

• Exclusive à choix multiple

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

« Possédez-vous un ordinateur en état de fonctionner?»

1. Oui 2. Non

« Combien avez-vous d’enfants ?»

1. Aucun 2. Un 3. Deux 4. Trois ou plus

Page 28: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

• Multiple

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

Filtre : festivaliers de Rock en Seine 2017 n’ayant pas assisté aux 3 jours de festival« Vous n’avez pas assisté aux trois jours du Festival. Pour quelle(s) raison(s) ? »Consigne de programmation : plusieurs réponses possibles

1. La programmation ne m’intéressait pas le(s) jour(s) où je n’y ai pas assisté 2. J’avais des obligations (familiales ou professionnelles) 3. Il n’y avait plus de places disponibles pour les autres jours 4. Pour des raisons financières 5. Autres raisons (précisez) :__________

Page 29: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

• Classement

Il s’agit ici de donner un certain nombre de propositions et de demander aux personnesinterrogées de la classer par ordre de préférence.

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

« L’achat digital coûte en moyenne environ 2 à 3 fois plus cher que la location digitale (VOD). Qu’est-ce qui vous semble le plus importantpour justifier la différence de prix ? »Merci de choisir les 5 critères les plus importants pour vous parmi les items suivants et de classer de 1 à 5 par ordre d’importanceConsigne programmation : drag&drop de classement par ordre de préférence, rotation aléatoire des items

◦ La présence de bonus et/ou de contenus exclusifs (commentaires du réalisateurs, scènes coupées…)◦ La possibilité de revoir le film autant de fois que je le veux (sans être limité à 48 heures)◦ La possibilité de partager des extraits du film (mes séquences favorites) sur mes réseaux sociaux◦ La possibilité d’avoir accès à des jeux exclusifs autour du film◦ La possibilité d’avoir accès à une expérience de réalité virtuelle à 360° autour du film◦ Le visionnage hors connexion◦ La qualité de visionnage◦ Le choix des films◦ La possibilité de voir mon film sur tous mes écrans

Page 30: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

• Echelle d’évaluation, d’accord, d’agrément, d’intention, de satisfaction

Les échelles verbales ou sémantiques proposent des modalités de réponse sous formede mots. La plupart des échelles verbales peuvent être transformées en échellesnumériques…

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

«Diriez-vous que ces teasers correspondent à un film …»Consigne de programmation : randomisation des items

1. Drôle 2. Rythmé 3. Emouvant 4. Moderne 5. Exagéré 6. Bien interprété 7. Provoquant

Echelle de réponse (échelle de likert): a. Tout à fait d’accordb. Assez d’accordc. Pas vraiment d’accordd. Pas du tout d’accord

Page 31: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

• Note de satisfaction

Le nombre de modalités proposées peut varier en fonction de la problématique à noteret du mode de calcul des indicateurs :

− Echelle impaire : point médian− Echelle paire : pas de point médian− Cotation : note sur 5 ou 10− Cotation : avec ou sans 0

« Donnez une note entre 0 et 10, selon que les éléments présentés sur ce film vous donnent envie de le voir au cinéma. »

Vous donnez la note 10 si vous avez très envie de voir le film au cinéma, vous donnez la note 0 si vous n’avez aucune envie de voir ce film au cinéma ; les notes intermédiairesservent à nuancer votre jugement »

Pas du tout envie de voir le film au

cinéma

0 1 2 3 4 5 6 7 8 9 10 Très envie de voir le film au

cinéma

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

Page 32: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Question fermée• Vision enquêté

- Réponse plus facile et plus rapide

- Semble mieux assurer l’anonymat

• Vision enquêteur

- Plus facile à recueillir

• Vision du statisticien d’enquête

- Plus facile à dépouiller, coder et analyser => moins couteux

Focus sur le questionnaire, quelques principes de rédactionLes différents types de formats de questions

Page 33: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

• Réponse unique pour une question exclusive

• Plusieurs réponses possibles pour une question multiple

• Distinction entre réponse spontanée et réponse assistée

− Une réponse spontanée correspond à une question dont les réponses sont connuesd’avance (liste pré codée) mais pour laquelle l’interviewé s’exprime spontanément(question ouverte).

− Une réponse assistée est une question pour laquelle on propose à l’interviewé uneliste de réponses parmi lesquelles il doit faire son choix (question fermée).

Exemple : NOTORIETE SPONTANEEQuelles sont toutes les radios nationales, locales ou étrangères que vous connaissez, ne serait-ce que de nom, même si vous neles écoutez pas ?

NOTORIETE ASSISTEEConsigne programmation : poser toutes les radios non citées en spontanéeParmi les stations de radio que je vais vous citer, dites-moi quelles sont celles que vous connaissez, ne serait-ce que de nom,même si vous ne les avez jamais écoutées…

◦ Liste de stations de radio

Focus sur le questionnaire, quelques principes de rédactionLes types de réponses

Page 34: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Erreur de mesure ou d’observation : l’information collectée diffère de la vraie valeur• La désirabilité sociale

₋ Manipuler son image aux yeux de l’enquêteur₋ Fournir des réponses qui donnent une bonne image de soi-même ou dans la

« norme sociale »₋ Biais mesuré par l’échelle de Marlowe-Crowne

• Le satisficing

₋ Faible implication du répondant₋ Six formes :

Focus sur le questionnaire, quelques principes de rédactionLes types de réponses

Page 35: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Questionnaires, enquêteurs et

enquêtés1. Le processus de mesure et ses composantes2. Focus sur le questionnaire, quelques principes de

rédaction3. La programmation du questionnaire4. Le rôle de l’enquêteur5. Bibliographie

Page 36: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

La programmation d’un questionnaire

Règles de rédaction pour faciliter le travail des programmeurs

• Information à indiquer

− Filtres

− Consignes enquêteur / enquêtés

− Rotation ou randomisation des items de réponse

• Code couleur pour chaque instruction

Outil de programmation

Voxco, Converso, Askia, Confirmit…

Page 37: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

La programmation d’un questionnaire

Instructions / Consignes

• Programmeur− Filtres et guidages qui permettent au programmeur de déterminer la population qui

répondra à telle ou telle question, ou qui devra s'arrêter etc.− Précisions sur le format souhaité pour chaque question (randomisation, rotation,

quelle présentation est souhaitée etc.)• Enquêteur

− Instructions / conseils apparaissant à l'écran− Alertes d’incohérence entre les déclarations de l’enquêté en cours d’administration

du questionnaire• Enquêté

− Précisions sur le mode de remplissage− Explications sur les questions complexes : notices, vidéos, images, aide en ligne …

Page 38: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Exemple de rédaction avec consignes programmation: filtres et randomisation des itemsUSITAn« Au cours des 30 derniers jours, avez-vous consulté… »

1 : Oui 2 : Non 3 : NSP

Filtre : site n non consulté au cours des 30DJ - Si Q USITAn = 2 ou 3 =>passer à la catégorie de site suivanteFiltre : site n consulté au cours des 30DJ - Si Q USITAn = 1 : « depuis quel lieu de connexion ? »

1 : Depuis votre domicile (filtre : si connexion domicile 30DJ) ou Depuis votre lieu de travail (filtre : si connexion travail 30DJ) 2 : Depuis un autre lieu, par exemple chez un ami, depuis un cybercafé ou une université (si connexion autres lieux 30DJ)

Consigne de programmation : randomisation des itemsa. Des sites de voyages, tourisme, tels que Voyages-sncf ou booking.comb. Des sites sur l’emploi et la formationc. Des sites dédiés aux jeux vidéos tels que jeuxvideo.com ou jeux.frd. Des sites d’actualités tels que LeFigaro.fr, LeMonde.fr, la rubrique Actualités de Yahoo ! ou de Googlee. Sites de banque en lignef. Des sites d’achat et de commerce en ligne tels que les 3 Suisses.fr ou Fnac.com

La programmation d’un questionnaire

Page 39: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

La programmation d’un questionnaire

Exemple enquête téléphonique (CATI) sous Converso

Plusieurs types de variables :

• Variables « imposées » par le logiciel

• Variables pour les questions de contact (département, quotas, etc…)

• Variables « questionnaires » : cette partie n’est sauvegardée en base que lorsquel’interview est complète

• Variables de « recode »

Page 40: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Exemple enquête téléphonique (CATI) sous Converso• Exemple variables « imposées » par le logiciel

X1 Num Inter QuantitéNuméro d'interview

X3 Nb Appels QuantitéNombre d'appels

X4 Id Enq OuverteEnquêteur

1 Code Code2 Nom Nom

X5 Date Contact QuantitéDate du contact 1 Jour Jour2 Mois Mois3 Annee Année

X6 Duree Contact QuantitéDurée du contact

1 H Deb Heure de Début2 M Deb Minute de Début3 S Deb Seconde de Début4 H Deb Q Heure de Début Qst5 M Deb Q Minute de Début Qst6 S Deb Q Seconde de Début Qst7 H Fin Heure de Fin8 M Fin Minute de Fin9 S Fin Seconde de Fin

La programmation d’un questionnaireExemple enquête téléphonique (CATI)

Page 41: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

La programmation d’un questionnaireExemple enquête en auto-administré (en ligne)

Exemples démo : https://www.askia.com/design.html

Page 42: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

La programmation d’un questionnaireExemple enquête en auto-administré (en ligne)

Page 43: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Exemple d’accompagnement enquêté : enquête sur les équipements médias etmultimédias, les modes de réception TV et les abonnements TV

La programmation d’un questionnaireConsignes / explications enquêtés

Page 44: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Exemple d’accompagnement enquêté : enquête sur les équipements médias etmultimédias, les modes de réception TV et les abonnements TV

La programmation d’un questionnaireConsignes / explications enquêtés

Page 45: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Questionnaires, enquêteurs et

enquêtés1. Le processus de mesure et ses composantes2. Focus sur le questionnaire, quelques principes de

rédaction3. La programmation du questionnaire4. Le rôle de l’enquêteur5. Bibliographie

Page 46: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le rôle de l’enquêteur

Un enquêteur fait beaucoup plus que poser des questions et consigner des réponses :il est part du processus d’échantillonnage et de celui de mesure.

• Avant l’interview (« partie questionnaire »)

− il contacte les personnes à interroger et les convainc à participer à l’enquête

− il vérifie le critère d’éligibilité, …

• Pendant l’interview

− il clarifie le sens des questions

− il assure les relances, …

• Après l’interview

− Il peut être amené à relater les conditions de réalisation, …

Page 47: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le rôle de l’enquêteur

La variabilité liée aux enquêteurs

Chaque enquêteur est porteur d’un biais systématique.

• La variabilité liée aux enquêteurs a pour effet d’augmenter la variabilité des observationsdans l’échantillon et donc la variance des estimateurs

• Elle peut être mesurée par le rapport entre la variance inter-enquêteurs et la variancetotale

• Afin de limiter ses effets, il convient de limiter la taille des missions et d’augmenter lenombre d’enquêteurs affectés à l’étude …

Page 48: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le rôle de l’enquêteur

Les atouts d’un bon enquêteur

• L’accroche et le discours

Leur expérience et leur assurance en phase de contact constituent des élémentsdéterminants d’un faible taux de refus. En règle générale, les enquêteurs recrutésdoivent avoir un bon « savoir-faire » relationnel et un bon sens de l’organisation

• Préparation à l’administration du questionnaire….

La formation doit couvrir, autant que possible, les concepts et les objectifs sous-jacents aux questions posées dans l’étude. La capacité à relancer dans des situationsvariées est un point important de la formation.

• L’évaluation de la performance des enquêteurs

La prestation des enquêteurs doit être suivie, surtout lors de leur intégration dansl’équipe. Les retours de ce suivi doivent porter aussi bien sur les points négatifs quepositifs.

Page 49: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le rôle de l’enquêteur

L’accroche et le discours

Il existe 2 types d’approches d’interrogation pour

- réduire la variabilité due à l’enquêteur- réduire la variabilité due à l’enquêté

• Standardized InterviewingApproche visant à standardiser l’interaction entre l’enquêteur et la personne interrogée, comme l’on standardise un traitement dans une expérimentation fondée sur des stimuli

₋ respect du « mot à mot »

₋ attitude de « neutralité »

₋ interdiction d’expliquer les mots / concepts utilisés

Page 50: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le rôle de l’enquêteur

• Conversational InterviewingApproche visant à standardiser la compréhension réelle des questions, en cherchant à en valider la signification auprès de la personne interrogée

₋ adaptation du wording à l’interlocuteur₋ attitude proche de celle adoptée lors d’une conversation normale₋ latitude laissée à l’enquêteur d’expliquer les mots / concepts utilisés

Page 51: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le rôle de l’enquêteur

Préparation à l’administration du questionnaire….

• Formation générale avant le lancement de l’enquête (ex : formation de 4 jours pour lesnouveaux enquêteurs sur la 126000 Radio)

• Briefing avant le début de vacation

• Debriefing après la vacation

• Formations complémentaires (ex : l’accroche et la gestion de la personne interviewée,recueil et classification de la profession)

• Ecoutes téléphoniques sur la passation des interviews

évaluation de l’enquêteur

Page 52: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le rôle de l’enquêteur

L’évaluation de la performance des enquêteurs

• Les contrôleurs peuvent effectuer des écoutes téléphoniques

− depuis le poste de l’enquêteur (écoutes directes)

− à distance (écoutes indirectes, à l’insu de l’enquêteur)

dans ce cas ils ont également accès en temps réel à l’écran de l’enquêteur, pourpouvoir vérifier la cohérence entre les champs remplis par celui-ci et lesinformations fournies par l’enquêté. A l’issue de l’interview, une feuille de contrôleest remplie, recensant les erreurs de l’enquêteur (erreurs de saisie, de mauvaiseinterprétation, de non-respect des consignes, etc.), c’est avec cette feuille que lecontrôleur vient rendre compte à l’enquêteur des points positifs et/ou négatifs deson interview.

Page 53: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Le rôle de l’enquêteur

L’évaluation de la performance des enquêteurs

Le suivi des prestations des enquêteurs doit viser non seulement la qualité del’interrogation mais également la remontée de tout problème relatif à la réalisation del’étude :

− difficultés de sélection / éligibilité des personnes à interroger

− problèmes de questionnaire

− d’instructions fournies en cours d’interview

Page 54: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Questionnaires, enquêteurs et

enquêtés1. Le processus de mesure et ses composantes2. Focus sur le questionnaire, quelques principes de

rédaction3. La programmation du questionnaire4. Le rôle de l’enquêteur5. Bibliographie

Page 55: STA108Sondagesmaths.cnam.fr › IMG › pdf › sta108_-_cours_08... · • Les questions attitudinales portent sur l’opinion, la satisfaction, la motivation ou les attentesdu répondant

Bibliographie

CREDOC : Quelques expériences sur la formulation des questions d’enquêtehttp://cedric.cnam.fr/~saporta/Rapport%20_CREDOC_C206.pdfWeisberg, H.F. (2005), The total survey error approach, The University of Chicago, Chicago• Chapitre 4. Measurement error due to interviewers• Chapitre 5. Measurement error due to respondents (I)• Chapitre 6. Measurement error due to respondents (II)Groves, R.M., Fowler Jr., F.J., Couper, M.P., Lepkowski, J.M., Singer, E., Tourangeau, R.,(2004), SurveyMethodology, Wiley• Chapitre 7. Questions and answers in survey• Chapitre 8. Evaluating survey questions• Chapitre 9. Survey interviewingBiemer, P.P., Lyberg, L.E. (2003), Introduction to Survey Quality, WileyChapitre 4. The Measurement Process and Its Implications for Questionnaire DesignChapitre 5. Errors due to Interviewers and Interviewing