impact des nouvelles technologies sur la réalisation des...

1

Sondage-2002, Autrans, 17-18 octobre 2002

Impact des nouvelles technologies sur la réalisation des enquêtes

Revue et bilan critique.

Ludovic Lebart (CNRS - ENST) . Hugues Chavenon (CESP)

e-mail : [email protected] [email protected]

2

Depuis le premier colloque Sondage 1997, se sont développés

de façon quasi-exponentielle :

1) l'équipement en téléphone mobile des individus(passé de 5% en 1997 à plus de 50 % actuellement),

2) l'équipement en ordinateur personnel des familles,

3) la fréquentation d’Internet et de la toile (Web),

L’impact de ces changements sur la réalisation des enquêtes sera important, mais un bilan, avant stabilisation, est hasardeux.

3

1. Les systèmes de recueil par interview

1.1 Les enquêtes par système CATI

" CATI : Computer Assisted Telephone Interviews

les systèmes CATI sont en fonctionnement depuis plus de dix ans,les seules améliorations concernent les fonctionnalités du logiciel :! tirage des numéros, ! gestion des appels et paramètres de qualité, ! gestion éventuelle des quotas, ! guidage et contrôle du questionnaire, ! minutage, etc.

4

1. Les systèmes de recueil par interview (suite)

1.1 Les enquêtes par système CATI (suite)

• L’interview téléphonique permet d’atteindre des personnes plus mobiles (le soir), plus difficiles à joindre (… digicode, etc.)

• L’enquête téléphonique pourrait être menacée par la baisse des abonnements filaires :! (de 95 % en 1998 à 93 % en 2001),

… au moins pour certaines catégories de répondants(jeunes, CSP - ).

5


L’EVOLUTION DU TELEPHONE DE MAISON ET DU MULTI-LIGNE (en pourcentage du total des foyers)

93,4%

1,9%

90,5%

1,6%

91,5%

2,9%

89,9%

1,9%

90,1%

1,7%

85,9%

2,4%

87,0%

2,0%

87,5%

2,7%

86,4%

1,9%

85,5%

2,0%

86,1%

1 ,9 %

Avril-Juin 99

Janv.-Mars 00

Avril-Juin 00

Juillet -Sep t . 00

Oct .-Déc. 00

Janv.-Mars 0 1

Avril -Juin 0 1

Juil-Sep t01

Oct-Dec0 1

Janv-Mars02

Avril-Juin02

A umo insunM ult i

Source ISL

6


1.2 Les enquêtes par système CAPI

" CAPI : Computer Assisted Personal Interviews

Les enquêtes face à face par CAPI commencent à être généralisées

Elles sont tributaires des progrès de la micro-informatique :

• Poids,

• Autonomie,

• Lisibilité,

• Puissance, … de l'ordinateur portable.

7

1. Les systèmes de recueil par interview (suite) CAPI double écran

8

1. Les systèmes de recueil par interview (suite) CAPI double écran

9


1.2 Les enquêtes par système CAPI (suite)

La méthode de CAPI-double écran[ utilisée en routine dans l'enquête de référence sur l'audience de la presse magazine en France (enquête AEPM) ] ...

• permet une meilleure passation du questionnaire,

• l'affichage partiellement aléatoire de logos,

• une meilleure gestion des interruptions ou des erreurs,

• le chronométrage de toutes les phases de l'interview.

10


1.2 Les enquêtes par système CAPI (suite)

La méthode de CAPI-double écran (suite)

• défilements préalables d’items

• instructions et rappels pour les enquêteurs

• un bloc-note électronique permet d’enregistrer remarqueset incidents.

• Le statut de l'enquêteur est valorisé, (incidence probable sur la qualité de l'information).

11


1.3 Les enquêtes par système CASI

" CASI : Computer Assisted Self Interviews

• Un ordinateur pré-programmé est utilisé en présence de l’enquêteur, ou [dans le cas d’éventuels panels, dans le futur] laissé au domicile de la ou des personnes interrogées.

• Rôle marginal de l'enquêteur (souhaité), ! Rôle fondamental de l'interface (sans clavier…).

• Le CASI résout certains problèmes de faisabilité dans le cas de sujets délicats à aborder en face à face ou de questionnaires particulièrement longs (enquêtes multi-thèmes du type single source).

12

2. Les enquêtes « on line »

2.1 Spécificité

• Les enquêtes « on line »(questionnaires en ligne par Internet en direct ou en différé)supposent des équipements et des accès particuliers de la part de la personne interrogée.

• Elles posent donc d'importants problèmes de représentativité, comme d'ailleurs les mesures d'audience de l’Internet et de latoile.

13

2. Les enquêtes « on line » (suite)

L’EVOLUTION DE L’ACCES A INTERNETen pourcentage du total des foyers (Base: trimestre)

4,3%

7,1%

9,6%11,1%

13,0%14,2%

16,2% 15,4%16,7%

19,0%20,3%

Avril- J uin99

J anv.-Mars00

Avril- J uin00

J uille t-Sept. 00

Oct.- Déc .00

J anv.- Mars01

Avril - J uin01

J uil-Sept01 Oct-Dec01 J anv-Mars 02

Avril-J uin02

Source: ISL

14


COMPARAISON ENTRE LA STRUCTURE DE L'ENSEMBLE DE LA POPULATION ET LA LA STRUCTURE DES INTERNAUTES 30 DERNIERS JOURS DANS L ’ENQUËTE AEPM (vague 2001-2002)

26,521,1 20,2

16,8

31,4

18,6 19,114,1

55,9

30,9

22,8

2,3

11,7

25,918,516,515,7

52,048,0

14,6

44,1

21,322,5

29,5

0

10

20

30

40

50

60

Hommes Femmes 15-24 ans 25-34 ans 35-49 ans 50-64 ans 65+ ans 1 pers. 2 pers. 3 pers. 4 pers. 5+ pers.

EnsembleInternautes

Sexe Age Taille foyer

Source AEPM

15


2.2 Problèmes de calage...

• 41 % des individus de plus de quinze ans ont déjà été connectés,! 23 % l'ayant été depuis leur domicile

(Ordres de grandeur convergents des enquêtes AEPM et 75000 Médiamétrie).

• On est amené à redresser de très grands échantillons (on line) à partir d'échantillons beaucoup plus petits (enquête téléphonique de calage, par exemple), d'où des problèmes de calcul de variances finales après redressement sur marges aléatoires.

16


2.3 Formes d’enquêtes

Les enquêtes par Internet ont fait leurs preuves dans le cas d'études de marché spécifiques ou dans le cas d'échantillons ciblés. Elles peuvent prendre des formes diverses :

• présence permanente sur un ou plusieurs sites,

• par enquêteur utilisant Internet au lieu du téléphone (webcam...).

• envoi par e-mail sur la base d'une sélection d'adresses(access panel)

• présentation aléatoire par pop up,

19


2.4 Avantages

• le coût, • la rapidité,

• l'ergonomie (images, éventuellement sons, aide en ligne, interactivité),

• certaines possibilités de contrôle et de nouveaux contacts. • Probable migration des panels fonctionnant sur minitel ou par

questionnaires postaux vers des formules on line (CAWI).

• Mais … Aspects déontologiques à préciser.

20


2.5 Quelques spécificités

• le « on line » se rapproche de l’auto-administré classique. (étude comparative du Club « Etudes et Internet », (Opinion Way, Novatris, SEMO - 2001)

! Absence d’interaction Enquêté - Enquêteur (désirabilité sociale, effet de façade)

! Moins d’effets du type «métaux non métalliques » ou « amendement Bourrier » [Questions de notoriété ou de connaissance]

• Mais avec 80 % de cadres et 3 % de retraités (ou de plus de 65 ans), ayant accès à Internet (en France), aucun redressement ne peut vraiment pallier la quasi-absence de certaines catégories.

21

3. Le cas des téléphones mobiles

3.1 Les problèmes

• Une innovation technologique qui pose, pour l’instant, plus de problèmes qu'elle n'en résout…

• Les mobiles exclusifs, personnes possédant un mobile mais pas de téléphone filaire, qui concerne à peu près 8 % des + de 15 ans.

! La proportion a tendance à s'accroître, surtout chez les jeunes.! Ces personnes ne sont plus joignables par les enquêtes

téléphoniques habituelles,

• Les interviews directement sur mobiles sont difficilement réalisables (faisabilité, coûts).

22

Evolution du taux de pénétration

du téléphone mobile en France

57,6

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

nov-

97

janv

-98

mar

s-98

mai

-98

juil-

98

sept

-98

nov-

98

janv

-99

mar

s-99

mai

-99

juil-

99

sept

-99

nov-

99

janv

-00

mar

s-00

mai

-00

juil-

00

sept

-00

nov-

00

janv

-01

mar

s-01

mai

-01

juil-

01

sept

-01

Source : ART

3. Le cas des téléphones mobiles (suite)

23


L’EVOLUTION DU TELEPHONE MOBILE DONT WAP

(en pourcentage du total des foyers) (Base: trimestre)

28,4%

42,6% 44,3% 47,5% 50,0%56,4%

17,1%

55,5%

17,7%

58,3%

20,7%

59,6%

19,8%

62,1%

22,0%

63,7%

23,2%

Avril-J uin 99

J anv.-Mars 00

Avril-J uin 00

J uille t-Sept. 00

Oct.-Déc . 00

J anv.-Mars 01

Avril -J uin 01

J uil-Sept01

Oct-Dec01

J anv-Mars 02

Avril-J uin02

A u mo insunM ult i

Source ISL

24


1812

8877

5544222211

5837

393336

3062

5539

3372

4139

3653

23

2032

4851

5058

3037

5361

2555

5558

4570

0 20 40 60 80 100

Finland

Portugal

Austria

Ireland

Spain

Belgium

Italy

Denmark

EU 15

France

Sweden

United Kingdom

Greece

Netherlands

Luxembourg

Germany

Only mobile phone Mobile and fixed line Only fixed line

Pénétration des téléphones mobiles en Europe (décembre 1999)

25


STRUCTURE DES FOYERS ÉQUIPÉS EXCLUSIVEMENT EN TÉLÉPHONE MOBILE

5,1

15,3

23,2 26,5

47,2

9,3 7,2

32,9

9,07,813,9

31,630,5

25,422,4

1,80

10

20

30

40

50

60

Ensemble des foyersExclusifs mobiles

AgeTaille foyer

Base foyers : 24 640 (milliers)

Exclusifs mobiles : 2 737 (11,1%)

Source ISL- MULTIMEDIA REFERENCE - 1er semestre 2002

26


3.1 Les problèmes (suite)

• Covariations entre possession exclusive de mobiles, mobilité et mode de vie.

• Mais la croissance des exclusifs est freinée par le développementd’Internet (postes fixes, câble, ADSL, large bande,….)( 66% d’Internet au foyer en Norvège)

27


Finlande : Pénétration des téléphones mobiles 1998 - 2000

Téléphones mobiles

# 1998: 52 %# 1999: 77 %# 2000: 80 %

Mobiles exclusifs

# 1998: 13 %# 1999: 19 %# 2000: 20 %

Source: Finnpanel TAM Establishment Survey

28


Audience TV moyenne par quart d’heure, (Mars 2001) (15-44 ans, familles de 1-2 personnes)

05

1015202530354045

02:00 - 02:14

03:00 - 03:14

04:00 - 04:14

05:00 - 05:14

06:00 - 06:14

07:00 - 07:14

08:00 - 08:14

09:00 - 09:14

10:00 - 10:14

11:00 - 11:14

12:00 - 12:14

13:00 - 13:14

14:00 - 14:14

15:00 - 15:14

16:00 - 16:14

17:00 - 17:14

18:00 - 18:14

19:00 - 19:14

20:00 - 20:14

21:00 - 21:14

22:00 - 22:14

23:00 - 23:14

24:00 - 24:14

25:00 - 25:14

RA

TIN

G,%

mobile only Others

29


Ecoute radio des 9- 44 ans, jours de semaine

0

5

10

15

20

25

30

35

40

0000

-001

5

0045

-010

0

0130

-014

5

0215

-023

0

0300

-031

5

0345

-040

0

0430

-044

5

0515

-053

0

0600

-061

5

0645

-070

0

0730

-074

5

0815

-083

0

0900

-091

5

0945

-100

0

1030

-104

5

1115

-113

0

1200

-121

5

1245

-130

0

1330

-134

5

1415

-143

0

1500

-151

5

1545

-160

0

1630

-164

5

1715

-173

0

1800

-181

5

1845

-190

0

1930

-194

5

2015

-203

0

2100

-211

5

2145

-220

0

2230

-224

5

2315

-233

0

klo

%

mobile onlyothersall

30


3.2 Les nouvelles possibilités

• Les mobiles n'interviennent pas uniquement en tant que perturbateurs des pratiques des enquêtes téléphoniques actuelles.

! Ils ouvrent de nouvelles possibilités de collecte.

! Ainsi un panel de 2000 personnes équipées de téléphonesmobiles pouvant recevoir des messages SMS (jusqu'à 160caractères affichés sur le petit écran du mobile) a été testé enSuède pour mesurer l'audience de la presse quotidienne.

31

4. Les nouveaux audimètres et audiomètres (PPM)

4.1 L’audimétrie

• Ces innovations technologiques concernent le domaine spécifique des mesures d'audience de la radio et de la télévision.

• Dans le domaine des mesures directes sur panel (cas de Médiamétrie en France), de nouvelles générations d'audimètres permettent de mesurer les audiences "câble" et "satellite".

32

4. Les nouveaux audimètres et audiomètres (PPM) (suite)

4.2 L’audiométrie (PPM = Portable People Meter)

• Deux nouveaux systèmes, sous forme de bracelets montres ou de petits appareils pouvant tenir dans une poche, ont été développés au cours des dernières années en Suisse (Société Radiocontrol) et aux Etats-Unis (Société Arbitron).

• Le système suisse reconnaît les stations radio ou télévision à partirde piges des programmes,

• Le système américain demande une participation des stations sous forme de signaux acoustiques (subliminaux).

• Les audiences recueillies sont parfois supérieures à celles obtenues par carnets d'écoute ou par interviews téléphoniques.

33

Arbitron PPM

20

34

Radiometer Watch

27

35

5. Autres innovations technologiques

5.1 Le GPS, la géolocalisation

Aides des systèmes GPSrecueil des itinéraires (enquêtes sur les déplacements individuels),

géolocalisation potentielle apportée par les normes des téléphones mobiles du présent (GPRS) et du futur (UMTS).

36

5. Autres innovations technologiques (suite)

5.2 La télédétection

Estimations à l’aide d’images satellites• estimations de superficies agricoles (Gallego, 1999),

• estimations démographiques, principalement pour les pays en développement (Dureau et Barbary, 1992).

! Les images satellites succèdent aux images aériennes très largement utilisées depuis 1956 ...

! Modélisation à partir de reconnaissance d’images, de clas -sification d’images, faisant largement appel aux techniques de prédiction (régression, discrimination, méthodes neuronales, etc.)

37


5.3 Recueils automatique par codes- barres

• Ces méthodes réservées aux panels permettent de recueillir des informations inconnues de l’enquêté(e) lui (elle) - même.

Implantées sur Minitel au début des années 90. (Secodip)

Actuellement:8000 ménages

38


5.3 Recueils automatique par codes- barres (suite)

• Exemple : Informations du code barre du YAOURT (Duranton et Cousin, Secodip, Ouvrage ASU- Qualité1992)

- Est-il blanc, aromatisé, aux fruits ?- S'il est blanc, est-il sucré ou non sucré ?- Est-il ordinaire ou brassé velouté ?- Est-il de type bifidus ou non ?- Est-il de type longue conservation ?- Est-il en pot verre, carton ou plastique ?- Quelle est la contenance du pot ?- Est-il vendu à l'unité ou en pack, combien par packs ?- Quelle est la marque ?

39

6. Bases de données, logiciels, traitements statistiques

6.1 Bases de données

• Les possibilités des bases de données actuelles favorisent le développement de mégabases de données qui ne doivent rien à la théorie des sondages.

• Elles concurrencent certaines enquêtes dans les domaines des études de marketing et de consommation, notamment en raison des possibilités de mining offertes par la taille même des bases.

• Accès privilégié à certaines populations rares.

• Des modélisations multi-sources [calages + fusions + modèles] sont réalisées ou envisagées.

40

6. Bases de données, logiciels, traitements statistiques (suite)

6.1 Bases de données : Données d'enquêtes versus données transactionnelles

Importantes différences entre données d'enquêtes et donnéestransactionnelles qui alimentent les systèmes d'informations d'entreprise. Pour les données d'enquêtes:

Phases de recueil et de saisie intensives, limitées dans le temps

Nécessité d'un important contrôle de "plages" et de cohérence(data cleaning) au moment même de la saisie. (Prise en charge possible par les systèmes CATI ou CAPI)

Durée de vie courte (contrairement à un fichier clients).

Traitement statistique de ces données = affaire d'un petit nombre d'experts ou de personnes averties.

41


6.1 Bases de données : Données d'enquêtes versus données transactionnelles(suite)

Données d'enquêtes = homogénéité de contenu, de codage quiles différencie assez nettement des bases de données quelconques, et des recueils du data mining.

Malgré plusieurs niveaux d'individus statistiques (foyers, ménages, individus, trajectoires, maladies, etc.) et plusieurs thèmes, la notion de cohérence globale garde un sens :l'enquête représente une réalité et a une certaine pertinence.

Cohérence, interprétation, ⌦ existence de méta-informationconsidérable (connaissances démographiques, sociologiques, économiques, épidémiologiques).

42


6.2 Logiciels, prétraitemements et traitements statistiques

Il s ’agit en fait d’avancées plus techniques que technologiques

! Progrès dans les méthodes de calage

! Progrès dans les méthodes de prédiction (ou de prise encompte) des données manquantes

! Progrès dans les méthodes de fusion de fichiers

! Progrès dans les méthodes de validation (cross-validation,Bootstrap)

43

6. Bases de données, logiciels, traitements statistiques ((suite)

6.3 Textes, voix, images

Logiciels d'aide au traitement des réponses aux questions ouvertes

Amélioration du contrôle de la qualité de l'information, • Evaluation du degré de compréhension des questions, • Critique des éventuelles lacunes ou biais des questionnaires.

Problèmes de saisie :• Questionnements on line : saisie directes de textes, • Les logiciels de reconnaissance vocale, (questionnements ouverts

en face à face ou téléphoniques), non opérationnels en mode multilocuteurs.

44


6.2 Textes, voix, images (suite) Questions ouvertes ?

• Pour réduire le temps d’interview:Les questions ouvertes sont moins coûteuses en matière de temps d’interview, et génèrent moins de fatigue et de tension

• Pour recueillir une information spontanée par natureExemples Marketing (souvenir d ’une publicité)

• Pour confirmer ou comprendre la réponse à une questionfermée: La question : « pourquoi ? »

• Pour obtenir des informations a priori non comparables( Environnement, habitudes alimentaires)

45

Unités Statistiques extraites des textes

Caractères

Mots (formes graphiques) ou lemmes

Segments ou quasi-segments

Phrases ou réponses

Textes

CORPUS

46


6.2 Textes, voix, images (suite)

• Exemples d’apport des questions ouvertes au contrôle de qualité:

• Pour toutes les questions : Mots et réponses caractéristiques [par enquêteur ou] par département / région.

• Appréciation sur l’enquête et son questionnaire par la personne interrogée : ventilation par catégories de répondants (sexe, âge,activité…) .

47


Conclusions

% Les enquêtes par CAPI apportent ergonomie, possibilités de contrôle, homogénéisation des pratiques, et donc du recueil. Le travail de l ’enquêteur est valorisé.

% Les outils électroniques (scanners, audi et audiométrie, GPS…) apportent, dans des domaines spécifiques, un supplément de précision et une permanence des mesures appréciables.

% La diffusion des mobiles est pour l’instant plus un problème qu’une opportunité.

% Les potentialités des enquêtes en lignes sont considérables, sans qu’elles puissent, pour l ’instant, se substituer aux systèmes existants.

48


Conclusions (suite)

% La fragilité de l’enquête, comme instrument d’observation, vient du maillon humain de la chaîne d’information.

% L’enquête demande (quel que soit le mode)! Bonne volonté et confiance de la part des personnes interrogées,! Patience, persévérance et talent de la part de enquêteurs.

% Le problème des refus et des non-réponses est crucial pour l ’avenir de l ’enquête par sondage en particulier, des sciences sociales en général.

% Les progrès technologiques qui améliorent l ’ergonomie et le confort de ce colloque singulier qu’est l’interview, ou qui diminuent les coûts sansattenter à ces qualités indispensables, sont donc positifs...

49

Merci de votre attention

C’était...


50

Choukrane

Thank YouGracias

Grazie

ObrigadoMerci

Domo Arigato

impact des nouvelles technologies sur la réalisation des...

Documents