d.gile rech expérim.1 la recherche expérimentale premières explications limites et interrogations...

D.Gile Rech expérim. 1

La recherche expérimentalePremières explications

Limites et interrogations

Daniel [email protected]

www.cirinandgile.com

mailto:[email protected]

http://www.cirinandgile.com/


Pourquoi la recherche expérimentale ?Le principe

Dans la nature, les phénomènes auxquels s’intéresse la recherche sont en général influencés par de nombreux facteurs

Il est donc difficile d’identifier l’influence d’un facteur spécifique

Dans environnement « contrôlé », On facilite cette recherche

En « contrôlant » d’autres facteurs pertinents :

en s’assurant qu’ils ont tous la même valeurou que leur valeur est la même dans les différents échantillons

qui sont comparés(Même proportion d’hommes et de femmes, de droitiers et de

gauchers, de participants du même âge etc.)

Le « contrôle dans la recherche expérimentale


Dans la nature : influences autres que celle qui nous intéresse (en noir ; résultat en rouge).La résultat est-il engendré par l’influence qui nous intéresse ? Ou par toutes les influences à la fois ?

Elimination des influences parasites

Deux possibilités de « contrôle » expérimental :

- « Eliminer les influences parasites » dans un environnement artificiel (en bas à gauche)

- Donner aux influences parasites les mêmes valeurs – seule la variable indépendante change (en bas à droite), ou s’assurer que dans des échantillons que l’on compare, ces influences parasites sont similaires.


Exemple

Un méthode de formation à la traduction est-elle efficace ?

Si l’on se contente de comparer les traductions de 40 traducteurs, dont 20 ont été formés et 20 ne l’ont pas été,

Les différences mesurées dans la qualité des traductions peuvent être attribuables à la formation, mais aussi :

À l’âge des traducteurs, à leur expérience, à leur motivation, aux conditions de travail etc.

Si l’on réunit deux groupes de traducteurs ayant les mêmes caractéristiques (à part la méthode de formation en question)

pour leur faire traduire le même texte,

D’éventuelles différences sont plus facilement attribuable à la formation ou à son absence


Tests d’hypothèses à travers une expérience

Il s’agit du prototype de la recherche expérimentale aux yeux de nombreux chercheurs

Le comportement de 2 ou plusieurs groupes est observé

Ces groupes sont constitués de manière à être comparables sauf pour ce qui est de la variable dont l’influence doit être

examinée

On comparaisons les résultats mesurés sur chaque groupepour déterminer si des différences entre les groupes sont être faibles et probablement dues au seul effet du hasard – ou non

Dans le deuxième cas, on parle de différences « significatives »


Expériences exploratoires

Les expériences tests d’hypothèses sont les plus connuesMais ce ne sont pas les seules

Expériences exploratoires :

Et si…?(Sans hypothèse particulière)

Si je donnais aux traducteur tel type de document de référence ?

Si je laissais l’apprenant de langue étrangère la possibilité de lire des romans pour l’acquisition du vocabulaire ?

…


Exemples

Séjour dans grotte et changement de rythme biologique(Comment ce rythme va-t-il évoluer si l’homme ne sait pas s’il

fait jour ou s’il fait nuit dehors ?)

Groupe de volontaires pour vivre en isolement plusieurs mois(Comment les relations humaines vont-elles évoluer ?)

Expérience agronomiques avec sol, exposition, arrosage, mélanges…

Expérimentation avec combinaison de médicaments pour traiter une pathologie particulière

Parfois sur la base d’hypothèses ou théories formaliséesParfois sans


Avantages de l’expérimentation

1. Eliminer l’influence des variable parasites qui empêchent d’identifier l’influence du facteur étudié

2. Par là, détecter et mesurer cette influence avec une masse de données bien moins importante que celle nécessaire pour la détecter et la mesurer in vivo

(la chose est possible sur une grande masse de données en faisant des comparaisons multiples et en isolant un ou plusieurs facteurs chaque fois)

3. Souvent, mesurer ce qu’il y a à mesurer avec plus de précision que ‘dans la nature’

(L’environnement créé pour l’expérience permet de le faire)

4. Créer des situations/conditions intéressantes qui ne se produisent que rarement ou pas du tout dans la nature


Pourquoi l’expérimentation a-t-elle un statut scientifique si élevé ?

- En raison de ces avantages

- Parce qu’elle sert souvent à vérifier des théories, et se situe donc à une étape avancée de l’investigation

- Parce qu’elle fait souvent appel à des montages complexes (donc plus « intelligents » ?)

- Parce qu’elle fait souvent intervenir les statistiques, qui sont un outil ‘sophistiqué’

Mais tout cela la rend-il plus ‘scientifique’ que la recherche naturaliste ?


Limites de l’expérimentation : la validité écologique

Dans les sciences sociales, c’est le souci majeur :La tâche et les mesures correspondent-elles à la vie réelle ?

Les comportements observés et mesurés en laboratoire

Reflètent-ils les comportements que l’on trouve dans la vie réelle ?

Si la réponse est négative ou incertaine, en tirant des expériences des conclusions pour la vie réelle,

Ne viole-t-on l’importante norme de prudence dans la recherche scientifique ?


L’expérience est une étude de cas

En ‘contrôlant’ les variables et paramètres pertinents,Par exemple, tous les sujets ont le même âge, ou sont droitiers,

etc.L’expérimentateur opère dans une constellation particulière de

valeurs et exclut une certaine variabilité naturelle

Il est donc difficile de savoir si les résultats seraient les mêmes avec d’autres constellations de valeurs

S’il y a de nombreuses réplications de l’expérience avec des constellations différentes, à terme, on peut tirer des

conclusions,

Mais s’il y a peu de réplications ?


Les différences statistiquement significatives (1)

Dans un cas très simple,

pour voir si un facteur donné représenté par une variable indépendante

(un médicament, une méthode de formation…) a une véritable influence sur quelque chose

(représenté par un indicateur nommé variable dépendante)(par exemple l’état du malade, les notes de l’apprenant)

On compare les valeurs de cette variable dépendantedans deux échantillons,

l’un étant soumis à ce facteur, l’autre non(un échantillon de malades traités par le médicament, l’autre ne

recevant que du placébo, l’un formé par telle méthode, l’autre non)



Si la variable dépendante dans les deux échantillons ne semble pas avoir la même distribution

(ce qui est inféré à partir de la moyenne et de l’écart type mesurés sur les deux échantillons),

on considère que les populations représentées par les deux échantillons sont « différentes »,

donc que le facteur en question a une véritable influence

Si elle a la même distribution, on considère que les deux populations représentées par les deux échantillons sont la

même, autrement dit que le facteur dont on étudie l’influence n’en a pas



Comment le test statistique permet-il de le vérifier ?

Il y aura toujours une différence entre les moyennes des deux échantillons

mais cette différence peut être plus ou moins grandeplus ou moins compatible avec l’idée qu’elle est due au seul

hasard

Le test indique la probabilité d’une compatibilité de cette différence mesurée avec l’idée que les deux populations ont en réalité la même distribution pour la variable en question

Si cette probabilité est faible, on dit que la différence est ‘significative’



Plus concrètement, le test déterminera, sur la base des moyennes et écarts-type mesurés sur les

échantillons,

une entité mathématique correspondant à l’hypothèse de l’identité des deux populations

Cette entité aura une certaine distribution Une proportion donnée de ses valeurs (p. ex. 95% d’entre elles)

se situeront entre un minimum et un maximum qui seront également connus

Les mesures sur les échantillons déterminent une valeur de l’entité

Si elle se situe au-dessus du maximum ou en dessous du minimum

elle est marginale, et on peut dire qu’elle accrédite l’idée d’une différence réelle entre les deux populations



)


Limites et interrogations (1)

Différences ‘significatives’ sont déterminées à un certain niveau : l’expérimentateur s’autorise une certaine probabilité de ‘faux

positif’(de conclure que les différences constatées ne sont pas le fruit du

hasard – alors qu’elles le sont)

S’il détermine ce seuil à 5% (p < 0,05), il s’autorise une telle erreur une fois sur vingt !

Si vous deviez décidez que quelque chose est vrai ou non, voudriez-vous le faire en prenant une chance sur 20 de vous

tromper ?

(A 1%, avec une chance sur 100 de vous tromper ?)



Les tests déterminent la décision sur la base de mesures sur les échantillons avec un seuil donné

Par exemple, avec 5,63, le test indique des différences significative, et avec 5,62, elles ne le sont pas.

Cette transition brutale de ‘oui’ à ‘non’ est-elle raisonnable ?



Le concept de signification statistiqueNe permet de se prononcer que sur la probabilité de la nature

aléatoire ou non de différences mesurées sur des échantillons

Il ne dit rien sur l’ampleur de la différenceUne différence significative de très faible ampleur peut n’avoir

aucune incidence pratique

En traductologie et dans les sciences sociales, une telle différence nous intéresse-t-elle toujours ?


Attention aux malentendus

Il ne s’agit pas dénier toute valeur à la recherche expérimentale

Elle est souvent très utile pour exclure l’influence de facteurs parasites

Elle permet bien d’étudier des situations qui ne se produisent que rarement in vivo

Elle permet souvent des mesures précises impossibles in vivo parce que l’environnement du « laboratoire » peut être rendu

plus stable, plus ‘propre’

Elle permet de surmonter souvent l’obstacle de la variabilité

Mais elle n’est pas la panacée.Elle est efficace sous certaines conditions


Conditions pour une efficacité maximale

1. Un bon montage expérimental2. Un échantillonnage bien conçu et réalisé3. Une étape pilote4. Des inférences prudentes5. Une bonne utilisation des statistiques (vérifier les conditions et le test applicable plutôt que de se

contenter d’appliquer des ‘recettes’)6. De nombreuses réplications (pour réduire la probabilité de résultats aléatoires et couvrir plus de constellations de valeurs des paramètres pertinents)7. Une variabilité limitée du phénomène et des tailles d’échantillons suffisantes


Si ces conditions ne sont pas réunies

La recherche expérimentale reste utile, mais surtout à titre provisoire, pour dégager des résultats d’étape

Ses résultats ne peuvent pas être considérés comme le ‘résultat scientifique ultime ’ pour la prise de décisions

Des résultats de recherche naturaliste peuvent être plus puissants

Surtout quand on utilise des corpus massifsQui permettent d’exploiter une grande masse de données

authentiques

Et de vérifier des hypothèses sur ces données, avec plus d’efficacité que l’expérimentation

Par exemple en épidémiologie, dans travail sur corpus


ConclusionL’expérimentation est un outil puissant – sous certaines

conditions

Mais peu efficace si elles ne sont pas réunies

Elle n’est pas « ce qu’il y a de mieux » dans l’absolu sur le plan scientifique

Ne pas se laisser berner par des « symboles de statut scientifique »

La science est dans l’esprit humain, pas dans les techniques

Quand vous explorez la réalité dans un esprit rigoureux, systématique, sceptique, prudent, vous faites de la recherche

scientifique, quels que soient les outils

d.gile rech expérim.1 la recherche expérimentale premières explications limites et interrogations...

Documents