Tsaap-Notes - Développer et valoriser l’activité des étudiants pendant le cours pour la constitution de feedback dans les évaluations informatisées

Franck Silvestre, Julien Broisin IRIT, Université Toulouse III, France

Pedagotice 2015 Juin 2015

1

Le contexte

• Évaluations informatisées

• Tests en ligne

• Feedback

• Tsaap-Notes

2

Le défi

Qualifier les contributions des étudiants pour la constitution de feedback de qualité dans les tests d’auto-évaluation

3

Les bénéfices des tests en ligne

• Mise en oeuvre d’évaluations formatives fréquentes [12] [10]

• Mise à disposition du feedback aux apprenants - n’importe quand, - depuis n’importe où, - aussi souvent qu’ils le souhaitent [11]

4

La qualité du feedback est une clé de succès de l’apprentissage [2][7][8]

Limites du feedback dans les tests en ligne

• Saisi par l’enseignant - Dans le dialecte de l’enseignant - Consommateur de temps

• Identique pour tous les apprenants

5

Tsaap-Notes [16]

Micro-blogging, scope et fragment pour prise de notes éventuellement collaborative

6

Tsaap-Notes [16]

• Cours en face à face

• Système de vote interactif

7

• Augmentation de la prise de notes par les étudiants sur les questions posées

L’approche « notes as feedback » [16]

• Recycler les questions posées en cours

• Recycler les notes prises par les étudiants

• Pour générer des tests d’auto-évaluation avec feedback provenant des notes des étudiants

8

Semi-automa

tic

Comment ?

9

Dans Moodle

10

Bénéfices

• Mise en oeuvre des tests d’auto-évaluation en ligne facilitée

• Feedback produit dans le contexte du cours, dans le dialecte des étudiants

• Valorisation des productions des étudiants

• Résultats premières expérimentations positifs [15]

11

Les limites

• Aucun filtre sur les contributions des étudiants pour une question données => limite qualitative

• Trop peu d’étudiants participent à la tâche de saisie d’une explication => limite quantitative

12

Vers le dispositif NP-Q

• Pourquoi les étudiants participent massivement au sondage interactif (80 à 90% en moyenne) et beaucoup moins à la rédaction d’explications (25% dans le meilleur des cas) ?

13

Le succès du sondage interactif• Le sondage interactif est un outil d’évaluation

formative

• Il fournit un feedback immédiat à chaque étudiant

• Impacts positifs sur l’apprentissage

[1,4,6,13,14,18]

14

Comment intégrer la rédaction d’explications dans un processus procurant un feedback immédiat à chaque étudiant ?

Le dispositif NP-Q

• Dispositif de soumission d’une réponse en N phases

• Feedback immédiat

• Évaluation des contributions par les pairs

• Sélection des contributions les mieux notées comme feedback des tests d’auto-évaluation

16

La phase 1

17

La phase 2

18

La phase 3

19

La vue finale

20

Dans Moodle

21

Focus sur l’algorithme d’association de réponses

22

a1[ 100; 2; 92 ]

a2[ 0; 3 ; 24 ]

a3[ 100; 3; 0 ]

a4[ 100; 4 ; 65 ]

a5[100; 3 ; 86 ]

a6[ 40; 2 ; 153 ]

a7[ 65; 1 ; 0 ]

a8[ 100;2 ; 38 ]

a1[ 100; 2 ; 92 ]

a4[ 100; 4 ; 65 ]

a5[ 100; 3 ; 86 ]

a8[ 100; 2 ; 38 ]

a2[0; 3 ; 24 ]

a6[40; 2 ; 153 ]

A

AcAc a1[ 100; 2 ; 92 ]

a3[ 100; 3; 0 ]

a4[ 100; 4; 65 ]

a5[ 100; 3 ; 86 ]

a8[ 100; 2 ; 38 ]

a2[0; 3 ; 24 ]

a6[40; 2 ; 153 ]

a7[ 65; 1 ; 0 ]

CcCc

a1[ 100; 2 ; 92 ]

a4[100; 4 ; 65 ]

a5[ 100; 3 ; 86 ]

a8[100; 2 ; 38 ]

a2[0; 3 ; 24 ]

a6[ 2 ; 153 ]

Ac a1[ 100; 2 ; 92 ]

a3[ 100; 3; 0 ]

a4[ 100; 4 ; 65 ]

a5[ 100; 3 ; 86 ]

a8[ 100; 2 ; 38 ]

a2[0; 3 ; 24 ]

a6[40; 2 ; 153 ]

a7[65; 1 ; 0 ]

Cc

Ac

Cc

2

1

fg

Première expérimentation• 2 groupes d’étudiants

• Master 1 Informatique

• Cours « Développement collaboratif et logiciels libres » (DCLL) et « Méthodes agiles » (MA)

• 3 séances de 2 heures

• 5 questions à soumission en N phases

23

Taux de participation

24

Impact du conflit socio-cognitif

25

L’évaluation par les pairs

26

Conclusion

• Passage d’un processus de recyclage non qualifiant à un processus qualifiant

• Taux de participation à la tâche de rédaction se rapproche sensiblement du taux de participation aux sondages interactifs

• Premiers résultats très encourageants à confirmer par expérimentations complémentaires

27

Perspectives

• Traitement des évaluations « défaillantes »

• Traitement des questions ouvertes : comment associer les réponses dans ce contexte ?

• Passage à l’échelle : grands amphithéâtres, MOOC

28

Bibliographie1. Biggs, J. and Tang, C.: Teaching for quality learning at university. (2011). 2. Black, P. and Wiliam, D.: Assessment and Classroom Learning, Assess. Educ. Princ. Policy Pract., vol. 5, no. 1, pp. 7–74, Mar. 1998. 3. Boud, D., Cohen, R., and Sampson, J.: Peer learning in higher education: Learning from and with each other, (2014). 4. Caldwell, J.: Clickers in the large classroom: Current research and best-practice tips, CBELife Sci. Educ., (2007). 5. Dochy, F., Segers, M., and Sluijsmans, D.: The use of self-, peer and co-assessment in higher education: A review, Stud. High. Educ., (1999). 6. Gauci, S. and Dantas, A.: Promoting student-centered active learning in lectures with a personal response system, Adv. …, (2009). 7. Hattie, J. and Jaeger, R.: Assessment and classroom learning: A deductive approach, Assess. Educ., (1998). 8. Higgins, R., Hartley, P., and Skelton, A.: The conscientious consumer: reconsidering the role of assessment feedback in student learning, Stud. High. Educ., vol. 27, no. 1, (2002). 9. IMS Global Learning Consortium: IMS Question & Test Interoperability Specification. (2012). 10. Miller, T.: Formative computer-based assessment in higher education: The effectiveness of feedback in supporting student learning, Assess. Eval. High. Educ., (2009). 11. Nicol, D. and Macfarlane-Dick, D.: Formative assessment and self-regulated learning : A model and seven principles of good feedback practice ., Stud. High. Educ., (2006) 1–19. 12. Ricketts, C. and Wilks, S.: Improving student performance through computer-based assessment: Insights from recent research, Assess. Eval. High. Educ., vol. 27, no. 5, (2002). 13. Scouller, K.: The influence of assessment method on students’ learning approaches: Multiple choice question examination versus assignment essay, High. Educ., (1998). 14. Shaffer, D. and Collura, M.: Evaluating the effectiveness of a personal response system in the classroom, Teach. Psychol., (2009). 15. Silvestre, F., Vidal, P., and Broisin, J.: Génération semi-automatique de tests d’auto- évaluation pourvus de feedback résultant de la prise de notes collaborative, conférence des Technologies de l'Information et de la Communication pour l'Enseignement, (2014). 16. Silvestre, F., Vidal, P., and Broisin, J.: Tsaap-Notes--An Open Micro-blogging Tool for Collaborative Notetaking during Face-to-Face Lectures, International Conference on Advanced Learning Technologies (ICALT), (2014). 17. Topping, K.: Peer assessment between students in colleges and universities, Rev. Educ. Res., (1998).

29