Qualité et note finale d'un test

3. Une question pose problème dans votre test ?

Regardons de plus près les tentatives. Nous voyons en particulier que la question 4 à une moyenne très faible. Faisons l'hypothèse que beaucoup d'autres étudiant·es ont fait le test et ont également obtenu cette note ou une note très faible à la question 4.

Nous pouvons regarder la tentative de plusieurs étudiant·es pour voir ce qui s'est passé : associé au nom de chaque étudiant·e, le lien "relecture de cette tentative" permet d'accéder à la tentative de chacun·e.



On peut considérer plusieurs aspects comme pouvant être des problèmes liés à une question :

  • la question est résolument beaucoup plus difficile, ou plus facile,  que les autres ;
  • une ambiguïté dans le libellé de la question et/ou de ses propositions de réponse induit les étudiant·es en erreur ;
  • la question demande beaucoup plus de temps que les autres pour y répondre ;
  • malheureusement une erreur s'est glissée lors de l'édition de la question et la bonne réponse donne 0 point aux étudiant·es ; 
  • etc.

Tout en regardant ainsi le tableau des tentatives faites à un test, et en cherchant si une question ne devrait pas être "éliminée" car posant problème, il faut avoir en tête la logique avec laquelle les questions ont été assemblées pour constituer le test :

  • le rassemblement des questions permet de tester les connaissances sur tous les objectifs d'apprentissage du cours (chaque question est spécialisée sur un objectif) ;
  • certaines questions sont plus transversales par rapport aux objectifs ;
  • sur chaque objectif, il y a des questions posées avec des niveaux de difficulté différents.

NB: Notez que utiliser seulement la moyenne pour l'analyse qui précède est une méthode qu'on peut qualifier de "quick & dirty". Une analyse complète peut reposer par exemple sur une méthode du genre Rasch (Item Response Theory).