Paramétrer au mieux son test QCM

Paramètres vs Modifier

Les réglages se passent à deux endroits, indiqués sur la capture d’écran ci-dessous : dans les paramètres du test et dans la modification du test :

Les Paramètres du test concernent le fonctionnement du test global (les dates, le temps, la notation, …) tandis que Modifier le test concerne le contenu du test (les questions, leurs paginations, leurs coefficients,…)

Scenarii clefs en main

Les propositions ci-dessous ne sont que des exemples et peuvent bien entendu être mixées.

Une condition de base reste que les questions du QCM soient rédigées dans les règles de l’art et visent plutôt l’évaluation de niveaux d’apprentissage supérieurs à la simple mémorisation. Pour un QCM à distance, tester uniquement la mémorisation – c’est-à-dire avec des questions dont la réponse peut se retrouver telle quelle dans le cours ou Internet-, ne sera pas réellement une évaluation certificative, mais plutôt à vocation formative. Dans les conditions d’apprentissage dégradées que nous avons traversées, les QCM plus formatifs peuvent d’ailleurs être une alternative très bienveillante pour un examen.

Le Bienveillant, le plus adapté aux conditions actuelles

Ces réglages assurent la bienveillance sans pour autant favoriser la fraude.

• En temps limité certes, mais avec un temps suffisamment long permettant la relecture des réponses avant envoi ;
• Ordre aléatoire du tirage des questions ;
• 2 tentatives, avec reprise à zéro de la nouvelle tentative, ou si possible retirage aléatoire de questions ;
• Navigation libre, pour permettre une relecture des réponses.

Le Progressif, pour que chacun puisse donner son maximum

Ces réglages permettent de tester tous les niveaux de performance, mais il ne prend pas les étudiants par surprise. Le temps est calculé au plus juste pour limiter un peu les risques de copiage.

• En temps limité assez justement calculé, en partant du principe que l’étudiant sait ou ne sait pas. Pour chaque question, on imagine le temps de réponse pour quelqu’un qui trouve la réponse en moins de 10 secondes après une lecture posée de l’énoncé et de toutes les propositions de réponse. Il faut y rajouter le temps de donner la réponse, 5 secondes par item de réponse possible, puis 10 secondes pour passage à la question suivante.
  Pour une question qui prend 1 minute à être lue, items de réponses possibles inclus, le tout avec une lecture active, c’est à dire compréhension et analyse de la lecture en direct, avec 5 items de réponses cela donne : 60s + 10s + 25s + 10s = 1 minute 45  par question soit 35 minutes pour un test de 20 questions.
  Ces calculs sont à ajuster en fonction de la complexité de lecture de vos questions. Ils ne sont pas valables pour les questions qui demande de la production comme les questions réponse courte, de composition ou cloze. Pour ces dernières le temps doit fatalement être rallongé.
• Des questions de difficulté croissante;
• Une question par page : avec cette mise en page, les étudiants ne voient qu’une seule questions à la fois ;
• Ne pas mélanger l’ordre de tirage des questions (réglage par défaut) ;
• Une seule tentative (réglage par défaut) ;
• Ordre des items de réponse aléatoire ;
• Navigation séquentielle dans le test. Il faut bien expliquer ce réglage aux étudiants, car il peut avoir de grosses conséquences négatives. En effet, les étudiants ne vont pas pouvoir revenir sur les questions. Donc quand ils en passent une, il n’est plus possible de revenir la faire plus tard. À l’inverse certains étudiants ne veulent pas « passer » et restent bloqués sur une question. Ce réglage les pousse à admettre rapidement si ils connaissent ou non la réponse.

Le Sécurité, pour limiter au maximum la fraude

Ces réglages sont un compromis entre la lutte contre la fraude et une évaluation qui reste sincère.

•  En temps limité mais dans une version un peu plus relâchée que dans le Progressif. On laisse un peu plus de temps aux étudiants pour valider chacune de leur réponse. Il faut ajouter 15s par question. Ce qui donne un total de 2 minutes par questions et donc 40 minutes pour un QCM de 20 questions.
• Questions tirées aléatoirement dans des catégories de questions. Cela va permettre de proposer des QCM différents à chaque étudiant ,mais en s’assurant que chaque test couvrira bien l’ensemble des thèmes de l’évaluation et/ou tous les niveaux de difficultés. Bien entendu, plus le nombre de questions disponibles par catégorie sera grand, plus diversifiés seront les tests.
• Mélanger l’ordre des questions : associé au tirage aléatoire des questions dans plusieurs catégories, cela permet de mélanger l’ordre d’apparition des catégories.
• Une question par page.
• Navigation séquentielle. Là encore, attention à bien en informer les étudiants.
• Ordre des items de réponse aléatoire.
• Une seule tentative (réglage par défaut).

Limiter le test dans le temps

Paramètres du test →  Item ▶ Temps

Il faut activer l’ouverture et la fermeture du test (régler la date et l’heure) et régler la durée laissée à l’étudiant pour effectuer le test (Temps disponible) :

Ouvrir ce test : date à partir de laquelle les étudiants vont pouvoir commencer à répondre au test. Ils ne voient pas les questions avant cette date MAIS ATTENTION ils voient le champ “Description”, si vous voulez qu’ils n’accèdent pas à cette description avant le test, il faut ajouter une restriction d’accès au test.

Fermer le test : à l’échéance,  le test est fermé, même pour ceux ayant commencé tardivement et dont le temps disponible n’est pas encore écoulé.

Lorsque le temps imparti échoit : Nous recommandons de laisser le réglage par défaut “La tentative en cours est envoyée automatiquement”.

Le dernier réglage proposé (“La tentative doit être envoyée avant l’échéance, sans quoi elle n’est pas comptabilisée”) est à proscrire car elle invalide définitivement l’ensemble des réponses d’un étudiant qui n’est pas allé au bout du test.

Régler les options de relecture

Paramètres du test →  Item ▶ Options de relecture

Les options de relecture permettent de donner des feedback aux étudiants. Le premier de ces retours étant la possibilité de voir ou revoir la tentative en cours, à savoir les réponses données par l’étudiant. La coche “ La tentative” est donc impossible à enlever dans la catégorie “Pendant la tentative”, on ne peut l’empêcher de voir ces réponses pendant le test.

Pour s’assurer que les étudiants ne vont pas être tentés de diffuser leurs réponses à leurs camarades, nous vous conseillons de tout décocher et laisser seulement  « Après la fermeture du test »  –>  « La tentative », « Points », « Réponse juste » (et les feedback si vous mettez des retours / commentaires à leur disposition).

Si à l’inverse vous êtes plus dans une approche test formatif, il faut autoriser les feedback plus tôt.

Remarque : certains réglages des options de relecture ne sont pas accessibles si :

• l’heure de fin n’est pas activée
• le temps disponible n’est pas activé
• le choix de “Comment se comporte les questions” est sur Feedback a posteriori

Choisir le nombre de tentatives autorisées

Paramètres du test →  Item ▶ Notes

Il est possible d’autoriser plusieurs tentatives à un test (de 2 à illimitée). Autoriser 2 tentatives présente l’avantage de réduire le stress, on s’oriente davantage vers une évaluation formative. Cela peut aussi pallier les problèmes de déconnexion inopinée.

Lorsque l’on autorise plusieurs tentatives, les tentatives supplémentaires peuvent soit :

• compléter la tentative précédente,
• reprendre la même tentative à zéro,
• être retirée aléatoirement si le test est paramétré comme tel.

Gérer le nombre de questions par page

Paramètres du test →  Item ▶ Mise en page

La mise en page d’un QCM peut être réalisée à 2 endroits, dans les paramètres du test si on veut qu’elle soit automatique ou dans modifier le test si on veut la réaliser manuellement en fonction des questions. Ce dernier choix n’est pas compatible avec l’ordre aléatoire des questions.

Nous vous conseillons de régler cela automatiquement dans les paramètres du test.

Vous pouvez choisir :

•  une seule question par page (chaque question). Cela permet à l’étudiant de se focaliser sur la question en cours. C’est le choix qu’on l’on préconise.
• Toutes les questions sur une page. Cela permet à l’étudiant d’avoir une vue plus globale du test. Il peut donc passer d’une question à l’autre en fonction des réponses qui lui reviennent à l’esprit.
• x questions par page. Dans le cas de test comportant beaucoup de questions, ce choix peut permettre de diminuer un peu le nombre de pages et faciliter ainsi la navigation.

Configurer la navigation de l’étudiant dans le test

Paramètres du test →  Item ▶ Mise en page   →  Afficher plus… → Méthode de navigation

Deux options possibles :

• on laisse les étudiants naviguer dans le test : ils ont alors la possibilité de revenir sur une question déjà répondue ou pas > Navigation libre
• on impose la navigation question par question, sans retour en arrière possible > Navigation séquentielle

Le paramètre par défaut est la navigation libre.

L’interdiction du retour en arrière avec la navigation séquentielle peut être séduisante, notamment pour limiter la fraude, mais il faut savoir que :

• C’est généralement fatal pour les moins bons étudiants, qui font en général un balayage de tout le test pour repérer les questions auxquelles ils savent répondre puis regardent les autres.
• Cela bride la réflexion de l’étudiant : s’il ne pense pas à la bonne réponse au bon moment, il perd l’occasion de répondre correctement.

Bref il faut bien peser le pour et le contre avant de choisir cette option et surtout bien en avertir les étudiants.

Fournir des tests différents aux étudiants

Avec les questions dans un ordre aléatoire

Modifier le test → Mélanger

Quand cette option est cochée, chaque étudiant va recevoir les questions dans un ordre aléatoire.

Attention en choisissant cette option, le test ne peut pas être organisé avec une progression et toutes les questions doivent être indépendantes les unes des autres.

Avec les items de réponse dans un ordre aléatoire

Paramètres du test →  Item ▶ Comportement des questions

ET

Modifier le test → Paramètres de chaque question → Mélanger les réponses possibles ?

Pour que les questions soient proposées avec des items de réponses dans un ordre aléatoire, il faut l’indiquer à 2 endroits : dans les paramètres du test lui même ET également dans les paramètre de chaque question (car une question peut très bien devenir incompréhensible si l’on modifie l’ordre de ses items de réponse).

Paramètres du test →  Item ▶ Comportement des questions

Modifier le test → Paramètres de chaque question → Mélanger les réponses possibles ?

puis

Avec des questions tirées aléatoirement au sein d’une catégorie

Modifier le test → Ajouter (une question aléatoire)

Si toutes vos questions sont rangées dans la même catégorie (par défaut celle du test) vous pouvez directement insérer plusieurs questions tirées aléatoirement.

Si vous avez organisé vos questions en différentes catégories (selon le thème ou le niveau de difficulté par exemple), vous pouvez prendre autant de questions que vous voulez dans chacune d’elles. Cela permet ainsi de s’assurer que tous les étudiants auront le même nombre de questions de chaque thème ou de chaque niveau de difficulté.

Paramétrer les notes pour un QCM

Les principes de base de la notation d’un QCM

• Dans Modifier le test : on va pouvoir régler, pour chaque QCM, la note maximale possible, cela indépendamment du nombre de questions.
• Dans les Paramètres de chaque question : on va régler le nombre de points sur laquelle la question est notée, c’est-à-dire le coefficient de la question au sein du QCM.

La plateforme calcule la somme des points obtenus à toutes les questions et la convertit proportionnellement à la note maximale du QCM pour donner la note de l’étudiant.

Il est donc inutile d’ajuster le nombre de questions ou le nombre de points aux questions pour obtenir exactement 20 ou 10.

Les principes de base de la notation d’une question

• À chaque question on attribue une note maximale, cela détermine son poids dans la note finale du QCM ;
• À chaque item de réponse on indique sa participation à l’obtention de la note de la question en % ;
• Les items justes ont des % positifs et les faux des négatifs ;
• La somme des % positifs doit faire exactement 100%.

Comment bien répartir les points sur les items de réponses ?

• Il est obligatoire que la somme des % positifs soit à égale à 100% ;
• Il n’y a pas de contrainte stricte sur les % négatifs, leur somme peut être égale  à 0 ou même à plus de 100.
• En règle générale, il est équilibré que la somme des % positifs fasse 100% et que celle des % négatifs fasse -100% . Ainsi, si l’étudiant coche toutes les cases il a 0.

Le cas particulier des points négatifs.

Les points négatifs attribués à partir de % négatifs affectés aux items de réponses fausses ont 2 comportements distincts selon le type de la question.

• Pour les questions à choix unique (paramètre d’un question à choix multiples)

• Pour tous les autres types de questions les résultats négatifs aux questions sont annulés pour le calcul le score du test.