Les calculs présentés ici sont valides pour des questions bien formées, reprenant donc ces préconisations pour construire un examen QCM de qualité.
Nous distinguerons 2 types de Tests :
QCM : Questions à Choix Multiples MAIS réponse correcte unique ;
QRM : Question à Réponses Multiples. pour chaque question, il y a plusieurs réponses proposées, dont plusieurs sont correctes, l’étudiant doit cocher toutes les correctes, et aucune des incorrectes.
La notation de base d’un QCM prévoit de n’accorder des points que à la bonne réponse. Cependant, on peut aussi pénaliser les mauvaises réponses avec des points négatifs.
points négatifs : attention l’impact peut se répercuter sur l’ensemble du test (ce qui n’est pas le cas dans un devoir classique où l’on enlève jamais de point pour une réponse fausse.
Quelle est la probabilité de répondre juste au hasard à :
QCM 1 seule réponse juste possible sur x choix
Pour UNE question
si 2 choix : 50% (1 chance sur 2)
3 : 33% (1 chance sur 3 )
4 : 25% (1 chance sur 4)
…
10 : une chance sur 10
Ce qui donne pour un QCM de 10 questions ayant chacune 4 choix
probabilité d’avoir tout juste : 1 / 1 048 576
d’avoir juste la moyenne : 1/ 1 024
QRM type 1 : Le nombre de réponses correctes attendues est indiquée aux étudiants
nbc : nombre de choix possible
nbr : nombre de réponses justes
Dans le tableau, on indique le pourcentage de chance de réussir à répondre correctement (cocher toutes les bonnes réponses et que les bonnes réponses).
| nbc\ nbr | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
|---|---|---|---|---|---|---|---|
| 2 | 50% | 100% | |||||
| 3 | 33% | 33% | 100% | ||||
| 4 | 25% | 16% | 25% | 100% | |||
| 5 | 20% | 10% | 10% | 20% | 100% | ||
| 6 | 16% | 6% | 5% | 6% | 16% | 100% | |
| 7 | 14% | 5% | 3% | 3% | 5% | 14% | 100% |
| 8 | 12% | 3% | 2% | 1% | 2% | 3% | 12% |
ce qui se traduit par exemple pour la case en orange par :
pour une question ayant 2 bonnes réponses sur un choix de 5 réponses proposées il y a 1 chance sur 10 d’avoir juste
donc pour un QRM avec 10 questions de ce type il n’y a qu’une chance sur 10.000.000.000 d’avoir tout juste
et une chance sur 672 d’avoir la moyenne
QRM type 2 : Le nombre de réponses attendues n’est pas indiquée aux étudiants
nbc : nombre de choix possible
nbr : nombre de réponses justes
| nbc\ nbr | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
|---|---|---|---|---|---|---|---|
| 2 | 33% | 33% | |||||
| 3 | 14% | 14% | 14% | ||||
| 4 | 7% | 7% | 7% | 7% | |||
| 5 | 3% | 3% | 3% | 3% | 3% | ||
| 6 | 2% | 2% | 2% | 2% | 2% | 2% | |
| 7 | 1% | 1% | 1% | 1% | 1% | 1% | 1% |
| 8 | 0,3% | 0,3% | 0,3% | 0,3% | 0,3% | 0,3% | 0,3% |
Les valeurs indiquées dans ces tableaux concernent UNE question. Si le test comporte 10 questions, il faut multiplier les pourcentages par exemple :
En répondant au hasard,
Si le barème prévoit que les questions sont soit justes soit fausses, donc pas de partiellement juste,
pour un QRM de type 2 (le nombre de réponses justes est inconnu)
10 questions de 5 items , 2 bonnes réponses
- une chance sur un million de milliards d’avoir tout juste
- une chance sur 190.000 d’avoir la moyenne (0,0005%)
Les points négatifs pour décourager les réponses aléatoires
Souvent, les points négatifs sont utilisés afin de décourager les réponses aléatoires. Ils évitent en effet la tentation de choisir au hasard lorsque l’on ne connait pas la réponse. Cela a par contre pour effet de rendre l’examen plus dur à réussir, une mauvaise réponse peut “annuler” une bonne réponse. Afin d’éviter d’augmenter par trop la difficulté d’un examen, il est possible d’attribuer des points négatifs moins sévères (ex : +1 pour une bonne réponse, -0.25 pour une réponse incorrecte). Les points négatifs ont alors un rôle principalement psychologique, plutôt qu’un rôle de sanction.
Les points négatifs pour garantir la maitrise de la matière
Il arrive cependant que l’on souhaite effectivement sanctionner les mauvaises réponses, lorsque celles-ci ne peuvent être tolérées. Cette décision dépend essentiellement du contenu de la formation. Si l’apprenant répond correctement à (par exemple) 80% des questions mais se trompe sur les autres, est-ce que l’on peut considérer qu’il a réussi la formation et apprendra le reste sur le tas, ou est-ce que les fautes ne peuvent être tolérées ? Dans le cas d’une formation en langue, par exemple, on peut se dire que les lacunes seront comblées par la pratique. Par contre lors d’un examen pour du personnel médical ou encore des conseillers à la clientèle, certifier une personne qui fera des erreurs est plus délicat, il faut donc utiliser des points négatifs car faire une faute est grave même si le reste a été répondu correctement. L’utilisation des points négatifs est donc avant tout un choix du formateur, basé sur la matière (à quel point une erreur “annule” la compétence que pourrait avoir montré l’apprenant sur d’autres questions) et sur la difficulté souhaitée.
Plusieurs bonnes réponses : comment attribuer les points ?
Certaines questions peuvent contenir plusieurs bonnes réponses (exemple : 2 bonnes réponses parmi 5 propositions). Dans ce cas, comment pondérer la question ? Faut-il donner des points pour chaque propositions correctement choisies, ou un seul point pour la question si elle est entièrement correcte ? Là aussi, le choix dépend de la matière et de l’importance de répondre entièrement juste. Si l’apprenant ne répond qu’à la moitié, est-ce que l’on peut considérer qu’il sait “déjà un peu”, ou est-ce que, compte tenu de la matière, cela revient à dire qu’il ne sait pas ? Dans ce deuxième cas, les points de la question ne doivent être donnés que si elle ne contient aucune erreur.
En résumé : favoriser le sens plutôt que les calculs
Les choix doivent être pris avant tout en fonction du contenu de la formation et de l’importance de maitriser parfaitement la matière pour réussir l’examen. Il faut éviter de se laisser guider par l’envie de faire simple en choisissant une règle pour sa facilité ou parce qu’elle permet l’usage de chiffres ronds (“un point par bonne réponse, 30 questions, l’examen est réussi à partir de 25 bonnes réponses”). Les QCM présentent de nombreux avantages mais doivent être utilisées de manière éclairée afin de garantir une réelle évaluation de la compétence.
On retient qu’un QCM ou QRM d’une dizaine de « bonnes » questions avec 4 ou 5 choix possibles est déjà quasiment impossible de réussir au hasard. Donc nul besoin de compliquer le barème avec des points négatifs aux questions si cela n’est pas absolument nécessaire.
Il convient cependant pour la répartition des points sur les différents choix d’un QRM. Comme les répondants peuvent cocher toutes cases, il ne faut pas que quand il coche toutes les réponses, la question soit juste. Pour cela, une méthode simple est de répartir 100% des points de la question sur les items corrects et répartir -100% sur les items faux.
Une lecture intéressante sur l’attribution des points.