Analyse des questions
Une analyse de questions fournit des statistiques sur la performance générale, la qualité de l'évaluation, et sur des questions en particulier. Ces données vous aident à déterminer les questions qui peuvent mal refléter les aptitudes des étudiants. L'analyse des questions concerne les évaluations avec des questions. Vous pouvez exécuter un rapport avant que tous les travaux n'aient été soumis si vous souhaitez vérifier la qualité de vos questions et y apporter des modifications.
Utilisation de l'analyse des questions :
amélioration des questions pour les évaluations futures ou pour ajuster les points octroyés sur les tentatives en cours
Discussion des résultats des évaluations avec votre classe
Apport d'une base pour le travail de rattrapage
Amélioration de l'enseignement en salle de classe
Exemple :
Après l'analyse des questions, vous remarquez que la majorité des étudiants répondent de façon incorrecte à une question. Quelle est la raison de ce faible taux de réussite?
L'énoncé de la question porte-t-il à confusion?
Les options de réponse sont-elles claires?
Le contenu pédagogique fourni aux étudiants leur permet-il de répondre correctement à cette question?
Le contenu pédagogique était-il aisément accessible et clair?
En fonction des résultats de vos investigations, vous pouvez améliorer la question afin qu'elle permette de déterminer les connaissances des étudiants sans ambiguïté.
Accéder à l'analyse d'une évaluation
Vous pouvez exécuter et accéder à un rapport d'analyse des questions précédent à partir des onglets de cours suivants :
La page Contenu du cours et le menu de l'évaluation
La page Analyse du cours et l'onglet Analyse des questions, si votre établissement a activé les analyses
Relevé de notes
Sur la page Rapports de cours, accédez au menu d'une évaluation, puis sélectionnez Analyse des questions. Vous pouvez également sélectionner l'icône Analyses dans la barre de navigation.
Vous pouvez également exécuter un rapport d'analyse des questions à partir du relevé de notes. Accédez au menu d'une évaluation et sélectionnez Analyse des questions.
Page Analyse des questions
La page Analyse des questions n'est accessible qu'à partir de la barre de navigation > Analyses > page Analyse de cours > onglet Analyse des questions.
Vous pouvez exécuter un rapport sur une évaluation comportant des travaux soumis et aucune question, mais vous obtiendrez un rapport sans informations utiles.
Vous recevrez un message indiquant que le rapport d'analyse des questions est en cours et un courriel lorsque le rapport est généré. Vous pouvez quitter la page pour travailler dans d'autres sections de votre cours et revenir plus tard pour voir si le rapport est prêt.
Chaque évaluation de votre cours apparaît avec l'un des états suivants :
Rapport en cours
Terminé le {date}
Les données ne sont plus à jour : l'évaluation comporte désormais davantage de soumissions à analyser.
Données insuffisantes : aucune soumission n'existe. Exécuter le rapport est désactivé.
Aucune question dans l'évaluation : l'évaluation ne comporte aucune question ni soumission. Exécuter le rapport est désactivé.
Aucun statut répertorié : l'évaluation comporte des questions et des soumissions, mais vous n'avez généré aucun rapport. Exécuter le rapport est activé.
Erreur : Exécuter
Afficher le résumé de l'évaluation de l'analyse des questions
Après avoir exécuté un rapport, vous pouvez afficher les informations de résumé générales et les détails de chaque question. Sélectionnez l'évaluation sur la page Analyse des questions pour afficher le sommaire.
Note
Seules les tentatives soumises sont utilisées dans les calculs. Lorsque des tentatives sont en cours, elles sont ignorées jusqu'à leur soumission et la nouvelle exécution du rapport d'analyse. Les zéros attribués automatiquement aux travaux en retard ne sont pas inclus dans les calculs.
Synthèse des statistiques pour l'évaluation individuelle :
Note moyenne : la note indiquée est la note moyenne indiquée pour l'évaluation dans le carnet de notes. Le résultat moyen peut changer si d'autres tentatives sont envoyées et notées.
Questions possibles : nombre total de questions de l'évaluation.
Tentatives terminées : nombre d'évaluations soumises.
Temps moyen passé : temps de réalisation moyen de toutes les tentatives soumises.
Exécutez de nouveau un rapport ou modifiez l'évaluation pour modifier les questions.
Utilisez les graphiques pour filtrer le tableau des questions. Procédez à des sélections dans les deux graphiques pour affiner votre recherche. Si vous n'effectuez aucune sélection, toutes les questions apparaissent dans le tableau en bas de la page.
Discrimination : indique dans quelle mesure les questions font la différence entre les étudiants qui connaissent le sujet et ceux qui ne le connaissent pas.
Affiche le nombre de questions qui entrent dans les catégories suivantes :
Bien (supérieur à 0,3)
Passable (entre 0,1 et 0,3)
Mauvais (moins de 0,1)
Impossible de calculer : la difficulté d'une question est de 100 % ou tous les étudiants ont obtenu le même score pour une question.
Les valeurs des réponses aux questions avec différenciation dans les catégories Bien et Passable permettent de différencier les étudiants avec un niveau de connaissances supérieur ou inférieur.
Il est recommandé de revoir les questions qui entrent dans la catégorie Mauvais.
Difficulté : pourcentage d'étudiants ayant répondu correctement aux questions
Affiche le nombre de questions qui entrent dans les catégories suivantes :
Facile (supérieur à 80 %)
Moyenne (entre 30 % et 80 %)
Difficile (moins de 30 %)
Pour les questions relevant de la catégorie Facile ou Difficile, une vérification est recommandée.
Sélectionnez un en-tête de colonne pour trier les questions. Par exemple, triez la colonne Vérifier de sorte que les questions à vérifier apparaissent en premier.
Effacer les filtres : effacez les filtres que vous avez sélectionnés dans les graphiques et affichez toutes les questions dans le tableau.
Téléchargez le rapport d'analyse des questions.
À propos de la section des questions du résumé de l'évaluation
Le tableau des questions fournit les statistiques pour chaque question de l'évaluation. Une fois que vous avez utilisé les graphiques pour filtrer le tableau des questions, vous pouvez afficher et trier les résultats.
En général, les bonnes questions entrent dans les catégories suivantes :
Difficulté Moyenne (30 % à 80 %)
Les valeurs de différenciation Bien ou Passable (plus de 0,1)
En général, les questions pour lesquelles une vérification est recommandée entrent dans les catégories suivantes. Elles peuvent être de mauvaise qualité ou être notées de façon incorrecte.
Difficulté Facile (> 80 %) ou Difficile (< 30 %).
Valeurs de différenciation Mauvais (< 0,1).
Rappel : Si vous n'effectuez aucune sélection, toutes les questions apparaissent dans le tableau en bas de page.
Pour étudier une question spécifique, sélectionnez le titre et passez en revue les détails de la question.
Les informations pour chaque question sont affichées dans le tableau :
À revoir : déclenché lorsque les valeurs de discrimination sont inférieures à 0,1. ou lorsque les valeurs de difficulté sont supérieures à 80 % (la question était trop facile) ou inférieures à 30 % (la question était trop difficile). Vérifiez la question pour déterminer si elle nécessite d'être modifiée.
Question modifiée : Affiche Oui si vous exécutez un rapport, modifiez une partie d'une question et réexécutez le rapport. Oui apparaît également si vous avez copié la question à partir d'une autre évaluation lors de la création de l'évaluation.
Note
Si l'option Oui apparaît dans la colonne Question modifiée en regard d'une question, elle n'est pas reportée lorsque vous archivez et restaurez le cours.
Discrimination : indique dans quelle mesure une question fait la différence entre les étudiants qui connaissent le sujet et ceux qui ne le connaissent pas. Une question est un bon mode d'évaluation, car lorsque les étudiants répondent parfaitement à une question, cela contribue également à la réussite de l'évaluation. Les valeurs peuvent être comprises entre -1,0 et +1,0. Une question est signalée pour révision si sa valeur de discrimination est inférieure à 0,1 ou négative. Il n'est pas possible de calculer les valeurs de différenciation lorsque la difficulté de la question est de 100 % ou que tous les étudiants obtiennent le même résultat à une question.
Ces valeurs sont calculées en utilisant le coefficient de corrélation Pearson. X représente les notes de chaque étudiant pour une question et Y la note de chaque étudiant pour l'évaluation.
Les variables suivantes sont respectivement la note standard, la moyenne de l'échantillon et l'écart-type :
Difficulté : pourcentage d'élèves ayant répondu correctement à la question. Le pourcentage de difficulté est indiqué avec sa catégorie : Facile (plus de 80 %), Moyen (30 % à 80 %) et Difficile (moins de 30 %). Les valeurs de difficulté peuvent s'échelonner de 0 % à 100 %. Un pourcentage élevé indique que la question était facile. Les questions des catégories Facile ou Difficile sont marquées pour être vérifiées.
Les niveaux de difficulté légèrement supérieurs à la moyenne permettent de mieux différencier les étudiants qui connaissent le sujet examiné ou non, entre la chance et les résultats parfaits. Les valeurs de difficulté élevées ne garantissent pas de hauts niveaux de différenciation.
Tentatives notées : nombre de tentatives de questions pour lesquelles la notation est terminée. Les nombres élevés d'une tentative notée produisent des statistiques calculées plus fiables.
Note moyenne : la note qui apparaît est la note moyenne indiquée pour l'évaluation dans le carnet de notes. Le résultat moyen peut changer une fois toutes les tentatives notées.
Afficher les détails d'une seule question
Vous pouvez vous pencher sur les questions qui ont été marquées à revoir et afficher les performances des étudiants. À partir du tableau des questions de l'analyse des questions, sélectionnez un titre de question liée pour accéder à la synthèse de la question.
Une fois que vous avez accédé à une question, utilisez le menu du titre de la question pour accéder à toutes les questions de l'évaluation. Vous pouvez accéder aux autres questions dans l'ordre de chaque côté de la page.
Le tableau de synthèse affiche les statistiques pour la question.
Sélectionnez Modifier l'évaluation pour accéder à l'évaluation et y apporter des modifications.
L'énoncé de la question et le choix de réponses s'affichent. Vous pouvez voir le nombre d'étudiants ayant choisi chaque réponse ou le pourcentage de réponses correctes. Par exemple, pour un test d'appariement, vous voyez le pourcentage d'étudiants qui a correctement associé les paires. Seul le texte de la question apparaît pour les questions de type dissertation.
À propos des tentatives multiples, des remplacements de question et des modifications de question
L'analyse gère certains scénarios courants de la manière suivante :
Lorsque les étudiants passent une évaluation plusieurs fois, la dernière tentative reçue est celle prise en compte pour l'analyse. Dès qu'un étudiant soumet une autre tentative, les analyses suivantes incluent cette dernière.
Les remplacements effectués dans le relevé de notes n'ont pas de répercussions sur les données d'analyse, car l'analyse génère des données statistiques sur des questions en fonction des tentatives terminées par les étudiants.
Lorsque vous modifiez une question ou que vous notez manuellement des questions, vous devez exécuter à nouveau l'analyse pour voir si les modifications ont une incidence sur les données.
Exemples
L'analyse des questions peut vous aider à améliorer les questions pour les prochaines évaluations ou à corriger les questions trompeuses ou ambiguës d'une évaluation en cours.
Dans une question à choix multiples, le même nombre d'étudiants a choisi respectivement A, B et C. Examinez les choix de réponse pour déterminer s'ils sont ambigus, si la question est trop difficile ou si le sujet n'a pas été abordé.
Il est recommandé de revoir une question, car elle est classée dans la catégorie Très difficile. Vous vous rendez compte qu'il s'agit d'une question difficile, mais vous la conservez pour pouvoir évaluer vos objectifs de cours de façon adéquate.
Une question à choix multiples est marquée à revoir. Plus du Quart supérieur (25 %) des étudiants ont choisi B, mais A est la réponse correcte. Vous réalisez que vous n'avez pas choisi la réponse correcte lorsque vous avez créé la question. Vous modifiez la question de l'évaluation et elle est automatiquement renotée.
Télécharger les résultats de l'évaluation
Vous pourriez avoir besoin de télécharger les résultats des tests pour une analyse et une évaluation externes. L'analyse externe est importante pour soutenir la qualité des cours et les efforts d'évaluation. En outre, les établissements souhaitent souvent disposer de données d'évaluation compilées pour les agréments et la révision des programmes.
Vous pouvez télécharger les résultats des évaluations depuis le relevé de notes :
Dans la vue Notes, sélectionnez l'évaluation pour afficher le menu des options et choisissez télécharger les résultats.
Dans la vue Éléments évaluables, sélectionnez le menu d'options de l'évaluation et choisissez Télécharger les résultats.
Plusieurs options se présenteront à vous lors du téléchargement des résultats.
Type de fichier : feuille de calcul Excel (.xls) ou valeur séparée par des virgules (.csv). Le format par défaut est .xls.
Format des résultats : Par élève ou par question et étudiant. Le format par défaut est Par étudiant.
Tentatives de téléchargement : soit toutes les tentatives, soit seulement les tentatives incluses dans le calcul de la note. Vous pouvez définir les tentatives à inclure dans le calcul de la note dans les paramètres des tentatives de note. La valeur par défaut est Télécharger uniquement les tentatives utilisées pour le calcul.
Le rapport téléchargé comprend les informations suivantes :
Nom de l'étudiant
Nom d'utilisateur
Questions
Réponses
Statut de notation
Tout contenu ajouté par l'étudiant à sa soumission
Exemple de format de résultat Télécharger par étudiant :
Exemple de format de résultat Télécharger par étudiant et par question :
Important
Si vous utilisez la notation anonyme, les résultats téléchargés excluent les détails relatifs aux étudiants et aux résultats jusqu'à ce que les notes soient affichées pour tous les étudiants.
Regarder une vidéo sur le téléchargement des résultats d'évaluation
La vidéo commentée suivante offre une représentation visuelle et auditive de certaines des informations contenues dans cette page. Pour obtenir une description détaillée de ce qui est représenté dans la vidéo, ouvrez la vidéo sur YouTube, accédez à Plus d'actions, puis sélectionnez Ouvrir la transcription.