ORIGINAL Elementanalyse
Elementanalysen liefern Statistiken zur Gesamtleistung, Testqualität und zu einzelnen Fragestellungen. Dank dieser Daten können Sie Fragen ermitteln, die sich nicht besonders gut zur Beurteilung der Teilnehmerleistungen eignen.
Verwendungszwecke der Elementanalyse:
Fragen für zukünftige Tests verbessern oder die Punktzahl bei aktuellen Versuchen anpassen
Testergebnisse gemeinsam mit Ihrem Kurs erörtern
Grundlage für Korrekturen oder Nachbesserungen schaffen
Unterricht verbessern
Beispiel:
Anhand der Elementanalyse haben Sie bemerkt, dass der Großteil der Teilnehmer eine Frage falsch beantwortet hat. Warum fällt die Erfolgsrate so niedrig aus?
Ist die Frage missverständlich formuliert?
Sind die Antwortmöglichkeiten nicht eindeutig genug?
Wurden den Teilnehmer die richtigen Lerninhalte bereitgestellt, um die Frage richtig beantworten zu können?
Wurde der Lerninhalt einfach und unmissverständlich vermittelt?
Anhand Ihrer Entdeckungen können Sie die Testfragen verbessern, sodass die Fragen wirklich gezielt das Wissen der Teilnehmer abfragen.
Ausführen einer Elementanalyse für einen Test
Sie können eine Elementanalyse für einen bereitgestellten Test mit eingereichten Versuchen ausführen, nicht jedoch für eine Umfrage.
Der Test kann einen oder mehrere Versuche, Fragesätze, Zufallsblöcke, automatisch benotete Fragetypen und Fragen, die manuell benotet werden müssen, enthalten. Für Tests mit manuell benoteten Fragen, denen noch keine Ergebnisse zugewiesen wurden, werden nur für die bewerteten Fragen Statistiken generiert. Benoten Sie die Fragen manuell und führen Sie die Analyse erneut durch. Die Statistiken für die manuell benoteten Fragen werden generiert und die zusammenfassende Teststatistik wird aktualisiert.
Führen Sie im Hinblick auf die besten Ergebnisse eine Analyse für Tests aus, nachdem die Teilnehmer alle Versuche eingereicht und Sie alle manuell benoteten Fragen benotet haben. Denken Sie daran, dass die Statistiken von der Anzahl der Testversuche, der Art der Testteilnehmer und versehentlichen Fehlern beeinflusst werden.
Funktionen mit Benotungsberechtigungen (wie Kursleiter, Korrektur- und Lehrassistenten) können an drei Stellen im Testablauf auf die Elementanalyse zugreifen.
In einem Inhaltsbereich bereitgestellter Test
auf der Seite Tests aufgelisteter bereitgestellter Test
Notencenterspalte eines Tests
Öffnen Sie das Menü eines Tests und wählen Sie Elementanalyse aus.
Wählen Sie im Menü Test auswählen einen Test aus. Nur bereitgestellte Tests sind aufgeführt.
Wählen Sie Ausführen aus.
Wählen Sie den Link des neuen Berichts im Abschnitt Verfügbare Analyse oder wählen Sie im Statuseingang oben auf der Seite die Option Analyse anzeigen aus.
Anmerkung
Sie können im Abschnitt Verfügbare Analyse auf eine zuvor ausgeführte Analyse zugreifen.
Testzusammenfassung auf der Seite „Elementanalyse“
Die Testzusammenfassung liefert Daten zum Test als Ganzes.
Über Test bearbeiten haben Sie Zugriff auf den Testplan. Dort können Sie Änderungen am Test vornehmen.
Teststatistik anzeigen:
Mögliche Punkte: Die Gesamtzahl der Punkte für den Test.
Mögliche Fragen: Die Gesamtzahl der Fragen im Test.
Aufgaben in Bearbeitung: Die Anzahl der Teilnehmer, die derzeit den Test ablegen und ihn noch nicht eingereicht haben.
Abgeschlossene Versuche: Die Anzahl der eingereichten Tests.
Durchschnittliche Punktzahl: Mit einem Sternchen gekennzeichnete Punktzahlen weisen darauf hin, dass einige Versuche nicht bewertet wurden und dass sich die durchschnittliche Punktzahl ändern kann, nachdem alle Versuche bewertet wurden. Das angezeigte Ergebnis ist das durchschnittliche Ergebnis für den Test im Notencenter.
Durchschnittliche Zeit: Die durchschnittliche Abschlusszeit für alle eingereichten Versuche.
Diskriminanz: In diesem Bereich wird die Anzahl der Fragen angezeigt, die in die Kategorien Befriedigend (größer als 0,3), Ausreichend (zwischen 0,1 und 0,3) und Mangelhaft (weniger als 0,1) fallen. Ein Diskriminanzwert wird als Kann nicht berechnet werden aufgelistet, wenn die Schwierigkeit der Frage bei 100 % liegt oder wenn alle Teilnehmer bei einer Frage dasselbe Ergebnis erzielen. Fragen mit Diskriminanzwerten in den Kategorien Gut und Befriedigend sind besser geeignet, um zwischen Teilnehmern mit höherem und niedrigerem Wissensstand zu unterscheiden. Es wird empfohlen, Fragen der Kategorie Mangelhaft zu überprüfen.
Schwierigkeit: In diesem Bereich wird die Anzahl der Fragen angezeigt, die in die Kategorien Einfach (über 80 %), Mittel (zwischen 30 und 80 %) und Schwer (unter 30 %) fallen. Die Schwierigkeit ist der Anteil der Teilnehmer, die die Frage richtig beantwortet haben. Fragen in den Kategorien Einfach oder Schwer sollten überprüft werden und sind an einem roten Kreis erkennbar.
Anmerkung
Nur benotete Versuche werden bei den Berechnungen der Elementanalyse berücksichtigt. Aktuell in Bearbeitung befindliche Versuche werden von der Elementanalyse ignoriert, bis sie eingereicht werden und Sie den Analysebericht erneut ausführen.
Fragenstatistiktabelle auf der Seite „Elementanalyse“
Die Fragenstatistiktabelle liefert Elementanalysestatistiken für die einzelnen Fragen im Test. Fragen, deren Überprüfung empfohlen wird, sind mit einem roten Kreis gekennzeichnet. So können Sie Fragen, die möglicherweise überarbeitet werden müssen, schnell finden.
Im Allgemeinen fallen gute Fragen in die folgenden Kategorien:
Schwierigkeit: Mittel (30 % bis 80 %)
Diskriminanzwert: Gut oder Befriedigend (über 0,1)
Im Allgemeinen fallen Fragen, für die eine Überprüfung empfohlen wird, in die folgenden Kategorien: Diese sind möglicherweise von geringer Qualität oder werden falsch beantwortet.
Schwierigkeit: Einfach (> 80 %) oder Schwer (< 30 %)
Diskriminanzwert: Mangelhaft (< 0,1)
Filtern Sie die Fragentabelle nach Fragentyp, Diskriminanz und Schwierigkeit.
Wählen Sie zum Untersuchen einer bestimmten Frage den Titel aus und gehen Sie die Seite Fragendetails durch.
In der Tabelle werden Statistiken für jede einzelne Frage angezeigt:
Diskriminanz: Zeigt, wie gut eine Frage zwischen solchen Teilnehmern, die das Thema kennen, und solchen, die es nicht kennen, unterscheidet. Eine Frage ist ein gutes Diskriminanzmerkmal, wenn Teilnehmer, die eine Frage richtig beantworten, auch im gesamten Test gut abschneiden. Die Werte können zwischen -1,0 und +1,0 liegen. Eine Frage wird zur Überprüfung markiert, wenn ihr Unterscheidungswert kleiner als 0,1 oder negativ ist. Diskriminanzwerte können nicht berechnet werden, wenn der Schwierigkeitswert der Frage bei 100 % liegt oder alle Teilnehmer bei einer Frage dasselbe Ergebnis erzielen.
Diskriminanzwerte werden mit dem Pearson-Korrelationskoeffizient berechnet. X steht für das Ergebnis der einzelnen Teilnehmer bei einer Frage und Y steht für das Ergebnis der einzelnen Teilnehmer im Test.
Bei den folgenden Variablen handelt es sich um das Standardergebnis sowie den Mittelwert und die Standardabweichung einer Stichprobe:
Schwierigkeit: Der Prozentsatz der Teilnehmer, die die Frage richtig beantwortet haben. Der Schwierigkeitsgrad wird zusammen mit seiner Kategorie aufgeführt: Leicht (mehr als 80 %), Mittel (30 % bis 80 %) und Schwer (weniger als 30 %). Schwierigkeitswerte können zwischen 0 % und 100 % liegen, wobei ein höherer Prozentsatz darauf hinweist, dass die Frage einfach war. Fragen der Kategorien "Einfach" oder "Schwer" werden zur Überprüfung gekennzeichnet.
Mit Schwierigkeitsstufen, die etwas höher liegen als in der Mitte zwischen Zufalls- und perfekten Ergebnissen, lassen sich Teilnehmer, die das getestete Material kennen, besser von denen unterscheiden, die es nicht kennen. Hohe Schwierigkeitswerte sind nicht zwangsläufig eine Garantie für hohe Diskriminanzstufen.
Bewertete Versuche: Anzahl der Frageversuche, bei denen die Bewertung abgeschlossen ist. Eine höhere Zahl für benotete Versuche führt zu zuverlässiger berechneten Statistiken.
Durchschnittliche Punktzahl: Mit einem Sternchen gekennzeichnete Punktzahlen weisen darauf hin, dass einige Versuche nicht bewertet wurden und dass sich die durchschnittliche Punktzahl ändern kann, nachdem alle Versuche bewertet wurden. Das angezeigte Ergebnis ist das durchschnittliche Ergebnis für den Test im Notencenter.
Standardabweichung: Maß dafür, wie weit die Punktzahlen vom Durchschnittswert abweichen. Wenn die Ergebnisse eng gruppiert sind und die meisten Werte eng am Durchschnitt liegen, ist die Standardabweichung klein. Wenn der Datensatz weit verteilt ist und die Werte weit vom Durchschnitt entfernt sind, ist die Standardabweichung größer.
Standardfehler: Eine Schätzung des Ausmaßes der Variabilität in der Punktzahl eines Teilnehmers aufgrund des Zufalls. Je kleiner der gemessene Standardfehler ist, umso genauer ist der von der Testfrage bereitgestellte Messwert.
Fragendetails zu einzelnen Fragen anzeigen
Sie können Fragen untersuchen, die zur Überprüfung gekennzeichnet sind, und die Teilnehmerleistung anzeigen.
Blättern Sie auf der Seite Elementanalysen zur Fragenstatistiktabelle. Wählen Sie einen verknüpften Fragentitel aus, um auf die Seite Fragendetails zuzugreifen.
Blättern Sie mit Hilfe der Symbole Vorherige Seite und Nächste Seite der Reihe nach die Fragen durch. Sie können auch zur ersten oder letzten Frage springen.
Wählen Sie Test bearbeiten aus, um auf den Testplan zuzugreifen. Dort können Sie Änderungen am Test vornehmen.
Die Übersichtstabelle zeigt Statistiken für die Frage an. Sie können sich die Beschreibungen für jede Statistik im vorherigen Abschnitt durchlesen.
Der Fragentext und die Antwortmöglichkeiten werden angezeigt. Die Informationen hängen vom Fragentyp ab:
Angezeigte Informationen | Fragentypen |
|---|---|
Anzahl der Teilnehmer, die die einzelnen Antworten ausgewählt haben -UND- Verteilung dieser Antworten auf die Klassenquartile | Multiple-Choice Mehrfachantwort Richtig/Falsch Entweder/Oder Likert-Skala |
Anzahl der Teilnehmer, die die einzelnen Antworten ausgewählt haben | Zuordnen Sortieren Lückentext (mehrere Lücken) |
Anzahl der Teilnehmer, die die Frage richtig oder falsch beantwortet oder übersprungen haben | Berechnung (Formel) Berechnung (numerisch) Lückentext Hotspot Quiz-Bowl |
Nur Fragentext | Essay Dateiantwort Kurzantwort Durcheinander-Satz – enthält auch die Antworten, aus denen die Teilnehmer ausgewählt haben |
Symbollegende
Neben den Fragen werden Symbole angezeigt, um Sie auf mögliche Probleme aufmerksam zu machen.
Überprüfung empfohlen: Wird ausgelöst, wenn die Unterscheidungswerte kleiner als 0,1 sind. Wird auch bei Schwierigkeitswerten über 80 % (die Frage war zu einfach) oder unter 30 % (die Frage war zu schwer) ausgelöst. Überprüfen Sie die Frage, um festzulegen, ob sie überarbeitet werden muss.
Frage hat sich nach der Bereitstellung möglicherweise geändert: Gibt an, dass sich ein Teil der Frage nach der Bereitstellung des Tests geändert hat. Eine Veränderung kann darauf hinweisen, dass die Daten für diese Frage möglicherweise nicht zuverlässig sind. Versuche, die nach der Änderung einer Frage übermittelt wurden, haben möglicherweise von der Änderung profitiert.
Anmerkung
In wiederhergestellten Kursen wird dieser Indikator nicht angezeigt.
Nicht alle Einreichungen wurden bewertet: Erscheint für einen Test mit Fragen, die manuell bewertet werden müssen, z. B. Aufsatzfragen. In einem Test, der eine Essay-Frage mit 50 Teilnehmerversuchen enthält, wird dieser Indikator angezeigt, bis Sie alle 50 Versuche benotet haben. In die Analyse fließen nur Versuche ein, die Sie zum Zeitpunkt der Ausführung des Berichts bereits benotet haben.
(QS) und (RB): Geben Sie an, dass eine Frage aus einem Fragensatz oder einem Zufallsblock stammt. Aufgrund der Bereitstellung von Zufallsfragen ist es möglich, dass die Anzahl der Versuche bei einigen Fragen höher ist als bei anderen.
Mehrere Versuche, Überschreibungen von Fragen und Bearbeitungen in Frage
Bei der Analyse wird mit mehreren Versuchen, Außerkraftsetzungen und anderen gängigen Szenarien wie folgt umgegangen:
Wenn Teilnehmer an einem Test mehrmals teilnehmen, wird der zuletzt übermittelte Versuch als Eingabe für die Analyse verwendet. Beispiel: Für einen Test sind drei Versuche zulässig. Teilnehmer A hat zwei Versuche bereits abgeschlossen und arbeitet gerade am dritten Versuch. Der aktuelle Versuch von Teilnehmer A zählt zu der Anzahl, die unter Versuche in Bearbeitung aufgeführt ist. Keiner der vorherigen Versuche von Teilnehmer A wird in die aktuellen Analysedaten aufgenommen. Sobald Teilnehmer A den dritten Versuch übermittelt, wird dieser in alle folgenden Analysen aufgenommen.
Außerkraftsetzungen im Notencenter haben keine Auswirkungen auf die Analysedaten, da bei der Analyse statistische Daten für Fragen anhand von abgeschlossenen Versuchen der Teilnehmer generiert werden.
Manuell benotete Fragen oder Änderungen am Fragentext, richtige Antworten, Teilantworten oder Punkte werden im Analysebericht nicht automatisch aktualisiert. Führen Sie die Analyse erneut aus, um zu prüfen, ob die Änderungen sich auf die Daten ausgewirkt haben.
Beispiele
Die Elementanalyse kann Ihnen helfen, Fragen für zukünftige Tests zu verbessern. Sie können zudem irreführende oder zweideutige Fragen in einem aktuellen Test korrigieren.
Eine Multiple-Choice-Frage ist zur Überprüfung gekennzeichnet. Die Mehrzahl der Teilnehmer, die dem besten Viertel angehören, entscheidet sich für Antwort B. Die richtige Antwort ist jedoch A. Ihnen fällt auf, dass Sie beim Erstellen der Frage nicht die richtige Antwort gewählt haben. Sie korrigieren dies in der Testfrage und die Änderung wird automatisch berücksichtigt.
Bei einer Multiple-Choice-Frage entscheiden sich ungefähr gleich viele Teilnehmer für die Antworten A, B und C. Prüfen Sie die Antwortoptionen, um festzustellen, ob sie möglicherweise nicht eindeutig sind, ob die Frage zu schwer ist oder ob der Stoff noch nicht behandelt wurde.
Eine Frage wird zur Überprüfung empfohlen, weil sie in die Schwierigkeitskategorie „Schwer“ fällt. Sie stellen fest, dass die Frage schwierig ist, behalten Sie aber, um die Kursziele entsprechend testen zu können.