Fragenanalyse
Die Fragenanalyse liefert Statistiken zur Gesamtleistung, Beurteilungsqualität und zu einzelnen Fragestellungen. Dank dieser Daten können Sie Fragen ermitteln, die sich nicht besonders gut zur Beurteilung der Teilnehmerleistungen eignen. Die Fragenanalyse ist für Bewertungen mit Fragen gedacht. Sie können einen Bericht ausführen, bevor alle eingereichten Aufgaben eingereicht werden, wenn Sie die Qualität Ihrer Fragen überprüfen und Änderungen vornehmen möchten.
Verwendungszwecke für die Fragenanalyse:
Fragen für zukünftige Beurteilungen verbessern oder die Punktzahl bei aktuellen Versuchen anpassen
Beurteilungsergebnisse gemeinsam mit Ihrem Kurs erörtern
Grundlage für Korrekturen oder Nachbesserungen schaffen
Unterricht verbessern
Beispiel:
Anhand der Fragenanalyse haben Sie bemerkt, dass der Großteil der Teilnehmer eine Frage falsch beantwortet hat. Warum fällt die Erfolgsrate so niedrig aus?
Ist die Frage missverständlich formuliert?
Sind die Antwortmöglichkeiten nicht eindeutig genug?
Wurden den Teilnehmer die richtigen Lerninhalte bereitgestellt, um die Frage richtig beantworten zu können?
Wurde der Lerninhalt einfach und unmissverständlich vermittelt?
Anhand Ihrer Entdeckungen können Sie die Fragen verbessern, sodass die Fragen wirklich gezielt das Wissen der Teilnehmer abfragen.
Auf die Analyse einer Prüfung zugreifen
Aus den folgenden Kursbereichen können Sie einen vorherigen Frageanalysebericht ausführen und darauf zugreifen:
Seite Kursinhalt > Beurteilungsmenü
Seite Kursanalyse > Registerkarte Fragenanalyse – wenn in Ihrer Institution Analysen aktiviert sind.
Bewertungsbericht
Greifen Sie auf der Seite Kursinhalt auf das Menü einer Beurteilung zu, und wählen Sie Fragenanalyse aus. Sie können auch das Symbol Analyse in der Navigationsleiste auswählen.
Sie können auch einen Fragenanalysebericht über den Bewertungsbericht ausführen. Öffnen Sie das Menü einer Beurteilung, und wählen Sie Fragenanalyse aus.
Seite „Fragenanalyse“
Auf die Seite Fragenanalyse kann nur über die Navigationsleiste der Seite > Analyse > Kursanalysen > Registerkarte Fragenanalyse zugegriffen werden.
Sie können einen Bericht über eine Bewertung mit Einreichungen und ohne Fragen ausführen, erhalten dann aber einen Berichte ohne nützliche Informationen.
Sie erhalten eine Nachricht, dass der Fragenanalysebericht in Bearbeitung ist, und eine Ee-Mail, wenn der Bericht abgeschlossen ist. Sie können die Seite verlassen, um in anderen Bereichen des Kurses zu arbeiten, und später zurückkehren, um zu sehen, ob der Bericht fertig ist.
Jede Bewertung in Ihrem Kurs wird mit einem der folgenden Status angezeigt:
Bericht wird bearbeitet
Abgeschlossen am {date}
Die Daten sind nicht mehr auf dem neuesten Stand: Die Bewertung verfügt jetzt über mehr Einreichungen, die analysiert werden müssen.
Nicht genügend Daten: Es gibt keine Einreichungen. Bericht ausführen ist deaktiviert.
Keine Fragen in der Bewertung: Die Bewertung enthält keine Fragen oder Einreichungen. Bericht ausführen ist deaktiviert.
Kein Status aufgeführt: Die Bewertung enthält Fragen und Einreichungen, aber Sie haben keinen Bericht erstellt. Bericht ausführen ist aktiviert.
Fehler: Ausführen
Zusammenfassung der Bewertung der Fragenanalyse anzeigen
Nachdem Sie einen Bericht ausgeführt haben, können Sie alle zusammenfassenden Informationen und Details zu jeder Frage einsehen. Wählen Sie die Bewertung auf der Seite „Fragenanalyse“ aus, um die Zusammenfassung anzuzeigen.
Anmerkung
Nur eingereichte Versuche werden in Berechnungen verwendet. Aktuell in Bearbeitung befindliche Versuche werden von der Elementanalyse ignoriert, bis sie eingereicht werden und Sie den Analysebericht erneut ausführen. Automatische Nullen, die für verspätete Arbeiten zugewiesen werden, werden nicht in Berechnungen einbezogen.
Zusammenfassung der Statistik für die einzelnen Beurteilungen:
Durchschnittliche Punktzahl: Die angezeigte Punktzahl ist die durchschnittliche Punktzahl, die für die Bewertung im Bewertungsbericht angegeben ist. Die durchschnittliche Punktzahl kann sich ändern, wenn weitere Versuche eingereicht und bewertet werden.
Mögliche Fragen: Die Gesamtzahl der Fragen in der Bewertung.
Abgeschlossene Versuche: Die Anzahl der eingereichten Bewertungen.
Durchschnittlicher Zeitaufwand: Die durchschnittliche Abschlusszeit für alle eingereichten Versuche.
Führen Sie einen Bericht erneut aus oder bearbeiten Sie die Beurteiung, um eine Änderung der Fragen vorzunehmen.
Verwenden Sie die Grafiken, um die Tabelle mit Fragen zu filtern. Treffen Sie in beiden Grafiken eine Auswahl, um die Suche zu verfeinern. Wenn Sie keine Auswahl treffen, werden alle Fragen unten auf der Seite in der Tabelle angezeigt.
Diskriminierung: Gibt an, wie gut bei den Fragen zwischen Teilnehmern, die das Thema kennen, und solchen, die das Thema nicht kennen, unterschieden wird.
Zeigt die Anzahl der Fragen, die in diese Kategorien fallen:
Gutem (mehr als 0,3)
Fai (zwischen 0,1 und 0,3)
Minder (weniger als 0,1) Kategorien
Kann nicht berechnet werden: Der Schwierigkeitsgrad einer Frage beträgt 100 % oder alle Teilnehmer haben bei einer Frage die gleiche Punktzahl erhalten.
Fragen mit Diskriminanzwerten in den Kategorien Gut und Befriedigend unterscheiden zwischen Teilnehmern mit höherem und niedrigerem Wissensstand.
Es wird empfohlen, Fragen der Kategorie Mangelhaft zu überprüfen.
Schwierigkeit: Prozentsatz der Teilnehmer, die die Fragen richtig beantwortet haben
Zeigt die Anzahl der Fragen, die in diese Kategorien fallen:
Einfach (mehr als 80 %)
Mittel (zwischen 30 % und 80 %)
Schwer (weniger als 30 %)
Es wird empfohlen, Fragen in den Kategorien Einfach oder Schwer zu überprüfen.
Wählen Sie eine Überschrift, um die Fragen zu sortieren. Sortieren Sie beispielsweise die Bewertung Spalte, sodass Fragen, die überprüft werden müssen, zuerst angezeigt werden.
Filter löschen: Löschen Sie die Filter, die Sie in den Diagrammen ausgewählt haben, und zeigen Sie alle Fragen in der Tabelle an.
Laden Sie den Bericht zur Fragenanalyse herunter.
Über den Abschnitt "Fragen" in der Zusammenfassung der Bewertung
Die Fragentabelle liefert Analysestatistiken für die einzelnen Fragen in der Beurteilung. Nachdem Sie die Grafik zum Filtern der Fragenntabelle verwendet haben, können Sie die Ergebnisse anzeigen und sortieren.
Im Allgemeinen fallen gute Fragen in die folgenden Kategorien:
Schwierigkeit: Mittel (30 % bis 80 %)
Diskriminanzwert: Gut oder Befriedigend (über 0,1)
Im Allgemeinen fallen Fragen, für die eine Überprüfung empfohlen wird, in die folgenden Kategorien: Diese sind möglicherweise von geringer Qualität oder werden falsch beantwortet.
Schwierigkeit: Einfach (> 80 %) oder Schwer (< 30 %)
Diskriminanzwert: Mangelhaft (< 0,1)
Zur Erinnerung: Wenn Sie keine Auswahl treffen, werden alle Fragen in der Tabelle unten auf der Seite angezeigt.
Um eine bestimmte Frage zu untersuchen, wählen Sie den Titel aus und überprüfen Sie die Fragendetails.
In der Tabelle werden Informationen für jede einzelne Frage angezeigt:
Überprüfung erforderlich: Wird ausgelöst, wenn die Diskriminierungswerte kleiner als 0,1 sind. Wird auch bei Schwierigkeitswerten über 80 % (die Frage war zu einfach) oder unter 30 % (die Frage war zu schwer) ausgelöst. Überprüfen Sie die Frage, um festzulegen, ob sie überarbeitet werden muss.
Frage geändert: Zeigt Ja an, wenn Sie einen Bericht ausführen, dann einen Teil einer Frage ändern und den Bericht erneut ausführen. Ja wird auch dann angezeigt, wenn Sie die Frage beim Erstellen der Beurteilung aus einer anderen Beurteilung kopiert haben.
Anmerkung
Wenn in der Spalte „Frage geändert“ für eine Frage „Ja“ angezeigt wird, wird das „Ja“ beim Archivieren und Wiederherstellen des Kurses nicht übernommen.
Diskriminanz: Zeigt, wie gut eine Frage zwischen solchen Teilnehmern, die das Thema kennen, und solchen, die es nicht kennen, unterscheidet. Eine Frage ist ein gutes Diskriminanzmerkmal, wenn Teilnehmer, die eine Frage richtig beantworten, auch in der gesamten Beurteilung gut abschneiden. Die Werte können zwischen -1,0 und +1,0 liegen. Eine Frage wird zur Überprüfung markiert, wenn ihr Unterscheidungswert kleiner als 0,1 oder negativ ist. Diskriminanzwerte können nicht berechnet werden, wenn der Schwierigkeitswert der Frage bei 100 % liegt oder alle Teilnehmer bei einer Frage dasselbe Ergebnis erzielen.
Diskriminanzwerte werden mit dem Pearson-Korrelationskoeffizient berechnet. X steht für das Ergebnis der einzelnen Teilnehmer bei einer Frage und Y steht für das Ergebnis der einzelnen Teilnehmer im Test.
Bei den folgenden Variablen handelt es sich um das Standardergebnis sowie den Mittelwert und die Standardabweichung einer Stichprobe:
Schwierigkeit: Der Prozentsatz der Teilnehmer, die die Frage richtig beantwortet haben. Der Schwierigkeitsgrad wird zusammen mit seiner Kategorie aufgeführt: Leicht (mehr als 80 %), Mittel (30 % bis 80 %) und Schwer (weniger als 30 %). Die Schwierigkeitswerte können zwischen 0% und 100% liegen. EIN hoher Prozentsatz weist darauf hin, dass die Frage einfach war. Fragen der Kategorien "Einfach" oder "Schwer" werden zur Überprüfung gekennzeichnet.
Mit Schwierigkeitsstufen, die etwas höher liegen als in der Mitte zwischen Zufalls- und perfekten Ergebnissen, lassen sich Teilnehmer, die das getestete Material kennen, besser von denen unterscheiden, die es nicht kennen. Hohe Schwierigkeitswerte sind nicht zwangsläufig eine Garantie für hohe Diskriminanzstufen.
Bewertete Versuche: Anzahl der Frageversuche, bei denen die Bewertung abgeschlossen ist. Eine höhere Zahl für benotete Versuche führt zu zuverlässiger berechneten Statistiken.
Durchschnittliche Punktzahl: Die angezeigte Punktzahl ist die durchschnittliche Punktzahl, die für die Bewertung im Bewertungsbericht gemeldet wird. Die durchschnittliche Punktzahl kann sich ändern, nachdem alle Versuche benotet wurden.
Details zu einzelnen Fragen anzeigen
Sie können Fragen untersuchen, die zur Überprüfung gekennzeichnet sind, und die Teilnehmerleistung anzeigen. Wählen Sie in der Fragentabelle „Fragenanalyse“ einen Titel der verknüpften Frage aus, um auf die Zusammenfassung der Frage zuzugreifen.
Wenn Sie auf eine Frage zugreifen, verwenden Sie das Menü des Frage Titels, um auf jede Frage im Test zuzugreifen. Sie können auf beiden Seiten der Seite sequenziell zu anderen Fragen navigieren.
Die Übersichtstabelle zeigt Statistiken für die Frage an.
Wählen Sie Beurteilung bearbeiten um auf die Beurteilung zuzugreifen und Änderungen vorzunehmen.
Der Fragentext und die Antwortmöglichkeiten werden angezeigt. Sie können sehen, wie viele Teilnehmer für jede Antwort Auswahl ausgewählt wurden oder wie der Prozentwert richtig beantwortet wurde. Bei einer Zuordnungs Frage wird Ihnen beispielsweise angezeigt, wie viel Prozent der Teilnehmer zu den Paaren richtig abgestimmt haben. Nur der Fragetext wird für Essay-Fragen angezeigt.
Informationen zu mehreren Versuchen, Überschreiben von Fragen und Bearbeiten von Fragen
Die Analyse bearbeitet einige gängige Szenarien wie folgt:
Wenn Teilnehmer an einer Beurteilung mehrmals teilnehmen, wird der zuletzt übermittelte Versuch als Eingabe für die Analyse verwendet. Sobald ein Teilnehmer einen weiteren Versuch übermittelt, werden die nachfolgenden Analysen den neuesten Versuch enthalten.
Außerkraftsetzungen von Bewertungsberichten haben keine Auswirkungen auf die Analysedaten, da bei der Analyse statistische Daten für Fragen anhand von abgeschlossenen Versuchen der Teilnehmer generiert werden.
Wenn Sie Änderungen an einer Frage vornehmen oder Fragen manuell benoten, müssen Sie die Analyse erneut ausführen, um zu prüfen, ob die Änderungen die Daten beeinflussen.
Beispiele
Die Fragenanalyse kann Ihnen helfen, Fragen für zukünftige Beurteilungen zu verbessern. Sie können zudem irreführende oder zweideutige Fragen in einer aktuellen Beurteilung korrigieren.
Bei einer Multiple-Choice-Frage entscheiden sich ungefähr gleich viele Teilnehmer für die Antworten A, B und C. Prüfen Sie die Antwortoptionen, um festzustellen, ob sie möglicherweise nicht eindeutig sind, ob die Frage zu schwer ist oder ob der Stoff noch nicht behandelt wurde.
Eine Frage wird zur Überprüfung empfohlen, weil sie in die Schwierigkeitskategorie „Schwer“ fällt. Sie stellen fest, dass die Frage schwierig ist, behalten Sie aber, um die Kursziele entsprechend bewerten zu können.
Eine Multiple-Choice-Frage ist zur Überprüfung gekennzeichnet. Die Mehrzahl der Teilnehmer, die dem besten Viertel angehören, entscheidet sich für Antwort B. Die richtige Antwort ist jedoch A. Ihnen fällt auf, dass Sie beim Erstellen der Frage nicht die richtige Antwort gewählt haben. Sie korrigieren dies in der Testfrage und die Änderung wird automatisch berücksichtigt.
Bewertungsergebnisse herunterladen
Möglicherweise müssen Sie die Testergebnisse für die externe Analyse und Auswertung herunterladen. Externe Analysen sind für die Kursqualität und Bewertungen wichtig. Darüber hinaus wünschen sich Institutionen häufig zusammengestellte Bewertungsdaten für Akkreditierungs- und Programmüberprüfungsaktivitäten.
Sie können die Prüfungsergebnisse aus dem Bewertungsbericht herunterladen:
Wählen Sie in der Notenansicht die Bewertung aus, um das Optionsmenü anzuzeigen, und wählen Sie Ergebnisse herunterladen aus.
Wählen Sie in der Ansicht „Benotbare Elemente“ das Optionsmenü der Bewertung aus und wählen Sie Ergebnisse herunterladen aus.
Beim Herunterladen der Ergebnisse stehen mehrere Optionen zur Verfügung.
Dateityp: Excel-Tabelle (.xls) oder kommagetrennter Wert (.csv). Der Standardwert ist .xls.
Format der Ergebnisse: Nach Teilnehmer oder nach Frage und Teilnehmer. Die Standardeinstellung ist „nach Teilnehmer“.
Versuche zum Herunterladen: Entweder alle Versuche oder nur Versuche, die in die Bewertungsberechnung einbezogen werden. Welche Versuche in die Bewertungsberechnung einbezogen werden sollen, können Sie in den Einstellungen Bewertungsversuche festlegen. Standardmäßig werden nur Versuche heruntergeladen, die für die Berechnung verwendet werden.
Der heruntergeladene Bericht enthält folgende Informationen:
Name des Teilnehmers
Benutzername
Fragen
Antworten
Bewertungsstatus
Alle Inhalte, die der Teilnehmer bei der Einreichung mitgeschickt hat
Beispiel für das Ergebnisformat Nach Teilnehmer herunterladen:
Beispiel für das Ergebnisformat Nach Teilnehmer und Frage herunterladen:
Wichtig
Wenn Sie die anonyme Bewertung verwenden, werden bei den heruntergeladenen Ergebnissen Teilnehmer- und Ergebnisdetails ausgeschlossen, bis die Bewertungen für alle Teilnehmer veröffentlicht wurden.
Video zum Herunterladen von Bewertungsergebnissen ansehen
Das folgende kommentierte Video bietet eine visuelle und auditive Darstellung einiger der auf dieser Seite enthaltenen Informationen. Für eine detaillierte Beschreibung der im Video dargestellten Elemente öffnen Sie das Video auf YouTube, navigieren Sie zu Weitere Aktionen, und wählen Sie Transkript öffnen aus.