ORIGINAL Itemanalyse
De tool Itemanalyse biedt statistieken over de algehele prestaties, toetskwaliteit en afzonderlijke vragen. Je kunt zo snel zien welke vragen mogelijk geen goed beeld geven van de prestaties van studenten.
Toepassingen voor itemanalyse:
Vragen voor toekomstige toetsen verbeteren of het aantal punten voor bestaande pogingen aanpassen
Toetsresultaten bespreken met de groep
Een basis voor extra geleiding
Instructies in het klaslokaal verbeteren
Voorbeeld:
Als je de itemanalyse gaat bekijken, kom je tot de conclusie dat de meerderheid van de studenten één vraag fout heeft beantwoord. Hoe komt dit?
Is de vraag onduidelijk geformuleerd?
Zijn de antwoorden dubbelzinnig?
Hebben studenten wel de juiste leerstof aangeboden gekregen om deze vraag goed te kunnen beantwoorden?
Was het materiaal goed toegankelijk en duidelijk?
Op basis van je bevindingen kun je de vraag verbeteren om er zeker van te zijn dat deze een goed hulpmiddel is om vast te stellen wat studenten wel en niet weten.
Een artikelanalyse uitvoeren op een toets.
Je kunt een itemanalyse uitvoeren voor een gepubliceerde toets met verzonden pogingen, maar niet voor een enquête.
De toets kan zijn gemaakt met één of meerdere pogingen en kan deze onderdelen bevatten: vragensets, blokken met willekeurige vragen, vragen die automatisch worden beoordeeld en vragen die handmatig moeten worden beoordeeld. Voor toetsen met handmatig beoordeelde vragen waaraan nog geen scores zijn toegewezen, worden alleen voor de beoordeelde vragen statistieken gegenereerd. Nadat je de vragen handmatig hebt beoordeeld, voer je de itemanalyse opnieuw uit. Er worden ook statistieken gegenereerd voor beoordeelde vragen en de statistieken van de toets worden bijgewerkt.
Voor optimale resultaten voer je een analyse uit op een toets nadat studenten alle pogingen hebben ingediend en je een cijfer hebt toegekend aan alle handmatig beoordeelde vragen. Houd rekening met het feit dat de statistieken worden beïnvloed door het aantal toetspogingen, het type studenten dat de toets maakt en toevalsfouten.
Rollen met beoordelingsbevoegdheden (cursusleiders, beoordelaars en onderwijsassistenten) hebben toegang tot itemanalyse op drie locaties in de werkstroom voor toetsen.
Een toets in een inhoudsgebied
Een toets die wordt vermeld op de pagina Toetsen
De kolom in Grade Center van een toets
Open het menu van de toets en selecteer Itemanalyse.
Selecteer een toets in het menu Toets selecteren. Alleen in gebruik genomen toetsen worden opgelijst.
Selecteer Uitvoeren.
Selecteer de koppeling van het nieuwe rapport bij Beschikbare analyse of selecteer Analyse weergevenin de statusbevestiging boven aan de pagina.
Opmerking
Je kunt een eerder uitgevoerde analyse openen via het gedeelte Beschikbare analyse.
Toetsoverzicht op de pagina Itemanalyse
Het toetsoverzicht biedt gegevens van de toets als geheel.
Via Toets bewerken krijg je toegang tot het toetsbord, waar je de toets kunt wijzigen.
Toetsstatistieken weergeven:
Mogelijke punten: Dit is het totale aantal punten dat je voor de toets kunt halen.
Mogelijke vragen: Het totale aantal vragen dat je in de toets kunt verwachten.
Pogingen in uitvoering: het aantal leerlingen dat nu bezig is met de toets en deze nog niet heeft ingediend.
Voltooide pogingen: het aantal keer dat je een test hebt ingediend.
Gemiddelde cijfer: Scores met een sterretje laten zien dat sommige pogingen nog niet beoordeeld zijn en dat je gemiddelde cijfer nog kan veranderen als alle pogingen beoordeeld zijn. De score die hier wordt weergegeven, is de gemiddelde score van de toets in Grade Center.
Gemiddelde tijd: dit is hoe lang het gemiddeld duurt om alle ingezonden pogingen te voltooien.
Discriminatie : Geeft het aantal vragen weer dat in de categorieën Goed (groter dan 0,3), Redelijk (tussen 0,1 en 0,3) en Slecht (kleiner dan 0,1) valt. Een discriminantwaarde wordt weergegeven als Kan niet berekenen wanneer de moeilijkheidsscore van de vraag 100% is of wanneer alle studenten dezelfde score krijgen voor een vraag. Vragen met discriminantwaarden in de categorieën Goed en Redelijk zijn beter geschikt om onderscheid te maken tussen studenten met een hoger en lager kennisniveau. Vragen in de categorie Slecht moeten opnieuw worden bekeken en waarschijnlijk worden aangepast.
Moeilijkheidsgraad : Geeft het aantal vragen weer dat in de categorieën Gemakkelijk (meer dan 80%), Gemiddeld (tussen 30% en 80%) en Moeilijk (minder dan 30%) valt. Moeilijkheid geeft het percentage studenten aan dat de vraag juist heeft beantwoord. Vragen in de categorie Eenvoudig of Moeilijk moeten opnieuw worden bekeken en waarschijnlijk worden aangepast. Ze worden aangeduid door een rode cirkel.
Opmerking
Tijdens een itemanalyse worden alleen beoordeelde pogingen gebruikt in de berekeningen van de statistieken. Als er nog pogingen worden uitgevoerd, worden deze genegeerd totdat ze zijn verzonden en je opnieuw een itemanalyse uitvoert.
Vraagstatistieken tabel op de Itemanalyse pagina
De tabel met vraagstatistieken bevat de statistieken van de uitgevoerde itemanalyse voor alle vragen in de toets. Vragen die moeten worden nagekeken, worden aangeduid met rode cirkels zodat je ze in één oogopslag kunt zien.
Over het algemeen hebben goede vragen de volgende statistieken:
Een moeilijkheid uit de categorie Normaal (30% tot 80%)
Een goede of redelijke discriminantie (groter dan 0,1)
Over het algemeen hebben goede vragen de volgende statistieken: Deze vragen zijn niet goed geformuleerd of onjuist beoordeeld.
Een moeilijkheid uit de categorie Eenvoudig ( > 80%) of Moeilijk ( < 30%).
Een slechte ( < 0,1) discriminantwaarde.
Je kunt de tabel met vragen filteren op Vraagtype, Discriminant en Moeilijkheid.
Als je een bepaalde vraag wilt bekijken, selecteer je de titel en controleer je de pagina Vraagdetails.
In de tabel worden statistieken weergegeven voor iedere vraag:
Discriminatie : Geeft aan in hoeverre een vraag onderscheid maakt tussen studenten die de leerstof kennen en studenten die dat niet doen. Een vraag is een goede discriminant wanneer studenten die de vraag goed hebben beantwoord, de toets als geheel goed hebben gemaakt. Waarden lopen uiteen van -1,0 tot +1,0. Een vraag wordt aangemerkt voor beoordeling als de discriminatiewaarde lager dan 0,1 is of negatief uitvalt. Er kan geen discriminantwaarde worden berekenend wanneer de moeilijkheidsscore van de vraag 100% is of wanneer alle studenten dezelfde score krijgen voor een vraag.
Discriminantwaarden worden berekend aan de hand van de Pearson-correlatiecoëfficiënt. X stelt de scores van iedere student op een vraag voor en Y stelt de scores van iedere student op de toets voor.
Deze variabelen zijn respectievelijk de standaardscore, voorbeeldgemiddelde en voorbeeldstandaarddeviatie:
Moeilijkheidsgraad: Het percentage studenten dat de vraag correct heeft beantwoord. De moeilijkheidsgraad staat aangegeven naast de categorie: Gemakkelijk (meer dan 80%), Gemiddeld (30% tot 80%) en Moeilijk (minder dan 30%). De moeilijkheidswaarden kunnen uiteenlopen van 0% tot 100%, waarbij een hoog percentage aangeeft dat het een eenvoudige vraag was. Vragen in de categorie Eenvoudig of Moeilijk zijn gemarkeerd voor controle.
Moeilijkheidsgraden die iets hoger dan het gemiddelde zijn tussen geluk en perfecte scores, kunnen studenten die het getoetste materiaal kennen beter differentiëren van diegenen die dat niet kennen. Hoge moeilijkheidswaarden resulteren niet altijd in hogere discriminanten.
Beoordeelde pogingen: Het aantal keer dat je een vraag hebt geprobeerd en de beoordeling is afgerond. Hoe hoger de waarde voor deze statistiek, des te nauwkeuriger de berekende statistieken.
Gemiddelde cijfer: Scores met een sterretje laten zien dat sommige pogingen nog niet beoordeeld zijn en dat je gemiddelde cijfer nog kan veranderen als alle pogingen beoordeeld zijn. De score die hier wordt weergegeven, is de gemiddelde score van de toets in Grade Center.
Standaarddeviatie: Dit geeft aan hoeveel de scores gemiddeld afwijken van het gemiddelde. Als de scores dicht bij elkaar liggen, en de meeste waarden niet veel afwijken van het gemiddelde, is de standaardafwijking klein. Als de gegevensset wijd is verspreid, met waarden ver van het gemiddelde, is de standaardafwijking groter.
Standaardfout: Een schatting van hoeveel de score van een student kan variëren door toeval. Hoe kleiner de standaardfout, des te nauwkeuriger de statistieken die worden verkregen met de toetsvraag.
Toon de details van één vraag.
Je kunt vragen onderzoeken die voor evaluatie zijn gemarkeerd en de prestaties van studenten bekijken.
Schuif op de pagina Itemanalyse naar de statistiekentabel van vragen. Selecteer een gekoppelde vraagtitel om de pagina Vraagdetails weer te geven.
Gebruik de pictogrammen Vorige pagina en Volgende pagina om per pagina door de vragen te bladeren. Je kunt ook meteen naar de eerste of laatste vraag gaan.
Selecteer Toets bewerken om het toetsbord weer te geven, zodat je de toets kunt wijzigen.
De overzichtstabel bevat statistieken voor de vraag. Je kunt de beschrijvingen voor de verschillende statistieken lezen in de voorgaande sectie.
De tekst en antwoordmogelijkheden van de vraag worden weergegeven. De informatie verschilt naargelang het vraagtype:
Type verstrekte informatie | Vraagtypen |
|---|---|
Aantal studenten dat een bepaalde antwoordmogelijkheid heeft gekozen -EN- Verdeel deze antwoorden over de verschillende kwartielen van de klas. | Meerkeuzevragen Meerdere antwoordmogelijkheden Waar/niet waar Of/of Opinieschaal/Likert |
Aantal studenten dat een bepaalde antwoordmogelijkheid heeft gekozen | Combineren Sorteren Meervoudige invuloefening |
Aantal studenten dat de vraag juist heeft beantwoord, fout heeft beantwoord of heeft overgeslagen | Berekende formule Berekende numerieke waarde Invuloefening Hotspot Vragenpakket |
Alleen vraagtekst | Open vraag Bestandsantwoord Kort antwoord Door elkaar gegooide zin - bevat ook de antwoorden waaruit de studenten hebben gekozen |
Legenda van symbolen
Naast de vragen worden symbolen weergegeven om je te waarschuwen voor zaken die mogelijk aandacht behoeven.
Aanbevolen beoordeling: Wordt geactiveerd als de discriminatiewaarden lager zijn dan 0,1. of moeilijkheidswaarden groter dan 80% (vraag te gemakkelijk) of kleiner dan 30% (vraag te moeilijk). Bekijk de vraag en bepaal of deze moet worden aangepast.
De vraag kan gewijzigd zijn na implementatie: dit betekent dat een deel van de vraag is aangepast nadat de toets is ingevoerd. Een wijziging kan betekenen dat de gegevens voor die vraag niet betrouwbaar zijn. Pogingen die zijn verzonden nadat de vraag werd gewijzigd, kunnen baat hebben bij de wijziging.
Opmerking
Dit symbool wordt niet weergegeven voor herstelde cursussen.
Niet alle inzendingen zijn al beoordeeld: dit zie je bij een toets met vragen die handmatig nagekeken moeten worden, zoals open vragen. In een toets met een open vraag die door 50 studenten is beantwoord, wordt deze indicator weergegeven totdat je alle 50 pogingen hebt beoordeeld. De tool Itemanalyse verwerkt pogingen die zijn beoordeeld op het moment dat je het rapport uitvoert.
(QS) en (RB): Laat zien dat een vraag uit een set vragen of een willekeurig blok komt. Als vragen in willekeurige volgorde worden aangeboden, is het mogelijk dat sommige vragen meer pogingen hebben dan andere vragen.
Meerdere pogingen, genegeerde vragen en bewerkte vragen
De tool itemanalyse verwerkt meerdere pogingen, genegeerde vragen, bewerkte vragen en andere veelvoorkomende scenario's op deze manieren:
Wanneer studenten een toets meerdere keren maken, wordt de laatst verzonden poging gebruikt als input voor de itemanalyse. Voor een toets zijn bijvoorbeeld drie pogingen toegestaan en student A heeft twee pogingen verzonden, en is bezig met een derde poging. De huidige poging van Student A telt dan mee voor het aantal dat wordt vermeld bij Pogingen in uitvoering. Geen van de eerdere pogingen van Student A worden opgenomen in de huidige analysegegevens. Zodra Student A de derde poging verzendt, wordt de poging opgenomen in volgende analyses.
Het vervangen van cijfers in Grade Center heeft geen invloed op de analysegegevens omdat de analyse statistische gegevens genereert voor vragen op basis van voltooide pogingen van studenten.
Handmatig beoordeelde vragen of wijzigingen aan de vraagtekst, juiste antwoordkeuze, deelpunten of punten worden niet automatisch bijgewerkt in het analyserapport. Voer de analyse opnieuw uit om te zien of de wijzigingen invloed hebben op de gegevens.
Voorbeelden
Met itemanalyse kun je vragen verbeteren voor toekomstige beheerders van toetsen of misleidende of onduidelijke vragen in een actuele test corrigeren.
Een meerkeuzevraag is gemarkeerd voor evaluatie. Meer studenten uit de bovenste 25% hebben antwoord B gekozen, terwijl antwoord A het juiste antwoord is. Je ziet dat je niet het juiste antwoord hebt gekozen tijdens het maken van de vraag. Je past de vraag van de toets aan en er wordt opnieuw automatisch beoordeeld.
In een meerkeuzevraag hebben evenveel studenten gekozen voor A, B en C. Controleer de antwoordmogelijkheden om te kijken of deze misschien te veel op elkaar lijken, de vraag te moeilijk is of de stof niet is behandeld.
Een vraag wordt gemarkeerd voor controle omdat deze in de categorie moeilijk valt. Je komt tot de conclusie dat het een moeilijke vraag is, maar laat de vraag staan om de doelen van de cursus afdoende te testen.