Vragenanalyse
De tool vragenanalyse biedt statistieken over de algehele prestaties, beoordelingskwaliteit en afzonderlijke vragen. Je kunt zo snel zien welke vragen mogelijk geen goed beeld geven van de prestaties van studenten. Vraaganalyse is voor assessments met vragen. Je kunt een rapport maken voordat alle inzendingen binnen zijn als je de kwaliteit van je vragen wilt controleren en wijzigingen wilt maken.
Toepassingen voor vragenanalyse:
Vragen voor toekomstige beoordelingen verbeteren of het aantal punten voor bestaande pogingen aanpassen
Beoordelingsresultaten bespreken met de groep
Een basis voor extra geleiding
Instructies in het klaslokaal verbeteren
Voorbeeld:
Na het bekijken van de vragenanalyse, kom je tot de conclusie dat de meerderheid van de studenten één vraag fout heeft beantwoord. Hoe komt dit?
Is de vraag onduidelijk geformuleerd?
Zijn de antwoorden dubbelzinnig?
Hebben studenten wel de juiste leerstof aangeboden gekregen om deze vraag goed te kunnen beantwoorden?
Was het materiaal goed toegankelijk en duidelijk?
Op basis van je bevindingen kun je de vraag verbeteren om er zeker van te zijn dat deze een goed hulpmiddel is om vast te stellen wat studenten wel en niet weten.
Een beoordelingsanalyse openen
Je kunt een vorige vragenanalyse uitvoeren en openen vanuit deze cursusgebieden:
Cursusinhoud-pagina en het menu van een beoordeling
Cursusanalyse-pagina en het tabblad Vragenanalyse als je instelling analyse heeft ingeschakeld
Cijferlijstcijferlijst
Open op de pagina Cursusinhoud het menu van een beoordeling en selecteer Vragenanalyse. Je kunt ook het pictogram Analyse selecteren in de navigatiebalk.
Je kunt ook een vragenanalyserapport uitvoeren vanuit de cijferlijst. Open het menu van een beoordeling en selecteer Vragenanalyse.
De pagina Vragenanalyse
De pagina Vragenanalyse is alleen te openen vanuit de navigatiebalk en de pagina Analyse, Cursusanalyse en dan het tabblad Vragenanalyse.
Je kunt een rapport maken van een beoordeling met inzendingen en geen vragen, maar dan zul je een rapport ontvangen zonder bruikbare informatie.
Je ontvangt een bericht dat het vragenanalyserapport wordt uitgevoerd en een e-mail wanneer het rapport is voltooid. Je kunt de pagina verlaten om te werken in andere gebieden van je cursus en later terugkomen om te kijken of het rapport klaar is.
Elke beoordeling in je cursus krijgt een van deze statussen:
Rapport wordt gemaakt
Voltooid op {datum}
Gegevens niet meer up-to-date: Assessment heeft nu meer inzendingen om te analyseren.
Niet genoeg gegevens: Er zijn geen inzendingen. Rapport maken is uitgeschakeld.
Geen vragen in de beoordeling: Beoordeling heeft geen vragen of inzendingen. Rapport maken is uitgeschakeld.
Geen status vermeld: Beoordeling bevat vragen en inzendingen, maar u hebt geen rapport uitgevoerd. Rapport maken is ingeschakeld.
Fout: Uitvoeren
Bekijk de samenvatting van de vraaganalyse
Nadat je een rapport hebt gemaakt, kun je overzichtsinformatie en details over elke vraag bekijken. Selecteer de beoordeling op de pagina Vragenanalyse om het overzicht te bekijken.
Opmerking
Alleen ingediende pogingen worden gebruikt in berekeningen. Als er nog pogingen worden uitgevoerd, worden deze genegeerd totdat ze zijn verzonden en je opnieuw een itemanalyse uitvoert. Automatische nullen toegekend aan te laat ingeleverd werk worden niet meegenomen in de berekeningen.
Samenvatting van de statistieken voor individuele beoordeling:
Gemiddelde score: De getoonde score is de gemiddelde score die voor de beoordeling in de cijferlijst is gerapporteerd. De gemiddelde score kan veranderen als er meer pogingen worden ingezonden en beoordeeld.
Mogelijke vragen: Het totaal aantal vragen in de toetsing.
Voltooide pogingen: Het aantal ingeleverde beoordelingen.
Gemiddelde bestede tijd: de gemiddelde voltooiingstijd voor alle ingediende pogingen.
Voer het rapport opnieuw uit of pas de beoordeling aan om de vragen te wijzigen.
Gebruik de grafieken om de tabel met vragen te filteren. Maak een selectie in beide grafieken om je zoekopdracht te verfijnen. Als je geen selecties maakt, verschijnen alle vragen in de tabel onderaan de pagina.
Discriminatie: Geeft aan hoe goed vragen onderscheid maken tussen Studenten die het onderwerp kennen en Studenten die dat niet weten.
Laat het aantal vragen zien in deze categorieën:
Goed (groter dan 0,3)
Redelijk (tussen 0,1 en 0,3)
Slecht (minder dan 0,1)
Kan niet rekenen: De moeilijkheidsgraad van een vraag is 100% of alle Students hebben dezelfde score op een vraag gekregen.
Vragen met discriminantwaarden in de categorieën Goed en Redelijk zijn geschikt om onderscheid te maken tussen studenten met een hoger en lager kennisniveau.
Vragen in de categorie Slecht moeten opnieuw worden bekeken en waarschijnlijk worden aangepast.
Moeilijkheidsgraad: Percentage Studenten dat de vragen goed heeft beantwoord
Laat het aantal vragen zien in deze categorieën:
Eenvoudig (groter dan 80%)
Gemiddeld (tussen 30% en 80%)
Moeilijk (minder dan 30%)
Vragen in de categorie Eenvoudig of Moeilijk moeten opnieuw worden bekeken en waarschijnlijk worden aangepast.
Selecteer een kop om de vragen te sorteren. Sorteer bijvoorbeeld de kolom Review zodat de vragen die nagekeken moeten worden eerst verschijnen.
Filters wissen: Wis de filters die u in de grafieken hebt geselecteerd en geef alle vragen in de tabel weer.
Download het vraaganalyserapport.
Over de vragensectie in het assessmentoverzicht
De vragentabel bevat de statistieken van de analyse voor elke vraag in de beoordeling. Na het gebruiken van de grafiek om de vragentabel te filteren, kun je de resultaten bekijken en sorteren.
Over het algemeen hebben goede vragen de volgende statistieken:
Een moeilijkheid uit de categorie Normaal (30% tot 80%)
Een goede of redelijke discriminantie (groter dan 0,1)
Over het algemeen hebben goede vragen de volgende statistieken: Deze vragen zijn niet goed geformuleerd of onjuist beoordeeld.
Een moeilijkheid uit de categorie Eenvoudig ( > 80%) of Moeilijk ( < 30%).
Een slechte ( < 0,1) discriminantwaarde.
Herinnering: Als u geen selecties maakt, worden alle vragen weergegeven in de tabel onder aan de pagina.
Als u een specifieke vraag wilt onderzoeken, selecteert u de titel en bekijkt u de details van de vraag.
In de tabel wordt informatie weergegeven voor iedere vraag:
Moet worden beoordeeld: Geactiveerd wanneer discriminatiewaarden lager zijn dan 0,1. En wordt ook toegevoegd wanneer moeilijkheidswaarden groter dan 80% (vraag te gemakkelijk) of kleiner dan 30% (vraag te moeilijk) zijn. Bekijk de vraag en bepaal of deze moet worden aangepast.
Vraag gewijzigd: Geeft Ja weer als u een rapport uitvoert, vervolgens een deel van een vraag wijzigt en het rapport opnieuw uitvoert. Ja verschijnt ook als je de vraag hebt gekopieerd van een andere beoordeling bij het maken van de beoordeling.
Opmerking
Als Ja verschijnt in de kolom Vraag gewijzigd voor een vraag, blijft deze Ja niet staan wanneer je de cursus archiveert of herstelt.
Discriminatie: Geeft aan in hoeverre een vraag onderscheid maakt tussen studenten die de leerstof kennen en studenten die dat niet doen. Een vraag is een goede discriminant wanneer studenten die de vraag goed hebben beantwoord, de beoordeling als geheel goed hebben gemaakt. Waarden kunnen variëren van -1,0 tot +1,0. Een vraag wordt gemarkeerd voor beoordeling als de discriminatiewaarde lager is dan 0,1 of negatief is. Er kan geen discriminantwaarde worden berekenend wanneer de moeilijkheidsscore van de vraag 100% is of wanneer alle studenten dezelfde score krijgen voor een vraag.
Discriminantwaarden worden berekend aan de hand van de Pearson-correlatiecoëfficiënt. X stelt de scores van iedere student op een vraag voor en Y stelt de scores van iedere student op de beoordeling voor.
Deze variabelen zijn respectievelijk de standaardscore, voorbeeldgemiddelde en voorbeeldstandaarddeviatie:
Moeilijkheidsgraad: Het percentage studenten dat de vraag correct heeft beantwoord. De moeilijkheidsgraad staat aangegeven naast de categorie: Gemakkelijk (meer dan 80%), Gemiddeld (30% tot 80%) en Moeilijk (minder dan 30%). Moeilijkheidswaarden kunnen uiteenlopen van 0% tot 100%. Een hoog percentage geeft aan dat het een eenvoudige vraag was. Vragen in de categorie Eenvoudig of Moeilijk zijn gemarkeerd voor controle.
Moeilijkheidsgraden die iets hoger dan het gemiddelde zijn tussen geluk en perfecte scores, kunnen studenten die het getoetste materiaal kennen beter differentiëren van diegenen die dat niet kennen. Hoge moeilijkheidswaarden resulteren niet altijd in hogere discriminanten.
Beoordeelde pogingen: Het aantal keer dat je een vraag hebt geprobeerd en de beoordeling is afgerond. Hoe hoger de waarde voor deze statistiek, des te nauwkeuriger de berekende statistieken.
Gemiddelde score: De score die wordt weergegeven, is de gemiddelde score die is gerapporteerd voor de beoordeling in de cijferlijst. De gemiddelde score kan veranderen nadat alle pogingen zijn beoordeeld.
Vraagdetails bekijken voor één vraag
Je kunt vragen onderzoeken die voor evaluatie zijn gemarkeerd en de prestaties van studenten bekijken. Selecteer een gekoppelde vraagtitel in de vragentabel Vraaganalyse om de samenvatting van een vraag te openen.
Nadat je een vraag opent, gebruik je het menu naast de vraagtitel om een vraag in de beoordeling te openen. Je kunt achtereenvolgend naar andere vragen gaan via beide kanten van de pagina.
De overzichtstabel bevat statistieken voor de vraag.
Selecteer Beoordeling aanpassen om de beoordeling te openen en wijzigingen te maken.
De tekst en antwoordmogelijkheden van de vraag worden weergegeven. Je kunt zien hoeveel studenten elk antwoord kozen of welk percentage correct antwoordde. Je kunt bijvoorbeeld voor een combinatievraag zien welk percentage van de studenten de paren juist heeft gecombineerd. Bij open vragen verschijnt alleen de vraagtekst.
Over meerdere pogingen, overschreven vragen en bewerkingen van vragen
De analyse verwerkt veelvoorkomende scenario’s op deze manieren:
Wanneer studenten een beoordeling meerdere keren maken, wordt de laatst verzonden poging gebruikt als input voor de itemanalyse. Zodra een student nog een poging verzendt, nemen latere analyses de nieuwste poging op.
Het vervangen van cijfers in de cijferlijst heeft geen invloed op de analysegegevens omdat de analyse statistische gegevens genereert voor vragen op basis van voltooide pogingen van studenten.
Wanneer je wijzigingen aanbrengt aan een vraag of de vragen handmatig beoordeelt, moet je de analyse opnieuw uitvoeren om te zien of de wijzigingen invloed hebben op de gegevens.
Voorbeelden
Met vragenanalyse kun je vragen verbeteren voor toekomstige beheerders van beoordelingen. Je kunt ook misleidende of onduidelijke vragen corrigeren in een actuele beoordeling.
In een meerkeuzevraag hebben evenveel studenten gekozen voor A, B en C. Controleer de antwoordmogelijkheden om te kijken of deze misschien te veel op elkaar lijken, de vraag te moeilijk is of de stof niet is behandeld.
Een vraag wordt gemarkeerd voor controle omdat deze in de categorie moeilijk valt. Je komt tot de conclusie dat het een moeilijke vraag is, maar laat de vraag staan om de doelen van de cursus afdoende te evalueren.
Een meerkeuzevraag is gemarkeerd voor evaluatie. Meer studenten uit de bovenste 25% hebben antwoord B gekozen, terwijl antwoord A het juiste antwoord is. Je ziet dat je niet het juiste antwoord hebt gekozen tijdens het maken van de vraag. Je past de vraag van de beoordeling aan en deze wordt automatisch opnieuw beoordeeld.
Download de resultaten van het assessment
Mogelijk moet je toetsresultaten downloaden voor externe analyse en evaluatie. Externe analyse is belangrijk voor het ondersteunen van de kwaliteit van een cursus en van beoordelingen. Daarnaast willen instellingen vaak samengestelde beoordelingsgegevens voor accreditatie en programma-evaluatie.
Je kunt beoordelingsresultaten downloaden uit de cijferlijst:
Selecteer in de weergave Cijfer de beoordeling om het optiemenu weer te geven en kies Resultaten downloaden.
Selecteer in de weergave Beoordeelbare items het menu Opties bij de beoordeling en kies Resultaten downloaden.
Er zijn verschillende opties beschikbaar bij het downloaden van resultaten.
Bestandstype: Excel-spreadsheet (.xls) of door komma's gescheiden waarde (.csv). De standaardinstelling is .xls.
Formaat van de resultaten: Per Student of per vraag en Student. De standaardinstelling is per student.
Pogingen om te downloaden: Alle pogingen of alleen pogingen die zijn opgenomen in de cijferberekening. U kunt bepalen welke pogingen moeten worden opgenomen in de cijferberekening in de instellingen Cijfers pogingen. Het is standaard ingesteld op alleen pogingen downloaden die voor de berekening zijn gebruikt.
Het gedownloade rapport bevat de volgende informatie:
Naam student
Gebruikersnaam
Vragen
Antwoorden
Beoordelingsstatus
Alle inhoud die de student mogelijk in zijn/haar inzending heeft opgenomen
Voorbeeld van de resultaatindeling Downloaden per student:
Voorbeeld van de resultaatindeling Downloaden per student en vraag:
Belangrijk
Als je anonieme beoordeling gebruikt, sluiten de gedownloade resultaten de student- en scoredetails uit totdat de cijfers zijn gepost voor alle studenten.
Een video bekijken over het downloaden van beoordelingsresultaten
De volgende ingesproken video geeft een visuele en auditieve voorstelling van sommige informatie op deze pagina. Als je een gedetailleerde beschrijving wilt van wat er wordt weergegeven in de video, open je de video op Youtube, navigeer je naar Meer acties en selecteer je Transcriptie openen.