Analys av frågor
Frågeanalys ger statistik om övergripande prestation, utvärderingskvalitet och enskilda frågor. Med hjälp av dessa data kan du se vilka frågor som är dåliga på att urskilja deltagarnas prestation. Frågeanalys är till för utvärderingar med frågor. Du kan köra en rapport innan alla inlämningar har kommit in om du vill kontrollera kvaliteten på dina frågor och göra ändringar.
Frågeanalys kan användas för att:
Förbättra frågor för framtida bedömningar eller för att justera poängresultat på aktuella försök
Diskutera bedömningsresultaten med klassen
Ge grundläggande information för stödåtgärder
Förbättra klassrumsundervisningen
Exempel:
När du har utfört en frågeanalys upptäcker du att de flesta deltagarna har svarat fel på en fråga. Varför misslyckades så många?
Har frågan formulerats på ett vilseledande sätt?
Är svarsalternativen inte tydliga?
Fick deltagarna tillgång till rätt innehåll för att kunna lära sig svaret på den här frågan?
Var inlärningsinnehållet tydligt och enkelt att komma åt?
Med utgång från det du upptäcker kan du förbättra frågan så att den verkligen utvärderar vad deltagarna har lärt sig.
Få tillgång till en utvärderingsanalys
Du kan köra och öppna en tidigare frågeanalysrapport från dessa kursområden:
Sidan Kursinnehåll och utvärderingsmenyn.
Sidan Kursanalysverktyg och fliken Frågeanalys, om ditt lärosäte har aktiverat analysverktyg
Kursadministration och resultat
Öppna en utvärderingsmeny på sidan Kursinnehåll och välj Frågeanalys. Du kan även välja ikonen Analysverktyg i navigationsfältet.
Du kan även köra en frågeanalysrapport från Kursadministration och resultat. Öppna menyn för en utvärdering och välj Frågeanalys.
Sidan Frågeanalys
Sidan Frågeanalys är endast tillgänglig från navigeringsfältet och flikarna Analysverktyg, Kursanalysverktyg och Frågeanalys.
Du kan köra en rapport för en utvärdering med inlämningar och utan frågor, men då får du en rapport utan användbar information.
Du får ett meddelande om att frågeanalysrapporten genereras och ett e-postmeddelande när rapporten är klar. Du kan lämna sidan för att arbeta i andra områden av kursen och återvända senare för att se om rapporten är klar.
Varje utvärdering i din kurs visas med en av följande statusar:
Rapport genereras
Slutförd den {datum}
Data är inte längre uppdaterade: Utvärderingen har nu fler inlämningar att analysera.
Inte tillräckligt med data: Det finns inga inlämningar. Kör rapport är inaktiverat.
Inga frågor i utvärderingen: Utvärderingen har inga frågor eller inlämningar. Kör rapport är inaktiverat.
Ingen status listad: Utvärderingen har frågor och inlämningar, men du har inte kört någon rapport. Kör rapport är aktiverat.
Fel: Kör
Visa sammanfattningen av utvärderingen av frågeanalys
När du har kört en rapport kan du visa övergripande information och detaljer om varje fråga. Välj utvärderingen i fråga på sidan Frågeanalys för att visa sammanfattningen.
Notera
Endast inlämnade försök används i beräkningarna. När försök pågår ignoreras dessa försök tills de har lämnats in. Då kan du köra analysrapporten igen. Automatiska nollor som tilldelas för sent inlämnade arbeten tas inte med i beräkningen.
Sammanfattning av statistik för den enskilda utvärderingen:
Genomsnittlig poäng: Poängen som visas är den genomsnittliga poängen som rapporterats för utvärderingen i Kursadministration och resultat. Genomsnittspoängen kan ändras om fler försök lämnas in och bedöms.
Möjliga frågor: Det totala antalet frågor i utvärderingen.
Slutförda försök: Antalet inlämnade utvärderingar.
Genomsnittlig tidsåtgång: Den genomsnittliga slutförandetiden för alla inlämnade försök.
Kör en rapport på nytt eller redigera utvärderingen för att göra ändringar i frågorna.
Använd graferna för att filtrera frågetabellen. Gör val i båda graferna för att förfina din sökning. Om du inte gör några val visas alla frågorna i tabellen nederst på sidan.
Diskriminering: Anger hur väl frågorna skiljer mellan deltagare som kan ämnet och de som inte gör det.
Visar antalet frågor som ligger inom dessa kategorier:
Bra (över 0,3)
Godtagbart (mellan 0,1 och 0,3)
Dåligt (under 0,1)
Kan inte beräkna: En frågas svårighetsgrad är 100 % eller alla deltagare fick samma poäng på en fråga.
Frågor med omdömesvärden i kategorierna Bra och Godtagbart är bättre på att skilja mellan deltagare med högre och lägre kunskapsnivåer.
Det rekommenderas att frågor i kategorin Dåligt granskas.
Svårighetsgrad: Procentandel deltagare som svarat rätt på frågorna
Visar antalet frågor som ligger inom dessa kategorier:
Lätta (mer än 80 %)
Medel (mellan 30 % och 80 %)
Svåra (mindre än 30 %)
Det rekommenderas att frågor i kategorierna Lätta eller Svåra granskas.
Välj en rubrik för att sortera frågorna. Till exempel kan du sortera kolumnen Granska så att frågor som behöver granskas visas först.
Rensa filter: Rensa de filter du valde i diagrammen och visa alla frågor i tabellen.
Ladda ned frågeanalysrapporten.
Om frågeavsnittet i utvärderingssammanfattningen
Frågetabellen tillhandahåller analysstatistik för alla frågor i utvärderingen. När du har använt graferna för att filtrera frågetabellen kan du visa och sortera resultaten.
I allmänhet delas bra frågor in i följande kategorier:
Svårighetsgraden Medelsvåra (30 % till 80 %)
Omdömesvärdet Bra eller Godtagbart (större än 0,1)
I allmänhet delas frågor som rekommenderas för granskning in i dessa kategorier. De kan ha dålig kvalitet eller ha blivit felaktigt poängsatta.
Svårighetsgraden Lätt ( > 80 %) eller Svår ( < 30 %)
Omdömesvärdet Dåligt ( < 0,1)
Påminnelse: Om du inte gör några val visas alla frågor i tabellen längst ner på sidan.
Om du vill undersöka en specifik fråga väljer du rubriken och granskar frågeinformationen.
Information för varje fråga visas i tabellen:
Behöver granskas: Utlöses när diskrimineringsvärdena är mindre än 0,1. Det kan även utlösas när svårighetsgraden antingen är högre än 80 % (frågan var för lätt) eller lägre än 30 % (frågan var för svår). Granska frågan för att fastställa om den behöver ändras.
Frågan har ändrats: Visar Ja om du kör en rapport, ändrar sedan en del av en fråga och kör rapporten igen. Ja visas även om du kopierade frågan från en annan utvärdering när du skapade utvärderingen.
Notera
Om Ja visas i kolumnen Frågan har modifierats för en fråga följer inte detta Ja med när du arkiverar och återställer kursen.
Diskriminering: Anger hur väl en fråga skiljer mellan deltagare som känner till ämnet och de som inte gör det. En fråga är bra på att särskilja när deltagare som svarar rätt på frågan också får ett högt poäng på utvärderingen. Värdena kan vara mellan -1,0 och +1,0. En fråga flaggas för granskning om dess diskrimineringsvärde är mindre än 0,1 eller negativt. Omdömesvärden kan inte beräknas om frågans svårighetsgrad är 100 % eller om alla deltagare får samma poäng på en fråga.
Omdömesvärden beräknas med Pearsons korrelationskoefficient. X motsvarar varje deltagares poäng för en fråga och Y motsvarar varje deltagares poäng för utvärderingen.
Följande variabler motsvarar standardpoäng, urvalets medelvärde och urvalets standardavvikelse:
Svårighetsgrad: Procentandelen deltagare som svarade rätt på frågan. Svårighetsgraden visas tillsammans med dess kategori: Lätt (större än 80 %), Medium (30 % till 80 %) och Svår (mindre än 30 %). Svårighetsgraden anges i intervallet 0 % till 100 %. En hög procentsiffra indikerar att frågan var lätt. Frågor i kategorierna Enkla och Svåra flaggas för granskning.
Svårighetsgrader som är något högre än mitt emellan chansningar och helt rätt är bättre på att särskilja deltagare som kan provmaterialet från de deltagare som inte kan det. Höga svårighetsgrader ger inte nödvändigtvis höga omdömesnivåer.
Resultat Attempts: Antal frågeförsök där bedömningen är klar. Ett högre antal av bedömda försök producerar mer tillförlitlig beräknad statistik.
Genomsnittlig poäng: Poängen som visas är den genomsnittliga poängen som rapporterats för utvärderingen i Kursadministration och resultat. Genomsnittspoängen kan ändras efter att alla försök har bedömts.
Visa information för en enskild fråga
Du kan undersöka frågor som har flaggats för granskning och se deltagarnas prestationer. Från frågetabellen i Frågeanalysen klickar du på en länkad frågetitel för att komma åt frågans sammanfattning.
När du har öppnat en fråga ska du använda frågetitelns meny för att komma åt frågor i utvärderingen. Du kan navigera till andra frågor sekventiellt på endera sida av sidan.
I sammanfattningstabellen visas statistik för frågan.
Välj Redigera utvärdering för att komma åt utvärderingen och göra ändringar.
Frågetexten och svarsalternativen visas. Du kan se hur många deltagare som väljer de olika svarsalternativen eller procentandel som svarade rätt. Till exempel, för en matchningsfråga, kan du se vilken procentandel av deltagarna som matchade ihop paren korrekt. Endast frågetexten visas för öppna frågor.
Om flera försök, åsidosättningar av frågor och redigering av frågor
Analysen hanterar några vanliga scenarier på följande sätt:
När deltagare gör en utvärdering flera gånger används det senast inlämnade försöket som indata för analysen. Så snart en deltagare lämnar in ett nytt försök inkluderar efterföljande analyser det senaste försöket.
Omprövning och justering i Kursadministration och resultat påverkar inte analysdata eftersom analysen genererar statistik för frågor som baseras på slutförda deltagarförsök.
När du gör ändringar i en fråga eller manuellt bedömer frågor måste du köra analysen på nytt för att se om ändringarna påverkar dina data.
Exempel
Med hjälp av frågeanalys kan du förbättra frågorna i framtida utvärderingar. Du kan även korrigera vilseledande eller tvetydiga frågor i en aktuell utvärdering.
I en flervalsfråga väljer lika många deltagare alternativ A, B och C. Undersök om svarsalternativen är för tvetydiga, om frågan är för svår eller om ni inte har gått igenom materialet under kursen.
En fråga rekommenderas för granskning eftersom den hamnar i den svåra svårighetskategorin. Du fastslår att det är en svår fråga men du behåller den eftersom den på ett adekvat sätt utvärderar de förväntade resultaten för kursen.
En flervalsfråga har flaggats för granskning. Fler deltagare i den bäst rankade fjärdedelen valde svar B, men A är rätt svar. Du inser att du inte har valt rätt svar när du skapade frågan. När du redigerar utvärderingsfrågan bedöms den på nytt automatiskt.
Ladda ned utvärderingsresultat
Du kan behöva ladda ner provresultaten för extern analys och granskning. Extern analys är viktigt för att stödja kurskvalitet och utvärderingsinsatser. Dessutom vill lärosäten ofta ha sammanställda utvärderingsdata för ackreditering och granskning av program.
Du kan ladda ner utvärderingsresultat från Kursadministration och resultat:
Från vyn Resultat, välj utvärderingen för att visa alternativmenyn och välj Ladda ner resultat.
Från vyn Bedömningsbara objekt öppnar du utvärderingens alternativmeny och väljer Ladda ner resultat.
När du laddar ner resultat kommer du få flera alternativ.
Filtyp: Excel-kalkylblad (.xls) eller kommaseparerat värde (.csv). Standardinställningen är .xls.
Format för resultat: Efter deltagare eller per fråga och deltagare. Standardinställningen är efter deltagare.
Försök att ladda ner: Antingen alla försök eller endast försök som ingår i resultatberäkningen. Du kan definiera vilka försök som ska ingå i resultatberäkningen i inställningarna för Resultat försök. Standardinställningen är att endast ladda ner försök som används för beräkningen.
Den nedladdade rapporten innehåller följande information:
Deltagarens namn
Användarnamn
frågor
svar
Bedömningsstatus
Allt innehåll som deltagaren kan ha inkluderat i sin inlämning.
Exempel för resultatformatet Ladda ner efter deltagare:
Exempel för resultatformatet Ladda ner efter deltagare och fråga:
Viktigt
Om du använder anonym bedömning utesluter de nedladdade resultaten informationen om deltagare och poäng tills resultaten publicerats för alla deltagare.
Se en video om hur du laddar ner utvärderingsresultat
I följande video med berättarröst presenteras en del av informationen på den här sidan med ljud och bild. Om du vill ha en detaljerad beskrivning av vad som visas i videon öppna då videon på YouTube, gå till Fler åtgärder och välj Visa transkription.