ORIGINAL Objektanalys
Objektanalys ger statistik gällande övergripande prestation, testkvalitet och enskilda frågor. Med hjälp av dessa data kan du se vilka frågor som är dåliga på att urskilja deltagarnas prestation.
Objektanalys kan användas för att:
Förbättra frågor för framtida tester eller för att justera poängresultat på aktuella försök
Diskutera testresultaten med klassen
Ge grundläggande information för stödåtgärder
Förbättra klassrumsundervisningen
Exempel:
När du har utfört en objektanalys upptäcker du att de flesta deltagarna har svarat fel på en fråga. Varför misslyckades så många?
Har frågan formulerats på ett vilseledande sätt?
Är svarsalternativen inte tydliga?
Fick deltagarna tillgång till rätt innehåll för att kunna lära sig svaret på den här frågan?
Var inlärningsinnehållet tydligt och enkelt att komma åt?
Med utgång från det du upptäcker kan du förbättra testfrågan så att den verkligen utvärderar vad deltagarna har lärt sig.
Kör en objektanalys på ett test
Du kan köra en objektanalys på ett distribuerat test med inlämnade försök, men inte på en enkät.
Testet kan ha ett eller flera försök, olika frågeuppsättningar, slumpvisa block och såväl automatiskt som manuellt rättade frågor. När det gäller tester med manuellt bedömda frågor som du ännu inte har poängsatt, genereras endast statistik för de poängsatta frågorna. När du har bedömt frågorna manuellt kan du köra analysen igen. Statistik för de manuellt bedömda frågorna genereras och den sammanfattande statistiken för testet uppdateras.
För bästa resultat kör du analysen för ett test efter att deltagare har skickat in alla försök och du har bedömt alla manuellt rättade frågor. Var uppmärksam på att statistiken påverkas av antalet testförsök, typen av deltagare som gjorde testet och slumpmässiga fel.
Roller med bedömningsbehörighet (lärare, bedömare och assistenter) kan komma åt objektanalys på tre platser i testarbetsflödet.
Ett test som har distribuerats på en innehållsyta
Ett distribuerat test som anges på sidan Tester
En testkolumn i Kursadministration och resultat
Öppna testets meny och välj Objektanalys.
Välj ett test på menyn Välj test. Endast distribuerade tester visas i listan.
Välj Kör.
Välj den nya rapportens länk i avsnittet Tillgänglig analys eller välj Visa analys i statusbekräftelsen högst upp på sidan.
Notera
Du kan öppna en analys som har körts vid ett tidigare tillfälle i avsnittet Tillgänglig analys.
Testsammanfattning på sidan Objektanalys
I provsammanfattningen anges information om provet i sin helhet.
Redigera prov ger åtkomst till provytan där du kan göra ändringar i provet.
Visa teststatistik:
Möjliga poäng: Det totala antalet poäng för testet.
Möjliga frågor: Det totala antalet frågor i testet.
Pågående försök: Antalet deltagare som för närvarande gör testet och som inte har lämnat in det ännu.
Slutförda försök: Antalet inlämnade tester.
Genomsnittspoäng: Poäng markerade med en asterisk anger att vissa försök inte är resultat och att genomsnittspoängen kan ändras efter att alla försök har resultat. Poängen som visas är det genomsnittspoäng som har rapporterats för testet i Kursadministration och resultat.
Genomsnittlig tid: Den genomsnittliga slutförandetiden för alla inlämnade försök.
Diskriminationsindex: Visar antalet frågor som delas in i kategorierna Bra (mer än 0,3), Godtagbart (mellan 0,1 och 0,3) samt Dåligt (mindre än 0,1). Ett omdömesvärde anges som Gick inte att beräkna om frågans svårighetsgrad är 100 % eller när alla deltagare får samma poäng på en fråga. Frågor med omdömesvärden i kategorierna Bra och Godtagbart är bättre på att skilja mellan deltagare med högre och lägre kunskapsnivåer. Det rekommenderas att frågor i kategorin Dåligt granskas.
Svårighetsgrad: Visar antalet frågor som delas in i kategorierna Enkla (fler än 80 %), Medelsvåra (mellan 30 % och 80 %) samt Svåra (färre än 30 %). Svårighetsgraden är antalet deltagare i procent som besvarade frågan korrekt. Det rekommenderas att frågor i kategorierna Enkla och Svåra granskas. Sådana frågor anges med en röd cirkel.
Notera
Det är endast bedömda försök som tas med i objektanalysberäkningar. När försök pågår ignoreras dessa försök tills de har lämnats in. Då kan du köra analysrapporten igen.
Tabellen över frågestatistik på sidan Objektanalys
Tabellen över frågestatistik ger objektanalysstatistik för alla frågor i testet. Frågor som ska granskas anges med röda cirklar så att du snabbt kan hitta frågorna.
I allmänhet delas bra frågor in i följande kategorier:
Svårighetsgraden Medelsvåra (30 % till 80 %)
Omdömesvärdet Bra eller Godtagbart (större än 0,1)
I allmänhet delas frågor som rekommenderas för granskning in i dessa kategorier. De kan ha dålig kvalitet eller ha blivit felaktigt poängsatta.
Svårighetsgraden Lätt ( > 80 %) eller Svår ( < 30 %)
Omdömesvärdet Dåligt ( < 0,1)
Filtrera frågetabellen efter frågetyp, omdöme och svårighetsgrad.
Om du vill undersöka en viss fråga ska du klicka på rubriken och granska sidan Information om fråga.
Statistik för varje fråga visas i tabellen:
Diskriminationsindex: Anger hur bra en fråga kan särskilja mellan deltagare som känner till ämnet och deltagare som inte känner till det. En fråga är bra på att särskilja när deltagare som svarar rätt på frågan också får ett högt poäng på testet. Värdena kan vara mellan -1,0 och +1,0. En fråga flaggas för granskning om dess diskrimineringsvärde är mindre än 0,1 eller negativt. Omdömesvärden kan inte beräknas om frågans svårighetsgrad är 100 % eller om alla deltagare får samma poäng på en fråga.
Omdömesvärden beräknas med Pearsons korrelationskoefficient. X motsvarar varje deltagares poäng för en fråga och Y motsvarar varje deltagares poäng på provet.
Följande variabler motsvarar standardpoäng, urvalets medelvärde och urvalets standardavvikelse:
Svårighetsgrad: Procentandelen deltagare som svarade rätt på frågan. Svårighetsgraden visas tillsammans med dess kategori: Lätt (större än 80 %), Medium (30 % till 80 %) och Svår (mindre än 30 %). Svårighetsgrader kan ligga mellan 0 % och 100 %, där en hög procentsats anger att frågan var lätt. Frågor i kategorierna Enkla och Svåra flaggas för granskning.
Svårighetsgrader som är något högre än mitt emellan chansningar och helt rätt är bättre på att särskilja deltagare som kan provmaterialet från de deltagare som inte kan det. Höga svårighetsgrader ger inte nödvändigtvis höga omdömesnivåer.
Resultat Attempts: Antal frågeförsök där bedömningen är klar. Ett högre antal av bedömda försök producerar mer tillförlitlig beräknad statistik.
Genomsnittspoäng: Poäng markerade med en asterisk anger att vissa försök inte är resultat och att genomsnittspoängen kan ändras efter att alla försök har resultat. Poängen som visas är det genomsnittspoäng som har rapporterats för testet i Kursadministration och resultat.
Standardavvikelse: Mått på hur långt poängen avviker från den genomsnittliga poängen. Om poängvärdena ligger nära varandra och de flesta ligger nära medelvärdet är standardavvikelsen liten. Om resultaten är spridda och många ligger långt från medelvärdet är standardavvikelsen större.
Standardfel: En uppskattning av mängden variabilitet i en deltagares poäng på grund av slump. Ju lägre standardfelet är, desto mer exakt är mätningen som tillhandahållits av testfrågan.
Visa frågeinformation för en enskild fråga
Du kan undersöka frågor som har flaggats för granskning och visa deltagarnas prestationer.
Rulla ner till tabellen över frågestatistik på sidan Objektanalys. Klicka på en länkad frågerubrik för att öppna sidan Information om fråga.
Använd ikonerna för föregående sida och nästa sida för att bläddra genom frågorna i sekvens. Du kan även hoppa till den första eller sista frågan.
Välj Redigera test för att öppna provytan där du kan göra ändringar i testet.
I sammanfattningstabellen visas statistik för frågan. Du kan granska beskrivningarna för all statistik i föregående avsnitt.
Frågetexten och svarsalternativen visas. Informationen varierar beroende på frågetypen:
Typ av information som anges | Frågetyper |
|---|---|
Antal deltagare som valde varje svarsalternativ -OCH- Fördelning av dessa svar mellan klasskvartilerna | Flervalsfråga flersvarsfråga sant/falskt-fråga. Antingen/eller-fråga Skattningsskala/Likert-skala |
Antal deltagare som valde varje svarsalternativ | para ihop-fråga Ordna fyll i flervalsfråga |
Antal deltagare som svarade rätt, fel eller hoppade över frågan | beräkningsfråga Beräknad numerisk fråga Luckfråga hotspot-fråga Svara med fråga-fråga |
Endast frågetext | öppen fråga Svar via fil-fråga Kortsvarsfråga Förvirrad mening – innehåller även de svar som deltagare valde mellan. |
Symbolförklaring
Symboler visas bredvid frågorna för att uppmärksamma dig på olika saker.
Granskning rekommenderas: Utlöses när diskrimineringsvärdena är mindre än 0,1. Det kan även utlösas när svårighetsgraden antingen är högre än 80 % (frågan var för lätt) eller lägre än 30 % (frågan var för svår). Granska frågan för att fastställa om den behöver ändras.
Frågan kan ha ändrats efter distributionen: Anger att en del av frågan har ändrats efter att testet distribuerades. En ändring kan innebära att uppgifterna för den frågan eventuellt inte är tillförlitliga. Försök som har lämnats in efter att frågan ändrades kan ha dragit nytta av ändringen.
Notera
Den här indikatorn visas inte för återskapade kurser.
Alla inlämningar har inte fått ett resultat: Visas för ett test som innehåller frågor som kräver manuell bedömning, till exempel öppna frågor. Om ett test innehåller en öppen fråga med 50 deltagarförsök, visas denna indikator tills du har bedömt alla 50 försök. Analysen använder enbart försök som du har bedömt när du kör rapporten.
(QS) och (RB): Ange att en fråga kom från en frågeuppsättning eller ett slumpmässigt block. Vissa frågor kan ha fler försök än andra på grund av slumpvis utdelade frågor.
Flera försök, åsidosättningar av frågor och redigeringar av frågor
Analysen hanterar flera försök, omprövning och justering samt andra vanliga situationer på följande sätt:
När deltagare gör ett test flera gånger används det senast inlämnade försöket som indata för analysen. I ett test med tre försök, slutför till exempel deltagare A två försök och håller på med ett tredje försök. Deltagare A:s aktuella försök räknas under antalet i Pågående försök. Inga av deltagare A:s tidigare försök inkluderas i aktuella analysdata. Så fort som deltagare A lämnar in det tredje försöket, inkluderar påföljande analyser deltagare A:s tredje försök.
Omprövning och justering i Kursadministration och resultat påverkar inte analysdata eftersom analysen genererar statistik för frågor som baseras på slutförda deltagarförsök.
Manuellt bedömda frågor eller ändringar som görs i frågetexten, rätt svarsalternativ, delpoäng eller poäng uppdateras inte automatiskt i analysrapporten. Kör analysen igen för att se om ändringarna har påverkat uppgifterna.
Exempel
Med hjälp av objektanalys kan du förbättra frågorna i framtida tester. Du kan även korrigera vilseledande eller tvetydiga frågor i ett aktuellt test.
En flervalsfråga har flaggats för granskning. Fler deltagare i den bäst rankade fjärdedelen valde svar B, men A är rätt svar. Du inser att du inte har valt rätt svar när du skapade frågan. Du redigerar testfrågan och den omvärderas automatiskt.
I en flervalsfråga väljer lika många deltagare alternativ A, B och C. Undersök om svarsalternativen är för tvetydiga, om frågan är för svår eller om ni inte har gått igenom materialet under kursen.
En fråga rekommenderas för granskning eftersom den hamnar i den svåra svårighetskategorin. Du fastslår att det är en svår fråga men du behåller den eftersom den på ett adekvat sätt testar de förväntade resultaten för kursen.