ORIGINAL Elementanalyse
Med elementanalyser får du statistikk om generelle resultater, prøvekvalitet og enkeltspørsmål. Med denne informasjonen kan du gjenkjenne spørsmål som kanskje ikke representerer studentenes prestasjoner på en god måte.
Bruksområder for elementanalyser:
Forbedre spørsmål for fremtidig administrering av prøver eller for å justere studiepoeng for nåværende forsøk
Diskuter prøveresultater med klassen
Få et grunnlag for forbedringsarbeid
Forbedre veiledningen i klasserommet
Eksempel:
Når elementanalysen er over, legger du merke til at de fleste studentene svarer feil på ett bestemt spørsmål. Hvorfor svarer så mange feil?
Er ordlyden i spørsmålet forvirrende?
Er svaralternativene uklare?
Ble studentene riktig forberedt på å svare på dette spørsmålet?
Var læremateriellet lett tilgjengelig og tydelig?
Du kan forbedre prøvespørsmålet basert på det du finner ut, slik at det virkelig gjenspeiler hva studentene kan eller ikke kan.
Kjør elementanalyse av prøver
Du kan kjøre en elementanalyse for distribuerte prøver med innsendte forsøk, men ikke for spørreundersøkelser.
Prøven kan omfatte ett eller flere forsøk, spørsmålssett, spørsmålstyper som vurderes automatisk, og spørsmål som krever manuell vurdering. For prøver med manuelt vurderte spørsmål som du ikke har gitt vurderinger, genereres det bare statistikk for spørsmålene som har fått en poengsum. Etter at du har vurdert spørsmål manuelt, kan du kjøre analysen på nytt. Statistikk for manuelt vurderte spørsmål genereres, og statistikk for prøvesammendraget oppdateres.
Du får best resultat ved å kjøre en analyse for en prøve etter at studentene har sendt inn alle forsøk, og du har vurdert alle spørsmål med manuell vurdering. Vær oppmerksom på at statistikken påvirkes av antall prøveforsøk, typen studenter som tok prøven, og tilfeldige feil.
Roller med vurderingsrettigheter – undervisere, sensorer og undervisningsassistenter – kan åpne elementanalyser på tre steder i arbeidsflyten for prøven.
En prøve som er distribuert i et innholdsområde
En distribuert prøve som er oppført på Prøver-siden
En prøves vurderingssenterkolonne.
Åpne menyen for prøven, og velg Elementanalyse.
Velg en prøve i Velg prøve-menyen. Bare distribuerte prøver er oppført i listen.
Velg Kjør.
Velg lenken for den nye rapporten i Tilgjengelig analyse-delen, eller velg Vis analyse i statuskvitteringen øverst på siden.
Notat
Du kan åpne analyser som er kjørt tidligere, i Tilgjengelige analyser-delen.
Prøvesammendrag på Elementanalyse-siden
Prøvesammendrag gir data om prøven som et hele.
Rediger prøve gir tilgang til Prøvelerretet der du kan gjøre endringer i prøven.
Se prøvestatistikk:
Mulige poeng: Totalt antall poeng for prøven.
Mulige spørsmål: Totalt antall spørsmål i prøven.
Forsøk på gang: Antall Student som for øyeblikket tar prøve, men som ikke har sendt den inn ennå.
Fullførte forsøk: Antall innsendte prøver.
Gjennomsnittspoeng: Poengsummer angitt med en stjerne betyr at noen av forsøkene ikke er vurdert, og at den gjennomsnittlige poengsummen kan bli endret når alle forsøkene er vurdert. Poengsummen som vises, er den gjennomsnittlige poengsummen som er rapportert for prøven i vurderingssenteret.
Gjennomsnittlig tid: Gjennomsnittlig fullføringstid for alle innsendte forsøk.
Skilleevne: Viser antall spørsmål som faller inn under kategoriene for Bra (mer enn 0,3), Middels (mellom 0,1 and 0,3) og Dårlig (mindre enn 0,1). En diskrimineringsverdi oppføres som Kan ikke beregnes når spørsmålets vanskelighetsgrad er 100 % eller alle studentene får den samme poengsummen på et spørsmål. Spørsmål med diskrimineringsverdier i kategoriene Bra og Middels er bedre på å differensiere mellom studenter med høyere eller lavere kunnskapsnivå. Du bør gå gjennom spørsmål i Dårlig-kategorien.
Vanskelighetsgrad: Viser antall spørsmål som faller inn under kategoriene God (mer enn 80 %), Middels (mellom 30 % og 80 %) og Vanskelig (mindre enn 30 %). Vanskelighetsgraden er prosentverdien av studentene som svarte riktig på spørsmålet. Det anbefales at du går gjennom spørsmålene i Lett- eller Vanskelig-kategoriene. De er markert med en rød sirkel.
Notat
Bare vurderte forsøk kan brukes i beregninger av elementanalyser. Når forsøk pågår, ignoreres de inntil de er sendt inn og du kjører analyserapporten på nytt.
Tabellen for spørsmålsstatistikk på Elementanalyse-siden
Tabellen for spørsmålsstatistikk inneholder statistikk for elementanalyser for alle spørsmål i prøven. Spørsmål det anbefales at du går gjennom, er merket med røde sirkler, så det er lett å se spørsmål som kanskje bør revideres.
Generelt sett faller gode spørsmål inn under disse kategoriene:
Middels (30 % til 80 %) vanskelighetsgrad
Diskrimineringsverdiene Bra eller Middels (mer enn 0,1)
Generelt sett faller spørsmål du bør gå gjennom, inn under disse kategoriene: De kan være av dårlig kvalitet eller ha fått feil poengsum.
Lett (> 80 %) eller Vanskelig (< 30 %) vanskelighetsgrad
Diskrimineringsverdien Dårlig (< 0,1)
Filtrer spørsmålstabellen etter Spørsmålstype, Diskriminering og Vanskelighetsgrad.
For å undersøke et spesifikt spørsmål kan du velge tittelen og gå gjennom Spørsmålsdetaljer-siden.
Statistikk om alle spørsmål vises i tabellen:
Skilleevne: Viser hvor godt et spørsmål skiller mellom studenter som er godt kjent med fagmateriellet, og de som ikke er det. Et spørsmål er en god diskriminator når studenter som svarer riktig på spørsmålet, også gjør det bra på prøven. Verdiene kan variere fra -1,0 til +1,0. Et spørsmål flagges for gjennomgang hvis diskrimineringsverdien er mindre enn 0,1 eller negativ. Diskrimineringsverdier kan ikke beregnes når spørsmålets vanskelighetsgrad er 100 % eller alle studentene får den samme poengsummen på et spørsmål.
Diskrimineringsverdiene beregnes med Pearsons korrelasjonskoeffisient. X representerer hver students poengsum på et spørsmål, og Y representerer hver students poengsum på prøven.
Disse variablene er henholdsvis standardpoengsum, gjennomsnittet for utvalget og standardavvik for utvalget:
Vanskelighetsgrad: Prosenter av Student som svarte riktig på spørsmålet. Vanskelighetsgraden er oppført sammen med kategorien: Lett (større enn 80%), Middels (30% til 80%) og Vanskelig (mindre enn 30%). Verdiene for vanskelighetsgradene kan variere fra 0 % til 100 %, der en høy prosentverdi viser at spørsmålet var lett. Spørsmål i kategoriene Enkelt og Vanskelig merkes for gjennomgang.
Vanskelighetsgrader som er litt forbi halvveis mellom tilfeldige og perfekte poengsummer, fungerer bedre til å skille mellom studenter som er godt kjent med materialet i prøven, og de som ikke er det. Høye vanskelighetsgrader sikrer ikke høye diskrimineringsverdier.
Vurderte forsøk: Antall spørsmålsforsøk med ferdig vurdering. Et høyere antall vurderte forsøk gir mer pålitelige beregnet statistikk.
Gjennomsnittspoeng: Poengsummer angitt med en stjerne betyr at noen av forsøkene ikke er vurdert, og at den gjennomsnittlige poengsummen kan bli endret når alle forsøkene er vurdert. Poengsummen som vises, er den gjennomsnittlige poengsummen som er rapportert for prøven i vurderingssenteret.
Standardavvik: Et mål på hvor mye poengsummene avviker fra gjennomsnittet. Hvis poengsummene er tett gruppert omkring gjennomsnittet, er standardavviket lite. Hvis dataene er spredt med verdier langt unna gjennomsnittet, er standardavviket større.
Standardfeil: Et anslag over hvor mye av studentens variasjon i poengsummer som skyldes tilfeldigheter Jo mindre standardfeil i målinger, desto mer nøyaktig er prøvespørsmålenes målinger.
Se spørsmålsdetaljer for enkeltspørsmål
Du kan undersøke spørsmål som er merket for gjennomgang, og se studentenes prestasjoner.
Rull til tabellen for spørsmålsstatistikk på Elementanalyse-siden. Velg en lenket spørsmålstittel for å åpne Spørsmåldetaljer-siden.
Bruk Forrige side- og Neste side-ikonene for å bla gjennom spørsmålene. Du kan også hoppe til det første og det siste spørsmålet.
Velg Rediger prøve for å åpne prøvelerretet. Der kan du gjøre endringer i prøven.
Statistikk for spørsmålet vises i sammendragstabellen. Du kan gå gjennom alle statistikkenes beskrivelser i den forrige delen.
Du ser spørsmålsteksten og svaralternativene. Informasjon varierer etter spørsmålstype:
Informasjonstype | Spørsmålstyper |
|---|---|
Antall studenter som valgte svaralternativet -OG- Fordeling av disse svarene mellom klassekvartilene | Flervalg med ett riktig svar Flervalg med flere riktige svar Sant/usant Enten/eller Vurderingsskala |
Antall studenter som valgte svaralternativet | Paring Rekkefølge Skriv inn flere manglende ord |
Antall studenter som svarte riktig, feil eller hoppet over spørsmålet | Beregnet formularisk verdi Fyll inn tall Skriv inn ett manglende ord Marker punkt på bildet Hva er spørsmålet |
Bare spørsmålstekst | Langsvar Filopplasting Kortsvar Nedtrekk—also includes the answers students chose from |
Tegnforklaring
Tegn vises ved siden av spørsmålene for å gjøre deg oppmerksom på mulige problemer.
Gjennomgang anbefales: Utløses når diskrimineringsverdien er mindre enn 0,1 Vises også når vanskelighetsgraden enten er mer enn 80 % (spørsmålet var for lett) eller mindre enn 30 % (spørsmålet var for vanskelig). Gå gjennom spørsmålet for å finne ut om det må gjøres endringer.
Spørsmålet kan ha endret seg etter distribusjon: Angir at en del av spørsmålet ble endret etter at testen ble distribuert. En endring kan bety at dataene for det aktuelle spørsmålet ikke er pålitelige. Forsøk som ble sendt inn etter at spørsmålet ble endret, kan ha dratt fordeler av endringen.
Notat
Denne indikatoren vises ikke for gjenopprettede emner.
Ikke alle innsendinger er vurdert: Vises for en prøve som inneholder spørsmål som krever manuell vurdering, for eksempel Langsvar-spørsmål. Denne indikatoren vises for prøver som inneholder et Langsvar-spørsmål med 50 forsøk, helt til du har vurdert alle de 50 forsøkene. Analysen bruker bare forsøkene du har vurdert når du kjører rapporten.
(QS) og (RB): Angi at et spørsmål kom fra et spørsmålssett eller en tilfeldig blokk. På grunn av tilfeldig spørsmålslevering kan noen spørsmål ha flere forsøk enn andre.
Flere forsøk, spørsmålsoverstyringer og spørsmålsredigeringer
Analysen håndterer flere forsøk, overstyringer og andre vanlige situasjoner på de følgende måtene:
Når en student tar en prøve flere ganger, blir det siste innsendte forsøket brukt i analysen. For en prøve med tre forsøk fullfører Student A for eksempel to forsøk og er i gang med et tredje. Det pågående forsøket til student A telles med i nummeret i listen for Pågående forsøk. Ingen av de tidligere forsøkene til Student A tas med i dataene for den aktuelle analysen. Så fort Student A sender inn det tredje forsøket sitt, blir det tatt med i påfølgende analyser.
Overstyringer i vurderingssenteret påvirker ikke analysedataene, fordi analysen generer statistiske data for spørsmål basert på fullførte studentforsøk.
Manuelt vurderte spørsmål eller endringer i spørsmålsteksten, riktige svaralternativer, delvis studiepoengtildeling eller poengsummer oppdateres ikke automatisk i analyserapporten. Kjør analysen på nytt for å se om endringene påvirker dataene.
Eksempler
Med Elementanalyse kan du få hjelp til å forbedre spørsmål for fremtidige prøveadministreringer. Du kan også reparere misvisende eller tvetydige spørsmål i en nåværende prøve.
Et flervalgsspørsmål er merket for gjennomgang. Flere av Øverst 25 %-studentene valgte svar B selv om svar A var det riktige svaret. Du skjønner at du ikke valgte det riktige svaret da du laget spørsmålet. Du redigerer prøvespørsmålet, og prøven blir automatisk vurdert på nytt.
I et flervalgsspørsmål med ett mulig svar valgte et likt antall studenter A, B og C. Undersøk om svaralternativene var uklare, om spørsmålet var for vanskelig eller om materialet ikke var dekket.
Et spørsmål anbefales for gjennomgang fordi det faller under kategorien Vanskelig. Du avgjør at spørsmålet er vanskelig, men beholder det fordi det er nødvendig for å teste emnemålene tilstrekkelig.