Análise do item ORIGINAL
A análise de itens fornece estatísticas sobre o desempenho geral, a qualidade do teste e perguntas individuais. Esses dados ajudam você a identificar perguntas que possam ser fracos discriminadores do desempenho do aluno.
Usos da análise de item:
Aprimore questões para futuras aplicações de teste ou para ajustar o crédito nas tentativas atuais
Discuta os resultados do teste com a turma
Forneça uma base para o trabalho de correção
Aprimore a instrução em sala de aula
Exemplo:
Depois da análise do item, você observa que a maioria dos alunos responde uma pergunta incorretamente. Por que a taxa baixa de sucesso?
A formulação da pergunta está confusa?
As opções de resposta não estão claras?
Foi fornecido aos alunos conteúdo de aprendizado apropriado para responder a esta pergunta com sucesso?
O conteúdo de aprendizagem estava acessível e claro?
Com base no que você descobrir, será possível melhorar a pergunta de teste para garantir que esteja avaliando o que os alunos sabem ou não.
Executar uma análise de item em um teste
É possível executar uma análise de item em um teste implantado com tentativas enviadas, mas não em uma pesquisa.
O teste pode incluir tentativas únicas ou múltiplas, conjuntos de questões, blocos aleatórios, questões de avaliação automática e questões de avaliação manual. Em testes com perguntas avaliadas manualmente as quais você não atribuiu pontuações, as estatísticas são geradas somente nas questões pontuadas. Após avaliar manualmente as perguntas, execute a análise novamente. As estatísticas das questões avaliadas manualmente são geradas e o resumo das estatísticas do teste é atualizado.
Para melhores resultados, execute uma análise de um teste após os alunos enviarem todas as tentativas e você avaliar todas as questões de avaliação manual. Esteja ciente de que as estatísticas são influenciadas pelo número de tentativas do teste, tipo de aluno que realizou o teste e erros de probabilidade.
Funções com privilégios de avaliação (instrutores, avaliadores e assistentes de ensino) acessam a análise de itens em três locais no fluxo de trabalho do teste.
Teste implementado em uma área de conteúdo
Um teste implementado listado na página Testes
A coluna Centro de Notas de um teste
Acesse o menu de um teste e selecione Análise do item.
No menu Selecionar teste, escolha um teste. Apenas os testes implementados são listados.
Selecione Executar.
Selecione o link do novo relatório na seção Análises disponíveis ou selecione Ver análise no status de recebimento no topo da página.
Nota
Você pode acessar uma análise executada anteriormente na seção Análise disponível.
Resumo do teste na página Análise do item
O Resumo de teste fornece dados sobre o teste como um todo.
Editar teste fornece acesso ao Modelo de teste, onde você pode fazer alterações no teste.
Ver estatísticas de teste:
Pontos possíveis: O número total de pontos para o teste.
Possíveis perguntas: O número total de perguntas no teste.
Tentativas em andamento: o número de Aluno que ainda não o enviaram no momento.
Tentativas concluídas: O número de testes enviados.
Pontuação média: as pontuações indicadas com um asterisco indicam que algumas tentativas não são nota e que a pontuação média pode mudar depois que todas as tentativas são nota. A pontuação exibida é a pontuação média relatada para o teste no Centro de Notas.
Tempo médio: o tempo médio de conclusão de todas as tentativas enviadas.
Discriminação: mostra o número de perguntas que se enquadram nas categorias Bom (maior que 0,3), Regular (entre 0,1 e 0,3) e Ruim (menos de 0,1). Os valores de discriminação serão listados como Impossível calcular quando a dificuldade da pergunta for 100% ou quando todos os alunos receberem a mesma pontuação em uma pergunta. As perguntas com valores de discriminação nas categorias Bom e Regular são melhores para estabelecer a diferenciação entre alunos com níveis de conhecimento mais altos e mais baixos. Recomenda-se que as perguntas da categoria Ruim sejam revisadas.
Dificuldade: mostra o número de perguntas que se enquadram nas categorias Fácil (maior que 80%), Médio (entre 30% e 80%) e Difícil (menos de 30%). Dificuldade é a porcentagem de estudantes que responderam a pergunta corretamente. Recomenda-se que as perguntas nas categorias Fácil ou Difícil sejam revisadas e são indicadas com um círculo vermelho.
Nota
Somente tentativas avaliadas são usadas nos cálculos de análises de itens. Quando houver tentativas em andamento, elas serão ignoradas até que sejam enviadas. Será necessário fazer novamente o relatório de análise.
Tabela de estatísticas da pergunta na página Análise de Item
A tabela de estatísticas de questões apresenta uma análise de itens para cada questão do teste. As questões que devem ser revisadas são indicadas com círculos vermelhos para que você possa ver rapidamente quais delas podem precisar de revisão.
Em geral, boas questões se enquadram nestas categorias:
Dificuldade Média (30% a 80%)
Valores de discriminação Bom ou Regular (maior que 0,1)
Em geral, perguntas recomendadas para revisão se enquadram nestas categorias: Elas podem ser de baixa qualidade ou pontuadas incorretamente.
Dificuldade Fácil ( > 80%) ou Difícil ( < 30%)
Valores de discriminação Ruim ( < 0.1)
Filtre a tabela de perguntas por Tipo de pergunta, Discriminação e Dificuldade.
Para investigar uma questão específica, selecione o título e veja a página Detalhes da questão.
As estatísticas de cada questão são exibidas na tabela:
Discriminação: indica o quanto uma pergunta diferencia os alunos entre os que conhecem o assunto e os que não conhecem. Perguntas representam um excelente discriminador quando os alunos que respondem a pergunta corretamente também apresentam um bom desempenho no teste. Os valores podem variar de -1,0 a +1,0. Uma pergunta é sinalizada para revisão se seu valor de discriminação for menor que 0,1 ou negativo. Os valores de discriminação não podem ser calculados quando a pontuação de dificuldade da questão for 100% ou quando todos os alunos receberem a mesma pontuação em uma questão.
Os valores de discriminação são calculados com o coeficiente de correlação de Pearson. O X representa as notas de cada aluno em uma pergunta e o Y representa as notas de cada aluno no teste.
Estas variáveis são a pontuação padrão, a média da amostra e o desvio padrão da amostra, respectivamente:
Dificuldade: A porcentagem de Aluno que responderam corretamente à pergunta. A porcentagem de dificuldade é listada junto com sua categoria: Fácil (maior que 80%), Média (30% a 80%) e Difícil (menos de 30%). Os valores de dificuldade podem variar de 0% a 100%, com uma alta porcentagem indicando que a pergunta foi fácil. As perguntas nas categorias Fácil e Difícil são marcadas para revisão.
Níveis de dificuldade que são levemente maiores do que a média entre a chance a as pontuações perfeitas funcionam melhor ao diferenciar estudantes que conhecem o material testado daqueles que não conhecem. Valores de dificuldade alta não garantem altos níveis de discriminação.
Tentativas avaliadas: Número de tentativas de perguntas em que a avaliação foi concluída. Números mais altos de tentativas avaliadas geram cálculos de estatísticas mais confiáveis.
Pontuação média: as pontuações indicadas com um asterisco indicam que algumas tentativas não são nota e que a pontuação média pode mudar depois que todas as tentativas são nota. A pontuação exibida é a pontuação média relatada para o teste no Centro de Notas.
Desvio padrão: Medida de até que ponto as pontuações se desviam da pontuação média. Se as pontuações são bem agrupadas, com a maioria dos valores próximos da média, o desvio padrão é pequeno. Se o conjunto de dados está amplamente espalhado, com valores distantes da média, o desvio padrão será maior.
Erro padrão: Uma estimativa da quantidade de variabilidade na pontuação de um Aluno devido ao acaso. Quanto menor o erro padrão de medição, mais precisa será a medição apresentada pela pergunta do teste.
Exibir detalhes de uma única pergunta
Você pode investigar questões indicadas para revisão e verificar o desempenho dos alunos.
Na página Análise do item, role para baixo na tabela de estatísticas da questão. Selecione um título de questão vinculado para acessar a página Detalhes da questão.
Use os ícones de Página anterior e Próxima página para percorrer pelas perguntas em sequência. Você também pode ignorar a primeira ou a última pergunta.
Selecione Editar teste para acessar o Modelo de teste, onde você pode fazer alterações no teste.
A tabela de resumo exibe estatísticas para a pergunta. Você pode revisar as descrições de cada estatística na seção anterior.
O texto da pergunta e as escolhas de resposta são exibidas. As informações variam com base no tipo de pergunta:
Tipo de informação fornecido | Tipos de questões |
|---|---|
Quantidade de alunos que selecionaram cada opção de resposta -E- Distribuição dessas respostas entre os quartis de classe | Múltipla escolha Respostas múltiplas Verdadeiro/falso E/ou Escala de opinião/Escala de Likert |
Quantidade de alunos que selecionaram cada opção de resposta | Correspondência Ordenação Preenchimento de várias lacunas |
Quantidade de alunos que escolheram a resposta correta, incorreta ou que ignoraram a questão | Fórmula calculada Numérica calculada Preenchimento de lacunas Ponto de acesso Perguntas de questionário |
Somente questões de texto | Dissertativa Resposta do arquivo Resposta curta Frase confusa - também inclui as respostas que os Aluno escolheram |
Legenda dos símbolos
Símbolos aparecem próximo às perguntas para alertá-lo sobre possíveis problemas.
Revisão recomendada: acionada quando os valores de discriminação são menores que 0,1. Além disso, quando os valores de dificuldade forem superiores a 80% (pergunta muito fácil) ou inferiores a 30% (pergunta muito difícil). Revise a pergunta para determinar se é necessário reformulá-la.
A pergunta pode ter sido alterada após a implantação: indica que uma parte da pergunta foi alterada após a implantação do teste. Uma mudança poderia significar que talvez os dados dessa pergunta não sejam confiáveis. As tentativas enviadas após a pergunta ter sido alterada podem se beneficiar da alteração.
Nota
Esse indicador não aparece para cursos restaurados.
Nem todos os envios foram avaliados: aparece para um teste que contém perguntas que exigem avaliação manual, como perguntas dissertativas. Em testes contendo questão dissertativa com tentativas de 50 alunos, esse indicador é exibido até que você avalie todas as 50 tentativas. A análise usa apenas tentativas que foram avaliadas no momento da execução do relatório.
(QS) e (RB): Indique que uma pergunta veio de um conjunto de perguntas ou bloco aleatório. Devido ao fornecimento aleatório das perguntas, algumas perguntas podem ter mais tentativas do que outras.
Várias tentativas, substituições de perguntas e edições de perguntas
A análise lida com várias tentativas, anulações e outros cenários comuns destas formas:
Quando os alunos fazem um teste várias vezes, a última tentativa enviada é usada como a entrada da análise. Por exemplo, para um teste com três tentativas, o Aluno A completa duas delas, mas ainda está fazendo a terceira tentativa. A tentativa atual do Aluno A contabiliza no número listado em Tentativas em andamento. Nenhuma das tentativas anteriores do Aluno A foram incluídas nos dados de análise atuais. Assim que o Aluno A enviar a terceira tentativa, a análise subsequente incluirá essa terceira tentativa.
As substituições do Centro de Notas não afetam os dados da análise, pois a análise gera dados estatísticos para as perguntas com base nas tentativas concluídas dos alunos.
Perguntas avaliadas manualmente ou mudanças feitas no texto da pergunta, a escolha da resposta correta, crédito parcial ou pontos não são atualizadas automaticamente no relatório de análise. Execute a análise novamente para ver se as alterações afetaram os dados.
Exemplos
As análises de item pode ajudar você a melhorar as perguntas para administrações de teste futuras. Você também pode corrigir perguntas enganosas ou ambíguas em um teste atual.
Uma pergunta de Múltipla Escolha é sinalizada para sua revisão. Mais alunos entre os primeiros 25% escolheram B, mas A é a resposta correta. Você percebe que escolheu a resposta errada quando criou a pergunta. Você edita a questão do teste e ela é automaticamente reavaliada.
Em uma pergunta de múltipla escolha, um número igual de alunos escolheu A, B e C. Examine as opções de resposta para determinar se elas são ambíguas, se a questão é muito difícil ou se o material não foi abrangido.
Uma questão foi recomendada para revisão por fazer parte da categoria difícil. Você decide que a pergunta é difícil, mas a mantém para testar adequadamente os objetivos do curso.