Análise de questões
A Análise de questões fornece estatísticas sobre o desempenho geral, a qualidade da avaliação e perguntas individuais. Esses dados ajudam você a reconhecer perguntas que podem ser maus discriminadores do desempenho do aluno. A Análise de questões é para avaliações com perguntas. Se quiser verificar a qualidade das suas perguntas e fazer alterações, pode elaborar um relatório antes de receber todos os envios.
Usos da Análise de questões:
aprimore as perguntas para avaliações futuras ou para ajustar o crédito nas tentativas atuais
Discuta os resultados da avaliação com a turma
Forneça uma base para o trabalho de correção
Aprimore a instrução em sala de aula
Exemplo:
Depois da Análise de questões, você observa que a maioria dos alunos responde uma pergunta incorretamente. Por que a taxa baixa de sucesso?
A formulação da pergunta está confusa?
As opções de resposta não estão claras?
Foi fornecido aos alunos conteúdo de aprendizagem apropriado para responder a esta pergunta com sucesso?
O conteúdo de aprendizagem estava acessível e claro?
Com base no que você descobrir, será possível melhorar a pergunta para garantir que esteja avaliando o que os alunos sabem ou não.
Acessar uma análise da avaliação
É possível gerar e acessar um relatório de Análise de questões anterior das seguintes áreas do curso:
página Conteúdo do curso e menu de avaliação
Página Análise do curso e guia Análise de questões, se sua instituição tiver ativado a análise
Boletim de notas
Na página Conteúdo do curso, acesse o menu de avaliação e selecione Análise de questões. Você também pode selecionar o ícone Análise na barra de navegação.
No boletim de notas, também é possível gerar um relatório de Análise de questões. Acesse o menu de avaliação e selecione Análise de questões.
Página Análise de questões
A página Análise de questões é acessível somente a partir da barra de navegação > Análise > página Análise do curso > guia Análise de questões.
Você pode fazer um relatório sobre uma avaliação com envios e sem perguntas, mas receberá um relatório sem informações úteis.
Você receberá uma mensagem informando que o relatório de Análise de questões está em andamento e receberá um e-mail quando o relatório for concluído. Você pode sair da página para trabalhar em outras áreas do curso e voltar mais tarde para ver se o relatório está pronto.
Cada avaliação no curso é exibida com um destes status:
Relatório em andamento
Concluído em {date}
Os dados não estão mais atualizados: a avaliação agora tem mais envios para analisar.
Dados insuficientes: Não existem envios. A opção Fazer relatório está desativada.
Sem perguntas na avaliação: A avaliação não tem perguntas ou envios. A opção Fazer relatório está desativada.
Nenhum status listado: a avaliação tem perguntas e envios, mas você não executou nenhum relatório. A opção Fazer relatório está ativada.
Erro: Executar
Veja o resumo da avaliação da Análise de questões
Depois de fazer um relatório, você pode ver informações gerais resumidas e detalhes sobre cada pergunta. Selecione a avaliação na página Análise de questões para ver o resumo.
Nota
Somente as tentativas enviadas são usadas nos cálculos. Quando houver tentativas em andamento, elas serão ignoradas até que sejam enviadas. Será necessário fazer novamente o relatório de análise. Zeros automáticos atribuídos a trabalhos atrasados não são incluídos nos cálculos.
Resumo de estatísticas para a avaliação individual:
Pontuação média: A pontuação mostrada é a pontuação média relatada para a avaliação no boletim de notas. A pontuação média poderá mudar se mais tentativas forem enviadas e avaliadas.
Possíveis perguntas: o número total de perguntas na avaliação.
Tentativas concluídas: o número de avaliações enviadas.
Tempo médio gasto: o tempo médio de conclusão de todas as tentativas enviadas.
Refaça um relatório ou edite a avaliação para fazer uma alteração nas perguntas.
Use os gráficos para filtrar a tabela de perguntas. Faça seleções nos dois gráficos para refinar sua busca. se você não fizer nenhuma seleção, todas as perguntas serão exibidas na tabela na parte inferior da página.
Discriminação: Indica o quão bem as perguntas diferenciam entre os alunos que conhecem o assunto e aqueles que não conhecem.
Mostra o número de perguntas que se encaixam nessas categorias:
Bom (maior que 0,3)
Regular (entre 0,1 e 0,3)
Ruim (menor que 0,1)
Não consigo calcular: a dificuldade de uma pergunta é de 100% ou todos os alunos receberam a mesma pontuação em uma pergunta.
As perguntas com valores de discriminação nas categorias Bom e Regular diferenciam os alunos com níveis de conhecimento mais altos e mais baixos.
Recomenda-se que as perguntas da categoria Ruim sejam revisadas.
Dificuldade: Porcentagem de Alunos que responderam corretamente às perguntas
Mostra o número de perguntas que se encaixam nessas categorias:
Fácil (maior que 80%)
Médio (entre 30% e 80%)
Difícil (menor que 30%)
As perguntas nas categorias Fácil ou Difícil são recomendadas para revisão.
Selecione um cabeçalho para classificar as perguntas. Por exemplo, classifique a coluna Revisão de modo que as perguntas que precisam de revisão apareçam primeiro.
Limpar filtros: Limpe os filtros selecionados nos gráficos e exiba todas as perguntas na tabela.
Baixe o relatório de Análise de questões.
Sobre a seção de perguntas no resumo da avaliação
A tabela de perguntas fornece estatísticas de análise para cada pergunta na avaliação. Depois de usar os gráficos para filtrar a tabela de perguntas, é possível visualizar e classificar os resultados.
Em geral, boas questões se enquadram nestas categorias:
Dificuldade Média (30% a 80%)
Valores de discriminação Bom ou Regular (maior que 0,1)
Em geral, perguntas recomendadas para revisão se enquadram nestas categorias: Elas podem ser de baixa qualidade ou pontuadas incorretamente.
Dificuldade Fácil ( > 80%) ou Difícil ( < 30%)
Valores de discriminação Ruim ( < 0.1)
Lembrete: Se você não fizer nenhuma seleção, todas as perguntas serão exibidas na tabela na parte inferior da página.
Para investigar uma pergunta específica, selecione o título e revise os detalhes da pergunta.
As informações de cada questão são exibidas na tabela:
Precisa de revisão: acionado quando os valores de discriminação são menores que 0,1. Além disso, quando os valores de dificuldade forem superiores a 80% (pergunta muito fácil) ou inferiores a 30% (pergunta muito difícil). Revise a pergunta para determinar se é necessário reformulá-la.
Pergunta modificada: Exibe Sim se você executar um relatório, alterar parte de uma pergunta e executar novamente o relatório. Sim também será exibido se você tiver copiado uma pergunta de outra avaliação ao criar a avaliação.
Nota
Se “Sim” for exibido na coluna Pergunta modificada para uma pergunta, o “Sim” não será mantido quando você arquivar e restaurar o curso.
Discriminação: indica o quanto uma pergunta diferencia os alunos entre os que conhecem o assunto e os que não conhecem. As perguntas representam um excelente discriminador quando os alunos que respondem à pergunta corretamente também apresentam um bom desempenho na avaliação. Os valores podem variar de -1,0 a +1,0. Uma pergunta é sinalizada para revisão se seu valor de discriminação for menor que 0,1 ou negativo. Os valores de discriminação não podem ser calculados quando a pontuação de dificuldade da questão for 100% ou quando todos os alunos receberem a mesma pontuação em uma questão.
Os valores de discriminação são calculados com o coeficiente de correlação de Pearson. O X representa as notas de cada aluno em uma pergunta e o Y representa as notas de cada aluno na avaliação.
Estas variáveis são a pontuação padrão, a média da amostra e o desvio padrão da amostra, respectivamente:
Dificuldade: A porcentagem de Aluno que responderam corretamente à pergunta. A porcentagem de dificuldade é listada junto com sua categoria: Fácil (maior que 80%), Média (30% a 80%) e Difícil (menos de 30%). Os valores de dificuldade podem variar de 0% a 100%. Uma porcentagem alta indica que a pergunta era fácil. As perguntas nas categorias Fácil e Difícil são marcadas para revisão.
Níveis de dificuldade que são levemente maiores do que a média entre a chance a as pontuações perfeitas funcionam melhor ao diferenciar estudantes que conhecem o material testado daqueles que não conhecem. Valores de dificuldade alta não garantem altos níveis de discriminação.
Tentativas avaliadas: Número de tentativas de perguntas em que a avaliação foi concluída. Números mais altos de tentativas avaliadas geram cálculos de estatísticas mais confiáveis.
Pontuação média: A pontuação que é exibida é a pontuação média relatada para a avaliação no boletim de notas. A pontuação média pode ser alterada depois que todas as tentativas forem avaliadas.
Ver detalhes de uma única pergunta
Você pode investigar perguntas indicadas para avaliação e verificar o desempenho dos alunos. Na tabela de perguntas de Análise de questões, selecione um título de pergunta vinculado para acessar o resumo da pergunta.
Depois de acessar uma pergunta, use o menu do título da pergunta para acessar qualquer pergunta na avaliação. Você pode acessar outras perguntas sequencialmente em qualquer lado da página.
A tabela de resumo exibe estatísticas para a pergunta.
Selecione Editar avaliação para acessar a avaliação e fazer alterações.
O texto da pergunta e as escolhas de resposta são exibidas. Você pode ver quantos alunos escolheram cada opção de resposta ou a porcentagem respondida corretamente. Por exemplo, para uma pergunta de associação, você vê qual porcentagem de alunos fez a associação de pares corretamente. Para perguntas dissertativas, é exibido somente o texto da pergunta.
Sobre várias tentativas, substituições de perguntas e edições de perguntas
A análise trata de alguns cenários comuns das seguintes maneiras:
Quando os alunos fazem uma avaliação várias vezes, a última tentativa enviada é usada como a entrada da análise. Assim que o aluno envia outra tentativa, as análises subsequentes incluem essa tentativa mais recente.
As substituições do boletim de notas não afetam os dados da análise, pois a análise gera dados estatísticos para as perguntas com base nas tentativas concluídas do aluno.
Ao fazer alterações em uma pergunta ou ao avaliar manualmente as perguntas, você deve fazer a análise novamente para ver se as alterações afetam os dados.
Exemplos
A análise das perguntas pode ajudar você a melhorar as perguntas para administrações de avaliação futuras. Você também pode corrigir perguntas enganosas ou ambíguas em uma avaliação atual.
Em uma pergunta de múltipla escolha, um número igual de alunos escolheu A, B e C. Examine as opções de resposta para determinar se elas são ambíguas, se a questão é muito difícil ou se o material não foi abrangido.
Uma questão foi recomendada para revisão por fazer parte da categoria difícil. Você decide que a pergunta é difícil, mas a mantém para avaliar adequadamente os objetivos do curso.
Uma pergunta de Múltipla Escolha é sinalizada para sua revisão. Mais alunos entre os primeiros 25% escolheram B, mas A é a resposta correta. Você percebe que escolheu a resposta errada quando criou a pergunta. Você edita a pergunta da avaliação e ela é automaticamente reavaliada.
Baixar resultados da avaliação
Talvez seja necessário fazer download dos resultados do teste para análise e avaliação externas. A análise externa é importante para apoiar a qualidade do curso e os esforços de avaliação. Além disso, as instituições frequentemente querem dados de avaliação compilados para atividades de credenciamento e reavaliação de programa.
Você pode baixar os resultados da avaliação do boletim de notas:
Na visualização Nota, selecione a avaliação para exibir o menu de opções e escolha Baixar resultados.
Na visualização Itens avaliáveis, clique no menu de opções da avaliação e clique em Fazer download dos resultados.
Você encontrará várias opções ao fazer download dos resultados.
Tipo de arquivo: planilha do Excel (.xls) ou valor separado por vírgula (.csv). O formato de arquivo padrão é .xls.
Formato dos resultados: Por aluno ou por pergunta e aluno. O padrão é por aluno.
Tentativas de download: Todas as tentativas ou apenas as tentativas incluídas no cálculo da nota. Você pode definir quais tentativas incluir no cálculo de nota nas configurações Tentativas de nota. O padrão é fazer o download apenas das tentativas usadas para o cálculo.
O relatório transferido por download inclui as seguintes informações:
Nome do aluno
Nome de usuário
Perguntas
Respostas
Status da nota
Qualquer conteúdo que o aluno tenha incluído no envio
Amostra do formato do resultado Download por aluno:
Amostra do formato do resultado Download por Aluno e por Questão:
Importante
Se você usar a avaliação anônima, os resultados transferidos por download excluem os detalhes do aluno e da pontuação até que as notas sejam publicadas para todos os alunos.
Assista a um vídeo sobre como fazer download dos resultados de avaliações
O vídeo narrado a seguir contém uma representação visual e auditiva de algumas das informações incluídas nesta página. Para ver uma descrição detalhada do que é retratado no vídeo, abra o vídeo no YouTube, navegue até Mais ações e clique em Abrir transcrição.