Skip to main content

질문 분석

질문 분석은 전체 수행과 성과, 평가 품질, 개별 질문에 대한 통계를 제공합니다. 이 데이터는 학생들의 수행과 성과를 제대로 구별하지 못하는 질문을 인식하는 데 도움이 됩니다. 질문 분석은 질문이 포함된 평가를 위한 것입니다. 모든 제출이 접수되기 전에 질문의 품질을 확인하고 변경하기 위해 보고서를 실행할 수 있습니다.

질문 분석 목적:

  • 향후 평가를 위해 질문을 개선하거나 현재 시도에 대한 점수를 조정합니다.

  • 학급 및 평가 결과에 대한 토론

  • 교정 작업을 위한 기본 자료 제공

  • 강의실 수업 개선 방법

:

대부분 학생들이 문제 분석 후 한 가지 질문에 잘못 답하는 것을 알 수 있습니다. 성공률이 낮은 이유는 무엇인가요?

  • 질문이 혼란스러우신가요?

  • 답변 옵션이 불분명하신가요?

  • 학생들이 이 질문에 성공적으로 답할 수 있도록 적절한 콘텐츠를 제공받았습니까?

  • 배울 콘텐츠에 쉽게 접근하고 명확했나요?

학생들이 알고 있는 것과 모르는 것을 정확히 평가할 수 있도록 발견한 내용을 바탕으로 질문을 개선하세요.

평가 분석 접근

다음 과정 영역에서 이전 문제 분석 보고서를 실행하고 접근할 수 있습니다.

  • 코스 콘텐츠 평가 메뉴> 페이지

  • 코스 분석 페이지 > 문제 분석 탭 - 교육 기관에서 분석을 활성화한 경우

  • 성적표

코스 콘텐츠 페이지에서 평가 메뉴로 이동하여 문제 분석을 선택하세요. 탐색 모음에서 분석 아이콘을 선택할 수 있습니다.

강조 표시된 질문 분석 옵션은 특정 테스트 메뉴에 있습니다.

성적부에서 문제 분석 보고서를 실행할 수 있습니다. 평가 메뉴에 접속하여 문제 분석을 선택하세요.

문제 분석 중인 특정 테스트 메뉴.

질문 분석 페이지

질문 분석 페이지는 탐색 모음> 분석 > 코스 분석 페이지> 질문 분석 탭에서만 접근할 수 있습니다.

코스 분석에서의 질문 분석은 다음과 같습니다.

평가에 대한 보고서를 제출하거나 질문 없이 실행할 수는 있지만, 사용 가능한 정보가 없어서 내용이 없는 보고서를 받게 될 것입니다.

보고서 분석 중임을 알리는 메시지를 받고, 보고서가 완료되면 이메일을 받게 됩니다. 페이지를 떠나 코스의 다른 영역에서 작업한 후에 돌아와 보고서가 준비되었는지 확인할 수 있습니다.

질문 분석 보고서 작성 중이며 완료되는 대로 이메일로 전송될 예정임을 알려드리는 경고입니다.
상태열

코스의 각 평가는 다음 상태 중 하나로 표시됩니다.

  • 보고서 작성 중

  • {날짜}에 완료되었습니다.

  • 데이터가 더 이상 최신 상태가 아닙니다: 이제 평가에 사용할 제출물이 더 많아졌습니다.

  • 데이터 부족: 제출물이 없습니다. 보고서 실행이 비활성화되어 있습니다.

  • 평가에 질문이 없습니다: 평가에는 질문이나 제출물이 없습니다. 보고서 실행이 비활성화되어 있습니다.

  • 상태가 나열되지 않음: 평가에는 질문과 제출물이 포함되어 있으나 보고서를 실행하지 않았습니다. 보고서 실행이 활성화됩니다.

  • 오류: 실행 중

질문 분석 평가의 요약 보기

보고서 실행 후 각 질문에 대한 전체 요약 정보 및 세부 정보를 확인할 수 있습니다. 질문 분석 페이지에서 평가를 선택해 요약을 확인합니다.

참고

제출된 시도만이 계산에 사용됩니다. 진행 중인 시도가 있으면, 해당 시도는 제출되며 분석 보고서를 다시 실행할 때까지 무시됩니다. 할당된 늦은 작업의 자동 0은 계산에 포함되지 않습니다.

시험 요약에 차별 및 난이도를 나타내는 보라색 막대가 있고, 검토가 필요한 문제를 먼저 표시하도록 검토 열을 선택할 수 있는 옵션이 있습니다.
  1. 개별 평가에 대한 통계적 요약:

    • 평균 점수: 표시된 점수는 성적부에서 보고된 평균 점수입니다. 제출된 시도가 많아지고 채점이 이루어질수록 평균 점수는 변동될 수 있습니다.

    • 가능한 질문: 평가에 포함된 문제의 총 개수입니다.

    • 완료된 시도: 제출된 평가의 수입니다.

    • 평균 소요 시간: 제출된 모든 시도의 평균 완료 시간입니다.

  2. 보고서를 다시 실행하거나 평가를 수정하여 문제점을 변경합니다.

  3. 그래프를 이용해 질문 표를 필터링하세요. 두 그래프에서 선택하여 검색을 구체화합니다. 모든 질문은 선택하지 않을 경우 페이지 하단의 표에 나타납니다.

    • 차별: 질문이 주제를 아는 학생과 그렇지 않은 학생을 얼마나 잘 구분하는지 나타냅니다.

      • 질문 수는 다음 범주에 속합니다.

        • 양호(0.3보다 큼)

        • 보통(0.1에서0.3사이)

        • 나쁨(0.1미만) 범주

        • 계산할 수 없음: 문제의 난이도가 100%이거나 모든 학생이 문제에서 같은 점수를 받았습니다.

      • 좋음보통 범주에서 차별 값을 가진 질문은 지식 수준이 높은 학생과 낮은 학생을 구분합니다.

      • 나쁨 범주에 속하는 질문은 검편을 위해 권장됩니다.

    • 난이도: 질문에 정답을 맞춘 학생 비율

      • 질문 수는 다음 범주에 속합니다.

        • 쉬움(80%이상)

        • 중간(30%에서80%사이)

        • 하드(30%미만)

      • 쉬움 또는 어려움 범주에 속하는 질문을 검토하는 것이 좋습니다.

  4. 질문을 정렬하기 위해 제목을 선택하세요. 검토 열을 정렬하여 검토가 필요한 질문을 우선적으로 표시합니다.

  5. 필터 지우기: 그래프에서 선택한 필터를 제거하고 표에 모든 질문을 표시합니다.

  6. 질문 분석 보고서를 다운로드하고 있습니다.

평가 요약에 있는 질문 섹션 정보

문제 테이블은 각 평가 질문에 대한 분석 통계를 제공합니다. 그래프를 사용해 질문 테이블을 필터링한 후 결과를 확인하고 정렬할 수 있습니다.

일반적으로 좋은 질문은 다음과 같은 범주에 속합니다.

  • 중간(30%-80%) 난이도

  • 양호 또는 보통(0.1이상) 차별값

검토를 위해 권장되는 질문은 일반적으로 이러한 범주에 속합니다. 품질이 낮거나 점수가 잘못 부여될 수 있습니다.

  • 쉬움 (80% 이상) 또는 어려움 (30% 미만) 난이도

  • 낮은 (< 0.1) 변별력 값

알림: 선택한 내용이 없으면 모든 질문이 페이지 하단의 표에 표시됩니다.

테스트 분석 문제의 표는 다음과 같습니다.

제목을 선택하고 질문의 세부 정보를 검토하여 특정 질문을 조사하세요.

각 질문에 대한 정보는 표에 나타납니다.

  • 검토 필요: 차별값이 0.1미만일 때 트리거됩니다. 난이도 값이 80%를 초과하거나(질문이 너무 쉬웠음) 30% 미만일 경우(질문이 너무 어려웠음). 질문을 검토하고 수정이 필요한지 확인합니다.

  • 질문이 수정되었습니다: 보고서를 실행한 후 일부 질문을 변경하고 보고서를 다시 실행하면 가 표시됩니다. 평가 생성 시 다른 평가에서 복사한 질문이 나타날 수도 있습니다.

    참고

    수정된 질문 목록에 예시가 포함되어 있으면, 코스를 보관하거나 복원할 때 해당 예시는 이월되지 않습니다.

  • 차별: 질문이 주제를 아는 학생과 모르는 학생을 얼마나 잘 구별하는지 나타냅니다. 질문에 정확히 답한 학생이 평가에서도 좋은 성적을 얻을 때, 그 질문은 좋은 차별력을 가진다고 할 수 있습니다. 값의 범위는 -1.0에서 +1.0까지입니다. 차별 값이 0.1미만이거나 음수일 경우 검토를 위해 질문에 플래그가 지정됩니다. 문제 난이도 점수가 100%이거나 모든 학생이 문제에서 같은 점수를 받은 경우 차별값을 계산할 수 없습니다.

    판별 값은 피어슨 상관 계수로 계산됩니다. X는 각 학생의 질문에 대한 점수를, Y는 평가에서 각 학생의 점수를 나타냅니다.

Pearson 상관 계수를 사용하여 판별 값을 계산하는 수학 공식입니다.
  • 이 변수들은 각각 표준점수, 표본평균 및 표본표준편차입니다.

표준 점수, 표본 평균 및 표본 표준편차는 판별값을 계산하기 위한 피어슨 상관계수의 핵심 요소입니다.
  • 난이도: 질문에 정답을 맞춘 학생의 비율입니다. 난이도 비율은 쉬움(80%이상), 중간(30%에서 80%), 어려움(30%미만) 등의 범주로 나열됩니다. 난이도 값의 범위는 0%부터 100%까지입니다. 질문이 쉬웠다는 것을 높은 비율이 나타냅니다. 질문의 난이도에 따라 검토를 위해 플래그가 지정됩니다.

    우연과 만점 사이에서 약간 높은 난이도는 시험된 자료를 아는 학생과 모르는 학생을 더 잘 구별합니다. 난이도가 높다고 반드시 수준 높은 차별을 보장하지는 않습니다.

  • 채점된 시도: 채점이 완료된 문제의 시도 횟수입니다. 시도 횟수가 많을수록 생성되는 계산된 통계가 더 신뢰할 수 있습니다.

  • 평균 점수: 표시된 점수는 성적부에 보고된 평균 점수입니다. 시도가 모두 채점된 후 평균 점수가 변경될 수 있습니다.

단일 질문에 대한 세부 정보 보기

플래그가 지정된 문제를 검피하고, 학생의 수행 및 성과를 확인할 수 있습니다. 질문 분석 테이블에서 연결된 질문 제목을 선택하여 요약을 확인하세요.

특정 질문에 대한 분석 요약은 다음과 같습니다.
  1. 문제에 접근한 다음 문제 제목 아래 메뉴를 사용하여 평가에 있는 모든 문제를 확인하십시오. 양쪽 페이지에서 순차적으로 다른 질문으로 이동할 수 있습니다.

  2. 질문에 대한 통계는 요약 테이블에 표시됩니다.

  3. 평가 편집을 선택해 평가에 접근하고 변경하세요.

  4. 질문 내용과 답변 옵션이 표시됩니다. 학생들이 선택한 각 답변의 수나 정답률을 확인할 수 있습니다. 예를 들어, 일치 질문에서 학생들이 쌍을 올바로 일치시킨 비율을 확인할 수 있습니다. 에세이 질문에는 질문 텍스트만이 나타납니다.

여러 시도, 질문 재정의 및 편집에 대해

분석은 몇 가지 일반적인 시나리오를 다음과 같은 방식으로 처리합니다.

  • 학생이 평가를 여러 번 치를 경우, 마지막 제출된 시도가 분석을 위한 입력으로 사용됩니다. 학생이 새로운 시도를 제출하면 후속 분석에 최신 시도가 바로 반영됩니다.

  • 성적부 재정의는 완료된 학생의 시도를 기반으로 문제에 대한 통계 데이터를 생성하기 때문에 분석 데이터에 영향을 미치지 않습니다.

  • 문제를 변경하거나 수동으로 채점할 때는 분석을 다시 실행하여 데이터에 영향을 미치는지 확인해야 합니다.

질문 분석은 향후 평가 관리에 도움이 되는 질문 개선에 기여할 수 있습니다. 현재 평가에서 오해를 불러일으킬 수 있는 또는 모호한 질문을 수정할 수 있습니다.

  • 객관식 문제에서 같은 수의 학생들이 A, B, C를 선택했습니다. 답안 선택을 검토하여 모호한 부분이 있는지, 질문이 너무 어려운지, 자료에서 다루지 않은 내용인지 확인합니다.

  • 검토가 권장되는 이유는 질문이 어려운 난이도 범주에 속하기 때문입니다. 코스 목표를 적절하게 평가하기 위해 질문이 어렵다고 판단되지만 이를 유지합니다.

  • 객관식 질문은 검토를 위해 플래그로 지정됩니다. 더 많은 상위 25% 학생들 중 B 답을 선택했지만, 정답은 A입니다. 질문을 만들 때 정답을 선택하지 않았음을 깨달았습니다. 평가 문제를 수정하면 자동으로 채점되며,

평가결과 다운로드

테스트 결과를 외부 분석 및 평가를 위해 다운로드해야 할 수도 있습니다. 외부 분석은 과정의 질과 평가 노력을 지원하는 데 중요합니다. 교육 기관은 인가 및 프로그램 검토 활동을 위해 수집된 평가 데이터를 자주 요구합니다.

성적부에서 평가 결과를 다운로드할 수 있습니다.

  • 성적 보기에서 평가를 선택해 옵션 메뉴를 표시한 후 결과 다운로드를 선택합니다.

성적부 그리드 보기에서 결과 다운로드 옵션이 강조됩니다.
  • 채점 가능한 항목 보기에서 평가의 옵션 메뉴를 선택한 후 결과 다운로드를 클릭하세요.

성적부 그리드 보기에서 결과 다운로드 옵션이 강조됩니다.

다운로드할 때 몇 가지 옵션이 있습니다.

  • 파일 형식: Excel 스프레드시트(.xls) 또는 쉼표로 구분된 값(.csv). 기본값은 '.xls'입니다.

  • 결과 형식: 학생별 또는 질문별 및 학생별. 학생이 기본값입니다.

  • 다운로드 시도 횟수: 성적 계산에 포함된 모든 시도 또는 최종 시도만 포함됩니다. 채점 시도 설정에서 성적 계산에 포함될 시도를 정의할 수 있습니다. 기본값은 계산에 사용된 데이터만 다운로드하는 것입니다.

다음은 결과를 다운로드해야 할 파일 형식, 형식 및 시도에 대한 것입니다.

다운로드한 보고서에는 다음과 같은 정보가 포함되어 있습니다.

  • 학생 이름

  • 사용자 이름

  • 1: 질문을 그대로 반환합니다.

  • 답변

  • 채점 상태

  • 학생이 제출한 모든 콘텐츠

결과 형식 샘플학생별 다운로드:

학생마다 다운로드할 수 있는 형식의 예시입니다.

결과 형식 샘플, 학생 및 질문별 다운로드:

"학생별 및 질문별 다운로드" 결과 형식에 대한 샘플입니다.

중요

익명 채점 기능을 사용할 경우 모든 학생의 성적이 게시될 때까지 다운로드된 결과에서 학생 정보 및 점수 세부 사항은 제외됩니다.

비디오를 통해 평가 결과를 다운로드하는 방법 알아보기

내레이션이 있는 다음 비디오는 이 페이지에 포함된 일부 정보를 시각적, 청각적으로 표현한 것입니다. 비디오에 묘사된 내용에 대한 자세한 설명을 보려면 YouTube에서 비디오를 열고, 추가 동작으로 이동한 다음, 자막 열기를 선택합니다.