Skip to main content

문항 분석

문항 분석은 전반적인 수행성과, 테스트 품질 및 개별 질문에 대한 통계를 제공합니다. 이 데이터는 학생들의 수행과 성과를 제대로 구별하지 못하는 질문을 인식하는 데 도움이 됩니다.

문항 분석의 용도:

  • 향후 시험 관리를 위해 질문을 개선하거나 현재 시도에 대한 학점을 조정합니다.

  • 학급 및 시험 결과에 대한 토론

  • 교정 작업의 기초를 제공

  • 강의실 수업 개선을 위한 전략

:

문항 분석 후 대부분 학생이 한 질문에 잘못 답한 것을 알 수 있습니다. 성공률이 낮은 원인은 무엇인가요?

  • 질문 표현이 혼란스러우신가요?

  • 답변 옵션이 불분명하신가요?

  • 학생들이 이 질문에 성공적으로 답할 수 있도록 적절한 콘텐츠가 제공되었습니까?

  • 배울 콘텐츠에 쉽게 접근할 수 있었으며 명확했나요?

학생들이 이미 알고 있는 내용과 모르는 내용을 정확히 평가할 수 있도록 발견한 정보를 바탕으로 시험 문제를 개선할 수 있습니다.

테스트에서 문항 분석 실행

테스트에서 배포된 문항 분석은 제출된 시도가 있을 때 실행할 수 있지만 현장조사에서는 실행할 수 없습니다.

시험에는 단일 혹은 여러 번의 시도, 문제 세트, 무작위 블록, 자동으로 채점되는 문제 유형 및 수동 채점이 필요한 질문이 포함될 수 있습니다. 시험에서 점수를 할당하지 않은 수동 채점 문제가 있을 경우, 채점된 문제에 대해서만 통계가 생성됩니다. 분석을 다시 실행하기 전에 문제를 수동으로 채점하세요. 문제 채점 통계와 시험 요약 통계가 생성 및 업데이트됩니다.

학생들이 최상의 결과를 얻으려면 모든 시도를 제출하고 수동 채점이 필요한 모든 문제를 채점한 후 시험 분석을 실행해야 합니다. 시험 시도 횟수, 응시한 학생 유형 및 우연 오류가 통계에 영향을 줍니다.

  1. 시험 워크플로 내 세 곳에서 문항 분석에 접근할 수 있는 역할은 교수자, 채점자, 조교입니다.

    • 콘텐츠 영역에 배포된 시험

    • 테스트 페이지에 나열된 배포된 테스트

    • 시험 성적 관리 센터 개설

  2. 테스트 메뉴에 접속하여 문항 분석을 선택하세요.

  3. 테스트 선택 메뉴에서 시험을 선택하세요. 배포된 시험만 나열됩니다.

  4. 실행을 선택하십시오.

  5. 새 보고서 링크는 사용 가능한 분석 섹션에서 선택하거나 페이지 상단의 상태 영수증에서 분석 보기를 선택하세요.

    새 보고서 링크는 사용 가능한 분석 섹션에서 선택하거나 페이지 상단의 상태 영수증에서 분석 보기를 선택하세요.

참고

사용 가능한 분석 섹션에서 이전에 실행된 분석을 접근할 수 있습니다.

문항 분석 페이지의 시험 요약

테스트 요약은 전체 테스트에 대한 데이터를 제공합니다.

문항 분석 페이지에 대한 테스트
  1. 테스트 편집테스트 캔버스를 변경할 수 있는 접근성을 제공합니다.

  2. 테스트 통계 보기:

    • 가능한 점수: 테스트의 총점입니다.

    • 가능한 질문: 테스트에 포함된 문제의 총 개수입니다.

    • 진행 중인 시도: 현재 시험을 보고 있으나 아직 제출하지 않은 학생의 수입니다.

    • 완료된 시도: 제출된 시험의 수입니다.

    • 평균 점수: 별표로 표시된 점수는 일부 시도가 채점되지 않았음을 나타내며, 모든 시도가 채점된 후에는 평균 점수가 변경될 수 있습니다. 성적 관리 센터에서 보고된 시험의 평균 점수가 표시되어 있습니다.

    • 평균 시간: 제출된 모든 시도의 평균 완료 시간입니다.

    • 차별: 좋음(0.3이상), 보통(0.1에서 0.3사이) 및 나쁨(0.1미만) 범주에 속하는 질문의 수를 표시합니다. 차별 값은 문제의 난이도가 100%이거나 모든 학생이 문제에서 같은 점수를 받는 경우 계산할 수 없음으로 표시됩니다. 좋음보통 범주에서 차별 값을 가진 질문은 지식 수준이 높은 학생과 낮은 학생을 구별하는 데 더 효과적입니다. 나쁨 범주에 속하는 질문은 검토를 위해 권장됩니다.

    • 난이도: 쉬움(80% 이상), 보통(30%에서 80% 사이), 어려움(30% 미만)으로 분류된 문제의 수를 나타냅니다. 질문에 정답을 맞힌 학생의 비율로 난이도를 측정합니다. 쉬움 또는 어려움 범주에 속하는 문제는 검토를 권장하며 빨간색 원으로 표시됩니다.

참고

문항 분석 계산에는 채점된 시도만 사용됩니다. 시도가 진행 중일 때 해당 시도는 제출되며, 분석 보고서를 다시 실행할 때까지 무시됩니다.

문항 분석 페이지의 질문 통계 테이블

문제 통계표는 시험 각 문제에 대한 문항 분석 통계를 제공합니다. 권장되는 질문은 빨간색 원으로 표시되어 수정이 필요한 질문을 빠르게 검색할 수 있습니다.

일반적으로 좋은 질문은 다음 범주에 속한다:

  • 중간(30%-80%) 난이도

  • 양호 또는 보통(0.1이상) 차별값

검토를 위해 권장되는 질문은 일반적으로 이러한 범주에 속합니다. 품질이 낮거나 점수가 잘못 부여될 수 있습니다.

  • 쉬움 (80% 이상) 또는 어려움 (30% 미만) 난이도

  • 낮은 (< 0.1) 변별력 값

필터 위치와 방법을 나타내는 레이블이 포함된 필터 질문 화면
  1. 질문 유형, 차별난이도에 따라 질문표를 필터링합니다.

  2. 제목을 선택하여 특정 질문을 조사하고 질문 세부 정보 페이지를 검토하세요.

  3. 각 질문별 통계가 표에 나타납니다.

    • 차별: 질문이 주제를 아는 학생과 그렇지 않은 학생을 얼마나 잘 구별하는지 나타냅니다. 학생이 질문에 올바르게 답하고 시험에서 좋은 성적을 거두면, 그 질문은 효과적인 차별 요소가 됩니다. 값의 범위는 -1,0에서 +1,0까지입니다. 차별값이 0,1 미만이거나 음수인 경우 검토를 위해 질문에 플래그를 지정합니다. 문제 난이도 점수가 100%이거나 모든 학생이 문제에서 동일한 점수를 받은 경우 차별 값을 계산할 수 없습니다.

      피어슨 상관 계수로 판별 값을 계산합니다. X는 각 학생의 질문에 대한 점수를, Y는 시험에서 각 학생의 점수를 나타냅니다.

      피어슨 상관 계수를 사용하여 판별 값을 계산하는 수학 공식입니다.

      이 변수들은 각각 표준 점수, 표본 평균 및 표본 표준편차입니다.

      표준 점수, 표본 평균 및 표본 표준 편차는 판별 값을 계산하기 위한 피어슨 상관 계수의 핵심 요소입니다.
    • 난이도: 질문에 정답을 맞힌 학생 비율입니다. 난이도 비율은 쉬움(80%이상), 중간(30%에서 80%), 어려움(30%미만) 등의 범주로 나열됩니다. 난이도 값은 0%에서 100%까지이며, 백분율이 높을수록 문제가 쉽다는 의미입니다. 질문의 난이도에 따라 검토를 위해 플래그가 지정됩니다.

      시험된 자료를 아는 학생과 모르는 학생을 더 잘 구별할 수 있는 난이도는 우연과 만점 사이의 중간보다 약간 높습니다. 난이도가 높다고 반드시 차별성이 높은 것은 아닙니다.

    • 채점된 시도: 채점이 완료된 문제의 시도 횟수입니다. 시도 횟수가 많을수록 더 신뢰할 수 있는 채점 통계가 생성됩니다.

    • 평균 점수: 별표로 표시된 점수는 일부 시도가 채점되지 않았음을 나타내며, 모든 시도가 채점된 후에는 평균 점수가 변경될 수 있습니다. 성적 관리 센터에서 보고된 시험의 평균 점수가 표시됩니다.

    • 표준 편차: 점수가 평균에서 얼마나 벗어나 있는지 측정합니다. 대부분의 값이 평균에 근접하고 점수가 밀집하여 그룹화될 때 표준 편차는 작아집니다. 데이터 세트의 값이 평균에서 크게 벗어나 넓게 분포되어 있으면 표준 편차가 커집니다.

    • 표준 오차: 학생 점수의 우연한 변동성에 대한 추정치입니다. 시험 문제가 제공하는 측정의 표준 오차가 작을수록 그 측정은 더 정확합니다.

질문 세부 정보 보기

문제를 검토하기 위해 지정된 플래그를 조사하고 학생의 수행 및 성과를 확인할 수 있습니다.

문항 분석 페이지로 이동하여 질문 통계 테이블까지 스크롤하세요. 연결된 질문 제목을 클릭하면 질문 세부 정보 페이지로 이동합니다.

질문 세부 정보 보기
  1. 이전 페이지다음 페이지 아이콘을 사용하여 질문을 순차적으로 진행합니다. 건너뛰기 기능을 사용하여 첫 번째 또는 마지막 질문으로 이동할 수 있습니다.

  2. 테스트 편집을 선택하면 테스트 캔버스에 접근하여 테스트를 변경할 수 있습니다.

  3. 질문에 대한 통계는 요약 테이블에 표시됩니다. 각 통계에 대한 설명은 이전 섹션에서 검토할 수 있습니다.

  4. 질문 내용과 답변 옵션이 표시됩니다. 정보는 질문 유형에 따라 달라집니다:

74. 질문 유형별로 문항 분석 정보를 제공합니다

제공되는 정보의 유형

질문 유형

각 답안을 선택한 학생의 수

-그리고-

클래스 사분위수 간의 응답 분포

객관식(정답 하나)

객관식(정답 다수)

참/거짓

둘 중 하나 및/또는

의견 척도

각 답안을 선택한 학생의 수

짝짓기

정렬

여러 빈칸 채우기

문제의 정답, 오답 및 건너뛴 학생 수

계산식 문제

계산된 숫자

빈칸 채우기

핫 스팟

퀴즈 대회

질문 텍스트만

주관식

파일 응답

단답형

학생들이 선택한 답도 포함된 혼란스러운 문장



기호범례

질문 옆에 있는 기호가 가능한 문제를 경고합니다.

기호 범례: 보라색 원은 검토를 권장합니다. 노란색 삼각형은 배포 후 질문이 변경될 수 있음을 나타냅니다. 별표는 모든 제출물이 채점된 것은 아님을 의미합니다. (QS)는 질문 세트, (RB)는 무작위 블록을 나타냅니다.
  • 검토 권장: 판별 값이 0.1미만일 때 트리거됩니다. 난이도 값이 80%를 초과하거나(질문이 너무 쉬운 경우)30% 미만일 때(질문이 너무 어려운 경우). 질문을 검토하여 수정이 필요한지 확인하겠습니다.

  • 배포 후 질문이 변경될 수 있습니다: 테스트가 배포된 후 일부 질문이 변경되었음을 나타냅니다. 해당 질문에 대한 데이터의 신뢰성이 의심될 수 있습니다. 변경된 질문에 따라 제출된 시도가 변경의 이점을 얻었을 가능성이 있습니다.

    참고

    이 지표는 복원된 과정에서 나타나지 않습니다.

  • 모든 제출물이 채점되는 것은 아닙니다: 에세이 문제와 같이 수동으로 채점해야 하는 문제가 있는 시험에 표시됩니다. 시험에 에세이 문제가 있고 학생 50명이 시도한 경우, 이 지표는 50명 모두의 시도를 채점할 때까지 표시됩니다. 분석에서는 보고서 실행 시 채점된 시도만을 사용합니다.

  • (QS)(RB): 질문이 질문 세트나 무작위 블록에서 나온 것임을 표시합니다. 일부 질문은 무작위 전달로 인해 다른 질문들보다 더 많은 시도를 할 수 있습니다.

여러 시도, 질문의 재정의 및 편집

분석은 여러 시도, 재정의 및 기타 일반 시나리오를 다음과 같은 방식으로 처리합니다:

  • 학생이 시험을 여러 번 치른 경우, 마지막 제출된 시도가 분석을 위한 입력으로 사용됩니다. 예를 들어, 세 번의 시도가 있는 시험에서 학생 A는 두 번의 시도를 완료하고 세 번째 시도를 진행 중입니다. 학생 A의 현재 시도는 진행 중인 시도에 나열된 횟수에 포함됩니다. 학생 A의 이전 시도는 현재 분석 데이터에 포함되어 있지 않습니다. 학생 A의 세 번째 시도를 제출하면 바로 후속 분석에 그 시도가 포함됩니다.

  • 성적 관리 센터의 재정의는 완료된 학생의 시도를 기반으로 문제에 대한 통계 데이터를 생성하기 때문에 분석 데이터에 영향을 미치지 않습니다.

  • 수동 채점 문제나 문제 텍스트, 정답 선택, 부분 점수 및 점수 변경 사항은 분석 보고서에서 자동으로 업데이트되지 않습니다. 분석을 다시 실행하여 데이터에 변경 사항이 영향을 미쳤는지 확인한다.

문항 분석은 향후 시험 관리에 있어 질문 개선에 도움이 될 수 있습니다. 시험에서 오해의 소지가 있거나 모호한 문제를 수정할 수 있습니다.

  • 객관식 질문은 검피를 위해 플래그로 지정됩니다. 상위 25% 학생들 중 대다수가 B답을 선택했지만 정답은 A입니다. 질문을 만들 때 정답을 선택하지 않았음을 깨달았습니다. 시험 문제를 수정하면 자동으로 채점되게 됩니다.

  • 객관식 문제에서 학생들이 A, B, C를 같은 수로 선택했습니다. 답안 선택을 검토하여 모호함, 질문의 난이도, 자료에서 다루지 않은 내용이 있는지 확인합니다.

  • 검토가 권장되는 이유는 질문이 어려운 난이도 범주에 속하기 때문입니다. 코스 목표를 적절하게 테스트하기 위해 문제가 어렵다는 것을 인지하고 있으나 이를 유지합니다.