Skip to main content

증거수집과정

심사 기반 평가에서 증거란 학생 과제의 수집된 샘플을 의미합니다. 이 증거는 프로그램, 과정, 연구 프로젝트, 교수진 및 학생의 성취도 등 다양한 요소를 평가하는 데 사용됩니다.

참고

Ultra 코스에서는 개별적으로 채점되지 않은 평가를 통해 증거를 수집할 수 있습니다.

평가 관리자는 증거 수집을 생성하고, 수집물을 샘플링하며, 평가자를 배정합니다.

왼쪽에서 오른쪽으로 향하는 큰 화살표 다이어그램입니다. "증거 컬렉션 만들기", "컬렉션 샘플링", "증거 집합 평가" 및 "결과 분석"이 왼쪽에서 오른쪽으로 읽혔습니다.

증거 수집 과정

특정 프로젝트나 평가 활동에 관련된 강의에서 증거를 수집하기 위해 증거 컬렉션을 생성합니다. 예를 들어, 특정 목표에 부합하는 프로그램이나 사업부 내 강의에서 제출된 모든 과제를 수집하기 위해 증거 수집 과정을 생성합니다.

Blackboard 강좌에서 산출물을 수집하는 데 사용되는 기준을 정의하여 증거 수집을 설정할 수 있습니다.

  1. 목표 및 평가에 접근합니다:

    • 관리자 패널 > 도구 및 유틸리티

      • 도구 페이지

  2. 기존 컬렉션 목록을 보려면 수집된 증거 보기를 선택하세요.

  3. 새로운 컬렉션을 생성하려면 +증거 수집을 선택하세요.

  4. 증거 수집 페이지에서 목표 찾기를 선택하세요.

  5. 목표 검색 팝업 창에서 컬렉션에 포함될 증거와 일치해야 하는 목표를 선택합니다. 제출을 선택하세요.

  6. 수집 옵션 정의 섹션에서 증거를 전체 시스템, 제한된 범위 또는 특정 장소에서 수집할지를 선택합니다. 이러한 옵션 각각에서 특정 학생 세트를 선택하거나 날짜를 제한하여 기준을 추가로 세분화할 수 있습니다. 교육기관 계층 구조 노드와 연결된 경우, 해당 노드만 선택 가능하게 됩니다.

  7. 컬렉션에 이름을 지정합니다. 시작 및 종료 날짜를 지정하면 다양한 컬렉션 프로젝트의 타임라인을 관리하고 프로젝트가 완료된 시기를 파악할 수 있습니다.

  8. 완료된 경우 제출을 선택하고, 추가 증거 수집이 필요한 경우 추가 증거 수집을 선택하세요.

강의 콘텐츠는 관련 목표에 부합해야 증거를 수집할 수 있습니다.

기관의 역할은 제출이 발생한 시점에서 유효합니다. 교육 기관의 역할이 나중에 추가될 경우, 이 평가 기준에 따라 작품을 수집하지 않습니다. 증거를 다른 방법으로 수집해야 합니다.

작은 정보

목표 생성 및 조정에 대한 자세한 정보

샘플링을 통해 컬렉션에서 증거 집합을 만드는 중

증거 세트는 수집 기준을 충족하는 학생 과제 제출물인 작품의 하위 집합으로, 증거 수집에서 무작위로 추출된 것입니다. 증거 세트를 생성하여 평가될 작품의 수를 줄여 교육기관 평가 활동을 진행할 수 있습니다. 샘플링 후, 평가가 진행됩니다.

  1. 증거 컬렉션 보기 페이지에서 컬렉션 이름을 선택합니다.

  2. 컬렉션 페이지에서 다음 항목에 접근할 수 있습니다:

    • 페이지 상단의 컬렉션 상태를 확인하세요

    • 다음 작업을 위해 사용할 수 있는 버튼

    • 수집 탭을 사용하여 증거 수집 기준에 부합하는 항목을 표시합니다

    • 샘플 탭은 컬렉션에서 무작위로 선택된 작품 부분집합을 보여줍니다. 샘플링이 진행된 후에 이 탭이 나타납니다.

  3. 작품 샘플링을 선택하세요. 컬렉션이 이미 샘플링된 경우, 다시 샘플링을 선택할 수 있습니다.

  4. 팝업 창에서 모든 작품 포함 혹은 작품을 무작위로 선택을 선택하세요. 선택을 임의로 하도록 설정할 경우, 필요한 총 작품 수와 각 과제별로 필요한 최소 작품 수를 입력하세요.

  5. 제출을 선택합니다. 샘플링 프로세스는 즉시 실행되며 완료까지 몇 초밖에 걸리지 않습니다.

작품 평가를 위한 증거 집합

평가자 한 명 이상을 선택하여 증거 집합에 포함된 작품을 검토하세요. 할당된 작품 평가에 루브릭을 사용합니다. 모든 사용자를 평가 세션에 추가할 수 있습니다. 특별한 권한이나 접근이 필요하지 않습니다. 평가자는 이메일과 Blackboard 알림 시스템을 통해 할당된 작품 선택을 증거 세트 내에서 검토할 수 있는 초대를 자동으로 받게 됩니다.

평가 세션 생성

  1. 수집된 증거 보기 페이지에서 컬렉션 이름을 선택하세요. 컬렉션은 평가 세션을 생성하기 전에 샘플링되어야 합니다.

  2. 평가 세션 생성을 선택하세요.

  3. 팝업 창에서 평가자 선택 아래에서 하나 이상의 평가자를 검색하세요.

  4. 평가 설정의 경우, 각 작품을 평가해야 하는 평가자 수를 선택하세요.

  5. 평가자가 사용할 채점 루브릭을 찾습니다.

  6. 마감일을 선택하세요.

  7. 익명을 보장하려면 개인정보 보호 확인란을 선택하세요.

  8. 세션 시작을 선택하세요. 사용자가 선택한 세션 평가자로 자동으로 이메일을 통해 알림을 받습니다. Original 환경에서는 내 Blackboard의 업데이트 섹션에 알림도 게시됩니다. 이메일과 알림 모두 평가자 보기로 연결되는 링크를 포함합니다.

평가 세션에 대하여

평가자는 할당된 작품만 볼 수 있다. 평가 관리자는 같은 작품에 대한 다양한 평가자의 점수를 보다 효율적으로 비교하고 평가자 간 신뢰성을 더 잘 파악할 수 있다.

평가 관리자는 평가 세션 페이지로 돌아가 다양한 평가자의 진행 상황을 모니터링할 수 있습니다. 아티팩트 평가를 직접 확인하고, 평가자를 삭제하거나 추가하며, 세션을 종료할 수 있는 선택권이 있습니다. 평가자를 추가하거나 제거하면 시스템이 업데이트된 평가자 목록으로 평가되지 않은 나머지 작품을 자동으로 재분배합니다.

평가자가 볼 수 있도록 액세스 설정

평가 세션 생성 시 평가자에게 초대장이 자동으로 이메일로 전송됩니다. 원본 환경에서는 Blackboard의 업데이트 섹션에 알림이 게시됩니다.

  1. 평가자는 전자 메일 메시지 또는 업데이트 페이지에서 할당된 평가 링크를 선택합니다. 평가자가 이메일 메시지를 통해 접근할 때, 링크를 클릭하기 전에 Blackboard에 로그인해야 합니다.

    "평가 세션 시작됨"이라는 제목의 이메일입니다. 이메일에서 '여기를 클릭하세요'라는 텍스트는 평가자가 클릭해야 할 링크를 나타내기 위해 주황색으로 강조되어 있습니다.
    업데이트 페이지에서 평가 링크가 주황색으로 강조되어 있습니다.

  2. 할당된 증거 집합에 포함된 작품만 표시됩니다. 평가자는 작품 메뉴를 열고 평가를 선택한다.

    왼콘에 메뉴가 열려 있으며 'A Trial Run: What is Business Analysis' 항목에 대한 평가가 강조 표시된 GEO1: Critical Thinking [JGSB]의 평가 화면입니다. A Trial Run: What is Business Analysis 학생-1028895의 평가 화면이 오른쪽에 있고, 평가 버튼이 주황색으로 강조되어 있습니다.

  3. 학생이 제출한 자료가 표시됩니다. 평가자는 평가나 새 창에서 평가를 선택해 루브릭을 확인하고 점수 값을 선택합니다.

  4. 평가자는 제출을 선택한다.

평가결과분석

평가가 완료되면 평가 관리자는 보고서를 생성하여 결과를 확인할 수 있습니다. 코스 내 과제에서 수집된 루브릭 점수를 보고하는 것으로 수집된 증거에 대한 별도의 결과 평가를 수행하지 않을 수 있습니다.

과제 제출물이 루브릭을 사용하여 강좌에서 평가된 경우, 해당 루브릭 평가 결과도 함께 수집됩니다. 코스 루브릭은 결과 분석 시 사용할 수 있는 루브릭 목록에 나타납니다.

  1. 수집된 증거 보기 페이지에서 컬렉션 이름을 선택하세요. 결과를 분석하기 전에 컬렉션을 샘플링해야 합니다.

  2. 결과 분석을 선택하세요.

  3. 증거 수집 결과 분석 페이지에서 결과를 지금 보거나 다운로드할 수 있습니다.

  4. 루브릭을 선택합니다. 루브릭 목록에는 심사 기반 평가 루브릭과 과정 내 과제에 연결된 루브릭이 포함됩니다.

  5. 결과를 즉시 확인하기로 선택한 경우, 결과 보고서의 날짜 범위 및 비교 방법을 선택할 수 있는 추가 옵션이 있습니다.

  6. 결과 보기을 선택하세요. 결과를 즉시 보는 것을 선택한 경우 화면에 결과가 표시됩니다. 다운로드를 선택한 경우 파일 저장 요청이 표시됩니다.