Skip to main content

증거수집과정

결과 평가에서 증거는 수집된 학생 과제의 샘플입니다. 이 증거는 프로그램, 과정, 연구 프로젝트, 교수진 및 학생 성취도 등을 평가하는 데 사용됩니다.

참고

Ultra 코스에서는 개별적으로 채점되지 않은 평가를 통해 증거를 수집할 수 있습니다.

평가 관리자는 증거 수집을 생성하고, 수집물을 샘플링하며, 평가자를 배정합니다.

왼쪽에서 오른쪽으로 향하는 큰 화살표 다이어그램입니다. "증거 컬렉션 만들기", "컬렉션 샘플링", "증거 집합 평가" 및 "결과 분석"이 왼쪽에서 오른쪽으로 읽혔습니다.

증거 수집 과정

특정 프로젝트나 평가 활동에 관련된 강의에서 증거를 수집하기 위해 증거 컬렉션을 생성합니다. 예를 들어, 특정 목표에 부합하는 프로그램이나 사업부 내 강의에서 제출된 모든 과제를 수집하기 위해 증거 수집 과정을 생성합니다.

블랙보드 코스에서 작품을 수집하는 기준을 정의하고 증거 수집을 설정할 수 있습니다.

  1. 액세스목표 및 평가를 설정합니다.

    • 도구 및 유틸리티 > 관리자 패널

      • 도구 페이지

  2. ‘수집된 증거 보기’를 선택하여 기존 컬렉션 목록을 확인합니다.

  3. +증거 수집을 선택하여 새로운 컬렉션을 생성합니다.

  4. 증거 수집 페이지에서 목표 찾기를 선택하세요.

  5. 목표 검색 팝업 창에서 컬렉션에 포함시킬 증거를 정렬하기 위한 목표를 선택하세요. 제출을 선택합니다.

  6. 수집 옵션 정의 섹션에서 증거를 수집할 위치(전체 시스템, 제한된 범위, 또는 특정 위치)를 선택하세요. 이 옵션들 내에서 특정 학생 집단을 선택하거나 날짜를 설정하여 기준을 좁힐 수 있습니다. 해당 기관 계층의 노드에 연결된 경우 그 노드만 선택 가능합니다.

  7. 컬렉션에 이름을 지정하는 중입니다. 시작 및 종료 날짜를 지정하면 다양한 컬렉션 프로젝트의 타임라인을 관리하고 프로젝트가 완료된 시기를 파악할 수 있습니다.

  8. 완료된 경우 제출을 선택하고, 추가 증거 수집이 필요한 경우 추가 증거 수집을 선택하세요.

강의 콘텐츠는 관련 목표에 부합해야 증거를 수집할 수 있습니다.

기관의 역할은 제출이 발생한 시점에서 유효합니다. 교육 기관의 역할이 나중에 추가될 경우, 이 평가 기준에 따라 작품을 수집하지 않습니다. 증거를 다른 방법으로 수집해야 합니다.

작은 정보

목표 생성 및 조정에 대한 자세한 정보

샘플링을 통해 컬렉션에서 증거 집합을 만드는 중

증거 집합은 증거 수집 과정에서 무작위로 추출된, 수집 기준을 충족하는 학생 과제 제출물인 작품의 하위 집합입니다. 기관 평가 활동에서 평가할 작품 수를 줄이기 위해 증거 수집을 샘플링하여 증거 세트를 생성합니다. 샘플링 후에 평가가 진행될 수 있습니다.

  1. 증거 컬렉션 보기 페이지에서 컬렉션 이름을 선택하세요.

  2. 컬렉션 페이지에서 다음 항목에 접근할 수 있습니다.

    • 페이지 상단의 컬렉션 상태를 확인하세요.

    • 다음 작업을 위해 사용할 수 있는 버튼

    • 수집 탭을 사용하여 증거 수집 기준에 부합하는 항목을 표시합니다.

    • 샘플 탭은 컬렉션에서 무작위로 선택된 작품 부분집합을 보여줍니다. 샘플링이 진행된 후에 이 탭이 나타납니다.

  3. 샘플 작품을 선택합니다. 컬렉션이 이미 샘플링된 경우 재샘플링을 선택할 수 있습니다.

  4. 팝업 창에서 모든 작품 포함 혹은 작품을 무작위로 선택을 선택하세요. 선택을 임의로 하도록 설정할 경우, 필요한 총 작품 수와 각 과제별로 필요한 최소 작품 수를 입력하세요.

  5. 제출을 선택합니다. 샘플링 과정은 즉시 실행되며 완료하는 데 몇 초밖에 걸리지 않습니다.

작품 평가를 위한 증거 집합

평가자 한 명 이상을 선택하여 증거 집합에 포함된 작품을 검토하세요. 할당된 작품 평가에 루브릭을 사용합니다. 모든 사용자를 평가 세션에 추가할 수 있습니다. 특별한 권한이나 접근이 필요하지 않습니다. 평가자는 이메일과 Blackboard 알림 시스템을 통해 할당된 작품 선택을 증거 세트 내에서 검토할 수 있는 초대를 자동으로 받게 됩니다.

평가 세션 생성

  1. 수집된 증거 보기 페이지에서 컬렉션 이름을 선택하세요. 컬렉션은 평가 세션을 만들기 전에 샘플링되어야 합니다.

  2. 평가 세션 만들기를 선택하십시오.

  3. 평가자 선택 팝업 창에서 하나 이상의 평가자를 선택하세요.

  4. 평가 설정에서 각 작품에 대한 평가자의 수를 선택하세요.

  5. 평가자가 사용할 채점 루브릭을 찾습니다.

  6. 마감일을 선택하십시오.

  7. 개인정보 확인란을 선택하여 익명 평가 기능을 활성화합니다.

  8. 세션 시작을 선택하십시오. 사용자는 이 세션의 평가자로 선택되었음을 이메일을 통해 자동으로 알림을 받습니다. 원본 환경에서는 Blackboard의 업데이트 섹션에 알림이 게시됩니다. 이메일과 알림에는 모두 평가자 보기 링크가 포함되어 있습니다.

평가 세션에 대하여

평가자는 할당된 작품만 볼 수 있다. 평가 관리자는 같은 작품에 대한 다양한 평가자의 점수를 보다 효율적으로 비교하고 평가자 간 신뢰성을 더 잘 파악할 수 있다.

평가 관리자는 평가 세션 페이지로 돌아가 다양한 평가자의 진행 상황을 모니터링할 수 있습니다. 아티팩트 평가를 직접 확인하고, 평가자를 삭제하거나 추가하며, 세션을 종료할 수 있는 선택권이 있습니다. 평가자를 추가하거나 제거하면 시스템이 업데이트된 평가자 목록으로 평가되지 않은 나머지 작품을 자동으로 재분배합니다.

평가자가 볼 수 있도록 액세스 설정

평가 세션 생성 시 평가자에게 초대장이 자동으로 이메일로 전송됩니다. 원본 환경에서는 Blackboard의 업데이트 섹션에 알림이 게시됩니다.

  1. 평가자는 전자 메일 메시지 또는 업데이트 페이지에서 할당된 평가 링크를 선택합니다. 평가자가 이메일 메시지를 통해 접근할 때, 링크를 클릭하기 전에 Blackboard에 로그인해야 합니다.

    "평가 세션 시작됨"이라는 제목의 이메일입니다. 이메일에서 '여기를 클릭하세요'라는 텍스트는 평가자가 클릭해야 할 링크를 나타내기 위해 주황색으로 강조되어 있습니다.
    업데이트 페이지에서 평가 링크가 주황색으로 강조되어 있습니다.

  2. 할당된 증거 집합에 포함된 작품만 표시됩니다. 평가자는 작품 메뉴를 열고 평가를 선택한다.

    왼콘에 메뉴가 열려 있으며 'A Trial Run: What is Business Analysis' 항목에 대한 평가가 강조 표시된 GEO1: Critical Thinking [JGSB]의 평가 화면입니다. A Trial Run: What is Business Analysis 학생-1028895의 평가 화면이 오른쪽에 있고, 평가 버튼이 주황색으로 강조되어 있습니다.

  3. 학생이 제출한 자료가 표시됩니다. 평가자는 평가나 새 창에서 평가를 선택해 루브릭을 확인하고 점수 값을 선택합니다.

  4. 평가자는 제출을 선택한다.

평가결과분석

평가가 완료되면 평가 관리자는 보고서를 생성하여 결과를 확인할 수 있습니다. 코스 내 과제에서 수집된 루브릭 점수를 보고하는 것으로 수집된 증거에 대한 별도의 결과 평가를 수행하지 않을 수 있습니다.

과제 제출물이 루브릭을 사용하여 강좌에서 평가된 경우, 해당 루브릭 평가 결과도 함께 수집됩니다. 코스 루브릭은 결과 분석 시 사용할 수 있는 루브릭 목록에 나타납니다.

  1. 수집된 증거 보기 페이지에서 컬렉션 이름을 선택하세요. 샘플링하기 전에 결과를 분석해야 합니다.

  2. 결과 분석을 선택하십시오.

  3. 증거 수집 결과 분석 페이지에서 현재 결과를 확인하거나 다운로드할 수 있습니다.

  4. 루브릭을 선택하십시오. 루브릭 목록에는 결과 평가를 위한 루브릭과 코스 내 과제에 관련된 루브릭이 포함되어 있습니다.

  5. 결과를 즉시 확인하기로 선택한 경우, 결과 보고서의 날짜 범위 및 비교 방법을 선택할 수 있는 추가 옵션이 있습니다.

  6. 결과 보기를 선택합니다. 결과를 지금 확인하기로 선택하면 화면에 표시됩니다. 파일을 저장하라는 메시지가 표시됩니다.