Skip to main content

동료 검토를 통한 질적 동료 평가

동료 평가는 학생들이 기준에 따른 평가를 통해 동료의 작업을 검토할 수 있는 일반적인 자료입니다. 강사와 학생이 사용하기에 편리합니다.

정성적 동료 평가를 사용하는 이유는 무엇인가요?

  • 학생들이 건설적인 피드백을 주고받을 수 있도록 돕습니다.

  • 주제 자료에 대한 이해를 강화하고 실천에 옮깁니다.

  • 학생들의 분석력 및 학습 이해력을 키웁니다.

  • 학생들이 비판적 사고를 개발하도록 장려합니다.

  • 학생들이 전문적인 방식으로 타인을 비평하는 연습을 할 수 있도록 지원합니다.

  • 학생들의 분석능력 및 의사소통 능력을 측정할 수 있습니다.

  • 워크로드 분산에 도움이 됩니다.

  • 학생들이 다양한 개인 및 관점으로부터 피드백을 받을 수 있도록 합니다.

동료평가에 관한 비디오 시청

내레이션이 있는 다음 비디오는 이 페이지에 포함된 일부 정보를 시각적, 청각적으로 표현한 것입니다. 비디오에 묘사된 내용에 대한 자세한 설명을 보려면 Vimeo에서 비디오를 열고, 추가 동작으로 이동한 다음, 자막 열기를 선택합니다.


질문 및 기준예시

질문은 평가의 구조와 내용을 제공합니다. 단순할 수도 있습니다("2 더하기 2는 무엇인가?") 혹은 복잡할 수도 있습니다("로마 제국 멸망의 주된 이유를 설명하시오.").

각 질문에 제공되는 기준은 해당 질문에 대한 응답을 평가하는 수단을 제공합니다. 숫자나 기준은 하나('답 = 4?')에서 여러 개까지 다양하게 설정될 수 있습니다.

  • 주제를 더 넓은 맥락 속에서 문제를 배치하는 응답인가요?

  • 응답이 잘 조직되어 있고 명확하게 배치됐습니까?

  • 응답이 세심하게 교정되었습니까? 문법, 철자 또는 인쇄상의 중대한 오류가 없었나요?

루브릭은 학생들의 평가 과정을 용이하게 하며 교수자가 학생들의 성취도를 더 잘 추적하는 데 도움이 될 수 있습니다. 루브릭을 사용하여 평가할 수 있고 학생들은 평가에 사용되는 루브릭을 볼 수 있습니다.

작은 정보

동료 검토자는 루브릭을 참조하여 피드백을 제공할 수 있지만, 점수를 매기는 것은 교수자만이 루브릭을 사용할 수 있다.

동료평가 만드는 중

과제 설정 패널에서는 1) '동료 검토' 확인란이 선택되어 강조되며, 2) '동료 설정 선택' 옵션이 선택되어 강조되고, 3) 동료 검토 설정 패널이 열려 '학생당 검토', '평가 마감일' 및 '동료 검토 마감일' 옵션이 화면에 나타나며, 4) 업데이트된 정보를 포함한 동료 검토 섹션이 보입니다.
  1. 코스 콘텐츠 페이지에서 과제를 추가할 위치의 더하기 기호를 클릭합니다. 메뉴에서 생성을 선택해 아이템 생성 패널을 열고 과제를 선택하세요. 새 과제 페이지가 열립니다.

  2. 과제 설정 패널에서 동료 검토 옵션을 선택하세요. 선택은 동료 검토 프로세스가 성공적으로 이루어지도록 보장하는 데 필요한 설정을 준수하며, 시도 횟수와 같은 다른 필드에 자동으로 영향을 줍니다.

  3. 동료 검토 아래에서 동료 검토 설정을 선택하세요. 확장된 패널에서 학생당 검토 수, 평가 마감일(과제 제출 시) 및 동료 검토 마감일(동료 검토 완료 시)을 설정할 수 있습니다.

  4. 저장을 선택합니다.

  5. 과제 설정 내의 동료 검토 섹션은 검토자 수 및 동료 개정 마감일을 선택할 수 있는 옵션이 추가되어 업데이트되었습니다.

과제 설정 패널이 열리면 '마감일', '동료 검토' 및 '채점 루브릭' 옵션이 표시됩니다.
  1. 과제에 채점 루브릭 및 채점과 같은 다른 설정을 추가할 수 있습니다.

  2. 과제 설정 패널을 닫고 과제에 내용을 추가하며 학생들에게 지침을 더해 나갑니다.

  3. 학생이 과제를 사용할 수 있도록 준비가 되면 안내해 주세요.

작은 정보

그룹 내에서 동료 평가를 할당하려면 동료 평가가 가능하도록 설정된 여러 과제를 준비하고, 그룹 구성원별로 조건부 이용 가능성을 설정하세요. 지정된 동료 검토자가 항상 학생 그룹 내에 있도록 할 수 있습니다.

작은 정보

과제에는 동료 검토가 포함되어 있으며, 단일 텍스트 프롬프트가 제공됩니다. 학생들이 응답하고 피드백을 받을 모든 주제와 질문을 하나의 프롬프트에 포함시켜야 합니다.

동료 평가 타임라인

  • 생성 및 배포: 제출 마감일 및 검토 횟수를 설정하고 학생에게 과제를 할당합니다.

  • 제출 기간: 학생들이 과제를 제출해야 하는 마감일 전 시간입니다.

  • 동료 검토: 제출 마감일 이후 및 동료 검토 마감일 이전에 학생들은 동료의 작업을 검토하고 피드백을 제공해야 합니다.

  • 작업 추적: 교수자는 제출물을 추적하고 성적부의 진행 상황을 검토할 수 있습니다.

  • 채점: 동료 검토 마감일 이후, 교수는 학생의 제출물과 동료 리뷰를 모두 고려하여 활동을 채점합니다.

은 2023년 05월 15일까지입니다.

학생들은 제출 기간에 다음 작업을 수행할 수 있습니다.

  • 과제 지침을 참조하십시오.

  • 과제에 선택적으로 연결된 루브릭을 검토합니다.

  • 초안 제출을 시작하는 중이며,

  • 제출을 완료합니다.

학생은 다른 과제처럼 이 과제에서도 직접 작성하여 파일을 첨부할 수 있습니다.

완료된 시도는 한 번만 제출 가능합니다. 학생들이 다른 학생의 작업을 보고 과제를 다시 제출하는 것을 방지하기 위함입니다. 학생이 제출 시도에 문제가 있을 경우, 해당 시도를 삭제하여 재제출할 수 있도록 할 수 있습니다.

동료에 대한 제출물 배포 및 무작위 배정

제출물은 학생들에게 자동으로 및 무작위로 배포됩니다. 학생들은 미리 동료에게 배정되지 않고 잠재적 동료 과제 풀에 남아 있습니다. 학생이 새로운 동료 평가를 시작하기로 결정하면 다른 학생의 제출물이 풀에서 무작위로 선택됩니다. 이 방법을 사용하면 늦은 제출과 동료 평가를 수락하고 처리하는 데 더 큰 유연성을 가질 수 있습니다.

동료의 신원은 학생들에게는 표시되지 않지만 교수자 여러분에게는 표시됩니다.

동료 검토 기간 시작

제출 마감일이 지나면 검토 기간이 자동으로 시작됩니다. 학생들은 과제로 돌아가 복습을 시작할 수 있습니다. 과제 제출자는 검토 기간 시작 전에 동료 검토 시작 시기를 통보받게 됩니다.

동료 검토 패널이 할당되었습니다. "피어 리뷰 시작" 및 "제출 보기" 버튼이 표시됩니다.

검토가 할당되고 배포되는 방식 때문에 최소 제출 수를 충족할 때까지 검토 기간을 시작할 수 없습니다.

검토 기간이 시작되기까지의 최소 제출 수는 사용자가 설정한 할당된 검토 수에 1을 더한 것입니다. 예를 들어, 학생마다 검토가 3회 필요하다고 설정했다면, 검토 기간이 시작되기 전에 제출물을 4개 제출해야 합니다. 학생들이 원할 경우, 이 방법을 통해 필요한 모든 검토를 한 번에 완료할 수 있는 충분한 제출물을 먼저 시작할 수 있습니다.

제출 마감일이 지나고 검토 기간이 시작되었으나 제출된 과제가 충분하지 않은 경우 과제 설정 페이지에 알림이 표시됩니다.

원래 설정을 선택적으로 변경하고 필요한 검토 횟수를 줄이거나 제출 마감일을 조정할 수 있습니다.

작은 정보

피어의 이름은 항상 서로 숨겨져 있습니다. 학생이 평가 대상을 알 수 있도록 해당 제출물에 이름을 추가해 달라고 요청할 수 있습니다. 학생의 이름은 숨길 수 없습니다.

중요

동료 평가 과제의 성적이 게시되기 전까지 학생들에게는 평가가 보이지 않습니다.

중요

과제에 동료 검토 기능이 활성화되어 있으면 SafeAssign을 통한 독창성 검사를 사용할 수 없습니다.

과제의 콘텐츠 및 설정 페이지에는 1) "제출물이 충분하지 않아 동료 평가가 시작되지 않았습니다." "과제 설정을 검토하십시오" 메시지가 강조 표시되며, "설정 편집" 옵션이 선택되어 강조 표시됩니다.

늦은 제출 및 검토

학생들은 다른 과제들처럼 이 과제도 늦게 제출할 수 있습니다. 지각은 마감일 조정이 적용되지 않는 경우 성적부와 채점 워크플로에 표시됩니다. 

학생이 늦게 제출한 과제는 사용 가능한 풀에 들어가고, 검토를 시작하는 동료는 이를 선택해 평가할 수 있습니다. 마감일 편의가 처리되는 중에는 개별 학생에 대한 마감일 예외가 동료 평가가 활성화된 과제에서 다른 학생의 검토 기간에 미칠 수 있는 잠재적 영향 때문에 허용되지 않습니다.

늦게 제출한 사람과 검토자는 적극적인 참여자로서 과정에 계속 참여하며, 교수는 누가 지각했는지 항상 확인하고 학생들의 진행 상황을 추적할 수 있습니다.

학생이 다른 모든 학생들이 동료 검토를 마친 후 매우 늦게 제출한 경우, 해당 학생은 동료로부터 리뷰를 받지 못할 수도 있지만 다른 학생의 동료 검토는 할 수 있습니다.

늦게 리뷰를 시작하는 학생에게 풀에 제출물이 더 이상 없으면 다른 학생의 제출물이 할당되어 일부 학생은 할당된 리뷰 수보다 추가적인 동료 리뷰를 받게 됩니다. 이러한 추가 검토는 기본적으로 수신자 동료가 볼 수 없도록 숨겨져 있어 혼란을 느끼거나 '과대평가'되었다고 생각하지 않게 됩니다.

마감일까지 전체 동료 검토 수를 받지 못하는 경우, 제 시간에 검토를 제출하고 완료한 학생이 있을 수 있습니다. 다른 학생이 완료하지 않아 보류 중인 검토가 있다는 의미입니다. 

제출 추적 및 상태 검토

과제의 제출 페이지에서 모든 학생의 상태, 제출 여부, 완료한 동료 평가 수, 제출이나 평가가 늦었는지 여부를 확인할 수 있습니다.

중요

동료 평가 과제의 성적이 게시되기 전까지 학생들에게는 평가가 보이지 않습니다.

제출물 페이지가 열리며 화면에는 제출물 목록과 모든 학생의 상태(제출 여부, 완료한 동료 평가 수, 제출 혹은 평가 지연 여부)가 나타납니다.

중요

학생과 귀하는 활동 스트림을 통해 제출물의 관련 변경 사항을 확인할 수 있습니다. 새 리뷰가 도착하면 알림을 받게 되고, 학생들은 리뷰가 채점되면 알림을 받습니다.

등급

채점 워크플로에서 사용자나 배정된 채점자는 원래 과제 지침, 학생의 제출물, 해당 학생이 동료에게 제공한 검토 및 해당 학생이 동료로부터 받은 피드백을 볼 수 있습니다. 학생에게 피드백을 제공하고 점수를 부여하거나 루브릭을 활용해 평가할 수 있습니다.  제출된 문서는 다른 과제처럼 인라인으로 보고 주석을 추가할 수 있습니다.

동료의 검토가 부적절하다고 판단될 경우, 옆에 있는 표시/숨기기 아이콘을 클릭하여 숨길 수 있습니다. 귀하와 다른 승인된 채점자는 항상 제공된 모든 피드백을 확인할 수 있습니다. 학생이 할당된 검토 작업 외에 늦은 검토자로부터 추가 피드백을 받았을 경우, 해당 검토는 기본적으로 숨겨진다. 표시/숨기기 토글을 사용하여 검토된 학생에게 보이도록 선택할 수 있습니다.

작은 정보

과제에 동료 검토가 포함되면 학생의 제출물과 동료 검토에 대한 단일 점수 및 루브릭을 지원합니다. 선택하면 각 프로세스 부분에 대한 피드백에서 다른 점수를 전달할 수 있습니다.

학생 채점 패널에서는 1) '학생 리뷰' 옵션이 표시되며, 2) 피드백 아이콘이 선택되고, 3) 피드백 및 동료 피드백을 추가할 수 있는 텍스트 상자가 열립니다.

중요

동료 평가 과제의 성적이 게시되기 전까지 학생들에게는 평가가 보이지 않습니다.

유용한 기능

일괄 편집

동료 검토 항목을 일괄적으로 편집할 수 있습니다. 배정된 배치에서 개별 항목의 마감일을 지연시키거나 앞당겨 동시에 조정합니다.

코스 콘텐츠로 이동 -> 점 세 개 메뉴 -> 배치 편집

코스 콘텐츠 패널이 열리며 점 세 개 메뉴가 강조되고 "배치 편집" 옵션이 선택됩니다.

제출 링크

학생이 검토한 제출물은 해당 학생의 채점 패널에서 바로 접근할 수 있습니다. 제출물을 손쉽게 선택하고 맥락에 맞게 학생 리뷰를 평가할 수 있습니다.

학생 예제 검토가 강조 표시된 상태로 열려 있습니다. 학생 이름은 링크의 앵커 텍스트입니다.

일정 링크

학생은 마감일이나 캘린더 보기에서 검토 가능한 제출물을 직접 열람할 수 있습니다. 보류 중인 과업을 검토할 때 이 방법을 사용하면 조치를 취하기가 더 용이해집니다.

"학생 보기"의 "마감일" 및 "캘린더" 보기가 열려 있고, 사용 가능한 두 제출물이 강조 표시되어 있습니다.

장애가 있는 학생 및 삭제된 시도를 위한 동료 평가 과제

교수자가 학생 제출물과 그에 포함된 동료 검토를 삭제할 경우 해당 검토가 손실되므로 경고 메시지가 나타납니다. 학생 목록이 표시됩니다.

동료 검토를 평가하거나 확인할 때 장애가 있거나 사용할 수 없는 학생의 제출물은 계속 사용 가능합니다.

학생 제출물이 더 이상 사용할 수 없게 되어 검토를 시작하거나 완료했다면(장애가 있거나 사용 불가능한 학생의 것인 경우) 더 이상 접근할 수 없음을 확인할 수 있습니다. 학생은 원하거나 교수자의 요청이 있을 경우 다른 복습을 시작할 수 있습니다. 교수자는 학생이 더 이상 사용할 수 없는 복습을 마친 시점을 확인하고 원할 때 다른 복습을 마칠 필요가 없다고 학생에게 알릴 수 있습니다.

과제 패널이 학생 보기에서 열리며 1) '동료 검토를 위한 하나 이상의 제출물을 더 이상 사용할 수 없습니다'라는 경고 메시지가 표시되고 강조되며 2) '이 제출물은 더 이상 사용할 수 없습니다'라는 경고 메시지가 강조됩니다.