证据收集过程

在 Outcomes Assessment 中，证据是收集的学生作业示例。评估该证据旨在评估方案、课程、研究项目、教职员工和学生成就等。

在 Ultra 课程中，可以从不包含单独成绩问题的评估中收集证据。

评估管理者和评估管理员可创建证据收集、对收集进行采样并指定评估者。

创建证据集合

您可以创建证据收集，以便从与特定项目或评估活动相关的课程中收集证据。例如，创建证据收集以收集特定方案或业务部门内与特定目的对齐的课程的所有作业提交。

您可以通过定义用于从 Blackboard 课程收集工件的标准来设置证据收集。

访问目标和评估：
- 管理员面板 > 工具和实用程序
  - 工具页面
选择查看收集的证据可查看现有收集的列表。
选择 +收集证据可创建新的收集。
在收集证据页面上，选择查找目的。
在查找目的弹出窗口中，选择证据必须与之对齐才能包含在收集中的目的。选择提交。
在定义收集选项部分中，选择从何处收集证据：整个系统、有限范围或从特定位置收集证据。在上述每个选项中，您可以通过选择特定学生集或限制日期来进一步缩小标准范围。如果您与机构层次结构节点关联，则只有这些节点可供您选择。
为收集命名。指定开始日期和结束日期，以帮助您管理各种收集项目的时间表并了解项目完成的时间。
如果已完成，请选择提交，或者如果需要创建其他证据收集，请选择收集更多证据。

要收集证据，课程中的内容必须与相关目的对齐。

机构角色是在提交时有效的角色。如果之后添加了机构角色，则不会根据此条件收集项目。您需要以另一种方式收集证据。

证据集是从证据收集中随机抽取的辅件的子集，辅件是符合收集标准的学生作业提交。您可以通过对证据收集进行采样来创建证据集，以减少将为机构评估活动进行评估的辅件数量。采样后即可进行评估。

在查看证据收集页面上，选择收集名称。
在收集页面上，您可以访问以下项目：
- 位于页面顶部的收集状态
- 用于显示下一个可用操作的按钮
- 收集标签，用于显示符合证据收集标准的项目
- 采样标签，用于显示从集合中随机选择的辅件子集。此标签在采样发生后显示。
选择辅件采样。如果已对收集进行采样，则可以选择再次采样。
在弹出窗口中，选择包括所有辅件或随机选择辅件。如果选择随机进行选择，请键入所需的辅件总数，并键入每个作业所需的最小辅件数（可选）。
选择提交。采样过程会立即运行，只需几秒钟即可完成。

您可选择一个或多个评估者来复查证据集中的辅件。他们使用评分量规来评估已指定给他们的辅件。可将系统中的任何用户添加到评估会话。他们不需要任何特殊权限或访问权限。系统会通过电子邮件和 Blackboard 通知系统自动向评估者发送邀请，以复查证据集中指定的辅件选择。

在查看收集的证据页面上，选择收集名称。在您创建评估会话之前，必须先对该集合进行采样。
选择创建评估会话。
在弹出窗口中的选择评估者下，浏览一个或多个评估者。
对于评估设置，选择需要评估每个辅件的评估者数量。
对于评分量规，浏览以查找供评估者使用的评分量规。
选择到期日期。
选中隐私复选框以启用匿名评估。
选择开始会话。系统将通过电子邮件自动通知用户，告知您已将他们选作此会话的评估者。在原始体验中，通知也会发布在“我的 Blackboard”的更新区域中。电子邮件和通知都包含指向评估者视图的链接。

评估者只会看到指定给他们的辅件。然后，评估管理者可以更有效地比较同一辅件的不同评估者的分数，并更好地了解评分者间的可靠性。

评估管理者可以返回评估会话页面来监控各个评估者的进度。他们可以选择自行检查辅件评估、删除或添加评估者，以及关闭会话。如果添加或删除了评估者，系统将自动在更新后的评估者列表中重新分发剩余的未评估辅件。

创建评估会话后，系统将自动通过电子邮件向评估者发送邀请。在原始体验中，通知也会发布在“我的 Blackboard”的更新区域中。

完成对证据集的评估后，评估管理者可以运行报告以了解结果。如果他们不选择对收集的证据执行单独的 Outcomes 评估，可以改为报告从课程内的作业收集的评分量规分数。

如果收集的作业提交在课程中使用评分量规进行了评分，则还会收集这些评分量规评估。分析结果时，课程评分量规将显示在可用的评分量规列表中。