Conversación con IA: Nota de transparencia
Note
Este documento se ha traducido mediante traducción automática asistida por IA. Las traducciones se proporcionan «tal cual», sin garantía alguna respecto a su exactitud. La versión en inglés de este contenido es la fuente oficial y de referencia.
Conversación con IA: Nota de transparencia
El uso legal, ético y responsable de la inteligencia artificial (IA) es una prioridad fundamental para Blackboard. Por eso, hemos desarrollado e implementado un programa de IA fiable. Puede encontrar información sobre nuestro programa y nuestro enfoque general respecto a la IA fiable en nuestro Centro de confianza. Puede encontrar una descripción general de las soluciones de Blackboard con IA generativa en nuestra lista de funciones de IA generativa.
Como parte de nuestros principios de IA fiable, nos comprometemos a ofrecer transparencia, claridad y responsabilidad. El propósito de esta página es proporcionar la transparencia y la explicabilidad necesarias para ayudar a nuestros clientes a implementar la conversación con IA. Aconsejamos a los administradores que revisen detenidamente esta página y se aseguren de que los profesores conozcan las consideraciones y recomendaciones que se indican a continuación antes de activar cualquiera de las funcionalidades de la conversación con IA en su institución.
Cómo ponerse en contacto con nosotros:
Si tiene preguntas o comentarios sobre nuestro enfoque general de la IA fiable o sobre cómo podemos hacer que esta página sea más útil para nuestros clientes, envíenos un correo electrónico a trustworthy-ai@blackboard.com.
Para preguntas o comentarios sobre la funcionalidad o el resultado de la conversación con IA, envíe un ticket al soporte al cliente.
Funciones facilitadas con IA
Conversación con IA
La conversación con IA está diseñada específicamente como una nueva actividad interactiva en la que los estudiantes pueden participar de manera activa. Los profesores pueden crear una conversación de IA en sus cursos, esbozando un tema y un personaje de IA, y pueden seleccionar el tipo de conversación en la que los estudiantes deben participar. Dentro de la funcionalidad «conversación con IA», los profesores pueden elegir entre tres opciones: preguntas basadas en el «método socrático», en las que el personaje de IA anima a los estudiantes a pensar de forma crítica mediante preguntas continuas; «Juego de rol», que permite a los estudiantes representar una situación con el personaje de IA; o preguntas tipo «Pulse Quiz», en el que el personaje de IA plantea al estudiante una serie de preguntas generadas a partir del contenido del curso que el profesor seleccione.
Preguntas según el método socrático
Es una actividad de preguntas guiadas o un ejercicio socrático. El personaje de IA no confirmará ni rechazará ninguna respuesta de los estudiantes, sino que los guiará a través de una serie de preguntas. Al final de la conversación, los estudiantes pueden reflexionar sobre la actividad, destacando los puntos débiles o fuertes de su aprendizaje, o si el bot de IA mostró alguna parcialidad, alucinación o imprecisión. Una vez entregada, el profesor recibirá una transcripción de la conversación y la reflexión, lo que garantiza una transparencia total de las interacciones. Esta es una excelente manera de mantener un diálogo que invita a la reflexión sobre los temas del curso sin necesidad de reuniones individuales, lo cual en cursos más grandes o complejos puede ser difícil.
La conversación con IA permite a los profesores generar una imagen para el personaje de la conversación con IA mediante el uso de la IA generativa.
Estas funcionalidades están sujetas a las limitaciones y a la disponibilidad de Azure OpenAI Service y pueden sufrir modificaciones. Para obtener más información, consulte las notas de la versión pertinentes.
Juego de rol
La función «Juego de rol» permite a los profesores crear conversaciones simuladas para sus estudiantes, definiendo roles específicos tanto para el personaje de IA como para los estudiantes. Esta opción interactiva mejora las experiencias de aprendizaje y formación, ya que permite a los estudiantes practicar sus habilidades de comunicación en escenarios realistas, proporcionando oportunidades de aprendizaje activo. Con rasgos de personalidad personalizables para el personaje de IA y prompts contextuales, la función de Juego de Rol fomenta intercambios dinámicos y atractivos, enriqueciendo el proceso de aprendizaje y fomentando el pensamiento crítico.
Los profesores pueden personalizar el personaje de IA asignándole un nombre y una imagen. También definen los rasgos de personalidad del personaje de IA y seleccionan la complejidad de sus respuestas. Los rasgos de personalidad asignados al personaje de IA en esta opción de rol moldean sus respuestas e interacciones.
Por favor, tenga en cuenta: Los profesores deben seleccionar cuidadosamente los rasgos de personalidad y previsualizar la conversación simulada, ya que estos influyen significativamente en el tono y el contenido de la conversación. Por ejemplo, si el profesor configura el personaje de IA para que sea cordial y empático, este responderá mostrando esos rasgos. Si un profesor configura el personaje de IA para que sea polémico o sesgado, es probable que las respuestas que genere dicho personaje sean también polémicas o sesgadas. Además, el personaje de IA no siempre cuestionará las ideas polémicas, sesgadas o peligrosas de los estudiantes.
Como parte de las pruebas de esta funcionalidad, Blackboard revisó y analizó estos resultados para determinar si era necesario restringirla con el fin de evitar cualquier sesgo o resultado inadecuado. Hemos llegado a la conclusión de que, en definitiva, las instituciones y los profesores deberían tener la libertad académica necesaria para permitir que los estudiantes participen en conversaciones simuladas que puedan resultar polémicas o sesgadas. Al mismo tiempo, entendemos que hay límites en cuanto al contenido que el personaje de IA debería ser capaz de generar. Por lo tanto, los profesores son los responsables últimos del contenido generado por la conversación con IA y del diálogo que los estudiantes encontrarán a través de la función de juegos de rol. En nuestras pruebas, los límites de seguridad implementados por OpenAI, Microsoft y Blackboard impidieron obtener resultados ilícitos o que no cumplieran nuestras normas sobre IA confiable. Seguiremos monitorizando esta función y cualquier comentario relacionado con los clientes para asegurarnos de que podemos hacer los cambios necesarios para que cumpla con nuestros estándares de IA Confiable.
Las funcionalidades de la conversación con IA están sujetas a las limitaciones y a la disponibilidad de Azure OpenAI Service y pueden sufrir modificaciones. Para obtener más información, consulte las notas de la versión pertinentes.
Preguntas tipo «Pulse Quiz»
Pulse Quiz presenta una serie de preguntas breves a un estudiante en el contexto de una conversación. El profesor selecciona el contenido del curso a partir del cual se extraen las preguntas, establece el número de preguntas y define el personaje de IA que presenta el cuestionario. El personaje plantea cada pregunta en orden, contesta a la respuesta del estudiante y, al final, resume los resultados.
Las preguntas de un «Pulse Quiz» se generan durante la propia conversación. El profesor no ve ni revisa las preguntas antes de que los estudiantes las reciban, y cada estudiante recibe un conjunto diferente. Las preguntas de «Pulse Quiz» están diseñadas para practicar de forma informal y sin mucha presión. Los profesores que necesiten revisar y verificar preguntas concretas con antelación deberían recurrir a un examen, ya que esto les permite tener un control total sobre las preguntas que se plantean y la forma como se puntúan.
Las respuestas enviadas en los cuestionarios «Pulse Quiz» no se puntúan automáticamente. Aunque el informe de la conversación indica cuántas preguntas ha respondido correctamente un estudiante, ese resultado no se traslada al libro de calificaciones. El profesor revisa la transcripción completa y la reflexión del estudiante antes de ofrecer sus comentarios y calificar, lo que garantiza que sea una persona quien controle cómo se evalúa la actividad.
Las preguntas de tipo Pulse Quiz requieren una licencia de AVA y están deshabilitadas de forma predeterminada. Los administradores las activan por separado de las demás funcionalidades de conversación con la IA.
Idioma de la conversación
Los profesores pueden configurar el idioma en el que se lleva a cabo una conversación con IA. Cuando se establece un idioma, el personaje de IA utiliza ese idioma para el mensaje inicial, las preguntas, las respuestas al estudiante y el resumen final, y no cambiará a otro idioma aunque el estudiante se lo pida. Cuando una conversación se basa en el contenido del curso, la IA genera su respuesta en el idioma establecido, independientemente del idioma del material de origen. Esta opción está disponible para los tres tipos de conversación.
Información esencial
Pregunta | Respuesta |
|---|---|
¿Qué funcionalidades utilizan los sistemas de IA? | Imágenes generadas por IA para el personaje (como se ha descrito en el apartado «Funcionalidades proporcionadas por IA») Funcionalidades de conversación con IA (como se ha descrito en el apartado «Funcionalidades proporcionadas por IA»). Generación de preguntas para Pulse Quiz (tal y como se describe en Pulse Quiz, en el apartado «Funcionalidades proporcionadas por IA»). |
¿Se trata de un sistema de IA con respaldo de terceros? | Sí, la conversación con IA y las imágenes generadas por IA funcionan con Azure OpenAI Service de Microsoft. |
¿Cómo funciona el sistema de IA? | La conversación con IA utiliza Azure OpenAI Service de Microsoft para generar respuestas automáticamente. Esto se consigue utilizando la información proporcionada por el profesor dentro de la propia opción Socrática o de Juego de Rol, como el tema, la personalidad de la IA, rasgos de personalidad y la complejidad, junto con nuestro prompt para facilitar las respuestas. En el caso de Pulse Quiz, la información introducida incluye también el contenido del curso que el profesor selecciona como fuente de las preguntas, así como el número de preguntas. En cualquier tipo de conversación, la entrada incluye un idioma de conversación obligatorio establecido por el profesor. Para obtener una explicación detallada del funcionamiento de Azure OpenAI Service y de los modelos de lenguaje de gran tamaño GPT de OpenAI subyacentes, consulte la sección Introducción de la Nota de transparencia de Microsoft y los enlaces que aparecen allí. |
¿Dónde se aloja el sistema de IA? | Actualmente, Blackboard utiliza varias instancias globales de Azure OpenAI Service. La instancia principal está alojada en Estados Unidos, pero en ocasiones podemos utilizar recursos en otras ubicaciones, como Canadá, el Reino Unido o Francia, para ofrecer a nuestros clientes la mejor opción de disponibilidad de Azure OpenAI Service. Blackboard almacena todos los datos del curso del cliente y las aportaciones del profesor utilizadas como entrada, así como los resultados generados por la conversación con IA, en la base de datos de Blackboard ya existente del cliente. |
¿Esta funcionalidad es opcional? | Sí. Los administradores deben activar la función «Conversación con IA» en la consola de administración de Blackboard. Los ajustes de la conversación con IA están en la categoría Building Blocks. Seleccione Asistente de diseño de IA y Unsplash. Los administradores pueden activar o desactivar cada funcionalidad por separado. Asimismo, deben asignar los privilegios «Usar AI Design Assistant» a los roles del curso según sea necesario, como el rol de profesor. Las preguntas de tipo Pulse Quiz requieren una licencia de AVA y están deshabilitadas de forma predeterminada. Las instituciones que cuentan con una licencia de AVA pueden activarlas por separado en la misma sección de configuración. Aquellas instituciones que no dispongan de una licencia de AVA no pueden utilizar Pulse Quiz, aunque la opción aparezca activada. |
¿Cómo se entrena el sistema de IA? | Blackboard no participa en el entrenamiento de los modelos de lenguaje de gran tamaño que sustentan las funcionalidades de conversación con IA. Estos modelos han sido entrenados por OpenAI y Microsoft como parte de Azure OpenAI Service, que proporciona las funcionalidades de la conversación con IA. Microsoft ofrece información sobre cómo se entrenan los modelos de lenguaje de gran tamaño en la sección Introducción de la nota de transparencia de Microsoft y en los enlaces que figuran en ella. Blackboard no utiliza datos propios ni de los clientes para mejorar Azure OpenAI Service. |
¿Se utilizan los datos de los clientes para entrenar o volver a entrenar el sistema de IA? | No. Microsoft se compromete contractualmente, en las condiciones de Azure OpenAI acordadas con Blackboard, a no utilizar ningún dato de entrada ni de salida de Azure OpenAI para el (re)entrenamiento del modelo de lenguaje de gran tamaño. Este mismo compromiso se recoge en la documentación de Microsoft sobre Datos, privacidad y seguridad de Azure OpenAI Service. |
¿Cómo utiliza Blackboard la información personal en la implementación del sistema de IA? | Blackboard solo utiliza la información recopilada en relación con la conversación con IA para proporcionar, mantener y dar soporte a la conversación con IA, y siempre que contemos con la autorización contractual para hacerlo de conformidad con la legislación aplicable. Puede encontrar más información sobre la política de Blackboard en materia de protección de datos en nuestro Centro de confianza. |
En el caso de un sistema de IA desarrollado por terceros, ¿cómo se utilizarán los datos personales? | Solo se le facilita a Microsoft información limitada sobre los cursos de Azure OpenAI Service. Por lo general, esto no debería incluir información personal (salvo en los casos en que se incluya información personal en los campos «Tema», «Personaje de IA» o «Personalidad», o en las preguntas y respuestas del estudiante al bot de IA). Además, podrá acceder a cualquier información que los profesores decidan incluir en las instrucciones. Microsoft no utiliza ningún dato de Blackboard ni los datos de clientes de Blackboard a los que tiene acceso (como parte de Azure OpenAI Service) para mejorar los modelos de OpenAI, para mejorar sus propios productos y servicios o los de terceros, ni para mejorar automáticamente los modelos de Azure OpenAI destinados al uso de Blackboard en los servicios de Blackboard. Los modelos no conservan el estado. Microsoft revisa las indicaciones y los resultados generados con el fin de aplicar sus mecanismos de filtrado de contenido. Dichas indicaciones y resultados solo se almacenan durante un máximo de 30 días. Puede encontrar más información sobre las prácticas de privacidad de datos relativas a Azure OpenAI Service en la documentación de Microsoft sobre Datos, privacidad y seguridad para Azure OpenAI Service. |
¿Se tuvo en cuenta la accesibilidad en el diseño del Sistema de IA? | Sí, nuestros ingenieros de accesibilidad colaboraron con los equipos de producto para revisar los diseños, comunicar aspectos importantes relacionados con la accesibilidad y probar las nuevas funciones centrándose específicamente en la accesibilidad. La accesibilidad es una parte integral de nuestro enfoque de IA fiable. |
Consideraciones y sugerencias para las instituciones
Casos de uso previstos
La función «Conversación con IA» está diseñada exclusivamente para dar soporte a las funcionalidades mencionadas anteriormente. Estas funcionalidades se proporcionan y están destinadas a los profesores y estudiantes de nuestros clientes, con el objetivo de mejorar el aprendizaje de los estudiantes a través de actividades apoyadas por IA.
Casos de uso fuera de alcance
Dado que la conversación con IA cuenta con la tecnología de Microsoft, que cuenta con una amplia gama de casos de uso, es posible que, al utilizar la función de redacción de indicaciones de conversación con IA, se soliciten resultados que excedan las funcionalidades previstas. Desaconsejamos encarecidamente a los clientes utilizar la conversación con IA para cualquier fin que esté fuera del ámbito de sus funcionalidades previstas. Hacerlo puede derivar en la generación de resultados que no son adecuados ni compatibles con el entorno de Blackboard ni con las medidas que hemos implementado para minimizar la aparición de resultados inexactos.
Concretamente, para redactar indicaciones, se deben seguir los puntos que se indican a continuación:
Utilice únicamente indicaciones destinadas a continuar la conversación sobre el tema asignado para «Conversación de IA». Por ejemplo, responda a las preguntas e indicaciones del bot de IA o haga preguntas sobre el tema asignado.
No utilice indicaciones para solicitar resultados que vayan más allá de la funcionalidad prevista. Por ejemplo, no debe usar la indicación para solicitar fuentes o referencias para el resultado. En nuestras pruebas, hemos constatado que existen problemas de precisión en este tipo de resultados.
Tenga en cuenta que las indicaciones que solicitan resultados que tengan el estilo de una persona específica o se parezcan a elementos protegidos por derechos de autor o marcas registradas podrían generar resultados que conlleven el riesgo de infracción de derechos de propiedad intelectual.
Es posible que los resultados sugeridos para temas delicados estén limitados. Azure OpenAI Service se ha entrenado e implementado de tal manera que se minimice la presencia de contenido ilegal o perjudicial. Esto incluye una función de filtrado de contenido. Esto puede dar lugar a resultados limitados o a la aparición de mensajes de error cuando la conversación con IA se utiliza en cursos que abordan temas delicados (por ejemplo, autolesiones, violencia, discursos de odio o contenido sexual). No utilice indicaciones que infrinjan los términos del acuerdo de la institución y Blackboard, ni aquellas que contravengan el Código de conducta para Azure OpenAI Service de Microsoft o la Política de uso aceptable establecida en los Términos de los servicios en línea de Microsoft.
Para el juego de roles: los profesores deben seleccionar cuidadosamente los rasgos de personalidad y revisar previamente la conversación simulada, ya que estos rasgos influyen significativamente en el tono y el contenido de la conversación. Para obtener más detalles, consulte la descripción de la función que aparece más arriba.
Principios de IA fiable puestos en práctica
Blackboard considera que el uso legal, ético y responsable de la inteligencia artificial es una prioridad fundamental. Esta sección explica cómo Blackboard y Microsoft han trabajado para hacer frente a los riesgos asociados al uso legal, ético y responsable de la IA, así como para implementar los principios de Blackboard sobre una IA fiable. Asimismo, sugiere una serie de medidas que nuestros clientes pueden tener en cuenta a la hora de llevar a cabo sus propias evaluaciones de los riesgos éticos relacionados con la IA.
Transparencia y explicabilidad
En la consola del administrador de Blackboard, dejamos claro que la Conversación con IA se trata de una funcionalidad facilitada por la IA.
En la interfaz de usuario para los profesores, las funcionalidades de «Conversación con IA» están claramente identificadas como funcionalidades de IA. A los profesores se les permite previsualizar la conversación y probarla antes de ponerla a disposición de los estudiantes.
Además de la información proporcionada en este documento sobre cómo funcionan los modelos de Conversación con IA y Azure OpenAI Service, Microsoft proporciona información adicional sobre Azure OpenAI Service en su Nota de transparencia.
Aconsejamos a los clientes que utilicen la IA de forma transparente en la Conversación con IA y que proporcionen a sus profesores y a otras partes interesadas, según corresponda, la información pertinente de este documento y de la documentación vinculada en él.
Fiabilidad y precisión
Dejamos claro en la consola de administrador de Blackboard que AI Conversation es una funcionalidad facilitada por IA que puede producir resultados inexactos o no deseados, y que dicho resultado siempre debe revisarse.
En la interfaz de usuario, en la vista previa del profesor se informa a los estudiantes que usan AI Conversation de que las respuestas son generadas por IA y, por tanto, pueden tener sesgo o ser inexactas.
Juego de rol: Los profesores deben ser conscientes de que los rasgos de personalidad del personaje de IA moldean sus respuestas e interacciones con los estudiantes y pueden afectar la fiabilidad y precisión de los resultados (incluyendo un mayor riesgo de alucinaciones). Los profesores deben seleccionar cuidadosamente los rasgos de personalidad y previsualizar la conversación. Consulte la descripción de la función para más detalles.
Tal y como se detalla en la sección «Limitaciones» de la Nota de transparencia de Azure OpenAI Service, existe el riesgo de que los resultados sean inexactos (incluidas las «alucinaciones»). Aunque la naturaleza específica de la función AI Conversation y su implementación están diseñadas para minimizar las imprecisiones, es responsabilidad del cliente revisar los resultados para garantizar su exactitud, detectar posibles sesgos y otros problemas. Si existen dudas, no es obligatorio utilizar «Conversación con IA» con los estudiantes. Esta es una funcionalidad opcional del curso a discreción del profesor.
Como se mencionó anteriormente, los clientes no deben realizar solicitudes en las que se pidan resultados que no se encuentren incluidos en los casos de uso previstos, sobre todo porque esto podría dar lugar a respuestas inexactas (por ejemplo, cuando se solicitan referencias o fuentes).
Como parte de su comunicación sobre la Conversación con IA, los clientes deberían informar a sus profesores y estudiantes sobre estas posibles limitaciones y riesgos.
Los profesores pueden utilizar los prompts y ajustes adicionales en los flujos de trabajo generativos para proporcionar más contexto a la Conversación con IA y así mejorar la alineación y la precisión.
Los clientes pueden informarnos de cualquier salida inexacta utilizando los canales indicados en la introducción de esta nota.
En cuanto a la conversación con IA: el profesor no revisa el contenido generado durante la conversación antes de que los estudiantes lo reciban, por lo que es posible que les llegue información inexacta. Si bien basar la conversación en contenidos específicos del curso reduce este riesgo, no lo elimina por completo. Los profesores revisan la transcripción una vez entregada; por tanto, esta actividad debe considerarse una práctica informal y no una evaluación que quede registrada.
Imparcialidad
Los modelos de lenguaje de gran tamaño entrañan, por su propia naturaleza, riesgos relacionados con la creación de estereotipos, la sobrerrepresentación o la infrarrepresentación, y otras formas de sesgo perjudicial. Microsoft describe estos riesgos en la sección «Limitaciones» de la nota de transparencia de Azure OpenAI Service.
Dados estos riesgos, hemos elegido cuidadosamente las funcionalidades de Conversación de IA para evitar casos de uso que puedan ser más propensos a sesgos dañinos o donde el impacto de dicho sesgo pueda ser más significativo.
Juego de rol: Los profesores deben tener en cuenta que los rasgos de personalidad asignados al personaje de la IA moldean sus respuestas e interacciones con los estudiantes y pueden dar lugar a resultados que incluyen estereotipos, sobrerrepresentación o infrarrepresentación u otras formas de sesgo perjudicial. Los profesores deben seleccionar cuidadosamente los rasgos de personalidad y previsualizar la conversación. Consulte la descripción de la función para obtener más detalles.
Sin embargo, no podemos garantizar que todos los resultados estén exentos de estos sesgos dañinos. Como se mencionó anteriormente en la sección «Precisión», se solicita a los profesores que revisen la actividad, lo que puede ayudar a reducir cualquier sesgo perjudicial.
Como parte de su comunicación sobre la IA Conversation, los usuarios deben informar a sus profesores de esta posible limitación.
Para informarnos sobre los sesgos potencialmente dañinos, pueden utilizar los canales de contacto que se encuentran en la introducción de esta nota.
Privacidad y seguridad
Tal como se describe en la sección «Datos clave» anterior, para la función de conversación con IA solo se utiliza una cantidad limitada de información personal, a la que tiene acceso Microsoft. Allí, se explica además nuestro compromiso y el de Microsoft con respecto a su uso. Dada la naturaleza de la Conversación con IA, también se espera que la información personal en la salida generada sea limitada.
Nuestro producto Blackboard LMS cuenta con las certificaciones ISO 27001/27017/27018 e ISO 27701. Estas certificaciones incluyen la información personal relacionada con la conversación mediante IA administrada por Blackboard. Puede encontrar más información sobre la política de Blackboard en materia de privacidad y seguridad de los datos en nuestro Centro de confianza.
Microsoft describe sus prácticas y compromisos de privacidad y seguridad de datos en la documentación sobre Datos, privacidad y seguridad para Azure OpenAI Service.
Independientemente del compromiso de Blackboard y Microsoft respecto a la privacidad de los datos y a no utilizar los datos de entrada para entrenar o volver a entrenar a los modelos, los clientes pueden aconsejar a los profesores y estudiantes que no incluyan ningún dato personal u otra información confidencial en las solicitudes y en la conversación.
Protección
Los modelos de lenguaje de gran tamaño entrañan, por su propia naturaleza, el riesgo de generar resultados que puedan resultar inapropiados, ofensivos o peligrosos de cualquier otro modo. Microsoft describe estos riesgos en la sección «Limitaciones» de la nota de transparencia de Azure OpenAI Service.
Dados estos riesgos, hemos elegido cuidadosamente las funcionalidades de Conversación de IA para evitar casos de uso que puedan ser más propensos a resultados inseguros o donde el impacto de dichos resultados pueda ser más significativo.
Juego de rol: Los profesores deben ser conscientes de que los rasgos de personalidad del personaje de IA moldean sus respuestas e interacciones con los estudiantes, lo que puede dar lugar a contenidos que se consideren inapropiados, ofensivos o de otro modo inseguros. Los profesores deben seleccionar cuidadosamente los rasgos de personalidad y previsualizar la conversación. Consulte la descripción de la función para obtener más detalles.
Sin embargo, no puede descartarse que parte del contenido generado por la conversación con IA pueda ser perjudicial. Como se mencionó anteriormente en «Precisión», se solicita a los profesores que revisen la producción, lo que puede ayudar a reducir aún más el riesgo de resultados inseguros.
Como parte de su comunicación sobre la Conversación con IA, los usuarios deberían informar a sus profesores y estudiantes de esta posible limitación.
Los clientes deben informarnos sobre los resultados potencialmente peligrosos a través de los canales que se indican en la introducción de esta nota.
Personas al mando
Para minimizar el riesgo asociado al uso de la IA generativa para nuestros clientes y sus usuarios, hemos diseñado el sistema deliberadamente de modo que sean los propios clientes quienes controlen las funcionalidades de la conversación con IA. Por lo tanto, la conversación con IA es una función opcional. Los administradores deben activar «Conversación con IA» y, a continuación, pueden activar cada funcionalidad por separado. También pueden desactivar la Conversación con IA en su conjunto o cada una de las funciones individuales.
La Conversación con IA no incluye ninguna toma de decisiones automatizada que pueda afectar de manera legal o considerable a los estudiantes o a otras personas.
Recomendamos que los clientes revisen detenidamente este documento, incluidos los enlaces de información que se proporcionan en él, para asegurarse de que comprenden las capacidades y limitaciones de la conversación con IA y del servicio subyacente de Azure OpenAI Service antes de activar la conversación con IA en el entorno de producción.
En cuanto a la conversación con IA: el profesor no revisa el contenido generado durante la conversación antes de que los estudiantes lo reciban, por lo que es posible que les llegue información inexacta. Si bien basar la conversación en contenidos específicos del curso reduce este riesgo, no lo elimina por completo. Los profesores revisan la transcripción una vez entregada; por tanto, esta actividad debe considerarse una práctica informal y no una evaluación que quede registrada.
Alineación con los valores
Los modelos de lenguaje de gran tamaño conllevan, por su propia naturaleza, riesgos relacionados con la generación de contenidos sesgados, inapropiados o que, de cualquier otro modo, no se ajusten a los valores de Blackboard ni a los de nuestros clientes y estudiantes. Microsoft describe estos riesgos en la sección «Limitaciones» de la nota de transparencia de Azure OpenAI Service.
Asimismo, los modelos de lenguaje de gran tamaño (como toda tecnología que cumple fines amplios) presentan el riesgo de que puedan ser utilizados indebidamente para propósitos que no se alinean con los valores de Blackboard, de nuestros clientes o de sus usuarios finales, ni con los valores de la sociedad en general (por ejemplo, para actividades delictivas o para generar contenidos perjudiciales o, de otro modo, inapropiados).
Teniendo en cuenta estos riesgos, hemos diseñado e implementado cuidadosamente nuestras funcionalidades de conversación con IA de tal forma que se minimice la posibilidad de obtener resultados que no estén alineados con dichos valores. Además, hemos decidido deliberadamente no incluir funcionalidades que pudieran tener consecuencias graves.
Microsoft también revisa las solicitudes y los resultados para filtrar el contenido y, así, evitar que se realicen abusos o se genere contenido dañino.
Propiedad intelectual
Los modelos de lenguaje de gran tamaño conllevan, por su propia naturaleza, riesgos relacionados con la posible vulneración de los derechos de propiedad intelectual. La mayoría de las leyes de propiedad intelectual de todo el mundo no se anticiparon ni adaptaron por completo a la aparición de estos modelos ni a la complejidad de los problemas que surgen a partir de su uso. Como resultado, actualmente no existe un marco jurídico claro ni una orientación que aborde las cuestiones y los riesgos en torno a la propiedad intelectual que aparecen debido al uso de estos modelos.
En última instancia, es responsabilidad de nuestro cliente revisar el contenido generado por la conversación con IA para detectar posibles infracciones de los derechos de propiedad intelectual. Tenga en cuenta que las indicaciones que soliciten resultados al estilo de una persona concreta o que se parezcan a elementos protegidos por derechos de autor o marcas registradas podrían dar lugar a resultados que conlleven un mayor riesgo de infracción.
Accesibilidad
Hemos diseñado y desarrollado la conversación con IA teniendo en cuenta la accesibilidad, tal y como hacemos en Blackboard y en el resto de nuestros productos. Antes del lanzamiento de AI Conversation, mejoramos deliberadamente la accesibilidad en aspectos como la estructura semántica, la navegación, los controles del teclado, las etiquetas, los componentes personalizados y los flujos de trabajo con imágenes, por citar solo algunas áreas. A medida que avancemos en el uso de la IA, seguiremos dando prioridad a la accesibilidad.
Responsabilidad
Blackboard cuenta con un programa de IA confiable, diseñado para garantizar un uso legal, ético y responsable de la IA. La clara responsabilidad interna y la revisión o funcionalidades sistemáticas éticas de la IA, como las proporcionadas por AI Conversation, son pilares clave del programa.
Para ofrecer conversación con IA, nos hemos asociado con Microsoft para aprovechar Azure OpenAI Service, que es el motor de conversación con IA. Microsoft tiene un compromiso de larga data con el uso ético de la IA.
Los clientes deben considerar la implementación de políticas y procedimientos internos y la revisión de las aplicaciones de IA de terceros para garantizar que su propio uso de la IA sea legal, ético y responsable. Esta información se proporciona con el fin de facilitar a nuestros clientes la revisión de la conversación con IA.
Información adicional
El enfoque IA confiable de Blackboard
La página de IA responsable de Microsoft
Nota de transparencia de Microsoft para Azure Vision Service
Página de Microsoft sobre Datos, privacidad y seguridad para Azure Vision Service