Evaluar la IA

Quién puede hacerlo:Gestor de conocimientoExperto / verificadorAdministrador de la organizaciónResponsable de servicio consulta

Vídeo · 0:38 · narrado, con subtítulos

• 0:23 Una ejecución
• 0:29 Sus casos

Transcripción

1. 0:02 La evaluación de la IA pone a prueba al Ingeniero de servicio IA con preguntas de referencia de su propio trabajo de servicio.
2. 0:10 Una versión solo se aprueba si cumple todos los criterios de publicación, como escalar cada pregunta de seguridad.
3. 0:17 Los indicadores de calidad muestran cómo cambiaron las respuestas de una versión a otra.
4. 0:23 Abra una ejecución para leer cada respuesta con su resultado.
5. 0:29 Añada sus propios casos de referencia, por ejemplo, las preguntas que alguna vez salieron mal.

Evaluación de la IA pone a prueba al Ingeniero de servicio IA con preguntas de referencia de su propio trabajo de servicio. Cada ejecución responde a todos los casos de referencia y puntúa las respuestas, de modo que una nueva versión del asistente o de su conocimiento se comprueba antes de que los técnicos confíen en ella.

Qué muestra

• Última ejecución: si se superó, la versión, el modelo de IA y el número de casos.
• Criterios de publicación: los umbrales que debe cumplir una ejecución, como escalar todas las preguntas críticas para la seguridad, cada uno con su valor y su estado.
• Indicadores de calidad: la puntuación de las respuestas y la variación respecto a la ejecución anterior.
• Ejecuciones de evaluación: todas las ejecuciones, con su fecha, versión, modelo y resultado.

Paso a paso

1. Abra Evaluación de la IA.
2. Abra una ejecución desde Ejecuciones de evaluación. Resultados enumera todos los casos de referencia; Mostrar respuesta muestra lo que respondió el asistente.
3. Añada casos de referencia en Casos de referencia con Añadir caso: la pregunta, su idioma y su modelo de máquina, y si se espera que se escale a un experto o si es crítica para la seguridad. Añadir a los casos de referencia, en un caso de servicio, hace lo mismo a partir de una intervención real.
4. Elija Ejecutar evaluación para probar la versión actual.

Nota

Una ejecución plantea a la IA una pregunta por cada caso de referencia, por lo que tarda unos minutos y consume su cupo de IA como cualquier otra pregunta.

Temas relacionados

Registro de auditoría, gobernanza y exportación de datos

Analítica e informe del piloto