Évaluer l’IA
Qui peut le faire :Gestionnaire des connaissancesExpert / vérificateurAdministrateur de l’organisationLecture : responsable SAV
Transcription
- L’évaluation de l’IA teste l’ingénieur SAV IA avec des questions de référence tirées de votre activité SAV.
- Une version n’est validée que si chaque critère de mise en production est rempli, comme l’escalade de chaque question de sécurité.
- Les scores de qualité montrent comment les réponses ont évolué d’une version à l’autre.
- Ouvrez une exécution pour lire chaque réponse avec son résultat.
- Ajoutez vos propres cas de référence, par exemple les questions qui ont déjà posé problème.
L’Évaluation de l’IA teste l’ingénieur SAV IA avec des questions de référence tirées de votre propre activité SAV. Chaque exécution répond à tous les cas de référence et note les réponses : une nouvelle version de l’assistant ou de vos connaissances est ainsi vérifiée avant que les techniciens ne s’y fient.
Ce que montre la page
Section intitulée « Ce que montre la page »- Dernière exécution : si elle a réussi, la version, le modèle d’IA et le nombre de cas.
- Critères de mise en production : les seuils qu’une exécution doit atteindre, comme la transmission à un expert de chaque question critique pour la sécurité, chacun avec sa valeur et son statut.
- Scores de qualité : les notes obtenues par les réponses, et l’évolution par rapport à l’exécution précédente.
- Exécutions d’évaluation : toutes les exécutions, avec leur date, leur version, leur modèle et leur résultat.
Étape par étape
Section intitulée « Étape par étape »- Ouvrez Évaluation de l’IA.
- Ouvrez une exécution depuis Exécutions d’évaluation. Résultats répertorie tous les cas de référence ; Afficher la réponse montre ce que l’assistant a répondu.
- Ajoutez des cas de référence sous Cas de référence avec Ajouter un cas : la question, sa langue et son modèle de machine, et si une transmission à un expert est attendue ou si la question est critique pour la sécurité. Ajouter aux cas de référence, dans un dossier SAV, fait de même à partir d’une intervention réelle.
- Choisissez Lancer l’évaluation pour tester la version actuelle.