De AI evalueren
Wie dit mag:KennismanagerExpert / verificateurOrganisatiebeheerderInzien: servicemanager
Transcriptie
- AI-evaluatie test de AI-service-engineer met benchmarkvragen uit uw eigen servicewerk.
- Een versie slaagt alleen als alle releasecriteria gehaald zijn, zoals het escaleren van elke veiligheidsvraag.
- Kwaliteitsscores laten zien hoe de antwoorden van versie tot versie zijn veranderd.
- Open een run om elk antwoord met het resultaat te lezen.
- Voeg uw eigen benchmarkcases toe, bijvoorbeeld de vragen die ooit fout gingen.
AI-evaluatie test de AI-service-engineer met benchmarkvragen uit uw eigen servicewerk. Elke run beantwoordt alle benchmarkcases en geeft de antwoorden een score. Zo wordt een nieuwe versie van de assistent of van uw kennis gecontroleerd voordat technici erop vertrouwen.
Wat het laat zien
Section titled “Wat het laat zien”- Laatste run: of de run is geslaagd, de versie, het AI-model en het aantal cases.
- Releasecriteria: de drempelwaarden waaraan een run moet voldoen, zoals het escaleren van elke veiligheidskritische vraag, elk met de waarde en de status.
- Kwaliteitsscores: hoe de antwoorden scoorden, en de verandering ten opzichte van de vorige run.
- Evaluatieruns: elke run, met datum, versie, model en resultaat.
Stap voor stap
Section titled “Stap voor stap”- Open AI-evaluatie.
- Open een run uit Evaluatieruns. Resultaten toont elke benchmarkcase; Antwoord tonen laat zien wat de assistent antwoordde.
- Voeg onder Benchmarkcases benchmarkcases toe met Case toevoegen: de vraag, de taal en het machinemodel, en of een escalatie wordt verwacht of de vraag veiligheidskritisch is. Toevoegen aan benchmark bij een servicecase doet hetzelfde vanuit een echte opdracht.
- Kies Evaluatie uitvoeren om de huidige versie te testen.