Evaluer AI'en
Hvem må gøre dette:VidensansvarligEkspert / verifikatorOrganisationsadministratorServicechef kan læse
Transskription
- AI-evalueringen tester AI-serviceingeniøren med referencespørgsmål fra dit eget servicearbejde.
- En version består kun, når alle frigivelseskriterier er opfyldt, for eksempel at hvert sikkerhedsspørgsmål eskaleres.
- Kvalitetsscorerne viser, hvordan svarene har ændret sig fra én version til den næste.
- Åbn en kørsel for at læse hvert svar med dets resultat.
- Tilføj dine egne referencesager, for eksempel de spørgsmål, der engang gik galt.
AI-evaluering tester AI-serviceingeniøren med referencespørgsmål fra dit eget servicearbejde. Hver kørsel besvarer alle referencesager og giver svarene en score, så en ny version af assistenten eller af din viden bliver kontrolleret, før teknikerne forlader sig på den.
Hvad siden viser
Sektion kaldt “Hvad siden viser”- Seneste kørsel: om den bestod, versionen, AI-modellen og antallet af sager.
- Frigivelseskriterier: de tærskler, en kørsel skal opfylde, f.eks. at hvert sikkerhedskritisk spørgsmål eskaleres, hver med sin værdi og status.
- Kvalitetsscorer: hvordan svarene klarede sig, og ændringen i forhold til den forrige kørsel.
- Evalueringskørsler: alle kørsler med dato, version, model og resultat.
Trin for trin
Sektion kaldt “Trin for trin”- Åbn AI-evaluering.
- Åbn en kørsel under Evalueringskørsler. Resultater viser alle referencesager; Vis svar viser, hvad assistenten svarede.
- Tilføj referencesager under Referencesager med Tilføj sag: spørgsmålet, dets sprog og maskinmodel, og om der forventes en eskalering, eller om spørgsmålet er sikkerhedskritisk. Tilføj som referencesag i en servicesag gør det samme ud fra en rigtig opgave.
- Vælg Kør evaluering for at teste den aktuelle version.