Utvärdera AI:n
Vem får göra detta:KunskapsansvarigExpert/verifierareOrganisationsadministratörServicechef läser
Transkription
- AI-utvärdering testar AI-serviceingenjören med referensfrågor från ditt eget servicearbete.
- En version godkänns bara när alla releasekriterier är uppfyllda, till exempel att varje säkerhetsfråga eskaleras.
- Kvalitetsmått visar hur svaren har förändrats från en version till nästa.
- Öppna en körning för att läsa varje svar med dess resultat.
- Lägg till egna referensfall, till exempel frågor som en gång gick fel.
AI-utvärdering testar AI-serviceingenjören med referensfrågor från ditt eget servicearbete. Varje körning besvarar alla referensfall och poängsätter svaren, så att en ny version av assistenten eller av din kunskap kontrolleras innan tekniker förlitar sig på den.
Vad som visas
Section titled “Vad som visas”- Senaste körning: om den godkändes, versionen, AI-modellen och antalet fall.
- Releasekriterier: de tröskelvärden som en körning måste uppfylla, till exempel att varje säkerhetskritisk fråga eskaleras, vart och ett med sitt värde och sin status.
- Kvalitetsmått: hur svaren har poängsatts, och förändringen jämfört med föregående körning.
- Utvärderingskörningar: alla körningar, med datum, version, modell och resultat.
Steg för steg
Section titled “Steg för steg”- Öppna AI-utvärdering.
- Öppna en körning under Utvärderingskörningar. Resultat listar alla referensfall; Visa svar visar vad assistenten svarade.
- Lägg till referensfall under Referensfall med Lägg till referensfall: frågan, dess språk och maskinmodell, och om en eskalering förväntas eller om frågan är säkerhetskritisk. Lägg till som referensfall i ett serviceärende gör samma sak utifrån ett verkligt uppdrag.
- Välj Kör utvärdering för att testa den aktuella versionen.