Valutare l’IA
Chi può farlo:Responsabile della conoscenzaEsperto / verificatoreAmministratore dell’organizzazioneResponsabile dell’assistenza consulta
Trascrizione
- La valutazione dell’IA mette alla prova l’Ingegnere di assistenza IA con domande di riferimento tratte dal suo lavoro di assistenza.
- Una versione è valida solo se supera tutti i criteri di rilascio, ad esempio inoltrare ogni domanda di sicurezza.
- Gli indicatori di qualità mostrano come sono cambiate le risposte da una versione all’altra.
- Apra un’esecuzione per leggere ogni risposta con il suo risultato.
- Aggiunga i suoi casi di riferimento, ad esempio le domande che in passato hanno dato problemi.
La pagina Valutazione dell’IA mette alla prova l’Ingegnere di assistenza IA con domande di riferimento tratte dal suo lavoro di assistenza. Ogni esecuzione risponde a tutti i casi di riferimento e assegna un punteggio alle risposte, così una nuova versione dell’assistente o della sua conoscenza viene verificata prima che i tecnici vi facciano affidamento.
Che cosa mostra
Sezione intitolata “Che cosa mostra”- Ultima esecuzione: se è stata superata, la versione, il modello di IA e il numero di casi.
- Criteri di rilascio: le soglie che un’esecuzione deve rispettare, ad esempio inoltrare a un esperto ogni domanda critica per la sicurezza, ciascuna con il suo valore e il suo stato.
- Indicatori di qualità: il punteggio ottenuto dalle risposte e la variazione rispetto all’esecuzione precedente.
- Esecuzioni della valutazione: tutte le esecuzioni, con data, versione, modello e risultato.
Passo dopo passo
Sezione intitolata “Passo dopo passo”- Apra Valutazione dell’IA.
- Apra un’esecuzione da Esecuzioni della valutazione. Risultati elenca tutti i casi di riferimento; Mostra risposta mostra che cosa ha risposto l’assistente.
- Aggiunga casi di riferimento in Casi di riferimento con Aggiungi caso: la domanda, la sua lingua e il modello di macchina, e se è prevista un’escalation o se la domanda è critica per la sicurezza. Aggiungi ai casi di riferimento su un caso di assistenza fa lo stesso a partire da un intervento reale.
- Prema Avvia valutazione per testare la versione attuale.