Avaliar a IA
Quem pode fazer isso:Gestor de conhecimentoEspecialista / verificadorAdministrador da organizaçãoGerente de serviços lê
Transcrição
- A avaliação da IA testa o Engenheiro de Serviço IA com perguntas de referência do seu próprio trabalho de serviço.
- Uma versão só é aprovada quando todos os critérios de liberação são atendidos, como escalar toda pergunta de segurança.
- Os indicadores de qualidade mostram como as respostas mudaram de uma versão para a outra.
- Abra uma execução para ler cada resposta com seu resultado.
- Adicione seus próprios casos de referência, por exemplo as perguntas que já deram errado.
A Avaliação da IA testa o Engenheiro de Serviço IA com perguntas de referência do seu próprio trabalho de serviço. Cada execução responde a todos os casos de referência e pontua as respostas, para que uma nova versão do assistente ou do seu conhecimento seja verificada antes que os técnicos dependam dela.
O que mostra
Seção intitulada “O que mostra”- Última execução: se ela foi aprovada, a versão, o modelo de IA e o número de casos.
- Critérios de liberação: os limites que uma execução precisa atingir, como escalar toda pergunta crítica para a segurança, cada um com seu valor e seu status.
- Indicadores de qualidade: como as respostas pontuaram e a variação em relação à execução anterior.
- Execuções de avaliação: todas as execuções, com data, versão, modelo e resultado.
Passo a passo
Seção intitulada “Passo a passo”- Abra Avaliação da IA.
- Abra uma execução em Execuções de avaliação. Em Resultados aparecem todos os casos de referência; Mostrar resposta mostra o que o assistente respondeu.
- Adicione casos de referência em Casos de referência com Adicionar caso: a pergunta, o idioma e o modelo de máquina dela e se um escalonamento é esperado ou se ela é crítica para a segurança. Adicionar aos casos de referência em um caso de serviço faz o mesmo a partir de um atendimento real.
- Escolha Executar avaliação para testar a versão atual.