AI 평가하기
할 수 있는 사람:지식 매니저전문가 / 검증자조직 관리자읽기: 서비스 매니저
스크립트
- AI 평가는 자체 서비스 업무에서 나온 벤치마크 질문으로 AI 서비스 엔지니어를 테스트합니다.
- 모든 안전 관련 질문을 전문가에게 넘기는 것처럼, 모든 릴리스 게이트를 충족해야만 버전이 통과합니다.
- 품질 점수는 버전이 바뀔 때마다 답변이 어떻게 달라졌는지 보여 줍니다.
- 실행을 열어 모든 답변과 결과를 확인하십시오.
- 예전에 잘못 답했던 질문 등 자체 벤치마크 케이스를 추가하십시오.
AI 평가는 자체 서비스 업무에서 나온 벤치마크 질문으로 AI 서비스 엔지니어를 테스트합니다. 평가를 실행할 때마다 모든 벤치마크 케이스에 답하고 답변을 채점하므로, 어시스턴트나 지식의 새 버전을 기술자가 활용하기 전에 점검할 수 있습니다.
표시 내용
섹션 제목: “표시 내용”- 최근 실행: 통과 여부, 버전, AI 모델, 케이스 수.
- 릴리스 게이트: 평가 실행이 충족해야 하는 임계값(예: 모든 안전 중요 질문을 전문가에게 요청)과 각 게이트의 값 및 상태.
- 품질 점수: 답변이 받은 점수와 이전 실행 대비 변화.
- 평가 실행 내역: 모든 실행과 각 실행의 날짜, 버전, 모델, 결과.
단계별 안내
섹션 제목: “단계별 안내”- AI 평가를 여십시오.
- 평가 실행 내역에서 실행 하나를 여십시오. 결과에는 모든 벤치마크 케이스가 나열되며, 답변 표시를 누르면 어시스턴트의 답변이 표시됩니다.
- 벤치마크 케이스에서 케이스 추가를 눌러 벤치마크 케이스를 추가하십시오. 질문, 질문의 언어와 기계 모델, 그리고 전문가 요청이 예상되는지 또는 안전 중요 질문인지를 입력합니다. 서비스 케이스에서 벤치마크에 추가를 누르면 실제 작업을 바탕으로 같은 방식으로 추가됩니다.
- 현재 버전을 테스트하려면 평가 실행을 누르십시오.