AIを評価する
この操作ができる人：ナレッジマネージャー専門家／検証者組織管理者閲覧：サービスマネージャー
文字起こし
- AI評価では、自社のサービス業務から作ったベンチマーク質問でAIサービスエンジニアをテストします。
- 安全に関わる質問のエスカレーションなど、リリース判定基準をすべて満たしたバージョンだけが合格します。
- 品質スコアは、バージョンごとの回答の変化を示します。
- 評価実行を開くと、各回答と結果を読めます。
- 以前に回答を誤った質問など、独自のベンチマークケースを追加します。
AI評価では、自社のサービス業務から作成したベンチマーク質問で、AIサービスエンジニアをテストします。評価実行のたびにすべてのベンチマークケースに回答し、その回答を採点するため、アシスタントやナレッジの新しいバージョンを、技術者が利用する前に確認できます。
- 最新の実行：合否、バージョン、AIモデル、ケース数。
- リリース判定基準：評価実行が満たすべきしきい値（安全上重要な質問をすべてエスカレーションすることなど）と、それぞれの値とステータス。
- 品質スコア：回答の採点結果と、前回の評価実行からの変化。
- 評価実行：すべての評価実行と、その日付、バージョン、モデル、結果。
- AI評価を開きます。
- 評価実行から評価実行を1つ開きます。結果にはすべてのベンチマークケースが一覧表示され、回答を表示を選択するとアシスタントの回答が表示されます。
- ベンチマークケースでケースを追加を選択し、ベンチマークケースを追加します。質問、その言語と機種、エスカレーションが想定されるかどうか、安全上重要かどうかを指定します。サービス案件でベンチマークに追加を選択すると、実際の作業から同じようにケースを追加できます。
- 評価を実行を選択すると、現在のバージョンをテストできます。