テスト結果詳細

この操作手順書は作成中です。内容は順次更新します。

このページの目次

1. 画面の基本情報

テスト結果詳細

  • 画面名: テスト結果詳細
  • 画面の配置: サイドメニュー > テスト > 想定質問テスト > 「結果一覧」タブの該当リスト(行)をクリック
  • 画面の性質: 一覧画面 / 編集画面
  • 画面の目的: テスト実行した各想定質問リストの回答と、そのブロック理由・種類や引用元URLとともに一覧表示します。回答結果を見て、それぞれのログに「評価」のラベルを付与すると、画面上部に「成功」「失敗」「保留」それぞれの件数を表示します。評価は自動判定ではなく、ユーザーが付与するものです。
  • 閲覧権限: 管理者、編集者、閲覧者
  • 設定権限: 管理者、編集者、閲覧者

2. 項目仕様と動作

2-1. テスト結果項目一覧

  • 概要: テスト結果の項目を表示します。項目名をクリックして並び替えます。
カラム名説明および仕様アクション・遷移先
質問IDリスト内の質問に割り当てられたIDを表示します。表示のみ
質問リスト内の質問を表示します。表示のみ
AI回答AIが返した回答を表示します。表示のみ
ブロック種類回答がAIによってブロックされた場合、「質問ガード」または「回答ガード」で設定されているブロックの種類を表示します。表示のみ
ブロック理由AIが回答をブロックした理由を表示します。表示のみ
引用URLAIが返した回答に含まれるURLを表示します。「開く」ボタンをクリックしてリンクを表示します。「閉じる」ボタンをクリックすると簡易表示に戻ります。
評価テスト実行結果の評価を付与します。
初期状態では「保留」が選択されています。
プルダウンをクリックして評価を選択します。
コメント評価に対するコメントを入力できます。入力は必須ではありません。テキストを入力します。
CSVエクスポートテスト結果をCSV形式でダウンロード可能です。クリックしてCSVエクスポートします。
評価から新規リスト作成「保留」「よい回答」から指定した評価の回答結果の質問で、新しくリストを作成します。「評価から新規リスト作成」ボタンをクリックして新規質問リストを作成します。

2-2. 評価項目一覧

  • 概要: テスト結果につける評価の一覧です(評価方法は「操作手順」で後述しています)。各ステータスは白・赤か緑で表示され、白は「保留」、緑は画面上部の「成功数」(緑)、赤は「失敗数」(赤)に分類されます。
ステータス色判定の目安説明および仕様
保留白判定前の状態を示す、または判定を保留にする判定前の状態や、判断に迷う回答を一時的に保留とする場合に使用します。
よい回答緑正確で、必要な条件を含み、質問に適切に対応している現時点では改善不要です。再テストの基準として残します。

改善要回答緑事実は正しいが、説明や条件の提示が不十分不足する説明を追加し、曖昧な記述や回答生成の条件を確認します。
悪い回答赤事実誤認、古い情報、根拠のない説明を含む最新の事実と参照元を照合し、コンテンツ・検索・生成のどこに原因があるか確認します。
不要な回答赤回答すべきでない内容や、質問と無関係な情報を回答している回答対象の範囲や、検索・生成・ガードの設定を確認します。
適切な拒否緑ガードが、問題のある質問や対象外の質問を適切にブロックしている対応方針に合っていれば改善不要です。
不要な拒否赤回答すべき質問を、ガードが過剰にブロックしている拒否の理由を確認し、ガードの設定を調整します。
無回答・不要緑回答する必要がない質問に、無理に回答していない対応方針に合っていれば改善不要です。
無回答・必要赤回答すべき質問だが、必要な情報がサイトにない公開できる事実を確認し、コンテンツを追加します。
無回答・回答可能赤サイトに必要な情報があるのに、回答できていない取り込み状況、検索結果、記述の明確さ、回答生成の条件を確認します。

3. 操作手順

3-1. 想定質問リストのテスト結果詳細を評価する

  • 概要: 想定質問テスト実行後、この結果の判定は管理ユーザー自身が行います。以下の手順で判定を行います。
  1. メニューの想定質問テスト > 結果一覧タブの表内にある詳細を確認したい該当のテストリストを選択し、「テスト結果詳細」画面を開きます。
  2. テスト結果詳細の「評価」項目にあるプルダウンを開きます。
  3. 質問の結果に対して「評価」のラベルを選択し、指定します。
  4. コメント欄に「評価」を指定した理由を記載しておくと、後から管理しやすいです。(「改善要回答」に対するコメント例:大枠は答えられているが、●●という製品についての情報が間違っている。)
  5. 評価をつけると、成功数と失敗数を画面上部で確認できます。この2つの数値は「想定質問テスト」画面の一覧にも表示されます。
  6. 確認が済んだリストは結果一覧の「確認」欄のプルダウンをクリックし、「未確認」から「確認済」に変更します。

3-2. テスト結果のエクスポート

  1. 「CSVエクスポート」ボタンをクリックすると、テスト結果(質問、AI回答、評価、コメントなど)をCSVファイル形式でエクスポートできます。

4. エラー仕様と制限事項

4-1. 入力制限・システム上限

  • リスト内に追加できる質問の上限数: 各リスト最大100件まで追加できます。

5. 関連機能と他画面との連動

5-1. 他画面からの影響(前提条件)

項目名前提となる設定画面必要な設定状態・条件
想定質問テスト画面内「結果一覧」タブ「想定質問管理」画面の「テスト実行」「想定質問管理」画面で作成した質問リストのテスト実行をすると、テスト結果が「結果一覧」画面に表示されます。
想定質問テスト画面内「結果一覧」タブ「テスト結果詳細」画面「テスト結果詳細」画面でつけた評価が、一覧の「成功数」「失敗数」「成功率」に表示されます。
テスト結果詳細画面内「ブロック種類」「ガードレール設定」画面内「質問ガード」および「回答ガード」「質問ガード」および「回答ガード」で設定したブロック種類が「ブロック種類」に表示されます。

5-2. 他画面への影響(設定変更の波及)

自画面の項目影響を受ける画面対象画面での影響内容・表示変化
評価想定質問テスト「テスト結果詳細」画面でつけた評価が、一覧の「成功数」「失敗数」「成功率」に表示されます。

6. 注意事項と運用上のポイント

  • 注意事項: 想定質問テストの実行結果のデータの保持期間は15か月です。期間を過ぎたデータは復元できませんので、長期的な分析や記録保管が必要な場合は定期的にCSVエクスポートを実行してください。

「サイトにあるのに見つからない」を、なくす。

自然な言葉で聞くだけで、求める情報へすばやく案内。SiteAskは、情報量が多く複雑なサイトでも、ユーザーの意図をくみ取り、「探しても見つからない」という機会損失を減らします。現在の検索機能を残したまま、GTMの設定だけで導入できます。