FAQ整備・検索改善・AI回答を同じ目的で比べる
資料が見つからないのか、見つかっても読み解きに時間がかかるのかで依頼先の作業は変わります。RAGは検索した資料をもとに生成AIが回答する方式ですが、誤りがなくなるという意味ではありません。
| 困っていること | まず比較する方法 | 確認する成果物 |
|---|---|---|
| 同じ質問が繰り返される | FAQと用語・分類の整理 | 質問と正本、更新担当の一覧 |
| 正しい資料が見つからない | 検索対象・権限・検索語の改善 | 同じ質問で必要資料が出るかの結果 |
| 複数資料を読む負担が大きい | 根拠付きAI回答を小さく検証 | 回答、参照箇所、回答できない時の挙動 |
導入前に、失敗例を含む質問集を作る
提案先が選んだ成功例だけでは、日常業務で使えるかは分かりません。自社の担当者が正解や確認先を持つ質問を用意し、資料を見つけたかと、回答がその資料に沿っているかを別々に記録します。
| ケース | 期待する動き | 記録する結果 |
|---|---|---|
| 根拠資料に答えがある | 正本の該当箇所を示す | 検索結果・回答・根拠の対応 |
| 答えが資料にない | 推測で断定せず確認先へ案内 | 根拠のない断定の有無 |
| 古い規程と新しい規程がある | 有効な版を区別する | 参照した版と更新の反映 |
| 利用者に閲覧権限がない | 資料・抜粋・回答に内容を出さない | 権限別の検索と回答の結果 |
資料の正本・送信先・権限の反映を確認する
元の共有フォルダに制限があっても、検索用データや回答に同じ制限が反映されるかは別の確認です。誰が何を参照できるかをそろえ、削除や権限変更の後も検索と回答の両方を試します。
- どの資料を正本にし、更新・削除を誰が反映するか決める。
- 質問、本文、検索用データ、履歴の送信先と保存期間を確認する。
- 権限変更後に、検索結果・引用・回答から内容が出ないことを試す。
- 初回の検証には架空・匿名化した例を使い、実データの共有は取扱い条件を決めてから行う。
採用基準と、使えない時の運用を決める
総合点だけで比較せず、答えが出ない場合と誤って断定する場合を分けます。自社で許容できない誤りを先に決め、有人確認、停止、通常の資料検索へ戻す方法も運用費に含めます。
- 質問集の件数、正本、評価担当、合否の条件を検証前に合意する。
- 資料更新後に同じ質問を再試験し、版と結果を残す。
- 資料整備、導入、利用量に応じる費用、保守を分けて比べる。
状況別の選び方
| 今の状況 | 比較する提案 | 先に確認すること |
|---|---|---|
| 正しい資料が見つからない | 正本整理と検索改善から比較 | 同じ質問で必要な資料が出るか |
| 複数資料を読む負担が大きい | 根拠付きAI回答を限定して検証 | 根拠なし・古い版・権限別の試験 |
一つの成功例では、誤回答や権限のない資料への回答は確かめられません。共通の質問を用意し、検索・回答・根拠と利用者権限を分けて記録します。
追加の質問
共通の質問と資料で検索・回答・権限を試し、正本の更新方法、回答できない時の運用、導入と継続費用を示してください。
この内容で依頼を作る
よくある確認事項
RAGなら正しい回答だけになる？
なりません。必要な資料を検索できなかったり、資料と回答が食い違ったりする場合があります。検索と回答を分け、根拠がない質問や権限の違いも含めて確かめます。
いきなり全社の資料を入れる？
先に一部門など対象を絞り、正本・閲覧者・更新担当が分かる資料で検証します。評価を通った条件と未解決点を残してから対象拡大を判断します。
参考資料
- Microsoft：RAGの評価
検索品質と、回答の根拠への整合を分ける評価
確認：
- Microsoft：検索文書のアクセス制御
検索時に文書の閲覧権限を反映する考え方
確認：