要点まとめ
PoCで「AIは動く」と確認できても、本番で止まる原因の多くはSLAの粒度不足と計測手順の未定義です。結論はシンプルです：生成AIのSLAは業務ごとに「正確性・応答性・監査性・運用負荷」を具体化し、測定手順と閾値まで定義すること。ベンダーの稼働率やP95だけで判断せず、業務インパクトから逆算してSLAを作りましょう。
なぜベンダーSLAだけでは不十分か
ベンダーSLAは主にインフラやAPI応答の保証に過ぎません。業務における誤答コストや監査で必要な証跡までは担保されないため、業務SLAを現場が定義していないと承認や法務チェックで差し戻されやすくなります。
実務アクションの例：
- 導入会議で「誤答1件の想定コスト」「重大誤答の許容頻度」を明示する
- その数値からSLA項目・閾値・PoC基準（検証データ、サンプリング率、合格ライン）を決定する
- ベンダーSLAはログ粒度や可用性確保の補助に位置付ける
SLA設計の判断軸（4つ）
SLAは次の4軸で設計し、業務ごとに重み付けして必須指標へ落とし込みます。指標は最小限に絞り、「必須／許容」を決めてください。
- 正確性：業務で許容できる誤答率やフィールド単位の精度
- 応答性：P95などの遅延要件
- 監査性：入力／出力／モデルID等のログ保存と検索性
- 運用負荷：人レビュー比率や対応工数（初期・定常）
手順：業務カテゴリ（問い合わせ、画面確認、帳票など）を列挙し、各カテゴリで4軸の優先度を%で決定。各軸に対して測定方法と計測周期（サンプリング率・解析窓）を定め、運用負荷は工数換算でOKラインを決めます。
具体業務別のSLAと計測方法
各業務に「指標＋計測方法＋閾値＋サンプリング設計」のテンプレを用意し、PoCで人レビュー割合と重大誤答の常時人確認を決めます。
問い合わせ対応（FAQ / チャット）
- 主要指標：Top1正答率、重大誤答率、P95応答時間、根拠付与率
- 計測方法：過去問い合わせを評価データに（例：500件）。自動でTopNを算出し、初期は20%を目視、重大誤答は100%レビューにする
- 閾値例：Top1 ≥85%（標準）、重大誤答 = 0件（承認条件）、P95 ≤2秒（検索系）／≤5秒（生成系）
- 運用示唆：重大誤答定義とレビューフローをPoCで固定。会話ログの保存粒度は契約で担保する
画面確認（UI表示・数値チェック）
- 主要指標：表示一致率、差分検出真陽性率、更新検知遅延
- 計測方法：差分画像＋DOM比較で自動検査。重要画面は差異を100%目視。入力・出力・タイムスタンプをログに保存
- 閾値例：表示一致率 ≥99%（重要）／≥97%（通常）、真陽性率 ≥95%、アラート ≤5分（重要画面）
- 現場知見：動的コンテンツ（日時等）の除去や固定セレクタ利用でノイズを下げる
PDF・帳票（OCR→抽出→検証）
- 主要指標：フィールド別Precision/Recall/F1、帳票全体合格率、改定検知時間
- 計測方法：直近3カ月の代表帳票でゴールドセットを作成（例 n≥200）。初期は30%目視、安定後に10%へ
- 閾値例：重要フィールドF1 ≥98%、通常F1 ≥95%、帳票合格率 ≥99%（重要プロセス）
- 運用注意点：フォーマット変更に敏感なので、フォーマットハッシュで変化検知→サンプリング率を自動増加させるルールを入れる
PoCから承認までの設計手順とチェックリスト
PoC→承認→本番は「測定期間・サンプル数・合格ライン・エスカレーション」を事前定義すれば停滞しません。承認前に必須項目が満たされていることを条件化しましょう。
PoC設計順序：目的→測定指標→期間（最低n件/最低t日）→合格ライン→試験データ定義。
- 最低チェック項目の例：目的・測定指標と方法・測定期間（例500件かつ30日）・合格ライン（例重大誤答0件、Top1≥85%）・監査ログ要件・エスカレーションルール・初期モニタ計画（例30日20%目視）
合否運用例：承認は業務オーナー・情シス・法務の署名で確定し、重大誤答が一件でも出れば再試験を必須化するルールを事前に設定します。PoC結果はダッシュボード化して承認会議での説明工数を削減しましょう。
運用設計：ログ・エスカレーション・見送る条件
運用で定める3点：通知項目、対応時間、モデル更新ルール。例として、誤答で自動チケット→一次調査24時間、72時間で対策提示。ログは検索可能な形で保存（業務により例：180日）します。
- 必須ログ項目：入力クエリ、出力テキスト、出力根拠、モデルバージョン、タイムスタンプ、リクエストID。PIIはマスキングまたは同意ベースで扱う
- エスカレーション例：重大誤答＝即時CTO＋業務部長通知、72時間で原因特定／対策提示。一般誤答＝24時間内一次調査、7日以内に対応計画
- 見送る条件例：誤答率が許容を3ヶ月連続で超える、監査ログ要件を満たさない、法務対応が頻発する
現場ポイント：Slackに誤答を流すだけでは担当者不在で滞ることがあるため、チケット連携と自動リマインドを組み込むこと。
テンプレ：SLA項目一覧とPoC一枚フォーマット
業務別SLAミニマム
- 問い合わせ：Top1正答率、重大誤答数、P95応答時間、根拠付与率、サンプリング率
- 画面確認：表示一致率、差分真陽性率、アラート遅延、レビュールール
- 帳票：フィールドPrecision/Recall、帳票合格率、改定検知時間、目視サンプリング率
- 共通（監査性）：ログ保存（入力/出力/モデルID/タイムスタンプ）、保持期間、検索性
PoC一枚フォーマット（必須欄）
- 目的（代替フロー）
- 対象データ量：最低n件／最低t日（例500件/30日）
- 測定指標：指標名＋方法＋サンプリング率
- 合格ライン：閾値と改善計画
- 監査要件：ログ項目＋保持期間
- エスカレーション：対応時間と担当
- 承認者署名欄（業務／情シス／法務／監査）
FAQ（要点）
正確性指標は何を使うべきか？
用途で決めます。FAQやチャットはTop1／Top3、財務・契約等のクリティカルな領域はフィールド単位のPrecision／Recallを用いてください。重大誤答はゼロで即時エスカレーションを推奨します。
PoCの最低ラインは？
目安は500件かつ30日。希少事象や帳票多様性が高い場合は増やしてください（フォーマットごとに200〜500件が目安）。
ベンダーSLAと現場SLAが矛盾したら？
業務SLAを優先してください。ベンダーSLAはインフラ保証として使い、必要なログや機能を契約で確保します。
ログ保存で法務配慮は？
PIIはマスキングか同意に基づいて扱い、保存期間とアクセス権限を法務と合意します。監査で復元可能なメタデータを付与することも検討してください。
まとめと次の一歩
まず業務インパクト（誤答1件のコスト・重大誤答頻度）を数値化し、4軸で重み付けしてPoC合格ラインを決めます。SLAは現場が主導して測定手順と閾値、運用設計（ログ・エスカレーション・レビュー）を実行可能にすることがゴールです。最初は単一業務でPoC一枚フォーマットを回し、30日・500件で実測できることを作ってから拡張してください。
コメント