要点（結論）
採用判断は研究・コーディングスコアだけで決めず、面接での高得点と本番での即戦力は別物として扱ってください。現場での再現力（問い合わせ→切り分け→暫定復旧）、検証の精度、安全性とコスト管理を中心に評価するルールを作ると現場の初動遅延を減らせます。本稿では評価シートの骨子、実技テンプレ、3週間PoCの進め方、明確な見送り条件を提示します。
研究寄り採用の誤解：現場は“現場再現力”で決まる
面接やコーディング試験の高得点は育成の指標にはなるが、採用可否は現場での再現力が最重要です。具体的には短時間で暫定復旧案を提示し、必要ならロールバック手順まで示せるかを見てください。
現場で持ち帰る実務アクション
- 必須実技（オンサイト推奨）：問い合わせシミュレーション（45–60分）を設け、切り分けフォーム・暫定返信・復旧手順を必須提出にする。
- 研究スコアの扱い：研究・コーディングは総合スコアの上限を30%とし、残り70%を運用即応力・検証精度・安全性×コストで評価するルールを導入する（業務特性で調整可）。
- 現場合否ライン例：問い合わせシミュレーションで主要原因候補を短時間で挙げ、暫定復旧案を提示できることを必須合格条件とする。
評価軸：運用即応力・検証精度・安全性×コスト
評価はこの3軸で定量＋定性に落とし、業務優先度に応じて重みを固定した評価表で比較します。各軸には測定方法と閾値（前提）を必ず付けてください。
各軸の定義と測り方（現場で即実行可能）
- 運用即応力：問い合わせ受領→原因候補列挙→暫定復旧提示までの速度と品質。測定は模擬MTTRをタイマーで計測（例：切り分け10分以内、暫定復旧30分以内）とドキュメント網羅性チェック。
- 検証精度：実運用での誤判定・抜けをどれだけ検出できるか。標準サンプル（N>=30〜50）で抽出率・誤応答率を計測し、難易度を混ぜる。
- 安全性×コスト：PII対応、権限管理、推論コスト見積もりと削減案の実現性。PIIフロー図、権限設計サンプル、推論コスト試算（QPS×単価）と2案以上の削減策提示を求める。
組織別重み付け例：小規模は運用即応力重視（例：50/30/20）、大企業は検証とコンプライアンスを重視（例：35/40/25）。どれか一つが致命的に低ければ不採用とするルールを明文化してください（例：PII手順が未整備で法令違反リスクがある場合は見送り）。
現場シミュレーション型実技課題テンプレ
実務と同じ作業を再現する課題を必須化します。成果物は短時間で再現できる手順書＋スクリーン実演を基本とし、出せない候補者は即戦力ではないと判断します。
課題例と必須提出物
- 問い合わせシミュレーション（45–60分）：RAGが誤情報を返したログを渡す。提出物は切り分けフォーム（原因候補／再現手順／優先度）、顧客向け暫定返信（PII検査済み）、暫定復旧手順（実行コマンド／操作手順）。採点は主要原因を含む候補化80%目標、暫定返信を10分以内で作成、復旧手順が実行可能なこと。
- 管理画面チェック（30–45分）：新モデルデプロイ後のエラーダッシュボードを与える。提出物はデプロイ確認手順書、ロールバック手順（依存リスト・影響範囲）、スクリーン共有での操作実演。ロールバック時の影響範囲と安全確認リストが必須。
- PDF／帳票テスト（45–60分）：傾きやノイズのある請求書サンプルを複数渡す。提出物はOCRレポート（抽出率の簡易集計）、抜け項目リスト、臨時受け入れ基準と顧客説明文。主要請求項目抽出率の目安は90%（請求系は95%目標、サンプル規模と業務影響を明記）。
- ファッション固有テスト（30–45分）：商品マスタの散逸した属性データと画像セットを渡す。提出物は属性正規化ルール（色・サイズの正規化手順）、サンプル正規化結果（CSV）、画像タグ付けの短レポート。例外処理を含む一貫性が重要。
評価者向け注意点
- 再現可能性：手順に実行コマンドや画面遷移が書かれているかを必ず確認する。
- PII確認：顧客向け文面はPII除外とリーガル合意の有無をチェックする。
- オンプレ対応：ステージングでの再現が条件。必要なら限定アカウント/VPNでの実演を求め、操作ログを保存する。
典型的失敗シナリオのテスト化と予防
採用段階で検索誤応答、OCRミス、推論コスト暴走といった典型トラブルを再現させ、候補者に「暫定緩和」「恒久対策」「責任分界」を書かせると入社後の初動遅延を防げます。
- 誤応答（RAG）：誤情報ログ＋ソース分布を渡し、暫定緩和（信頼度閾値・ソース制限）と恒久対策（インデックス改善・ソース再構成）を提示させる。合格は即実行可能な暫定緩和と工程・期限・担当を含む恒久対策。
- OCRミス：傾き・ノイズ・フォーマット差のPDFを使い、暫定受け入れ基準と自動判定トリガー（例：信頼度<0.8で人手チェック）を明記させる。
- 推論コスト暴走：リアルタイム要件追加を想定し、バッチ⇄リアル判断、コスト試算、2案以上の削減案（キャッシュ、モデル軽量化等）を提示させる。合格は数式で示した試算と実行手順のある削減案。
責任分界テンプレ：即時対応は現場オペレーター/オンコール、恒久対策はプロダクト/データチーム、監査・法務は法務・コンプライアンスの関与レベルを明記させてください。暫定案と恒久対策の両方を提示できない候補者は不可とします。
最初のPoCと採用判断フロー（3週間テンプレ）
PoCは小さく回し、定量指標で合否、最後に安全チェックを入れること。基本は3週間で回します。
- Week1：シナリオとテストデータ準備（リーガル確認含む）。評価指標と合格ラインを確定。サンプル数・閾値の前提を明記。
- Week2：候補者による実作業（オンサイト推奨）—模擬MTTR、OCR抽出率、検索精度を計測。
- Week3：結果レビューと安全性チェック（PII運用、既存環境接続）→採用会議で最終判断。
合格ライン例：模擬MTTR≤60分（N>=3シナリオ平均）、PDF主要項目抽出率≥90%（請求系は95%目標）、管理画面はロールバック手順の完全記述。見送り条件を明確にし（PII不可、接続不能、推論コスト過大など）、PoCで定量データが揃わない候補者は次に進めない運用にしてください。
FAQ（簡潔）
実技テストでの合格ラインはどう決める？
顧客インパクトと手作業コストを基準に決定します。請求・決済系は厳格（95%目標）、参照系は緩め（90%目安）。閾値はサンプル数・難易度・業務損失額を根拠にリーガル／業務オーナーと合意してください。
ファッション業務のテストデータは公開データで代用できる？
公開データは代用可能ですが命名規則やノイズが異なるため、匿名化した実データ抜粋か公開データに自社固有ノイズを加えたエミュレーションデータを推奨します。必ずリーガル確認を行ってください。
オンプレ混在環境で管理画面テストを安全に実施するには？
ステージングや模擬管理画面での再現、スクリーン共有、制限アカウントでの実演を基本にします。オンプレ接続が必須ならVPN＋限定アカウント＋RBAC、事前承認と操作ログ保存を必須条件にしてください。
まとめ（実行手順）
- 優先する1シナリオを決める（優先順：①問い合わせ対応 ②PDF/帳票検査 ③管理画面デプロイ確認。ファッションは商品マスタ検証を必須に）。
- 実技テンプレ（1〜2時間）＋PoC（3週間）を設計し、評価指標（MTTR、OCR抽出率、検索精度、推論コスト）と前提（サンプル数・難易度）を明記する。
- オンサイト現場シミュレーションで実務能力を検証し、PoC結果を合否とオンボーディング計画に反映する。
最終的に、採用は「実際に手を動かして再現できるか」を最優先してください。理論は重要ですが、短期的な運用リスクを減らすために再現可能な手順と即時対応力を示せる人材を選ぶことが現場の安定化につながります。
コメント