なぜ「全工程を見張る」運用は続かないのか

エージェントを連鎖させる構成（チェーン）では、工程数が直線的に増えます。リサーチ→要約→ドラフト作成→校正→配信という5ステップのパイプラインを3本並列で走らせれば、人間がレビューすべき出力は最大で15件になります。さらにこれを日次・週次で回すと、確認作業の総量は使いものにならない水準に膨らみます。

より根本的な問題は、「全部を見る」設計が人の役割を誤って定義していることです。連鎖実行の中で人間が担うべき役割は、「実行の監視」ではなく「判断と修正」です。AIが得意な繰り返し処理・パターン認識・大量出力は任せる。人が担うのは、方向性の判断、不可逆な操作への許可、例外的な事態への対処——この限定された部分だけです。

全工程をレビューする運用は、この役割分担を無視し、人間をAIの「確認係」に置く設計です。これでは自律化の恩恵を自ら打ち消すことになります。

AIエージェント業務設計の核心：介入点を「どこに置くか」の原則

介入点とは、「ここで人の目と判断を入れる」と決めた工程上の点です。介入点の配置設計とは、この点をパイプラインのどこに、いくつ置くかを事前に決めることです。relmeaが複数のエージェントを連鎖運用する中で確認してきた原則は、大きく3つあります。

  • 介入点は「数を絞る」：全工程の10〜20%以下が目安です。それ以上の頻度で人が止まる設計は、パイプラインの「詰まり」になります。どこで止まるかを意図的に決めることで、残りの工程は通過させる判断ができます。
  • 介入点は「不可逆な操作の手前」に置く：送信、公開、削除、課金処理、外部APIへの書き込みなど、実行後に取り消せない操作の直前が最優先の配置場所です。ここで1度人が確認すれば、それ以降の自動処理は安心して任せられます。
  • 「対外的な出力の手前」と「判断が分岐する場所」にも置く：社内完結の処理より、外部に出るもの（メール送信・SNS投稿・レポート配信など）は精度要件が高くなります。また「AかBか」の方針判断が伴う分岐点は、人が関与する価値が高い場所です。

反対に言えば、上記3条件に当てはまらない工程——可逆で、対内的で、定型的な処理——は原則として人が介入しない設計にします。「介入しないことを決める」のも、設計のうちです。

3つの介入点配置パターン（実装目線）

原則を踏まえたうえで、実際の運用で使いやすい3つの配置パターンを紹介します。業務の性質によって向き不向きがあるため、それぞれの特徴を整理します。

パターン1：事前承認ゲート型

チェーンの途中に「一時停止点」を設け、人が承認してから後続の工程へ進む設計です。AIは処理を実行した後、次の工程の実行前に人へ通知し、承認・却下・修正を受けてから続けます。

  • 向く業務：不可逆な操作や対外的な出力を伴う業務。メール・SNS投稿の送信前、発注・契約関連の処理前、公開系コンテンツの配信前など。
  • 人の動き：通知が届いたら「進める」か「止める」かを判断するだけです。全文を精読する必要はなく、「差し戻すべき異常がないか」を数十秒で確認する運用に絞れます。
  • イメージ例：毎朝自動生成される顧客向けレポートのパイプラインで、配信の直前ステップだけ人の承認を挟む。生成・整形・宛先設定まではAIが完走し、人は「このまま送ってよいか」だけを見る。
  • メリット：最も確実なゲートです。不可逆な操作の手前に1点だけ置けば、それ以降の自動処理を安心して任せられます。
  • 注意点：人の応答を待つ間、後続工程が停止します。承認の遅延がそのままパイプライン全体の遅延になるため、通知の設計と、承認に必要な情報が揃っているかが重要です。

パターン2：例外エスカレーション型

正常系は人の介入なしに完走させ、AIが「自信がない」と判定したケース、または設定した閾値を外れたケースだけを人に上げる設計です。

  • 向く業務：処理件数が多く、大半が定型的に処理できるが、一部に例外が混在する業務。問い合わせの一次仕分け・自動要約・データ分類・コンテンツ生成の品質チェックなど。
  • 人の動き：エスカレーションが届いたケースだけを処理します。正常に完走した件は見ません。
  • イメージ例：1日100件の問い合わせをAIが分類・一次回答する運用で、AIが「カテゴリ判定の確信度が低い」と自己申告したケースのみ人間のキューに回す。大半は自動処理、一部だけ人が対応する。
  • メリット：スループットを最大化しながら、リスクの高い件だけ人が見る効率が実現します。件数が多い業務ほど効果が大きくなります。
  • 注意点：閾値設定が肝です。高すぎると例外が人に来すぎ、低すぎると問題のあるケースが通り抜けます。最初は閾値を低め（エスカレーションを多めに出す方向）で設定し、実績を見ながら調整するのが安全です。

このパターンで重要なのは、AIに「自信のなさを申告させる設計」を組み込むことです。確信度スコア・エラーフラグ・判定根拠の出力などをプロンプトまたは後処理で設計しておかないと、AIは「よくわからないが自信満々に出力する」状態になります。

パターン3：事後サンプリング監査型

パイプラインを完走させた後、処理済みのアウトプットからランダムに一定件数を抽出してレビューし、気づいた傾向を次のプロンプトや設定に還元する設計です。

  • 向く業務：1件あたりのリスクが相対的に低く、件数が多い業務。コンテンツの量産、定期レポートの生成、社内向けのデータ整理など。
  • 人の動き：完走後に抽出された数件を確認し、「問題のパターン」があればプロンプトや後処理に修正を加えます。個別対応ではなく、傾向のフィードバックが目的です。
  • イメージ例：週次で自動生成される商品説明文が100件あるとき、毎週10件だけ抽出して確認する。「語尾が単調」「不要な比較が入る」などの傾向をプロンプトに反映し、翌週の品質を改善するループを回す。
  • メリット：人の時間コストを最も小さくできます。全件を見ない前提なので、エージェントへの依存度が高い運用に向いています。
  • 注意点：個別ミスを事前に防ぐ仕組みではないため、1件あたりのリスクが高い業務には使えません。「サンプリングしているだけで品質管理している気になる」状態に陥らないよう、抽出時に何を確認するかを言語化しておく必要があります。

どの業務にどのパターンを当てるか：選定軸の考え方

3つのパターンは排他的ではなく、1つのパイプライン内で複数を組み合わせることが多いです。選定の出発点として、以下の3軸で考えると整理しやすくなります。

  • 可逆性（やり直しがきくか）：不可逆な操作の手前にはパターン1（事前承認ゲート）を置きます。やり直しがきく処理であれば、パターン2・3で対応できます。
  • 件数と頻度：処理件数が多いほど、個別承認（パターン1）の負荷は大きくなります。大量の量的処理には、パターン2（例外エスカレーション）またはパターン3（事後サンプリング）が現実的です。
  • 1件あたりの影響度：1件のミスが大きな損失・信頼毀損・法的問題につながる業務には、パターン1またはパターン2を優先します。パターン3は影響度が限定的な業務に使います。

実際の運用では、「不可逆な操作の手前だけパターン1、定型処理の大量件数はパターン2、残りの完走済みアウトプットをパターン3で週次確認」のように組み合わせて使います。どのパターンをどこに置くかを事前に文書化しておくことで、運用の属人化を防げます。

「見守るだけ」を成立させるために最低限必要なもの

介入点の配置設計がどれだけ正確でも、それを支える基盤が整っていなければ「見守るだけ」は机上の計画に留まります。relmeaが現場で確認してきた、最低限必要な3つの条件を整理します。

  • ログが残ること：各工程で何が起きたかを記録しておかなければ、問題発生時に原因を特定できません。入力・出力・処理時刻・エラー情報を構造化して残すことが前提です。人が「見守る」ためには、見るべきものが残っていることが必須です。
  • 介入点で人が判断できる情報が揃っていること：承認ゲートやエスカレーションが届いたとき、判断に必要な情報が一箇所に揃っていなければ、判断に時間がかかるか、「とりあえず承認」という運用に崩れます。必要な情報は何かを設計段階で決めておきます。
  • 修正がプロンプトや設定に還元される循環があること：サンプリング監査で傾向を発見しても、それがプロンプト改善や後処理の修正に繋がらなければ、同じ問題が繰り返されます。「気づきを次の設定に反映する」サイクルが回って初めて、見守るだけの運用が自己改善します。

「全部を見る」から「正しい場所だけを見る」への転換は、単なる作業量の削減ではありません。人間とAIそれぞれが担うべき役割を再定義し、パイプライン設計に組み込むことで初めて成立します。介入点の配置設計は、そのための具体的な実装手段です。