AI agentのヒューマンインザループ

AI agentのヒューマンインザループとは、agentが最初から最後まで自力で走り切るのではなく、ループの中に、agentが止まって人間を待ってから先に進む特定のポイントを組み込むことです。目的は、あらゆる場所でagentを遅くすることではありません。誤った行動がコストが高い、取り消せない、あるいは後から説明しにくい場所にだけ、ちょうど一時停止を置くことです。置き場所が正しければ、それ以外のすべてをagentが人手を介さずに処理します。どちらの方向に誤っても、agentが使い物にならないほどのボトルネックになるか、誰も間に合って気づかない誤った判断で動くagentを出荷してしまうことになります。

agentにとってのヒューマンインザループとは、具体的に何か

ヒューマンインザループという一般的な概念は、多くのAIの用途にまたがります。学習データのラベル付け、モデルの予測の検証、公開前のコンテンツのレビューなどです。AI agentについては、とくに、多くのステップを連続して実行できる知覚、推論、行動、観察のループを回すagentでは、問いはより狭く、より実務的になります。agentは正確にどのステップで止まって待つのか、そしてその待ち時間に見合うよう、人間に何を渡すのか、です。あるプロセスがそもそもagentに向いているかどうかをまだ決めていない場合は、AI agentを使うべきときが先に行うべき準備状況のチェックです。この記事は、その基準を満たしたうえで、引き継ぎを設計する段階にいることを前提にしています。

「人間がagentの行動をレビューすべきだ」というのは、誰も構築も監査もできない仕様です。「外部へのコミュニケーションを送信する、財務記録を変更する、またはタスクの担当者のチーム外のレコードを変更するExecuteステップの前に、agentは一時停止し、具体的な承認リクエストを提示する」であれば、構築も監査もできます。これは、パターンによるガバナンスがあらゆるAIパターンにわたって行う、曖昧なものから運用可能なものへの転換と同じで、ここではagentのツール呼び出しが実行される場所に絞って適用しています。

ループの中で人間が必要な3つの場所

チェックポイントは、実行の中の異なるタイミングに置き、固定のルールでは想定できなかった不確実性のためには、別個の引き継ぎ経路を用意します。

よく設計されたagentはすべて、この3つのいずれかの組み合わせを使います。どのタスクにも3つすべてを使うわけではありません。リスクの低いagent(SEOブリーフの下書き、会議の要約)は、ゲートなしで動かし、実行後に軽いスポットチェックを行えば十分です。リスクの高いagent、つまり返金やお客様宛メールの送信ができるagentは、スコープの実行前レビューに加えて、結果を伴う特定の行動に対する実行中のゲートが必要です。Anthropicのagent構築に関するガイダンスも同じことを直接述べています。特に取り消せない行動の前に、agentが人間のフィードバックのために一時停止するチェックポイントを設け、agentが自分のミスから暴走しないよう、明示的な停止条件を与えます。

4つ目の仕組みは、個別に取り上げる価値があります。確信度の下限による引き継ぎです。これは特定の行動に結び付いた固定のチェックポイントではありません。agent自身が、安全に先へ進むための手がかりが足りないと認識したときに作動します。2つの情報源が食い違い、整合させられない、必要な事実が欠けている、状況がシナリオプレイブックのどれにも当てはまらない、といった場合です。agentは短い引き継ぎメモを書きます。見つけたこと、行き詰まった理由、人間に求めること、を記して待ちます。これはしばしばシステム全体で最も価値のある唯一のゲートです。誰もルールを書こうと思わなかったケースを捉えるからです。

この4つの構成、つまり実行前のレビュー、実行中のゲート、確信度の下限による引き継ぎ、実行後の監査は、Autonomous Agentパターンのヒューマンインザループ設計がパターンのレベルで規定している内容そのものです。ここから先は運用の詳細です。何がゲートを作動させるかをどう決めるか、その判断を誤ったときのコストです。

常に人間を必要とするもの

このライブラリのブループリント全体を通じて、業種や職種に関係なく、同じ4つのカテゴリーが譲れないゲートとして繰り返し現れます。

• 社外に出るものすべて。 顧客宛のメール、公開投稿、見込み客や候補者へのメッセージです。いったん送信すれば取り消せず、読み手は、目に見える形で問題が起きない限り、AIが書いたとは知りません。
• お金が動くものすべて。 返金、支払い、承認済みの請求書、予算の再配分です。定められたしきい値を超える金融アクションは、agentがどれほど確信していても、人間が確認しない限り実行すべきではありません。
• 取り消せない、または取り消しにくいものすべて。 レコードの削除、アカウントの閉鎖、アクセス権の取り消しです。元に戻すほうが実行するより手間がかかるなら、先に人間が確認します。
• タスクの担当者自身のスコープ外のものすべて。 agentが自分のオペレーターのレコードを更新するのは問題ありません。別の人のレコード、たとえば他の担当者の案件や他部門の予算項目を変更するなら、チェックが必要です。ミスに気づくのに最も適した人、つまりレコードの本当の所有者が、その行動を起こした人ではないからです。

このリストは提案ではありません。EU AI Act第14条は、高リスクのAIシステムを、人間の監督者がシステムの動作を理解し、問題が起きたことを認識し、停止または巻き戻せるように構築することを求めています。この要件は、雇用、金融サービス、顧客対応の分野で動作するあらゆるagentについて、管轄上の遵守義務があるかどうかにかかわらず、この4つのカテゴリーにほぼそのまま対応します。

ゲートを誤ったときのコスト

ここには2つの失敗の方向があり、チームは片方で痛い目に遭うと、もう片方へ過剰に補正しがちです。

ゲート不足は、より目に見えやすい失敗です。チェックポイントが少なすぎるagentは、誰かが気づく前に実害を出します。数十のアカウントに誤った返金を送る、デリケートな苦情にトーンの合わない返信をする、ハルシネーションを起こした事実をCRMのフィールドに書き込み、人間が気づく前に他の3つのシステムへ広がる、といった事態です。これは、あらゆるセキュリティとガバナンスの議論が焦点を当てる失敗パターンであり、それには十分な理由があります。

ゲート過多は、より静かな失敗で、同じくらいよく起こります。安全で反復的な行動も含め、すべての行動を人間に回せば、作ったのはagentではなく、余計なステップが付いた承認キューです。チケットのトリアージやCRMのクリーンアップを自動化する本来の狙いは、仕事の反復的な中間部分から人間を外すことでした。すべての行動にいまだクリックが必要なら、AIの費用を払いながら人件費も残っています。さらに悪いことに、ゲートが過多のagentは、レビュアーに承認の形骸化を教え込みます。リスクの低い承認を1日200件レビューしていると、人はそれらを注意深く読まなくなり、残したゲートの目的が静かに失われます。

解決策は、ゲートのある行動とない行動の普遍的な比率ではありません。どの行動が上記の4種類のリスクを実際に伴うかを具体的に見極め、それだけにゲートを置き、他は動かし続けることです。Gartnerは、agentic AIプロジェクトの40%超が2027年末までに中止されると予測しており、主な原因として、コストの増大、不明確なビジネス価値、不十分なリスク管理を挙げています。上記の2つの失敗の方向は、どちらもこの数字の中に含まれます。ゲート不足で痛い目に遭ったプロジェクトは、インシデントの後に打ち切られます。ゲート過多で締め付けられたプロジェクトは、約束した時間削減を実現できず、静かに予算を絞られます。

Reworkのブループリントは引き継ぎをどう設計しているか

何を見るべきかが分かれば、このパターンは、まったく異なる職種にまたがって現れます。

• AI SDR Agentは、アウトバウンドのシーケンスを自力で実行しますが、返信が価格に関する質問をした瞬間や、本物の購入意向を示した瞬間には、シーケンスを止めて、アドリブで答えるのではなく、短い要約を添えて会話を担当のAEに引き継ぎます。
• AI Contract Review Agentは、プレイブックに照らしてリスクのある条項にフラグを立てますが、相手方に戻す前に、すべての変更を人間が承認します。agentが稼働中の契約を自力で編集することはありません。
• Expense Approval Agentは、ポリシーに明確に合致する経費を自動承認し、例外を人間に回します。そのため、ゲートは、実際に判断が必要なケースでのみ作動します。
• AI Proposal/Quote Agentは、CRMとカタログから提案書を組み立て、価格ルールを適用し、完成した下書きを、見込み客に届く前に人間の承認へ回します。
• AI Collections AR Agentは、スケジュールに沿って支払いリマインダーを送信しますが、止まるタイミングを理解するよう作られており、アカウントを追い続けて紛争に至る代わりに、人間にエスカレーションします。

これらの共通点に注目してください。agentが大量の作業、つまり下書き、突合、スコアリング、シーケンス化を担い、人間は、その判断に価値のあるまさにその瞬間に、ちょうど1つの判断を下します。それが設計であり、設計の妥協ではありません。

引き継ぎをagentに組み込む

引き継ぎを紙の上の存在で終わらせず、機能させるための実践的な手が3つあります。

確定する前にステージングする。 agentのアウトプットは、システムオブレコードに直接書き込むのではなく、まずステージング領域、つまり下書きフォルダ、承認待ちキュー、レビュー用タブに送ります。ステージングされたCRM更新を人間が5分でレビューすれば、時間削減を損なうことなく、ほとんどのエラーを捉えられます。これは、稼働中のレコードを後から確認するのとはまったく異なる失敗モードです。

引き継ぎメモは、本気で書く。 agentが引き継ぐときは、タスクだけでなく、コンテキストも引き継ぐべきです。「見つけたこと、確信が持てない理由、あなたが決めるべきこと」を伝えれば、レビュアーは一度読むだけで必要なものがすべて手に入ります。「要レビュー」という通知だけでは、人間は追いつくためにagentの調査をやり直すことになり、節約できた時間の大半が消えます。

作動したゲートだけでなく、すべてのゲートをログに残す。 agentが通過したすべてのチェックポイント、承認も却下も含めた監査証跡があって初めて、ゲートが適切に調整されているかが分かります。承認の95%が、修正なしの「はい」で形だけ通されているなら、そのゲートは緩めても安全かもしれません。ゲートが実際のエラーを捉え続けているなら、必要な場所にちゃんと置かれています。これは、あらゆるパターンのガバナンス要件の根底にある監査証跡の規律と同じで、「ヒューマンインザループがある」という主張を、実際に証明できるものに変えるものです。

こうしたゲートを、カスタムコードではなくワークフローツールで構築する場合、承認ステップとステージング機能はプラットフォームによって大きく異なります。自動化カテゴリーで選択肢を比較し、1つに統一する前に、承認ルーティングと監査ログについて何を尋ねるべきかをワークフロー自動化ソフトウェアの選び方で確認してください。

Key Facts

• agentのヒューマンインザループとは、知覚、推論、行動のループの中の特定の一時停止ポイントを指し、人間がAIを「監督する」という曖昧な方針ではありません。
• ほぼ常にゲートが必要なのは、4つのカテゴリーです。外部へのコミュニケーション、金融アクション、取り消せない行動、タスクの担当者自身のスコープ外のレコードに対する行動です。
• EU AI Act第14条は、高リスクのAIシステムについて、人間がシステムを理解し、上書きし、停止できることを求めています。この法的な基準は、同じ4つのカテゴリーとよく対応します。
• ゲート過多も、ゲート不足と同じくらい現実の失敗です。すべてを人間に回せば、できあがるのは自動化されたagentではなく、より遅い承認キューです。
• Gartnerは、agentic AIプロジェクトの40%超が2027年までに中止されると予測しており、主な原因の1つとして不十分なリスク管理を挙げています。この設計作業が防ぐのは、まさにその失敗です。

次に読むもの

適切なゲートを置くことは、仕事の半分にすぎません。もう半分、つまり誰が何を承認したかにかかわらずagentが越えてはならない厳格なルールは、AI agentのガードレールで取り上げています。そもそも信頼できない入力が、これらのゲートを必要とするほど危険になる具体的な攻撃は、プロンプトインジェクションで解説しています。この構成要素の周りにある他の5つの構成要素をまだ定義している段階なら、AI agentの作り方から始めてください。