AgentOpsとは: 業務を担うAIエージェントを統制し改善する運用の仕組みの完全ガイド

AgentOpsとは、AIエージェントがツールを呼び出し、システムに入力して業務を遂行する過程の全体を記録し、権限と承認、業務単位の評価、停止と復旧を管理することで、エージェントを安全に運用する仕組みです。

AgentOpsが必要な理由

回答だけでなく、行動が残るようになりました。

生成AIが回答するだけの段階では、誤った回答を人が見つけて取り除けばよいものでした。AIエージェントは違います。文書を読み、条件を判断し、ERPに値を登録し、メールを送り、次の段階へ業務を渡します。1回の誤った判断が、複数のシステムに痕跡を残します。

エージェントが1件を処理するには、複数の段階を経る必要があります。どの段階で、どの根拠に基づいて、どのツールを呼び出したかの記録がなければ、結果が誤っていたときに、原因が認識なのか、判断ルールなのか、システム連携なのかを見分けられません。

エージェントに任せてよい業務の範囲を定め、人の承認が必要な箇所を設け、問題が起きたら止めて元に戻せるようにして、はじめて業務を任せられます。この要件をひとまとめにした運用の仕組みがAgentOpsです。

この違いは、エージェントを試験運用から本番の業務へ広げる段階で表れます。試験運用では、担当者がすべての結果を見守れます。しかし処理量が増えると、人がすべてを確認することはできないため、記録と統制が仕組みとして備わっている必要があります。

AgentOpsの正確な定義: LLMOpsとの違い

LLMOpsとAgentOpsの3つの軸の違い

第一に、管理の単位が異なります。LLMOpsは、モデルの呼び出し1回の入力と出力を単位として管理します。AgentOpsは、1件の業務を処理するために連なった判断、ツールの呼び出し、システムへの入力の一連の流れ全体を単位として管理します。

第二に、リスクの性質が異なります。LLMOpsが主に扱うリスクは、誤った回答や根拠のない回答です。AgentOpsは、これに加えて、権限の外にあるシステムへのアクセス、承認なしの値の登録、同じ作業の繰り返し実行といった行動のリスクを扱います。

第三に、評価の基準が異なります。LLMOpsは回答の正確さと形式を採点します。AgentOpsは、業務が正しく最後まで完了したか、人が介入した箇所はどこか、処理の時間と費用はいくらだったかを、業務1件ごとに見ます。

AgentOpsはLLMOpsに取って代わるものではなく、その上に位置します。エージェントの中で使うモデルとプロンプトはLLMOpsで管理し、そのモデルが動く業務の流れはAgentOpsで管理します。

AgentOpsを成り立たせる4つの機能

エージェントに業務を任せるための4つの機能

第一に、実行の追跡です。1件ごとに、どの文書を読み、どの規則で判断し、どのツールをどの値で呼び出したかを、順序どおりに記録します。

第二に、権限と承認です。エージェントが照会だけできるシステムと、入力まで行えるシステムを分け、金額が大きい案件や基準から外れた案件は、人の承認を経てから実行させます。承認の基準はエージェントの設定の中ではなく、別の規則として持たせます。そうすることで、業務部門が確認し、修正できるようになります。

第三に、業務単位の評価です。段階ごとの精度とあわせて、業務の完了率、例外の割合、1件あたりの処理時間を見ます。段階ごとの成績が良くても、途中で流れが途切れていれば、業務は終わりません。

第四に、停止と取り消しです。異常な行動が検知されたら、エージェントを止められること、すでに実行された入力を取り消すか、人に引き継げることが必要です。

4つの機能は互いに関係しています。承認の基準を調整するには実行の記録が必要で、権限を広げて試すには取り消しができる必要があります。

AgentOpsの実際の適用方法

狭い権限から始めて、少しずつ広げます

最初からエージェントに入力の権限まで与えることはしません。初期の段階では、判断の結果と入力する値を提案させるだけにし、人が承認して実行します。承認の履歴で修正がほとんどない業務の種類から、自動実行に切り替えます。

権限を広げるたびに、切り替えの基準と日付を記録しておくと、問題が起きたときにどの決定から見直すべきかがわかります。

実行の記録を、業務担当者が読める形で残します

開発者向けのログだけでは、業務部門がエージェントの判断を検証できません。判断の根拠になった原文の位置、適用した規則、実行した作業を、業務の言葉で要約した処理の履歴を一緒に残します。

処理の履歴は、監査対応の資料であると同時に、改善の出発点でもあります。担当者がエージェントの判断を直した案件を集めると、どの規則が不足しているか、どの文書の種類で判断が揺れているかが見えてきます。

変更は同じ業務の案件で検証します

判断の規則、モデル、連携の方法を変えるときは、過去に処理した業務の案件を再度流し、結果がどう変わるかを比べます。実際のシステムに入力しないテスト環境で先に確認し、承認の手続きを経てから運用に反映します。変更前のバージョンは残しておき、すぐに戻せるようにします。過去の案件の結果が変わった場合は、その違いが意図した変更によるものかどうかを、1件ずつ確認します。

国内環境でのAgentOps

国内の金融と公共分野では、電算処理の責任の所在と、アクセスの記録が厳しく求められます。エージェントが行った入力も、人が行った作業と同じ水準で、誰が承認し、どの根拠で実行されたかが残っている必要があります。

既存のERP、EDMS、RPAと連携することが多いため、エージェント専用のアカウントと権限を別に発行し、ネットワーク分離の環境でも実行の記録を社内に保管できるように構成するのが一般的です。