AI Opsとは: AIシステムを継続的に運用する仕組みの完全ガイド

AI Ops（AI Operations）とは、AIモデルとエージェントを実際の業務に配備したあと、品質、コスト、応答速度、バージョンと変更履歴を継続的に管理する運用の仕組みを指します。

AIは配備したあとも変わり続けます

一般的なソフトウェアにも継続的な運用と管理は必要ですが、AIシステムは運用の中で管理すべき変数がより多くあります。

モデルが新しいバージョンに置き換えられることがあり、プロンプトが修正されることもあります。検索に使うデータが更新されたり、エージェントが接続するAPIや業務ツールが追加されたりすることもあります。

このうちどれか1つが変わるだけでも、最終的な結果は変わり得ます。

たとえば、新しいモデルはベンチマークの性能が前のモデルより高くても、実際の業務文書では特定の項目を見落とすことが多くなる場合があります。プロンプトを1文修正したところ、精度は上がったものの処理時間が長くなることもあります。

そのため、AIの運用では、システムが正常に動いているかを確認するだけでは不十分です。

結果が今も正確か、コストが適切か、速度が維持されているか、どの変更が結果に影響したのかを、あわせて管理する必要があります。

AI Opsは、この過程を繰り返し実行できる運用の仕組みにするという考え方です。

AI Opsの正確な定義: 何を運用するのか

モデルだけを管理するのではありません

AI Opsの運用の対象は、AIモデル1つにとどまりません。

実際のAIサービスの結果は、複数の要素がともに決めています。

第一に、モデルです。どのモデルとバージョンを使っているか、新しいバージョンが前のバージョンより実際の業務で良い結果を出すかを管理する必要があります。

第二に、プロンプトと指示です。生成AIやAIエージェントでは、モデルにどのような役割と業務の基準を伝えるかが、結果に直接影響します。そのため、プロンプトも変更履歴と評価が必要な運用の資産です。

第三に、データと文脈です。RAGに接続される文書、検索データ、業務システムから渡される情報が変わると、同じモデルでも異なる結果を出します。

第四に、ツールとワークフローです。AIエージェントが検索、データベース、社内システム、外部APIなどを呼び出す場合、どのツールをどの順序と条件で使うかも運用の対象になります。

第五に、評価基準です。AIが正しく仕事をしているかを判断するには、精度だけでなく、処理の成功率、例外の発生率、遅延時間、コストなど、業務に合った基準をあわせて見る必要があります。

要するに、AI Opsは、モデル、プロンプト、データ、ツール、ワークフロー、評価までをつなぐAIシステム全体を運用する仕組みだと考えられます。

AI Opsを成り立たせる4つの機能

第一に、バージョンと変更履歴の管理

AIシステムを運用していると、複数の要素が同時に変わることがあります。

モデルを置き換えたり、プロンプトを修正したり、新しいデータソースを接続したりすることがあります。

そのとき、今どの構成が運用されているかだけでなく、以前のバージョンとどこが違うのかを確認できる必要があります。

変更履歴が残っていれば、結果が悪くなったときに、どの変更が原因かをたどれます。必要であれば、以前の状態に戻すこともできます。

第二に、品質の評価と監視

AIの結果は、いつも同じ形で出るとは限りません。

そのため、実際の業務でよく発生する入力を評価データにし、変更の前後の結果を同じ条件で比べることが重要です。

正解が明確な業務では、精度や完全一致率を見られます。生成的な業務では、評価の基準を別途定義する必要があることもあります。

運用を始めたあとも、特定の業務でエラーや例外が繰り返し起きていないかを、継続的に確認する必要があります。

第三に、コストと性能の管理

AIの運用では、品質と同じくらい、コストと処理の性能も重要です。

大きなモデルを使えば品質は上がるかもしれませんが、呼び出しのコストと応答時間が増えることがあります。

逆に、コストを下げるためだけに小さなモデルを使うと、特定の業務で必要な品質の基準を満たせない場合があります。

そのため、AI Opsでは、品質、処理時間、利用量とコストをあわせて比較し、業務ごとに適切な構成を選ぶ過程が必要です。

第四に、統制された変更と配備

新しいモデルや新しいプロンプトができたからといって、すぐに実際の業務に適用するのは危険な場合があります。

既存のバージョンと同じ評価条件で結果を比べ、事前に定めた基準を通過した変更だけを運用環境に適用するほうが安全です。

重要な業務では、変更を誰が検討し、誰が承認したのかも記録しておく必要があります。

こうすることで、AIシステムの変更を一度きりの修正ではなく、管理できる運用の過程にできます。

AI Opsの実際の適用方法

評価データを先に作ります

AIを運用するには、何が得意で何が苦手かを判断する基準が必要です。

実際の業務でよく発生する事例と、難しい例外の事例を評価データとして作っておくと、モデルやプロンプトを変えたときに、同じ条件で性能を比べられます。

評価データが変わり続けると、以前のバージョンと新しいバージョンの違いを正確に判断できなくなります。そのため、評価の基準そのものもバージョンで管理するとよいです。

変更された要素を分けて記録します

結果が変わったとき、原因を見つけるには、何が変更されたかを知る必要があります。

モデルのバージョン、プロンプト、検索データ、ツールの設定、業務ルールを別々に管理すると、どの変更が品質に影響したのかを追いやすくなります。

すべての要素を一度に変えるのではなく、可能な場合は変更した要素を分けて評価することも、運用の役に立ちます。

品質とコストを一緒に見ます

最も性能の高いモデルが、常に最も良い運用の選択とは限りません。

単純な分類や情報抽出の業務に高コストのモデルを使うと、品質の差に比べて運用コストが高くなりすぎることがあります。

逆に、複雑な判断の業務では、コストを下げるためにモデルの性能を落とすと、業務全体の効率が下がることもあります。

AI Opsでは、業務ごとに品質の基準を定め、その基準を満たす範囲内で、コストと処理時間を一緒に最適化することが重要です。

運用中に発生した例外を評価に戻します

実際の業務に配備すると、構築の段階では予想しなかった事例が次々と出てきます。

特定の文書で繰り返しエラーが発生したり、特定の依頼でエージェントが誤ったツールを選んだりすることがあります。

こうした事例を単なるエラーで終わらせず、新しい評価データと運用の基準として蓄積すると、次の変更で同じ問題が繰り返されることを減らせます。

AI OpsとMLOps

MLOpsは、機械学習モデルの開発、学習、配備、監視を体系的に管理する方法論です。

学習データ、モデルのバージョン、実験の結果、再学習のパイプラインなどが、主な管理の対象です。

AI Opsは、生成AIやAIエージェントが実際の業務に広がるにつれて、モデル以外の要素まで運用の範囲を広げて捉える概念として使えます。

モデルそのものだけでなく、プロンプト、RAGのデータ、ツールの連携、エージェントのワークフロー、評価の基準とコストも、最終的な結果に影響するからです。

簡単に区別すると、MLOpsは機械学習モデルのライフサイクル管理に焦点を当て、AI Opsは実際のAIサービスとAIワーカーが継続して適切に働くように運用することに焦点を当てます。

両者は代替関係ではなく、実際の環境では一緒に使われることがあります。

AI OpsとAIOps

2つの用語は表記が似ており、性質が重なる部分もあります。

運用の指標を継続的に監視し、異常の兆候を見つけ、原因を追跡して対応するという骨組みは、両者が共有しています。実際に、AI Opsで使う監視や異常検知の手法の多くは、AIOpsの側で先に定着したものです。

分かれる点は、何を管理の対象にするかです。この記事でいうAI Opsは、AI Operations、つまりAIシステムそのものを継続的に運用し、管理することを意味します。一方、AIOpsはArtificial Intelligence for IT Operationsの略で、AIと機械学習を使ってITインフラとサービスの運用を自動化する概念です。

AIOpsでは、サーバーやアプリケーションのイベント分析、障害の原因分析といったIT運用の業務が中心です。AI Opsでは、運用の中でモデル、プロンプト、データ、ツールの連携がどう変わり、その変化が結果にどう影響するかが中心です。

そのため、1つの組織で両方が必要になることもあります。サーバーが止まる問題はAIOpsが扱い、サーバーは正常なのに結果の品質が少しずつ悪くなる問題はAI Opsが扱います。ただし、表記が似ていて混同されやすいため、文書ではどちらを指しているのかを明示しておくとよいです。

AIエージェントの時代にAI Opsが重要な理由

AIエージェントは、単に質問に答えるモデルよりも、運用の過程が複雑です。

モデルを呼び出すだけでなく、データを検索し、複数のツールを使い、条件に応じて次の行動を決めます。

そのため、問題が発生したとき、モデル自体が原因なのか、プロンプトが原因なのか、誤ったデータが渡されたのか、ツールの呼び出しが失敗したのかを区別する必要があります。

AIエージェントが実際の業務を遂行するAIワーカーへと広がるほど、運用者は、モデル単体の性能よりも、業務全体が正しく完了したかを確認する必要があります。

たとえば、文書を分類し、情報を抽出したあと、外部のシステムに入力するエージェントであれば、抽出の精度だけでなく、業務全体の完了率、例外処理の割合、人が再確認した割合までが運用の指標になり得ます。

AI Opsは、AIの評価の単位を、モデルの単純な出力から、実際に行われた業務の結果まで広げる方向へ発展し得ます。

国内企業の環境でのAI Ops

企業がAIを実際の業務に適用すると、品質だけでなく、セキュリティと統制の問題も重要になります。

どのモデルがどのデータにアクセスしたか、どのユーザーが設定を変更したか、どの情報が外部のシステムに渡されたかを確認できる必要があります。

金融や公共のように、データの持ち出しやシステムへのアクセス権限が重要な環境では、AIの運用ログ、権限、変更履歴を社内の方針に合わせて管理する必要があります。

結局、企業のAI運用は、最も良いモデルを選ぶという問題だけでなく、AIがどのデータと基準を使って、どの業務を遂行したのかを継続的に統制できる構造を作る問題に近いといえます。