DEEP Ops
システムではなく、ルールを変えてください。
法令や様式が変わっても、作り直す必要はありません。担当者が抽出基準を直接修正し、同じ文書で検証したうえで、承認されたバージョンだけを本番に反映します。
本人は上記内容を確認しており、記載事項が事実と異なる場合は貸出が取り消されることがあることを確認します。
本人は上記内容を確認しており、記載事項が事実と異なる場合は貸出が取り消されることがあることを確認します。 貸出実行後に信用状態が改善した場合、金利の引下げを要求できることの案内を受けました。
本人は上記内容を確認しており、記載事項が事実と異なる場合は貸出が取り消されることがあることを確認します。 貸出実行後に信用状態が改善した場合、金利の引下げを要求できることの案内を受けました。
本人は上記内容を確認しており、記載事項が事実と異なる場合は貸出が取り消されることがあることを確認します。 貸出実行後に信用状態が改善した場合、金利の引下げを要求できることの案内を受けました。
本人は上記内容を確認しており、記載事項が事実と異なる場合は貸出が取り消されることがあることを確認します。 貸出実行後に信用状態が改善した場合、金利の引下げを要求できることの案内を受けました。
本人は上記内容を確認しており、記載事項が事実と異なる場合は貸出が取り消されることがあることを確認します。 貸出実行後に信用状態が改善した場合、金利の引下げを要求できることの案内を受けました。
本人は上記内容を確認しており、記載事項が事実と異なる場合は貸出が取り消されることがあることを確認します。 貸出実行後に信用状態が改善した場合、金利の引下げを要求できることの案内を受けました。
本人は上記内容を確認しており、記載事項が事実と異なる場合は貸出が取り消されることがあることを確認します。 貸出実行後に信用状態が改善した場合、金利の引下げを要求できることの案内を受けました。
文書AIが止まる理由
問題は精度ではなく、変化でした。
法令や告示の改正、審査基準の変更、取引先の新しい様式
2年
うまく動いていた文書AIが、新しい項目一つの手前で止まるまで
2年近くうまく動いていた文書AIでも、告示が改正されて新しい項目が加わると、その項目の手前で止まります。精度が落ちたのではなく、その項目を読むことを一度も学習させていないからです。
新しい項目一つを従来の方法で反映すると
5段階
顧客企業と開発会社の間を行き来するあいだ、現場は手作業で処理します
変わった様式の文書を集めて正解を付け、開発会社に依頼して見積もりと稟議を経て、モデルを修正して再配備します。その間、その項目は人が手で入力します。
新しい項目一つが反映されるまで
8週
数週間から2か月
導入の効果は一度出て終わりますが、変更のコストは業務が変わるたびに改めて発生します。
DEEP Opsの仕組み
作り直さず、運用してください。
DEEP Opsの役割は三つです。変え、比べ、残すこと。基準を修正するのは、ベンダーではなく、業務を最もよく知る現場の担当者です。
- 01
ダッシュボード
テンプレートごとの評価結果と処理の推移を一つの画面で確認できます。直近の評価で正答一致率が下がったテンプレートから手を入れます。
- 02
テンプレート
文書の種類ごとに抽出する項目と条件を自然言語で定めます。開発の依頼書を書く代わりに、担当者が基準の文章を直接修正すると、修正内容は新しいバージョンとして保存されます。
- 03
バージョン比較
変更前のバージョンと変更後のバージョンを同じ文書で実行し、結果を並べて確認できます。新しい項目が正しく抽出されているか、既存の項目が壊れていないかを、配備の前に確かめます。
- 04
監査ログ
スキーマが実際に変わったときだけ新しいバージョンが作られ、以前のバージョンは上書きせずに残ります。いつ、誰が、何を、なぜ変えたかが記録され、問題が起きたら以前のバージョンに戻せます。
本番運用中
本番運用での完全自動処理率。
実際に運用中の業務で、人の確認を経ずに処理された割合です。
92%
生命保険会社
退職年金の支給審査
退職年金の支給審査、月15,000件。件あたり12分以上かかっていた全件の再検算を、例外の8%だけを確認する構造に変え、再検算は92%減り、リードタイムは66%短縮しました。
89%
金融グループ・海外法人
融資書類の審査
現地語の融資書類審査、月18,000件。件あたり21分以上かかっていた審査で、今は例外の11%だけを人が確認します。
94%
広域自治体
生成AI向けの行政文書
行政文書を、生成AIが使える構造データに変換しました。構造要素302件をすべて検出し、テキストの類似度は98.8%です。
90%
政府機関
税の更正請求
更正請求書33件の文書から、361項目を95%以上の精度で抽出しました。
88%
公共投資機関
投資先企業の記録
投資先企業の事後管理DBを作るため、法人登記簿謄本9,410件を構造化しました。
ワークフロー
お客様の業務フローを、ブロック単位で実行します。
チームが行っていた手順をブロックでつなぎます。人が確認する段階はブロックごとに決め、業務の流れは必要なだけ組み直します。
- ユーザー操作
- 使用中ユーザー操作
再利用
一度検証すれば、チーム間で再利用できます。
ある業務で検証が終わった組み合わせを資産として保存し、ほかの部署やほかの業務に持ち込んで使います。現場の評価結果と検収のフィードバックは、再び品質改善に生かされます。
01
モデル
どのVLMを使うか
02
プロンプト
何を、どのように読むよう指示したか
03
抽出スキーマ
どの項目を、どの形式で抽出するか
04
品質基準
どこまでを合格とみなすか
既存のMLOpsと併用できます
MLOpsが管理するのはモデルで、文書AIで変わるのは業務の基準です。モデルの学習と提供は既存のパイプラインが担当し、DEEP Opsはスキーマ、プロンプト、品質基準を担当して、両者を併用します。
| 領域 | 管理対象 | 変更者 |
|---|---|---|
| DevOps | コード | 開発者 |
| MLOps | モデルと学習データ | MLエンジニア |
| LLMOps | プロンプトとコンテキスト | AIエンジニア |
| VLM Ops | 抽出スキーマと業務ルール | 業務責任者 |