技術と構成
VLMとは何か: 座標を使わずに文書を理解する視覚言語モデルの完全ガイド
Korea Deep Learning作成
VLMとは、Vision Language Modelの略で、文書の画像と言語を1つのモデルの中で一緒に処理し、文字だけでなく、その文字が置かれた配置や周囲の項目との関係まで解釈して、人が文書を読む方法に近い形で意味を把握するモデルです。
VLMが登場した背景
様式が変わると、認識が止まってしまいました。
文書認識の技術は、長い間、座標を基準に動作してきました。申請書のどの位置に氏名があり、どの位置に金額があるかをあらかじめ指定しておき、その位置の文字を読み取る方式です。様式が固定された文書ではうまく機能しました。問題は、実際の業務文書が固定されていないことでした。同じ登記事項証明書でも、発行された時期や記載事項によって項目の順番と位置が変わり、同じ申請書でも支店や年度によって配置が変わります。座標を指定する方式では、様式が1つ増えるたびにラベル付けと学習が1回ずつ必要でした。文書の種類が数十種にのぼる金融業務では、このコストが導入そのものを妨げていました。
VLMは、このポイントに別のアプローチで取り組みます。どこを読むかを座標で指定する代わりに、何を探すかを言語で指示すると、モデルが文書全体を見て、その項目を見つけ出します。受付の締切日と支援金額を抽出するよう求めるだけで、公告文から該当する値を取り出せるようになったのです。
VLMの正確な定義: 規則ベースのOCRとどこが違うのか
規則ベースのOCRとVLM、3つの軸での違い
第一に、対象が異なります。規則ベースのOCRは、指定された領域の中のピクセルを対象にします。VLMは、ページ全体の視覚情報と、その中に書かれた言語を一緒に対象にします。そのため、項目名と値が離れていても、両者の関係を根拠に結び付けることができ、表の中のチェックボックスが選択されているかどうかも、周囲の文脈とあわせて判断します。
第二に、目標が異なります。規則ベースのOCRの目標は、指定された位置の文字を正確に書き写すことです。VLMの目標は、文書が何を述べているのかを把握し、求められた情報を返すことです。前者は位置を知っていて値を知らない状態から出発しますが、後者は値の名前を知っていて位置を知らない状態から出発します。
第三に、性能指標が異なります。規則ベースのOCRでは、文字単位の精度で評価すれば十分でした。VLMは、文字の精度に加えて、項目単位の値の精度と、様式が変わったときに性能をどの程度維持できるかを併せて見る必要があります。公共行政文書を無作為に抽出して評価した結果を見ると、キーの認識精度よりも値の認識精度で、方式の間の差がはるかに大きく開きました。項目の名前を見つけることよりも、その名前に付いている値を正確に取り出す点で、技術の差が最も明確に表れるのです。
2つの方式は代替関係にありません。様式が完全に固定されていて、処理量が多い区間では、規則ベースの方式が依然として速く、安価です。文書の種類が多く、様式が頻繁に変わる区間にVLMを配置する組み合わせが、現実的です。
業務に投入できるVLMの5つの要件
実運用で求められるVLMの5つの要件
第一に、文書に特化していなければなりません。汎用の視覚言語モデルは、写真や図表を説明することに強いのですが、業務文書で求められるのは説明ではなく値です。印鑑、取り消し線、重なった文字、4重に重なったファックスのヘッダーのように、一般の画像にはない要素を学習しておかなければ、実際の受付文書で性能は出ません。
第二に、存在しない値を作り出してはなりません。VLMの構造上の弱点は、確信がないときに、最もそれらしい値で空欄を埋めてしまう傾向にあることです。文書業務では、この性質がそのまま事故になります。確信度の低い項目は値を確定せず、検証の対象として送るという制御が、モデルの中に組み込まれていなければなりません。
第三に、値の位置を一緒に返さなければなりません。座標なしで理解するということは、座標を返さないという意味ではありません。入力の段階で座標を指定する必要がないということであり、出力の段階では、その値が原文のどこから来たのかを示さなければ、検収は行えません。
第四に、表と構造を一緒に解釈しなければなりません。文字だけを認識して配置を失えば、項目と値の結び付きが切れてしまいます。国際的な文書解析の評価で、上位のモデルの間でも構造復元の項目のスコアが大きく開いているのは、このためです。
第五に、制御するためには自社でのモデル運用が必要です。外部のモデルを呼び出す構成では、文書の原本が外部に出ることになり、モデルが更新されると予告なく性能が変わることがあります。金融機関や公共機関では、この2つの条件がいずれも導入を妨げる要因になります。
VLMの実際の適用方法
抽出基準を文章で設計します
VLMベースの文書処理では、プロジェクトの最初の成果物は学習データではなく、抽出基準書です。項目ごとに、「請求日は文書の上部から探し、年・月・日の形式に整える」「請求金額の総額は表の最後の行の合計から取り、通貨記号とカンマを取り除く」「契約番号は、証券番号や契約No.と表記されている場合も同じ項目として扱う」といった指示を整理します。
この方式の利点は、様式が変わったときの対応コストが低いことです。新しい項目が追加されたり、表記の方法が変わったりしても、モデルを再学習させる代わりに基準書を修正して対応します。ただし、基準書が実質的に性能そのものになるため、この文書を誰が管理し、どのようにバージョンを残すのかを、導入の初期に決めておく必要があります。
推論環境を先に確認します
VLMは、規則ベースの方式よりも計算量が多くなります。実際の運用事例では、GPUを基準にして、1枚あたりの処理速度とバッチ処理の処理量が確認されています。導入を検討する際には、月間の処理量とピーク時間帯の集中度を合わせて計算し、GPUの規模を見積もる必要があります。
配置の形態も併せて決めます。コンテナ基盤で社内ネットワークにインストールする構成が一般的です。モデルの推論、後処理、結果の保存を階層に分けておくと、後で業務システムと連携するのが容易になります。
国内環境におけるVLM
国内で導入する際に、最初に問題となる条件はネットワーク分離です。業務ネットワークから外部APIを呼び出すことはできないため、モデルを社内にインストールして運用できるかどうかが、技術検討の出発点になります。海外の大規模モデルをAPIで呼び出す構成は、この時点で検討の対象から外されることが多いです。
文書そのものの条件も異なります。ハングルワープロ文書、官公庁の様式、ファックスで受け付けた低解像度のスキャンが実際の処理対象であり、そこに印鑑や手書きの文字が加わります。国内の文書で学習と検証を繰り返してきたモデルは、この領域で有利です。
多言語への拡張も検討の対象になります。海外法人の与信審査の文書を処理した事例では、声調記号を含む現地語の活字と手書きの両方で精度が確認されました。言語によって性能には差があるため、対象言語の実際の文書で検証する手順が必要です。
規則ベースの区間と分けて配置します
すべての区間で視覚言語モデルを使う必要はありません。様式が完全に固定されていて、物量が大きい区間、例えば毎日同じ書式で届く定型レポートであれば、規則ベースの処理のほうが速く、安価です。
実務でよく使われる配置は、前段と後段を分ける方式です。受け付けた文書がどの様式か分からない前段と、様式ごとに配置が揺れる区間は視覚言語モデルが担当し、抽出された値を決まった画面と手順で入力する後段は、自動化ツールが担当します。このように分けると、演算コストが必要な箇所に集中し、規則が固定された区間の安定性もそのまま維持できます。
区間を分ける際の基準は、様式の変動性です。過去1年間に様式が何回変わったか、新しい様式がどのくらいの頻度で追加されるかを数えると、モデルをどこに置くかがおおむね決まります。
モデルの更新手順を併せて決めます
モデルは一度インストールして終わりではありません。新しい文書群が届いたときや、性能が改善された版が出たときには、それを反映する必要があります。この過程が管理されていないと、昨日まで正しく抽出できていた項目が、今日突然変わってしまうことがあります。
安全な構成は3つの段階です。まず、変更された抽出基準や新しいモデルのバージョンを検収環境に上げます。次に、同じ評価文書で既存のバージョンと性能を比較します。最後に、結果を確認した担当者が承認した後に運用へ反映し、問題が起きた場合は以前のバージョンに戻します。
この手順が整っていれば、変更の履歴が資産として残ります。どの様式のためにどこを変更し、その結果として性能がどう変わったかが記録されるため、担当者が変わっても運用の知識が散逸しません。
よくある質問
VLMはOCRを置き換えるのですか?
いいえ。VLMは文字認識を含みつつ、その上に文書の理解を重ねた方式として捉えるほうが正確です。様式が固定された大量処理の区間では、従来の方式が依然として効率的です。
様式が変わったら、再学習が必要ですか?
いいえ。座標を指定する方式とは異なり、項目名と文脈を基準に値を探すため、配置が変わっても動作します。項目が新しく追加される場合は、抽出基準書を修正して対応します。
ハルシネーションの問題はどのように解決しますか?
生成そのものを制御する方式で対応します。確信度の低い項目は値として確定させず、値と一緒に原文の位置を返して、検収が可能な設計にします。実データに基づくPDF文書の検証では、非常に低い水準であることが確認された事例があります。
GPUは必ず必要ですか?
必要です。実用的な処理速度を確保するには、GPUによる推論環境が前提になります。導入の検討時には、月間の処理量を基準に、必要な仕様を併せて見積もってください。
手書きの文字や低解像度の文書も処理できますか?
可能です。印刷体と手書きの両方で、類似度を基準に高い精度が確認された金融文書の検証事例があります。ただし、手書きのばらつきが大きい項目では、検証ルールを併せて設けておくほうが安全です。
汎用の視覚言語モデルをそのまま使ってはいけませんか?
お勧めしません。汎用モデルは一般的な画像では良い性能を出しますが、現場の問題のほとんどは例外的な状況で発生します。印鑑、取り消し線、重なったファックスのヘッダーのように、業務文書にしかない要素を学習させたモデルが必要です。
文書の種類が少なくても、導入する価値はありますか?
様式が固定されていて、物量が多い場合は、規則ベースの処理のほうが効率的なことがあります。様式が頻繁に変わったり、新しい種類が次々と追加されたりする業務で、差が表れます。
ネットワーク分離の環境でも導入できますか?
可能です。お客様の社内サーバーにインストールして運用する構築型の方式であれば、外部通信なしで動作します。
実際の業務文書を1種類だけお送りいただければ、認識と抽出の結果をそのままご返信いたします。
お問い合わせ






