VLMとは何か：座標なしで文書を理解する視覚言語モデルの完全整理

VLM（Vision Language Model）とは、文書画像と言語を一つのモデルの中で併せて処理し、文字だけでなくその文字が置かれた配置と周囲の項目との関係まで解釈して、人が文書を読む方法に近い形で意味を把握するモデルです。

VLMが登場した背景

様式が変わると認識が止まりました。

文書認識の技術は長らく座標を基準に動作してきました。申請書のどの位置に氏名があり、どの位置に金額があるかをあらかじめ指定しておき、その場所から文字を読み取る方式です。様式が固定された文書ではうまく機能しました。問題は、実際の業務文書が固定されていないという点でした。同じ登記事項証明書でも発行時点と記載事項によって項目の順序と位置が変わり、同じ申請書でも支店と年度によって配置が変わります。座標を指定する方式では様式が一つ増えるたびにラベル付けと学習が一つずつ必要になり、文書の種類が数十種に及ぶ金融業務ではこの費用が導入そのものを阻んでいました。

VLMはこの地点に別の方法で近づきます。どこを読むかを座標で指定する代わりに、何を探すかを言語で指示すればモデルが文書全体を見てその項目を探し出します。受付締切日と支援金額を抽出してほしいという要請一つで、公告文から該当する値を取り出せるようになったわけです。

VLMの正確な定義：規則ベースのOCRと何が違うのか

規則ベースのOCRとVLM、三つの軸の違い

第一に、対象が異なります。規則ベースのOCRは指定された領域内の画素を対象とします。VLMはページ全体の視覚情報とそこに書かれた言語を併せて対象とします。そのため項目名と値が離れていても両者の関係を根拠に結びつけることができ、表内のチェックボックスが選択された状態かどうかも周囲の文脈と併せて判断します。

第二に、目標が異なります。規則ベースのOCRの目標は指定された位置の文字を正確に写し取ることです。VLMの目標は文書が何を述べているかを把握し、求められた情報を返すことです。前者が位置を知っていて値を知らない状態から出発するとすれば、後者は値の名前を知っていて位置を知らない状態から出発します。

第三に、成果指標が異なります。規則ベースのOCRは文字単位の精度で評価すれば足りました。VLMは文字精度に加えて項目単位の値の精度と、様式が変わったときの性能維持の度合いを併せて見る必要があります。公共行政文書90万枚から1千枚を無作為に抽出して評価した結果では、キーの認識精度が97.3%と80.4%に分かれ、値の認識精度は96.0%と48.7%へと二倍近く開きました。項目の名前を見つけることよりも、その名前に紐づく値を正確に取ってくるところで技術差がはるかに大きく現れます。

二つの方式は置き換えの関係にはありません。様式が完全に固定されていて処理量が多い区間では、規則ベースの方式が依然として速く安価です。文書の種類が多く様式が頻繁に変わる区間にVLMを配置する組み合わせが現実的です。

業務に投入できるVLMの5つの要件

実運用に入るVLMの5つの要件

第一に、文書に特化していることです。汎用の視覚言語モデルは写真や図表の説明に強い一方、業務文書で求められるのは説明ではなく値です。印影や取り消し線、重なった文字、四重に積み上がったファクスのヘッダーのような一般画像には存在しない要素を学習しておいて初めて、実際の受付文書で性能が出ます。

第二に、ない値を作り出さないことです。VLMの構造的な弱点は、確信がないときに最ももっともらしい値で空欄を埋めようとする傾向です。文書業務ではこの性質がそのまま事故になります。確信の低い項目は値を確定せず検討対象へ回す統制が、モデルの中に組み込まれている必要があります。

第三に、値の位置を併せて返すことです。座標なしで理解するという言葉は、座標を返さないという意味ではありません。入力の段階で座標指定が不要だということであり、出力の段階ではその値が原文のどこから出たかを併せて示さなければ検収ができません。

第四に、表と構造を併せて解釈することです。文字だけを認識して配置を失えば、項目と値のつながりが切れます。国際的な文書解析の評価で上位のモデル同士でも構造復元の項目で点差が大きく開くのは、この理由によります。

第五に、自社モデルであってこそ統制が可能だという点です。外部モデルを呼び出す構成では文書の原本が外部に出て、モデルが更新されるたびに性能が予告なく変わります。金融と公共ではいずれの条件も導入を阻む要因になります。

VLMの実際の適用方法

抽出基準を文章として設計します

VLMを用いた文書処理では、プロジェクトの最初の成果物は学習データではなく抽出基準書です。請求日は文書の上部から探して年月日の形式で整えること、総請求金額は表の最終行の合計から取得し通貨記号とカンマを除くこと、契約番号は証券番号や契約No.と表記された場合も同じ項目として扱うこと、といった指示を項目ごとに整理します。

この方式の利点は、様式が変わったときの対応費用が低いことにあります。新しい項目が加わったり表記の方法が変わったりしても、モデルを再学習させる代わりに基準書を修正して対応します。ただし基準書がそのまま性能になるため、この文書を誰が管理しどのようにバージョンを残すかを導入初期に決めておく必要があります。

推論環境を先に確認します

VLMは規則ベースの方式より演算量が大きくなります。実際の運用事例ではA100級の演算装置を基準に一枚あたり0.5秒程度の処理速度が出ており、バッチ処理では毎時1,800枚規模が確認されています。100枚を3.5分で、500枚を17分で処理した記録もあります。導入を検討する際には月間処理量とピーク時間帯の集中度を併せて計算し、演算装置の規模を算定する必要があります。

配備の形態も併せて決めます。コンテナを基盤に社内網へ設置する構成が一般的であり、モデル推論と後処理、結果の保存を階層に分けておくと以降の業務システム連携が容易になります。

規則ベースの区間と分けて配置します

すべての区間に視覚言語モデルを使う必要はありません。様式が完全に固定されていて物量の大きい区間、たとえば毎日同じ様式で届く定型報告書であれば、規則ベースの処理のほうが速く安価です。

実務でよく用いられる配置は前段と後段を分ける方式です。受け付けた文書がどの様式か分からない前段と、様式ごとに配置が揺れる区間は視覚言語モデルが担い、抽出された値を定められた画面と手順で入力する後段は自動化ツールが担います。こう分ければ演算費用が必要な場所にだけ集中し、規則が固定された区間の安定性もそのまま保たれます。

区間を分ける際の基準は様式の変動性です。過去一年で様式が何回変わったか、新しい様式がどれだけ頻繁に追加されるかを数えれば、どこにモデルを置くかはおおむね定まります。

国内環境におけるVLM

韓国での導入で最初に引っかかる条件はネットワーク分離です。業務網から外部APIを呼び出せないため、モデルを社内に設置して運用できるかが技術検討の出発点になります。海外の大型モデルをAPIで呼ぶ構成は、この地点で検討対象から外れる場合が少なくありません。

文書そのものの条件も異なります。韓国製ワープロ文書と官公庁様式、ファクスで受け付けた低画質のスキャンが実際の処理対象であり、そこに印影と手書きが加わります。国内文書で学習と検証を繰り返したモデルが有利な領域です。

多言語への拡張も検討対象になります。海外法人の与信審査文書を処理した事例では、声調記号を含む現地語の活字で95%、現地語の手書きで92%の精度が確認されました。言語ごとに性能の差があるため、対象言語の実際の文書で検証する手続が必要です。

よくあるご質問