LLM OCRとは何か：大規模言語モデルで文書を読むときに知っておくべき仕組みと限界の完全整理

LLM OCRとは、大規模言語モデルが文書画像やOCRで読み取ったテキストを受け取り、文脈を手がかりに文字を読み取ったり補正したりして、必要な項目を決まった形式に整理して返す文書認識の方式です。

LLM OCRが注目される理由

帳票ごとに設定を作らなくてよくなったためです。

従来のOCRを使った文書処理では、文字を読み取ったあと、どの値がどの項目に当たるかを見つけるために帳票ごとに読み取り位置やテンプレートを定義する必要がありました。日本では手書き帳票を読むAI-OCRが広く使われてきましたが、発行元が様式を少し変えただけでも定義を直さなければならず、初めて見る帳票は人が手で入力するしかありませんでした。

大規模言語モデルは文脈を理解するため、契約金額と契約期間を探すようにという指示だけで、初めて見る帳票からも項目を見つけ出します。かすれた文字や略語も、前後の文を手がかりに正すことができます。

こうした手軽さから、文書認識に大規模言語モデルを組み合わせる試みが急速に増えました。ただし大規模言語モデルは画像の中の文字を書き写すモデルではなく、最ももっともらしい文章を作り出すモデルです。業務に使う前に、この性質が結果にどう表れるかを確かめる必要があります。

LLM OCRの正確な定義：OCRと何が違うのか

OCRとLLM OCR、三つの軸の違い

LLM OCRは二つの形で使われます。一つはOCRエンジンが読み取ったテキストを大規模言語モデルが受け取って補正し整理する方式で、もう一つは画像を入力できるモデルが文書を直接読んで結果を返す方式です。画像を直接読むモデルは技術の分類ではVLMに属しますが、結果を言語モデルが生成するという点は同じです。

第一に、結果の作り方が違います。OCRは画像の中にある文字を見つけてそのまま写します。LLM OCRは入力をもとに最ももっともらしい文章を生成するため、原本にない値が自然な形で混ざって出てくることがあります。

第二に、位置情報が違います。OCRは文字ごとに文書内の座標も返すため、結果が原本のどこから来たかをすぐに確認できます。LLM OCRはテキストだけを返すことが多く、値の出どころをたどるのが難しくなります。

第三に、文脈を使う範囲が違います。OCRは文字単位で判断するため、前後の文は読み取りにほとんど影響しません。LLM OCRは文脈を積極的に使ってかすれた文字を補正し、項目の意味を解釈しますが、同じ性質のために読めない部分を推測で埋めることもあります。

まとめると、OCRは確認できる読み取りに強く、LLM OCRは解釈と整理に強い方式です。業務ではどちらか一方を選ぶより、役割を分けて組み合わせる構成が多く見られます。

LLM OCRを業務に使うための5つの条件

実際の運用に入るLLM OCRの5つの条件

第一に、結果ごとに根拠の位置を確認できることです。抽出した値が原本画像のどの領域から来たのかがつながっていてこそ、検収担当者が素早く照合できます。

第二に、読めなかった値は空欄にしておくことです。読み取りが不確かな項目を推測で埋めず、空欄や要確認として示すよう、指示文と出力形式を設計します。

第三に、出力形式が固定されていることです。項目名とデータ型、日付と金額の表記ルールを抽出スキーマとして定めておけば、後続システムが結果をそのまま受け取れます。

第四に、性質の異なる方式でクロス検証することです。座標を返すOCRの結果や合計のような計算ルールと比べ、互いに食い違う値を拾い出します。

第五に、運用環境に合わせて導入できることです。個人情報を含む文書を外部のモデルに送りにくい組織であれば、閉域網や社内に設置して使えるかどうかをまず確認します。

LLM OCRの実際の適用方法

読み取りと解釈を分けて配置します

文字や数字を正確に写す必要がある区間は座標を返す認識モデルに任せ、大規模言語モデルは読み取られたテキストを解釈して項目を探し、形式を整える区間に置きます。金額や口座番号のように一文字違うだけで事故になる項目は、生成結果をそのまま使わず、読み取り結果と照合します。

抽出基準に例外ルールを合わせて書きます

指示文には探す項目だけでなく、値がないときや読めないときの処理ルールも書きます。署名欄が空なら空欄のままにし、金額が二か所で違って書かれていれば両方を返す、といった具合に決めておきます。例外ルールがないと、モデルは空欄をもっともらしい値で埋めようとします。

実際の文書で前後を比べて検証します

導入前に実際の業務文書と正解データを集め、項目ごとの精度を測定します。文字単位の一致とは別に、原本にない値が出てきたケースを数えなければ、LLM OCRのリスクを正しく把握できません。モデルや指示文を変えるたびに、同じ文書で測り直します。

日本の環境におけるLLM OCR

日本の業務文書には、手書きの帳票やFAXで届く受発注書、印鑑が押された申請書が今も多く残っています。和暦の日付、金額の改ざんを防ぐための大字（壱、弐、拾など）、縦書き、全角と半角の混在のように、文脈がなければ正しく読めない要素も多く、LLM OCRの解釈力が生きる場面です。

一方で、この解釈力は誤りの原因にもなります。モデルは渡邊を渡辺に、齋藤を斉藤に直すように、原本の異体字をよく使われる字形に書き換えることがあります。本人確認や名寄せに使う氏名は原本の字形のまま読み取り、和暦から西暦への変換はモデルに任せず規則で行うほうが安全です。

制度への対応も設計に含めます。インボイス制度の適格請求書から抽出した登録番号は国税庁の公表サイトと照合し、電子帳簿保存法の検索要件に合わせて取引年月日、取引金額、取引先を確実に抽出します。

海外のサーバーで動く外部APIに個人情報を含む文書を送る場合は、個人情報保護法の外国にある第三者への提供に関する規律を確認します。マイナンバーを含む書類は利用範囲が法律で限られているため、マスキングと保管場所を事前に決めておきます。金融機関ではFISCの安全対策基準を、自治体では三層の対策によるネットワークの分離を前提に、閉域網や社内設置での構成を検討することが多くなります。

よくあるご質問