技術と構成
表認識とは何か: 表の中の数字を業務データに変える方法の完全ガイド
Korea Deep Learning作成
表認識とは、文書に描かれた表について、行と列の境界や結合されたセルの範囲を判別し、各値がどの項目に属するかまで復元して、機械がそのまま使える構造データに変換する処理です。
表認識が必要な理由
文字は正しく読めているのに、数字が合いません。
文書から文字を抽出する技術は、昔から存在しています。印刷された文書であれば、文字単位の精度を高く出すことも難しくありません。実際に、テキストの類似度が高く記録された公共文書の評価事例もあります。ところが、同じ評価で表の構造の類似度はずっと低い結果でした。ほぼすべての文字は読めていても、その文字がどのセルにあったのかを復元する段階で、大きな差が生じたのです。
この差が業務にどのような結果をもたらすかが問題です。付加価値税の申告書には、大分類、中分類、区分、項目番号、金額、税率、税額が一つの表に入っています。ここで「5,000,000」という数字を正確に読み取っても、それが税金計算書の発行分の税額なのか、買い手が発行した税金計算書の税額なのかが結び付かなければ、業務には使えません。むしろ担当者が原本を開いて確認しなければならず、作業が一つ増えてしまいます。表認識は、値を読む問題ではなく、値の位置を復元する問題なのです。
表認識の正確な定義: OCRとどこが違うのか
OCRと表認識、3つの軸での違い
第一に、対象が異なります。OCRは画像上の文字を対象にします。表認識は文字に加えて、セルの境界線、結合の範囲、ヘッダーとデータ領域の区分、各値の座標関係も対象にします。表には罫線が描かれていないものも多いため、目に見える罫線だけでなく、余白や揃え方によって暗示された境界まで判別する必要があります。
第二に、目標が異なります。OCRの目標は、書かれた文字を漏れなく書き起こすことです。表認識の目標は、原本の表と同じ構造を持つデータを作り出すことです。同じ表を処理しても、OCRはセル内の文字列を順番に並べますが、表認識は行と列の座標を持つ格子を復元し、その中に値を入れていきます。
第三に、性能指標が異なります。OCRは文字単位の精度や類似度に基づく精度で測定します。表認識は表構造の類似度(TEDS)で測定します。この指標は、抽出した表をツリー構造に変換してから、原本の表のツリーとどれだけ一致するかを測るため、セルの値がすべて正しくても、結合の範囲が誤っていれば点数が下がります。テキストの精度だけを見て導入を決めると、表が中心の文書で予想と異なる結果になる理由がここにあります。
2つの技術は代替関係にありません。OCRが読み取れなかった文字は、表認識で埋めることはできません。また、表認識が失敗すると、正しく読み取れた文字も置き場所を失います。文字認識の上に構造復元を重ねる順序が正しいのです。
表認識を業務に投入するために必要なもの
実運用で求められる表認識の6つの条件
第一に、結合されたセルの範囲を正確に判別しなければなりません。行方向と列方向に同時に結合されたセルは、1つの値が複数の行を代表する構造を作ります。例えば、地方自治体の支出金返還手続きの文書を見てみましょう。区分欄の「直接」という値が、その下の3つの行をすべて包含し、国費と道費のそれぞれの下に残高と利息が分かれ、さらにその下で歳入科目と歳出科目が再び分かれています。結合の範囲を誤ると、受託事業の返還勘定が、道の直接事業の勘定に付け替えられてしまいます。
第二に、多段ヘッダーの下で、値が属する項目の経路を復元しなければなりません。官公庁の様式や税務申告書では、ヘッダーが2段や3段に重なっていることがよくあります。値を一つ取り出すには、列名1つではなく、上位のヘッダーから続く経路全体が必要です。総合所得税の申告書では、39,460,000という値は「決定税額」「総合課税」「総合所得税」という3段階の経路を経て初めて意味が確定します。
第三に、表を覆う要素を処理しなければなりません。実際に受け付けた文書には、表の上に印鑑が押され、取り消し線が引かれ、透かしが重なっています。人は印鑑の下の数字を自然に読み取りますが、構造を判別するモデルにとって、印鑑はセルの境界を消してしまう妨害要素です。印鑑1つのせいで表全体の行の区切りがずれると、その下にあるすべての値の項目の結び付きがずれてしまいます。
第四に、表の外にある情報と結び付けなければなりません。金額の単位が表のタイトルに「千ウォン」と書かれていたり、脚注記号で例外条件が付けられていたり、合計の検証式が表の下に文章で記述されていたりすることがよくあります。表だけを切り出すと、こうした情報が失われ、値の桁が千倍ずれるといった問題が起こります。
第五に、構造の指標で性能を測定しなければなりません。導入検討の段階で受け取る数字が文字精度だけであれば、表の性能は確認されていない状態です。表構造の類似度を別途求め、自社の文書で測定した値を受け取る必要があります。公共文書の評価でも、表構造の復元水準が事例によって異なって出ているという事実は、この指標が文書の種類によって大きく揺れることを示しています。
第六に、各値の原文上の位置を一緒に返さなければなりません。表から抽出された値が原本のどの座標から来たのかが確認できなければ、検収者は疑わしい値を1つ確認するために、表全体を読み直すことになります。位置情報が一緒に届けば、画面上で該当するセルだけを示して確認できます。
表認識の実際の適用方法
出力形式を先に決めます
プロジェクトの最初の決定は、モデルの選択ではなく出力形式です。表をHTMLで受け取るか、Markdownで受け取るか、JSONスキーマで受け取るかによって、その後の工程がすべて変わるからです。
結合セルのある表は、HTMLで受け取るほうが安全です。行の結合と列の結合を属性で表現できるため、構造の損失がほとんどありません。Markdownは人が読みやすく、言語モデルにもそのまま入れやすいのですが、結合を表現する方法がないため、結合セルを値の繰り返しとして展開するか、構造をあきらめるかのどちらかになります。検索や生成に使う文書であれば、2つの形式を同時に作っておく方法が実用的です。業務システムに値を入力することが目的であれば、最初から項目の経路をキーとするJSONで受け取るほうがよいでしょう。
文字認識だけでなく、レイアウト分析の上に載せます
表認識は独立した機能としてではなく、レイアウト分析の結果を土台にして動作します。ページの中から表の領域を先に検出し、その中で行と列の構造を判別してから、各セルの文字を認識するという順序です。そのため、前段の要素検出の精度が、表の性能の上限を決めます。すべての要素を検出し、位置も正確だった事例でも、表構造の類似度は低かったという点は、表の領域を見つけることと、表の内部を復元することが、難しさの異なる問題であることを示しています。
技術的に見ると、座標をルールで指定する方式は、書式が固定された表でのみ有効です。文書のレイアウトと文脈を同時に解釈するモデルは、罫線のない表や結合が複雑な表で差を生みます。国際的な文書解析ベンチマークで、上位のモデルの間でも表項目のスコアが大きく開いている理由はここにあります。
検収画面で構造を確認します
表認識は、結果を目で見なければ品質を判断しにくい処理です。セル値の一覧だけが並ぶ画面では、結合が正しく検出されたか、ヘッダーの経路が合っているかが分からないからです。
そのため、検収の環境では、原本の画像と復元された表を並べて表示し、値を選択すると原本の該当セルが表示される構成が必要です。ここにヘッダーの経路も併せて示せば、1つの値がどの項目に属するかを一目で確認できます。検収者が表全体を読み直さず、疑わしいセルだけを指し示せるようになれば、表の多い文書であっても、例外中心の運用が可能になります。
運用の段階では、検収者が行った修正を集めておくことをお勧めします。同じ書式の同じ位置にあるセルが繰り返し修正されているなら、その書式に合わせた処理ルールを追加する根拠になります。
国内環境における表認識
国内の文書には、海外のソリューションが想定していない条件がいくつかあります。
まず文書の形式です。官公庁や多くの企業がハングルワープロ文書を使用しており、この形式の表はセルの属性や余白の処理が、他の形式と異なる動きをします。形式の変換の過程で結合情報が失われると、その後の段階では手の施しようがないため、文書の変換段階からこの形式に対応しているかを確認する必要があります。
次に、様式そのものの構造です。官公庁の様式や税務申告書では、1つの表の中に項目番号、丸数字の記号、計算式の案内文が一緒に入っています。表の1つのマスがデータではなく、記入方法の案内であることも少なくありません。こうしたマスを値として抽出すると業務データが汚染されるため、案内文と入力値を区別する判断も必要です。
最後に、文書の状態です。ファックスで受け付けた低解像度のスキャン、床に置いて撮影したため、しわや影が入った画像、何度も再送されて、ヘッダーが重なって積み重なった文書が、実際の受付箱には届きます。こうした条件では、罫線が途切れたりにじんだりするため、線をたどるだけの方法では表を復元できません。
さらに、金融機関や公共機関は、ネットワーク分離の規定を適用されることが多く、外部APIの呼び出しが制限されています。表認識を含む文書処理の全体を社内ネットワークで実行できるかどうかが、技術検討の最初の関門になります。
よくある質問
テキスト認識の精度が高ければ、表もうまく出ますか?
いいえ。同じ評価で、テキストの類似度は高いのに、表構造の類似度は大きく低かった事例があります。2つの指標は異なるものを測定するため、表の性能は別途確認する必要があります。
表構造の類似度は何%あれば十分ですか?
文書によって異なります。構造が単純な公共文書と、結合や多段ヘッダーが重なった行政文書、申告様式とで、表構造の復元水準が大きく異なって出た事例があります。自社の文書で測定した値を基準にするのが正確です。
結合セルの多い表も処理できますか?
可能です。ただし、出力形式を一緒に決める必要があります。結合情報を表現できる形式で受け取らなければ、モデルが構造を正しく判別しても、その情報は結果物から消えてしまいます。
表の上に印鑑が押されている場合はどうなりますか?
処理できます。印鑑はセルの境界を覆う要素であるため、文字認識よりも構造の判別に大きな影響を与えます。実際の受付文書で検証する際は、こうした事例を必ず含めるのがよいでしょう。
ハングルワープロ文書の表もサポートしていますか?
可能です。この形式は表の属性の処理方法が異なるため、変換の段階で構造が失われやすいです。導入の検討時には、元の形式のまま処理できるかどうかを確認してください。
罫線のない表も認識されますか?
可能です。目に見える線がなくても、余白や揃え方によって暗示された境界を判別します。ただし、このような表は難易度が高いため、検証用の文書には必ず含めてください。
ネットワーク分離の環境でも使えますか?
可能です。お客様の社内サーバーにインストールして運用する構築型の方式であれば、外部通信なしで動作します。
表が多い文書を1種類だけお送りいただければ、構造復元の結果をそのままご返信いたします。
お問い合わせ



