用語集をすべて見る

データと品質

TEDSとは何か: 表認識の性能を測る構造類似度指標の完全ガイド

Korea Deep Learning作成

TEDSとは、Tree Edit Distance based Similarityの略で、抽出した表と原本の表をそれぞれツリー構造に変換し、一方をもう一方に変えるのに必要な修正量を計算して、表の構造と値がどれだけ一致しているかを1つの比率で示す指標です。

表には別の指標が必要な理由

文字の精度では、表の性能は分かりません。

文書AIの性能を確認する際、ほとんどの資料はテキストの精度を示しています。その数字が高ければ、表もうまく出るだろうと考えがちです。しかし、実際に測定すると結果は異なります。

ある公共文書の評価では、テキストの類似度は高かったのに、表構造の類似度は大きく低い結果でした。ほぼすべての文字は読めていても、その文字がどのセルにあったのかを復元する段階で差が生じたのです。

この差が重要なのは、表が持つ情報の性質によります。表の中の値は、それ自体では意味を持ちません。どの行と、どの列にあったのかが決まって初めて、意味を持ちます。構造が崩れると、値が正確でも使うことができません。

TEDSの正確な定義: テキストの精度とどこが違うのか

テキストの精度とTEDS、3つの軸での違い

第一に、対象が異なります。テキストの精度は文字列を対象にします。TEDSは表をツリーに変換した構造を対象にします。行と列の配置、結合されたセルの範囲、ヘッダーとデータ領域の区分は、すべてこのツリーに含まれます。

第二に、計算の方法が異なります。テキストの精度は文字を照合します。TEDSは2つのツリーを比較し、一方をもう一方に変えるのに必要な修正の回数を数えて、その修正量を表の大きさで割り、類似度に換算します。そのため、セルの値がすべて正しくても、結合の範囲がずれていれば点数は下がります。

第三に、明らかにする問題が異なります。テキストの精度は読み取りの失敗を明らかにします。TEDSは構造復元の失敗を明らかにします。実際の評価で2つがどのように分かれるかを見ると、ある公共文書群では、要素の検出と位置の精度はすべて高く、テキストも高かったのに、TEDSだけが低いという結果でした。別の公共文書群では、本文のテキストは高い一方で、表構造の復元は中程度でした。申告様式を対象にした検証では、表構造の復元が高いことが確認されました。

2つの指標は代替関係にありません。文字を読み取れなければ、構造を復元しても内容は空です。構造を復元できなければ、正確に読み取った値も置き場所を失います。両方の値を並べて求めるのが正しい姿です。

TEDSを読む際に注意すべき5つのこと

TEDSを解釈する際の5つの注意点

第一に、絶対的な基準ではありません。何パーセント以上であれば良いと言える値ではありません。同じ製品でも、文書の性格によって大きく変動します。判断の根拠となるのは、自社の文書で測定した値だけです。

第二に、文書の難易度も併せて見る必要があります。単純な格子状の表が多い文書群では、高い値が出やすくなります。多段ヘッダーと結合が重なった行政文書では、同じ製品でも大きく下がります。文書を比較せずに点数だけを比べると、誤った結論に至ります。

第三に、構造の点数と値の点数は分けて見ることができます。TEDSは構造とセルの内容を同時に反映するため、低い点数が構造によるものなのか、値によるものなのかは区別できません。原因を知りたい場合は、構造のみを比較する方法と併用して測定してください。

第四に、表をどのように切り出したかによって結果が変わります。1ページにまたがる表を2つに分けて認識すると、それぞれの点数は高くても、実際には1つの表が分割された状態になっています。表の領域の検出結果と併せて確認する必要があります。

第五に、業務への影響とは直結しません。点数が低いからといって、その割合だけ業務が失敗するという意味ではありません。どの項目がずれていたのか、その項目が業務で使われているのかを別途確認して、初めて実際の影響が分かります。

TEDSの実際の活用方法

検証を依頼する際に一緒に求めます

ソリューションの検討資料には、表の指標が抜けていることが多くあります。表が本文となる文書を扱う業務であれば、テキストの精度と併せて表構造の類似度を明示的に求めてください。

求める際には、測定の対象となる文書も指定するのがよいでしょう。公開されたサンプル文書で測定した値と、自社の受付箱の文書で測定した値は、異なって出ます。結合セルと多段ヘッダーのある実際の様式を含めてこそ、意味のある比較になります。

低い値の原因を絞り込みます

TEDSが期待より低く出た場合は、原因を3つの方向に分けて考えます。表の領域そのものを誤って捉えたのか、行と列の境界を誤って判別したのか、結合の範囲を見落としたのか、の3つです。

それぞれ対応が異なります。領域の検出の問題は、前段のレイアウト分析に原因があることが多いです。境界の判別の問題は、罫線がないか薄い文書の前処理に、結合の問題は出力形式に原因があることが多いです。結合の情報を表現できない形式で結果を受け取っている場合、モデルが正確に判別しても、その情報は結果物から消えてしまいます。

国内環境におけるTEDS

国内の官公庁の様式や税務申告書は、表の構造が特に複雑です。ヘッダーが2段や3段に重なり、1つの列の値が下の複数の行を代表し、表の中に記入方法の案内文が入っています。項目番号が丸数字で表記され、値と混ざることもあります。

さらに、実際に受け付けた文書の状態も加わります。印鑑が表を侵し、取り消し線が行を横切り、ファックスの再送で罫線がかすれます。こうした条件で測定した値は、きれいな文書で測定した値よりも低く出るのが普通です。低い値を隠すよりも、どの文書で測定したのかを併せて明示するほうが、判断に役立ちます。

よくある質問

TEDSは何%あれば十分ですか?

文書によって異なります。申告様式で高く確認された事例もあれば、多段ヘッダーが重なった行政文書で大きく低く出た事例もあります。自社の文書で測定した値を基準にしてください。

テキストの精度が高いのにTEDSが低いのはなぜですか?

2つの指標は異なるものを測定しているからです。文字を正確に読み取っても、その文字がどのセルにあったのかを復元できなければ、TEDSは下がります。

値はすべて正しいのに、点数が低く出ることはありますか?

あり得ます。TEDSは構造も反映するため、結合の範囲や行と列の配置がずれていれば、セルの値がすべて正しくても点数が下がります。

点数が低ければ、導入すべきではないのですか?

そう断定するのは難しいです。どの項目がずれたのか、その項目が業務で使われているのかを確認して、初めて実際の影響が分かります。文書の難易度も併せて確認してください。

表の指標を提供していない製品は、どのように判断すればよいですか?

自社の文書で直接測定するよう依頼してください。表が本文となる文書を扱う業務で、この値がなければ、性能は確認されていない状態です。

表が多い文書を1種類だけお送りいただければ、構造復元の結果と測定値をあわせてご返信いたします。

お問い合わせ