TEDSとは何か：表認識の性能を測る構造類似度指標の完全整理

TEDS（Tree Edit Distance based Similarity）とは、抽出した表と元の表をそれぞれ木構造に変換したうえで、一方をもう一方にするために必要な修正量を計算し、表の構造と値がどれだけ一致するかを一つの比率として示す指標です。

表に別途の指標が必要な理由

文字精度は表の性能を語ってくれません。

文書AIの性能を確認するとき、大半の資料はテキストの精度を提示します。その数値が高ければ表もうまく出るだろうと考えがちです。実際の測定は異なります。

ある公共文書の評価でテキスト類似度は98.80%でしたが、表構造類似度は79.18%でした。20ポイント近く開いたわけです。文字はほぼ読み取れているのに、その文字がどのマスにあったかを復元する部分で差が生じました。

この差が重要である理由は、表が担っている情報の性格にあります。表において値一つはそれ自体で意味を持ちません。どの行のどの列にあったかが定まって初めて意味が生まれます。構造が崩れれば、値が正確でも使えません。

TEDSの正確な定義：テキスト精度と何が違うのか

テキスト精度とTEDS、三つの軸の違い

第一に、対象が異なります。テキスト精度は文字列を対象とします。TEDSは表を木構造に変換したものを対象とします。行と列の配置、結合されたセルの範囲、ヘッダーとデータ領域の区分がすべてこの木構造に含まれます。

第二に、計算の方法が異なります。テキスト精度は文字を突き合わせます。TEDSは二つの木構造を比較し、一方をもう一方に変えるために必要な修正の回数を数え、その修正量を表の大きさで割って類似度に換算します。そのためセルの値がすべて合っていても結合の範囲が誤っていれば点数が下がります。

第三に、明るみに出す問題が異なります。テキスト精度は読み取りの失敗を明るみに出します。TEDSは構造復元の失敗を明るみに出します。実際の評価でこの二つがどう分かれるかを見ると、ある公共文書群では要素検出と位置精度がいずれも100%でテキストが98.80%でしたが、TEDSは79.18%でした。別の公共文書群では本文テキスト99.2%に対し表構造の復元が86%であり、申告様式を対象とした検証では表構造の復元が99%以上と確認されました。

二つの指標は置き換えの関係にはありません。文字を読めなければ構造を復元しても内容が空であり、構造を復元できなければ正確に読んだ値が置き場所を失います。二つの値を並べて求めるほうが適切です。

TEDSを読むときの5つの注意点

解釈に入るTEDSの5つの注意点

第一に、絶対的な基準ではありません。何パーセント以上であれば良いと言える値ではありません。同じ製品が文書の性格によって79%から99%以上まで動きます。自社文書で測定した値のみが判断の根拠になります。

第二に、文書の難易度を併せて見る必要があります。単純な格子状の表が多い文書群では高い値が容易に出ます。多層ヘッダーと結合が重なった行政文書では同じ製品でも大きく下がります。点数だけを比較して文書を比較しなければ、誤った結論に至ります。

第三に、構造の点数と値の点数を分けて見ることができます。TEDSは構造とセルの内容を併せて反映するため、低い点数が構造によるものか値によるものかが区別されません。原因を知りたい場合は構造のみを比較する方式と併せて測定してください。

第四に、表をどのように切り出したかが結果を変えます。一ページにまたがる表を二つに分けて認識すれば、それぞれの点数は高くても実際には一つの表が分割された状態です。表領域の検出結果と併せて確認する必要があります。

第五に、業務への影響と直結するわけではありません。79%という値がそのまま業務の21%が失敗するという意味ではありません。どの項目が食い違ったか、その項目が業務で使われるかを別途確認して初めて実際の影響が分かります。

TEDSの実際の活用方法

検証の依頼時に併せて求めます

ソリューションの検討資料に表の指標が抜けている場合が少なくありません。表が本文である文書を扱う業務であれば、テキスト精度と併せて表構造類似度を明示的にお求めください。

求める際には測定の対象文書も併せて指定するほうが適切です。公開された例示文書で測定した値と自社の受付箱の文書で測定した値は異なる結果になります。結合セルと多層ヘッダーのある実際の様式を含めて初めて意味のある比較になります。

低い値の原因を絞ります

TEDSが期待より低く出た場合、原因を三つの方向に分けて見ます。表の領域そのものを誤って捉えたのか、行と列の境界を誤って判別したのか、結合の範囲を取りこぼしたのかです。

それぞれ対応が異なります。領域検出の問題は前段のレイアウト解析で、境界判別の問題は罫線がないか薄い文書の前処理で、結合の問題は出力形式に原因を見つける場合が多くあります。結合情報を表現できない形式で結果を受け取っているのであれば、モデルが正確に判別してもその情報が成果物から失われます。

国内環境におけるTEDS

韓国の官公庁様式と税務申告書は表の構造が特に複雑です。ヘッダーが二段や三段に積み上がり、一つの列の値が下の複数行を代表し、表の中に記入方法の案内文が併記されます。項目番号が丸数字で表記されて値と混ざることもあります。

ここに実際の受付文書の状態が加わります。印影が表を侵し、取り消し線が行を横切り、ファクスの再送で罫線が薄れます。こうした条件で測定した値は、きれいな文書で測定した値より低く出るのが正常です。低い値を隠すよりも、どの文書で測定したかを併せて明らかにするほうが判断の助けになります。

よくあるご質問