用語集をすべて見る

データと品質

完全一致率とは何か:文書AIの精度を正直に測る基準の完全整理

Korea Deep Learning作成

完全一致率とは、抽出した値が人が定めた正解と、一文字・一記号まで同じである場合のみ正解として数える指標であり、文書AIの性能を最も厳格に判定する基準です。英語では Exact Match と呼ばれます。

精度という言葉が通用しない理由

同じ製品なのに、二桁の差がある数値で報告されることがあります。

ソリューションの検討の場で精度について、異なる数字が一緒に出てくる場合があります。どちらも偽りではないのに、そうなるのです。前の数字は、空白や記号の違いを考慮した類似度の基準であり、後の数字は一文字まで検証する完全一致の基準だからです。

計算の単位も異なります。文字を単位に数えると、長い住所で一文字だけ誤っていても、ほとんどが正解と計算されます。項目を単位に数えると、同じ住所は全体が誤りとされます。業務の観点では後者の計算が正しいです。住所の一文字が誤った値は、システムに入力できないからです。

そのため導入の検討で確認すべきことは、何パーセントかではなく、何をどのように数えたのかです。

Exact Matchの正確な定義:類似度ベースの精度との違い

Exact MatchとFuzzy Similarityの3つの軸の違い

第一に、判定の方法が違います。Exact Matchは、正解か不正解かのどちらか一方で判定します。Fuzzy Similarityは、二つの文字列がどれほど似ているかを割合で計算し、部分点を与えます。

第二に、反映するものが違います。Exact Matchは、表記のわずかな違いも誤りとして扱います。ハイフンが抜けた事業者登録番号や、空白が異なる商号がここで引っかかります。Fuzzy Similarityは、人が読んだときに同じ値だと判断される場合を反映するため、体感の精度に近いものです。

第三に、使われる場面が違います。Exact Matchは、抽出した値をそのままシステムに入力する業務で基準になります。値がわずかでも異なれば、登録が失敗するか、誤ったデータが蓄積されるからです。Fuzzy Similarityは、認識の品質そのものを比較したり、検収の負担を見積もったりする際に役立ちます。実際の検証では、活字と手書き文字の類似度に基づく精度が高く確認された金融文書群でも、同じ文書群の完全一致の目標は、それより低く設定されました。

二つの指標は代替の関係にはありません。類似度だけを見ると、実際の業務で生じる再入力の負担を見落とします。完全一致だけを見ると、表記の正規化で解決できる問題まで性能不足と誤解します。両方の値をあわせて見るほうが正確です。

完全一致率を正しく使うための5つの基準

測定に用いる完全一致率の5つの基準

第一に、計算の単位を項目とします。文字単位で計算すると、実際の業務への影響からかけ離れた数字が出てきます。担当者がシステムに入力する項目一つを単位として数えるのが正しいです。

第二に、正規化の規則をあらかじめ定めます。ハイフン、空白、括弧、単位の表記をどのように扱うかを決めておかないと、同じ結果でも測定するたびに異なる点数になってしまいます。業務上許容される表記の違いは、正解との判定の前に正規化しておくのが実用的です。

第三に、項目ごとに分けて見ます。全体の平均だけを見ていては、どの項目が問題なのかが分かりません。金額、日付、名前、口座番号は、誤りの性質も業務への影響もそれぞれ異なります。

第四に、目標値を業務の基準で定めます。100%を求めるのは現実的ではありませんが、かといって恣意的に定めることもできません。誤り一件がどのような結果を生むのか、その後に検証ルールと人による検収があるのかを、あわせて計算して定めます。

第五に、判定不能の項目を別に数えます。原本に値がない場合や、スキャンの欠損によって人にも判定できない項目があります。このような項目を不正解として計算すると、製品の評価ではなく文書の品質の評価になってしまいます。

完全一致率の実際の適用方法

正解セットと正規化の規則を一緒に作ります

測定の最初の成果物は正解セットです。文書ごとに各項目の正解を人が確定して記録する作業であり、そこに正規化の規則も一緒に書いておくのがよいです。

たとえば、事業者登録番号はハイフンを取り除いた10桁で比較し、金額はカンマと通貨記号を除いた数字で比較し、日付は定められた形式に変換してから比較する、というようにします。この規則が文書として残っていれば、後で測定し直す際にも同じ基準が適用されます。

運用の指標とは分けて管理します

完全一致率は、導入の判断と性能の比較のための指標です。運用に入ると、別の指標が必要になります。人の介在なしに最後まで処理された割合、検収者が実際に修正した項目の割合、例外として外れた案件の比重などです。

二種類を分けて管理すると、それぞれの用途が明確になります。完全一致率が下がったなら、モデルや様式の問題です。完全一致率は変わらないのに修正の割合が上がっているなら、検収の基準や業務ルールを見直す必要があります。

国内環境での完全一致率

国内の文書には、表記の違いが頻繁に現れる箇所があります。商号に含まれる「株式会社」の表記が、前に付く場合も後ろに付く場合も、括弧で囲まれる場合もあります。住所は道路名と地番が混在し、階や号の表記もまちまちです。銀行名は正式名称と略称が併用されるため、ある文書では正式名称、別の文書では略称で現れます。

こうした違いをすべて誤りとして計算すると、完全一致率は実際の性能より低く出ます。逆にすべてを許容すると、業務上問題になる違いまで通過させてしまいます。どの表記の違いが業務で同じ値として扱われるのかを、業務の担当者とともに整理する作業が必要です。

よくある質問

完全一致率と類似度の精度のどちらを見ればよいですか?

両方を見るのがよいです。値をそのままシステムに入力する業務であれば、完全一致率を優先的な基準とし、認識の品質を比較する際には類似度の精度を参考にしてください。

目標値は何パーセントに設定すればよいですか?

業務によって異なります。ある金融文書の検証では、完全一致の目標を類似度の基準より低く設定しました。誤り一件の影響と、その後にある検証ルールをあわせて計算し、目標を定めてください。

ハイフンや空白の違いも誤りになりますか?

正規化の規則によって異なります。業務で同じ値として扱われる表記の違いは、比較の前に正規化しておくのが実用的です。

原本に値がない項目はどのように数えますか?

判定不能として別に分類してください。人にも判定できない項目を不正解として計算すると、製品の性能ではなく文書の品質を測ることになります。

完全一致率が高ければ、業務は自動的に減りますか?

必ずしもそうとは限りません。人の介在なしに最後まで処理された割合も確認して、初めて実際の削減効果が分かります。

測定の様式と正解セットの見本をお送りします。文書を1種類お送りいただければ、実際の測定もあわせて行います。

お問い合わせ