用語集をすべて見る

データと品質

Fuzzy Similarityとは何か: 体感精度に近い類似度指標の完全ガイド

Korea Deep Learning作成

Fuzzy Similarityとは、2つの文字列がどの程度似ているかを割合として計算し、スペースや記号のように人が大して気にしない差異を考慮した精度で表す指標です。

完全一致だけでは性能が隠れてしまう理由

1文字の違いで0点になります。

文書AIの性能を完全一致の基準だけで測ると、実際の認識品質が歪んで見えることがあります。長い住所でスペースが1つ違う場合や、会社名のかっこの位置が違う場合、その項目は丸ごと誤りとされてしまいます。

人が見れば同じ値なのに、点数は0です。こうした項目が積み重なると、認識はうまくいっているのに性能の数値だけが低く出る状況が生まれます。その場合、改善すべき点がモデルなのか、表記の正規化なのかを判断できなくなります。Fuzzy Similarityは、この区別を可能にする指標です。

Fuzzy Similarityの正確な定義: 完全一致率とどう違うのか

完全一致率と類似度精度、3つの軸の違い

第一に、計算方法が異なります。完全一致率は、合っているか間違っているかだけを見ます。類似度精度は、2つの文字列の間の差を数えて割合に換算するため、部分点が出ます。

第二に、反映する内容が異なります。完全一致率は、表記の些細な違いも誤りとして数えます。類似度精度は、人が同じ値と判断するケースを反映するため、体感に近い数値を出します。

第三に、使われる場面が異なります。完全一致率は、システムへ入力できるかどうかを判断するときに使います。類似度精度は、認識品質そのものを比較するときや、文書群の間の難易度を比べるときに使います。実際の検証では、活字と手書きの両方が類似度基準で高く確認された金融文書群があり、ある公共文書群でもテキストの類似度が高く測定されました。

両指標は代替関係にありません。類似度だけを見ると再入力の負担を見落とし、完全一致だけを見ると、正規化で解決できる問題を性能不足と誤解してしまいます。

類似度精度を読むときに注意すべき4つの点

解釈に用いる4つの注意点

第一に、計算方法は製品ごとに異なる場合があります。文字単位で数えるか単語単位で数えるか、どの距離計算を使うかによって値が変わります。比較するには、同じ方法で測定しなければなりません。

第二に、長い文字列では値が高く出ます。住所のように長い項目は、1、2文字が違っても類似度が高く保たれます。項目の長さごとに分けて見るほうが正確です。

第三に、業務への影響と直結しません。口座番号は1文字違うだけで使えません。数字の項目には、完全一致の基準もあわせて適用してください。

第四に、改善の方向は示しません。類似度が低いという事実だけでは、認識の問題なのか文書の状態の問題なのかは分かりません。低く出た項目を直接確認する必要があります。

類似度精度の実際の活用方法

完全一致率と並べて見ます

2つの値をあわせて見ると、改善の方向が見えてきます。類似度は高いのに完全一致率が低ければ、表記の正規化でかなりの部分を解決できます。両方とも低ければ、認識品質そのものを見直す必要があります。

実際の検証資料を求める際に両指標をあわせて提示していただくと、製品の状態をはるかに正確に把握できます。

文書群の難易度を比べるときに使います

同じ製品で複数の文書群を測定すると、どの文書が難しいのかが明らかになります。活字と手書き、スキャン版とFAX版を分けて測定しておけば、今後の例外の割合を予測する根拠になります。

国内環境での類似度測定

国内の文書には、類似度が特に役立つ場面があります。会社名に付く「株式会社」の表記、住所の道路名と地番の混在、銀行名の正式名称と略称が代表的です。

こうした項目は、類似度で見ると高く出ますが、完全一致で見ると低く出ます。どの表記の違いが業務で同じ値として扱われるのかを整理し、正規化のルールに移せば、両者の差は縮まります。

正規化ルールとあわせて使います

類似度指標は表記の違いを考慮する点で便利ですが、どこまでを同じ値とみなすかは、指標ではなく業務が決めることです。そのため、測定の前に正規化のルールを定めておくほうが正確です。

国内の文書でつまずきやすい点がいくつかあります。会社名に付く「株式会社」の表記が前に来る場合も後ろに来る場合も、かっこで囲まれる場合もあります。住所は道路名と地番が混在し、階や号の表記もまちまちです。銀行名は正式名称と略称が一つの業務の中で併用されます。

こうした違いを業務で同じ値として扱うなら、比較の前に正規化しておきます。違うものとして扱うなら、そのままにして測定します。ルールは文書として残しておき、再測定の際にも同じ基準を適用できるようにしてください。

よくある質問

どの指標を基準にすべきですか?

値をそのままシステムに入力する業務であれば、完全一致率を基準にし、類似度は認識品質の比較に参考として用いてください。

98%であれば良い数値ですか?

文書群によって異なります。活字と手書きがともに高く確認された金融文書群の事例がありますが、自社文書で測定した値を基準に判断するほうが正確です。

数字の項目にも使えますか?

お勧めしません。口座番号や金額は1文字の違いがそのまま誤りになるため、完全一致の基準を適用してください。

製品同士を比較するときに注意することはありますか?

計算方法をそろえる必要があります。同じ文書と同じ計算方法で測定しなければ、比較は成り立ちません。

類似度精度と完全一致率のどちらを見ればよいですか?

両方をご覧になるのが良いでしょう。認識品質の比較には類似度が、システム入力が目的の業務には完全一致率が基準になります。

何パーセントあれば十分ですか?

業務によって異なります。金融文書の検証では活字と手書きがともに高く確認された事例がありますが、自社文書で測定した値を基準としてください。

文書を1種類お送りいただければ、完全一致率と類似度精度をあわせて測定いたします。

お問い合わせ