信頼度スコアとは何か：自動処理と人による確認を分ける基準値の完全ガイド

信頼度スコアとは、AIが抽出または判定した結果が正しい可能性を、1件ごとに数値で表した値であり、自動で処理する件と人が確認する件を分ける基準として使われます。

信頼度スコアが必要な理由

すべての結果を再確認することはできませんでした。

AIが文書を処理しても、結果が誤っている可能性は残ります。そのため導入初期には、担当者がすべての結果を再確認することが多いのですが、この方法ではAIを導入しても確認の時間がそのまま残ります。反対に何も確認しなければ、誤った値がそのまま業務システムに入ってしまいます。

必要なのは、どの結果をそのまま送ってよいか、どの結果を人が見るべきかを件ごとに分ける基準です。精度は全体の平均を示すだけで、今届いたこの1件が正しかったかどうかは示しません。

信頼度スコアは結果1つひとつに付く値であるため、この区別を可能にします。基準値より高いスコアの件は自動で流し、低い件だけを確認画面に上げることで、確認の量を減らします。

確認担当者が限られている組織では、この差がそのまま処理能力の差になります。同じ人員が全体を見渡す代わりに不確実な件に時間を使えるため、見落とす誤りは減り、処理量は増えます。自動処理の割合をどこまで上げるかも、勘ではなくスコアの区分ごとの実際の誤りによって決められます。

信頼度スコアの正確な定義：精度とは何が違うのか

精度と信頼度スコアの3つの違い

第一に、計算のタイミングが異なります。精度は、人が作った正解と結果を比べ、事後に集計します。信頼度スコアは、正解がない運用中に結果が出た時点で同時に計算されるため、結果を次の工程に送る前にすぐ使うことができます。

第二に、単位が異なります。精度は文書の束や期間全体についての平均です。信頼度スコアは文書1枚、項目1つの単位で付きます。平均が高くても、特定の書式や特定の項目に誤りが集中していることがあり、項目単位のスコアはその位置を明らかにします。

第三に、用途が異なります。精度は、モデルやバージョンを比較し、導入の可否を判断するために使います。信頼度スコアは、運用中に個々の件を自動で処理するか、確認に回すか、例外として切り分けるかを決めるために使います。

2つの値は互いを検証し合います。信頼度スコアが高かった件が実際にも高い割合で正しかったかを、正解データで確認して初めて、スコアを基準として使えます。確認していないスコアは、数字の形をとった推測に近いものです。

スコアを運用に使うための4つの条件

スコアを信頼して使うための4つの条件

第一に、項目単位で算出します。文書全体のスコアが1つだけでは、どの項目が不確かなのかがわからず、結局文書全体を再確認することになります。

第二に、実際の正解率と合わせておきます。スコアが高いと表示された件が、実際にも正しい割合が高くなければなりません。スコアと実際の正解率がずれていれば、基準値を決めても意味がありません。

第三に、項目ごとに基準値を定めます。金額や口座番号のように、誤るとの影響が大きい項目は基準値を高く、参考用の項目は低く設定します。

第四に、事後に検証します。自動で処理された件の一部を標本として抽出し、実際に正しかったかどうかを確認します。人が見ていない件でどれだけ誤りが出ているかは、この方法によってのみ把握できます。

4つの条件のうち1つでも欠けると、スコアは参考情報にとどまります。特に2つ目と4つ目を省くと、基準値を設定しても、その基準が正しいと説明できなくなります。

信頼度スコアの実際の適用方法

基準値は確認の履歴から決めます

最初から基準値を正確に知ることはできません。導入初期にはすべての結果を確認しながら、スコアの区分ごとに実際の誤りがどれだけ出るかを記録し、誤りがほとんどない区分から順に自動処理へ回します。

基準値を上げたり下げたりするたびに、確認の量と見落とした誤りの数がどう変わるかを一緒に確認します。この2つの値を1つの表に並べると、業務部門と自動化の範囲について合意しやすくなります。

スコアと根拠を合わせて示します

確認画面にスコアだけを表示すると、担当者は元の文書を探し直す必要があります。値を読み取った元の文書の位置をハイライトして、スコアと一緒に示すと、確認にかかる時間が減ります。

文書全体ではなく、基準値に届かなかった項目だけを表示すれば、担当者は該当するセルだけを確認して次に進めます。担当者が値を修正した記録は、次の基準値の調整やモデルの改善のための材料として残します。

スコア分布の変化を見守ります

運用中に低スコアの件の割合が増えてきた場合、文書の様子が変わったという兆候かもしれません。書式ごと、受付経路ごとにスコアの分布を定期的に確認すると、データドリフトに早く気づくことができます。

モデルや抽出基準を変えた後は、スコアの分布も変わるため、基準値を改めて確認します。新しいバージョンのスコアを以前の基準値にそのまま当てはめると、自動処理の割合が意図と異なって変わることがあります。

国内環境での信頼度スコア

国内の金融や公共では、自動で処理した件についても判断の根拠を残すよう求める監査要件があることが多くあります。人が確認せずに処理された件ほど、その判断の根拠を後から示せなければなりません。信頼度スコア、基準値、自動処理であったかどうかを処理履歴にあわせて記録しておけば、なぜ人が確認しなかったのかを説明できます。

手書きのハングルや、印影と重なった項目のように、国内の文書でよく見られる難しい条件では、スコアが低く出やすいため、項目ごとの基準値を別に調整します。