正解データとは何か：AIの結果を採点する基準データの完全整理

正解データとは、文書の各項目や質問について人が確定した正しい値を集めたデータで、AIの結果を採点し、バージョン間の性能を比べる基準です。

正解データが必要になった背景

精度がどれくらいか、誰も確かめられませんでした。

文書AIを導入したりモデルを変えたりするとき、最初に出る問いは、どれだけ正確かです。ところが何が正しい値かをあらかじめ決めておかなければ、この問いには答えられません。提案書に書かれた数値や公開ベンチマークの点数は、自社の文書での性能を示しません。

運用の段階でも同じ問題が起きます。抽出基準やプロンプトを直したあとに結果が良くなったかを判断するには、変更前と変更後を同じ基準で採点する必要があります。基準がなければ担当者が数件を目で眺めて判断することになり、その判断は人によって異なります。

正解データは、この基準をデータとして固定します。一度作っておけば、導入時の検証、運用中の変更の検証、モデルの入れ替え時の比較に繰り返し使えます。モデルや提供元が変わっても同じ正解データで採点すれば、結果を公平に比べられます。

正解データの正確な定義：学習データと何が違うのか

学習データと正解データ、三つの軸の違い

第一に、目的が異なります。学習データはモデルが規則を身につけるよう見せる例です。正解データはモデルがどれだけ当てたかを採点するための基準です。

第二に、管理の仕方が異なります。学習データは性能を高めるために増やし続け、変え続けます。正解データは比較できるようバージョンを固定し、変えるときは理由と時点を記録します。

第三に、求められる精度が異なります。学習データは一部に誤りが混ざっていても、全体の傾向を学ぶのに使えることがあります。正解データに誤りがあると採点結果全体がゆがむため、項目一つひとつを確定する必要があります。正解が一つ誤っていれば、正しく抽出した結果が誤答として記録されます。

同じ文書を二つの用途で使うと、モデルがすでに見た文書で採点することになり、性能が実際より高く出ます。そのため二つのデータは最初から分けて管理します。

正解データを構成する4つの原則

信頼できる採点基準を作る4つの原則

第一に、実際の業務の分布を反映します。うまくいく文書だけを集めると運用で点数が下がり、難しい文書だけを集めると差が見えません。実際の受付比率に合わせて、様式と文書の状態を混ぜます。

第二に、判定基準を文書で決めます。日付表記の違いを正解とみなすか、スペースの違いを許容するかのように、採点のルールを先に書いておきます。基準がなければ、同じ結果でも人によって採点が変わります。

第三に、二人以上で確認します。一人が作った正解には、その人の誤りがそのまま残ります。二人が別々に入力し、結果が分かれた項目だけを再確認する方法が効率的です。

第四に、バージョンを固定します。正解を直すと以前の点数と比べられなくなるため、変更履歴を残し、比較は同じバージョン同士だけで行います。

四つの原則を守る作業は、BMTで最も時間のかかる部分でもあります。この過程を急ぐとその後のすべての比較が揺らぐため、スケジュールに十分に反映します。

正解データの実際の適用方法

評価要素の単位に分けて作ります

文書一枚を丸ごと正解か誤りかで見ると、どの部分が弱いのか分かりません。項目、表、テキストブロックのように評価する要素の単位で正解を作ってこそ、改善すべき箇所が見えます。要素ごとに使う指標も異なり、テキストは類似度、表は構造類似度、入力項目は完全一致で見るというように分けます。

公共部門の事例では、評価対象の文書から検出すべき要素をまず一覧として定め、要素の検出とテキスト、表の構造をそれぞれ分けて測定しました。

判断できない項目を別に印を付けます

値が空欄の欄が該当なしなのか、記入漏れなのか、スキャンの損傷なのか、文書だけでは判断できない場合があります。こうした項目を誤答として採点すると、モデルではなく文書の品質を評価することになるため、判断不能として分類し別に数えます。

判断不能に分類した項目は捨てずに、運用ルールで処理方針を決めます。補完を依頼するか担当者の確認に回すかを決めておけば、運用段階の例外処理の基準にそのままつながります。

検索と生成の業務は質問の単位で作ります

文書検索や生成による回答を評価するときは、項目の代わりに質問と期待する回答、根拠の位置を一組にして作ります。税務分野の事例の検索評価も、対象の文書をまず定めたうえで質問セットを作って構成しました。

質問は実際の担当者が使う表現で書き、複数の文書を併せて見なければ答えられない質問も混ぜてこそ、実際の性能が見えます。

国内環境における正解データ

正解データには実際の業務文書の原文の値が入るため、個人情報が含まれることが多くあります。氏名や住民登録番号のような項目は非識別化してから正解を作るか、原文が必要な場合は社内ネットワークのなかだけで作業し、アクセス権限を制限します。

金融と公共では評価を外部に任せにくい場合が多いため、担当部署が自ら正解を確定できるよう、判定基準の文書と入力ツールを併せて準備しておくのが望ましいです。

よくあるご質問