正解データとは何か: AIの結果を採点する基準データの完全ガイド

正解データとは、文書の各項目や質問について人が確定させた正しい値を集めたデータであり、AIの結果を採点し、バージョン間の性能を比較するための基準です。

正解データが必要になった背景

正確さがどの程度なのか、誰にも確認できませんでした。

文書AIを導入するときやモデルを替えるとき、最初に出てくる質問は「どれほど正確か」です。しかし、何が正しい値なのかを事前に決めておかなければ、この質問には答えられません。提案書に書かれた数値や公開ベンチマークのスコアでは、自社文書での性能は示せません。

運用段階でも同じ問題が起きます。抽出基準やプロンプトを修正した後で結果が良くなったかを判断するには、変更の前後を同じ基準で採点しなければなりません。基準がなければ、担当者が数件を目で見て判断することになり、その判断は人によって異なります。

正解データは、この基準をデータとして固定します。一度作っておけば、導入時の検証、運用中の変更の検証、モデルの入れ替えの比較に繰り返し使えます。モデルや供給元が変わっても、同じ正解データで採点すれば、結果を公正に比べられます。

正解データの正確な定義: 学習データとどう違うのか

学習データと正解データ、3つの軸の違い

第一に、目的が異なります。学習データは、モデルがルールを身に付けるために示す例です。正解データは、モデルがどれだけ正しく答えたかを採点するための基準です。

第二に、管理の方法が異なります。学習データは性能を高めるために増やしたり変えたりし続けます。正解データは比較できるようにバージョンを固定し、変更するときには理由と時点を記録します。

第三に、求められる精度が異なります。学習データは一部の誤りが混ざっていても、全体の傾向を学ぶために使えることがあります。正解データに誤りがあると採点結果全体が歪むため、項目を一つひとつ確定させなければなりません。正解が1つ間違っていると、正しく抽出された結果が誤答として記録されてしまいます。

同じ文書を2つの用途で一緒に使うと、モデルがすでに見た文書で採点することになり、性能が実際より高く出てしまいます。そのため、2つのデータは最初から分けて管理します。

正解データを成り立たせる4つの原則

信頼できる採点基準を作るための4つの原則

第一に、実際の業務の分布を反映します。よく読み取れる文書だけを集めると、運用では点数が下がり、難しい文書だけを集めると差が表れません。実際の受付比率に合わせて、様式と文書の状態を混ぜてください。

第二に、判定基準を文書で定めます。日付表記の違いを正解とみなすか、スペースの違いを許容するかといった採点ルールを、先に書き残しておきます。基準がなければ、同じ結果でも人によって採点が異なります。

第三に、2人以上で確認します。1人が作った正解には、その人の誤りがそのまま残ります。2人がそれぞれ入力し、結果が食い違った項目だけを再確認する方法が効率的です。

第四に、バージョンを固定します。正解を修正すると、以前のスコアとは比較できなくなるため、変更履歴を残し、比較は同じバージョン同士でのみ行います。

これら4つの原則を守る作業は、BMTの中で最も時間がかかる部分でもあります。この工程を急ぐと以降のすべての比較が揺らぐため、スケジュールに十分組み込んでください。

正解データの実際の適用方法

評価要素の単位に分けて作ります

文書1枚を丸ごと正解か不正解かで見ると、どこが弱いのかが分かりません。項目、表、テキストブロックなど、評価する要素の単位で正解を作ってこそ、改善すべき箇所が見えてきます。要素ごとに使う指標も異なり、テキストは類似度、表は構造の類似度、入力項目は完全一致で見るといった形で分けます。

公共分野の事例では、評価対象の文書から検出すべき要素をまず一覧にして決め、要素の検出、テキスト、表の構造をそれぞれ分けて測定しました。

判定できない項目を別に表示します

空欄のセルが、該当なしなのか、記入漏れなのか、スキャンの破損なのかは、文書だけでは判断できない場合があります。こうした項目を誤答として採点すると、モデルではなく文書の品質を評価してしまうため、判定不能に分類して別に数えます。

判定不能に分類された項目は捨てずに、運用ルールとして処理方針を決めておきます。補完を依頼するか、担当者の確認に回すかを定めておけば、そのまま運用段階の例外処理の基準として引き継がれます。

検索と生成の業務は質問単位で作ります

文書検索や生成型の回答を評価する際は、項目の代わりに、質問、期待される回答、根拠の位置を一組にして作ります。税務分野の事例でも、検索の評価は対象文書を先に決め、そのうえで質問のセットを作って構成しました。

質問は実際の担当者が使う言い回しで書き、複数の文書を合わせて見なければ答えられない質問も混ぜてこそ、実際の性能が表れます。

国内環境での正解データ

正解データには実際の業務文書の原文の値が入るため、個人情報を含むケースが多くあります。氏名や住民登録番号のような項目は、非識別化してから正解を作るか、原文が必要な場合は社内ネットワーク内に限って作業し、アクセス権限を制限します。

金融や公共分野では評価を外部に任せることが難しい場合が多いため、担当部署が直接正解を確定できるよう、判定基準の文書と入力ツールをあわせて用意するほうが良いでしょう。