用語集をすべて見る

データと品質

ハルシネーションとは何か: 文書AIが存在しない値を生み出す問題の完全ガイド

Korea Deep Learning作成

ハルシネーション(Hallucination)とは、モデルが根拠を確認できない状況で「わからない」と答える代わりに、もっともらしい値を作り出して出力する現象です。文書処理では、原本にない金額や日付が結果に現れる形で表れます。

文書業務でハルシネーションが特に危険な理由

誤った値よりも、もっともらしい値のほうが危険です。

対話型AIでは、事実がずれていればユーザーがおかしいと感じ、もう一度確認します。文書処理ではそうはなりません。税金計算書から抽出した供給者名が、原本にない社名でもっともらしい形で埋められて出てきたとき、確認者はその値を疑う理由を見つけられません。形式は正しく、桁数も正しく、文脈にもなじんでいるからです。

そのため文書業務では、正確さの1%の差が、処理件数の1%の誤りで終わるとは限りません。月に1万5千件を処理する審査業務であれば、1%は150件にあたり、その150件は誰にも見つからないまま基幹システムに登録されてしまいます。値が空欄なら担当者は気付きますが、値が埋まっていれば見過ごされます。空欄を埋めようとするこの性質が、文書AIで最も扱いにくい問題である理由はここにあります。

ハルシネーションの正確な定義: 認識エラーとどう違うのか

認識エラーとハルシネーション、3つの軸の違い

第一に、原因が異なります。認識エラーは、原本にある文字を読み違える問題です。線がつぶれたり重なったりして別の文字として判読される場合がこれにあたります。ハルシネーションは、原本に根拠がないのに値が生成される問題です。読み取りの失敗ではなく、生成の過剰です。

第二に、現れ方が異なります。認識エラーは通常、不自然な結果を出します。存在しない単語や崩れた数字として現れるため、後処理のルールや人による確認で引っかかります。ハルシネーションは、もっともらしい結果を出します。形式の検証も通り、人の目にも自然に映るため、原本と照合しなければ発見されません。

第三に、対処の方法が異なります。認識エラーは、画像品質の改善やモデルの精度向上によって減らせます。ハルシネーションは、精度を上げても解決しません。確信度が低いときに値を作らないよう、生成そのものを制御する設計が必要です。公共行政文書から無作為に標本を抽出して測定した結果では、キーの認識精度よりも値の認識精度で差がはるかに大きく開きました。値が見つからなかったときにどう振る舞うかが、この差を生んでいます。

両者は代替関係にありません。認識精度が低いと、根拠を確認できない状況が増え、ハルシネーションが起きる余地も大きくなります。認識品質の上に生成の制御を載せる順序が正しいのです。

ハルシネーションを制御する5つの設計要件

実際の運用に必要なハルシネーション制御の5つの要件

第一に、確信度が低ければ値を確定させないことです。すべての項目に必ず値を入れるように設計すると、モデルは根拠がなくても何かを作り出してしまいます。値を空にして確認対象へ回す選択肢が、モデルの出力の中になければなりません。

第二に、値ごとに原文の位置を返すことです。抽出された値が原本のどの座標から来たのかが一緒に示されれば、根拠のない値は位置を示せないため、すぐに露呈します。確認者が疑わしい項目だけを確認できるという効果もあります。

第三に、信頼度スコアを項目単位で提供することです。文書全体に1つのスコアを付けても、どの項目を見るべきかは分かりません。項目ごとの確信度があってこそ、基準値以下のものだけを確認画面に表示する運用が可能になります。

第四に、検証ルールを一緒に実行することです。日付の前後関係、金額の合計の一致、書類間の氏名の照合など、業務が求める条件はモデルではなく、ルールとして定めます。複数の文書で同じ項目を照合するクロス検証は、生成された値を除外するうえで特に効果的です。

第五に、値が空の状態を区別することです。実際の受付文書には、判断が必要な空欄が多くあります。ピリオドが2つだけ打たれた欄、白い棒で覆われた欄、印刷された単位の文字だけが残って値がない行、14のセルがまるごと空の表などが現れます。該当なしなのか、記入漏れなのか、スキャンでの欠損なのかを示す根拠が文書内にない場合があるため、こうした項目は勝手に埋めず、状態を表示して引き渡す設計が必要です。

ハルシネーション制御の実際の適用方法

抽出基準に例外処理もあわせて定めます

プロジェクトの初期に作る項目定義書には、何を抽出するかだけでなく、いつ抽出しないかも記載しなければなりません。署名や印鑑のように印刷された案内文は値ではなくプレースホルダーなので、抽出対象から外す必要があります。受け付けた申請書は返却されないといった案内文も同様です。この区別が定義されていないと、モデルは印刷された文字を入力値と誤解します。

あるカード金融機関の自動化でも、案内文と実際の入力値を区別する文書理解が中心的な課題として扱われました。何を抽出するかよりも、何を抽出しないかが結果の品質を左右するケースが多くあります。

確認画面を制御の仕組みとして使います

生成の制御はモデルの内部だけで行われるわけではありません。抽出結果を確認画面に表示し、確信度が低い項目だけを強調し、各値をクリックすると原文の該当位置が表示される構成にすれば、確認時間は大きく減ります。

そこに文書の種類ごとの抽出項目とスキーマを管理する画面をあわせて置けば、新しい様式が届いたときに抽出基準を修正して対応できます。基準をバージョンとして残し、同じ文書で以前のバージョンと比較する手順を設ければ、変更によって性能が落ちたかどうかを確認できます。

性格の異なる2つの技術で二重に検証します

1つの方式だけで判定すると、その方式が見逃した箇所がそのまま通過してしまいます。そのため実務では、性格の異なる2つの技術を重ねて使います。

1つ目は、テキストと構造を認識する技術です。文字が実際にその位置にあったのか、表のどのセルから出たのかを確認します。もう1つは、文脈と業務上の意味を理解する技術です。その値が該当項目として意味をなすか、文書全体の文脈と食い違っていないかを見ます。

2つの判定が食い違う場合や、定められた形式から外れる結果は、自動的に切り分けます。根拠の乏しい値が後続のシステムにそのまま反映されないようにする仕組みであり、この構造を3 Zero AIワーカー戦略では「Zero Hallucination」という名称で扱っています。

国内環境でのハルシネーション制御

国内の文書には、値を誤って生成しやすい条件がいくつかあります。

まず数字の表記です。千単位の区切りにピリオドを使った文書をそのまま読むと、2千万ウォンが20ウォンになってしまいます。先頭の桁が同じで、真ん中の1桁だけが異なる2つの金額が、当初申告と更正請求の項目として並んで置かれる様式もあります。こうした文書では、桁数の検証と項目パスの確認をルールとして一緒に実行する必要があります。

次は項目番号の表記です。事業目的の11項目がすべて1番から始まる登記様式が実際に存在します。項目が11個あるのか、1つの項目が繰り返されているのかを判断しなければならず、根拠なしに番号を振り直すと、原本にない構造を作り出してしまいます。

最後は文書の状態です。何度も再送されたFAXでは、異なる日付の表記が1行に重なって出てくることがあり、受付日を決める根拠が文書内にない場合が生じます。こうした項目は値を作らず、判定不能として引き渡すのが正しい処理です。

よくある質問

精度が高ければ、ハルシネーションも減りますか?

部分的にのみ減ります。認識精度が高ければ根拠を確認できない状況は減りますが、値が見つからなかったときにどう振る舞うかは、別の設計上の問題です。

発生率はどこまで下げられますか?

実データに基づくPDF文書の検証で、非常に低いレベルであることが確認された事例があります。文書の種類や項目の定義によって異なるため、自社文書で測定するほうが正確です。

生成された値かどうかはどのように見分けられますか?

値と一緒に返される原文の位置と信頼度で判別します。位置を示せない項目や、確信度が低い項目を確認対象として分けておく方式が実務で使われています。

空欄はどのように処理されますか?

勝手に埋めず、状態を表示して引き渡します。該当なしなのか記入漏れなのかを判断する根拠が文書内にない場合があるため、この判断は業務ルールとして定めておくのが適切です。

検証ルールはどこまで作るべきですか?

業務が求める条件までです。日付の順序、金額の合計、書類間の氏名の照合など、これまで人が確認していた項目をルールに移せば、ほとんどの生成誤りは除外されます。

複数の文書を照合すると役立ちますか?

効果は大きいです。1つの文書で作られた値は、ほかの文書の同じ項目と食い違うため、クロス検証の段階で不一致として表れます。

実際の業務文書を1種類だけお送りいただければ、抽出結果と一緒に根拠位置と信頼度もご返信いたします。

お問い合わせ