データドリフトとは何か：運用中に入ってくるデータが変わる現象の完全ガイド

データドリフトとは、運用環境に入ってくるデータの特性や分布が、モデルを作成し評価した当時と異なってくる現象であり、見た目には正常に動いているAIの性能を、少しずつ低下させる原因となります。

データドリフトが問題になる理由

同じモデルなのに、結果が変わってしまいました。

文書AIを導入するときには、その時点の文書を使って性能を検証します。検証を通過した後、モデルはそのままですが、数か月たつと、例外として切り分けられる件が増えたり、特定の項目で誤りが繰り返し起きたりすることがあります。モデルが悪くなったのではなく、入ってくる文書が変わったからです。

書式が改定され、受付の経路が変わり、新しい取引先の文書が混ざって入ってきます。スキャン機器を交換したり、スマートフォンでの撮影による受付を開始したりすると、画像の品質も変わります。こうした変化は1つずつ見ればわずかですが、積み重なると、検証当時の性能を信頼できなくなります。

データドリフトが厄介なのは、静かに進行することです。システムはエラーを出さずに動き続け、結果も形式どおりに出力されるため、別途注視していなければ、性能の低下に気づくのは随分たってからになります。

データドリフトの正確な定義：コンセプトドリフトとは何が違うのか

データドリフトとコンセプトドリフトの3つの違い

第一に、変わるものが異なります。データドリフトは、入力されるデータの様子が変わる現象です。コンセプトドリフトは、入力と正解の関係、つまり何を正しい結果とみなすかが変わる現象です。

第二に、代表的な原因が異なります。データドリフトは、書式の改定、受付経路の変化、画像品質の変化から生じます。コンセプトドリフトは、法令の改正や審査基準の変更のように、業務上の判断の基準が変わったときに生じます。

第三に、対応の方法が異なります。データドリフトは、新しい様子のデータを評価セットに加え、抽出基準や前処理を補強して対応します。コンセプトドリフトは、判断ルールと正解データそのものを新しい基準に改める必要があります。

実際の運用では、2つの現象が同時に起こることも多くあります。たとえば、書式が改定されると同時に、確認すべき項目も変わるといった具合です。どちらを先に直すかを決めるには、原因を分けて記録しておく必要があります。記録が混ざると、書式の問題を基準の問題と誤認し、ルールを誤って直してしまいます。

データドリフトの4つの類型

文書業務でよく現れる4つの類型

第一に、書式の変化です。同じ名称の書式であっても、改定されると項目の位置、表の構造、用語が変わります。

第二に、品質の変化です。スキャンの解像度、FAXのノイズ、撮影の角度や影など、画像の状態が変わります。モバイルでの受付が増えると、この類型が大きく現れます。

第三に、構成の変化です。1つのファイルにまとめて入ってくる書類の組み合わせや、ページの順序が変わります。分類の段階で誤りが先に増えることが、その兆候です。

第四に、値の分布の変化です。金額の規模、日付の範囲、特定の項目が空欄である割合など、値そのものの分布が変わります。検証ルールの基準値が合わなくなり、例外が増えます。

4つの類型は、異なる段階で先に現れます。書式と構成の変化は分類と抽出に、品質の変化は認識に、値の分布の変化は検証に、誤りが先に増えます。どの段階の指標が動いたかを見れば、類型を絞り込むことができます。

データドリフトへの実際の対応方法

基準時点の分布を残します

導入の検証を終えた時点の、文書の構成、品質、項目の値の分布を記録しておきます。書式ごとの受付の割合、画像解像度の分布、項目が空欄である割合などの値が、後で変化を比べるための基準になります。基準の分布を正解データと同じバージョン番号で紐づけておけば、どの時点と比較しているのかが混乱しません。

基準がなければ、運用中に性能が落ちたとき、文書が変わったのか、別の原因なのかを見分けることが難しくなります。

運用指標で早期に検知します

正解のない運用データでは、精度をすぐに測ることはできません。代わりに、信頼度スコアの平均、低いスコアの件の割合、例外として切り分けられる件の割合、検収者が値を修正した割合を週単位で確認します。これらの値が一緒に動くときは、ドリフトを疑うべき兆候です。

書式ごと、受付経路ごとに分けて見ると、どちらから変化が始まったのかをすばやく見つけられます。

ドリフトが確認されたら、まず評価セットを更新します

ドリフトが確認されたら、新しく現れた様子の文書を標本として抽出し、正解データに加えたうえで、現在のバージョンを採点し直します。性能が基準に届かない場合は、抽出基準や前処理を補強した新しいバージョンを用意し、同じ評価セットで検証してから運用に反映します。

評価セットを更新せずに基準だけを直すと、直した結果が新しい文書で本当に改善したのかを確認できません。更新した評価セットは新しいバージョンとして残し、以前のバージョンも保管しておけば、変化の前後を説明できます。

国内環境でのデータドリフト

国内では、法令や告示が改正される時期に官公庁の書式も同時に変わることが多くあります。また、年末精算のように、特定の時期に受付量や書類の構成が変わる業務もあります。こうしたスケジュールをあらかじめ把握しておけば、ドリフトを事後に発見するのではなく、予定された点検として扱えます。

金融や公共では、運用データを外部に持ち出すことが難しいため、監視と再評価を社内環境で実施できる必要があります。