データドリフトとは何か：運用中に入ってくるデータが変わる現象の完全整理

データドリフトとは、運用環境に入ってくるデータの性質と分布が、モデルを作り評価した当時と異なっていく現象で、表面上は正常に動いているAIの性能を少しずつ下げる原因になります。

データドリフトが問題になる理由

昨日と同じモデルなのに、結果が変わりました。

文書AIを導入するときは、その時点の文書で性能を検証します。検証を通過したあとモデルはそのままなのに、数か月経つと例外に回る案件が増えたり、特定の項目で誤りが繰り返されたりすることがあります。モデルが悪くなったのではなく、入ってくる文書が変わったためです。

様式が改定され、受付経路が変わり、新しい取引先の文書が混ざって届きます。スキャン機器を入れ替えたりモバイル撮影での受付を始めたりすれば、画像の品質も変わります。こうした変化は一つずつ見れば小さいものの、積み重なると検証当時の性能を信頼できなくします。

データドリフトが厄介なのは、静かに進むという点です。システムはエラーなく動き、結果も形式どおりに出るため、別に見張っていなければ性能の低下にかなり後になって気づくことになります。

データドリフトの正確な定義：コンセプトドリフトと何が違うのか

コンセプトドリフトとデータドリフト、三つの軸の違い

第一に、変わる対象が異なります。データドリフトは入力されるデータの姿が変わる現象です。コンセプトドリフトは入力と正解の関係、つまり何を正しい結果とみなすかが変わる現象です。

第二に、代表的な原因が異なります。データドリフトは様式の改定、受付経路の変化、画像品質の変化から生じます。コンセプトドリフトは、法令の改正や審査基準の変更のように業務判断の基準が変わるときに生じます。

第三に、対応の方法が異なります。データドリフトは新しい姿のデータを評価セットに入れ、抽出基準や前処理を補って対応します。コンセプトドリフトは判断ルールと正解データそのものを新しい基準に直す必要があります。

実際の運用では二つの現象が一緒に来ることが多くあります。様式の改定とともに確認すべき項目も変わる、といった具合です。原因を分けて記録してこそ、どちらを先に直すかを決められます。記録が混ざると、様式の問題を基準の問題と誤解してルールを誤って直すことになります。

データドリフトの4つの類型

文書業務でよく現れる4つの類型

第一に、様式の変化です。同じ名前の様式でも、改定によって項目の位置と表の構造、用語が変わります。

第二に、品質の変化です。スキャン解像度、ファクスのノイズ、撮影の角度や影のように画像の状態が変わります。モバイルでの受付が増えると、この類型が大きく現れます。

第三に、構成の変化です。一つのファイルにまとめて届く書類の組み合わせやページの順序が変わります。分類の段階の誤りが先に増えることがその兆しです。

第四に、値の分布の変化です。金額の規模や日付の範囲、特定の項目が空欄になる比率のように、値そのものの分布が変わります。検証ルールの基準値が合わなくなり、例外が増えます。

四つの類型は異なる段階で先に表れます。様式と構成の変化は分類と抽出で、品質の変化は認識で、値の分布の変化は検証で誤りが先に増えるため、どの段階の指標が動いたかを見れば類型を絞り込めます。

データドリフトに対応する実際の方法

基準時点の分布を残しておきます

導入時の検証を終えた時点の文書の構成と品質、項目の値の分布を記録しておきます。様式ごとの受付比率、画像解像度の分布、項目が空欄になる比率といった値が、あとで変化を比べる基準になります。基準の分布を正解データと同じバージョン番号でまとめておけば、あとでどの時点と比べているのか迷いません。

基準がなければ、運用中に性能が下がっても、文書が変わったのか別の原因なのかを見分けにくくなります。

運用指標で早めに検知します

正解のない運用データでは、精度をすぐに測ることはできません。代わりに信頼度スコアの平均と低いスコアの案件の比率、例外に回る案件の比率、検収者が値を直した比率を週単位で見ます。これらの値が一緒に動けば、ドリフトを疑う兆しです。

様式ごと、受付経路ごとに分けて見れば、どこから変化が始まったかをすばやく見つけられます。

確認できたら評価セットから更新します

ドリフトが確認されたら、新しく入ってくる姿の文書を標本として抜き出して正解データに加え、現在のバージョンを採点し直します。性能が基準に届かなければ、抽出基準や前処理を補った新しいバージョンを同じ評価セットで検証してから運用に反映します。

評価セットを更新せずに基準だけを直すと、直した結果が新しい文書で実際に良くなったかを確認できません。更新した評価セットは新しいバージョンとして残し、以前のバージョンも保管してこそ変化の前後を説明できます。

日本の環境におけるデータドリフト

日本では法令や通達の改正、年度の切り替わりに合わせて官公庁や取引先の様式が一緒に変わることが多く、年末調整や確定申告のように特定の時期に受付量と書類の構成が変わる業務もあります。インボイス制度の開始や改元のように、帳票の記載項目そのものが一斉に変わる出来事もありました。こうした日程を前もって把握しておけば、ドリフトを事後に見つけるのではなく、予定された点検として扱えます。

金融機関や自治体では運用データを外部に出しにくいため、モニタリングと再評価を社内環境で行えるようにしておく必要があります。

よくあるご質問