데이터 드리프트란 무엇인가: 운영 중 들어오는 데이터가 달라지는 현상 완전 정리

데이터 드리프트란, 운영 환경에 들어오는 데이터의 특성과 분포가 모델을 만들고 평가할 당시와 달라지는 현상으로, 겉으로는 정상 작동하는 AI의 성능을 서서히 떨어뜨리는 원인이 됩니다.

데이터 드리프트가 문제가 되는 이유

어제와 같은 모델인데 결과가 달라졌습니다.

문서 AI를 도입할 때는 그 시점의 문서로 성능을 검증합니다. 검증을 통과한 뒤 모델은 그대로인데 몇 달이 지나면 예외로 분리되는 건이 늘거나 특정 항목에서 오류가 반복되는 경우가 생깁니다. 모델이 나빠진 것이 아니라 들어오는 문서가 달라졌기 때문입니다.

서식이 개정되고, 접수 경로가 바뀌고, 새로운 거래처의 문서가 섞여 들어옵니다. 스캔 장비를 교체하거나 모바일 촬영 접수를 열면 이미지 품질도 달라집니다. 이런 변화는 하나씩 보면 작지만 쌓이면 검증 당시의 성능을 믿을 수 없게 만듭니다.

데이터 드리프트가 까다로운 이유는 조용히 진행된다는 점입니다. 시스템은 오류 없이 돌아가고 결과도 형식에 맞게 나오기 때문에, 따로 지켜보지 않으면 성능 저하를 한참 뒤에야 알게 됩니다.

데이터 드리프트의 정확한 정의: 개념 드리프트와 무엇이 다른가

개념 드리프트와 데이터 드리프트, 세 가지 축의 차이

첫째, 바뀌는 대상이 다릅니다. 데이터 드리프트는 입력되는 데이터의 모습이 바뀌는 현상입니다. 개념 드리프트는 입력과 정답 사이의 관계, 즉 무엇을 맞는 결과로 볼지가 바뀌는 현상입니다.

둘째, 대표적인 원인이 다릅니다. 데이터 드리프트는 서식 개정, 접수 경로 변화, 이미지 품질 변화에서 옵니다. 개념 드리프트는 법령 개정이나 심사 기준 변경처럼 업무 판단의 기준이 바뀔 때 생깁니다.

셋째, 대응 방법이 다릅니다. 데이터 드리프트는 새로운 모습의 데이터를 평가셋에 넣고 추출 기준이나 전처리를 보완해 대응합니다. 개념 드리프트는 판단 규칙과 정답 데이터 자체를 새 기준으로 고쳐야 합니다.

실제 운영에서는 두 현상이 함께 오는 경우가 많습니다. 서식이 개정되면서 확인해야 할 항목도 바뀌는 식입니다. 원인을 나누어 기록해야 어느 쪽을 먼저 손볼지 정할 수 있습니다. 기록이 섞이면 서식 문제를 기준 문제로 오해해 규칙을 잘못 고치게 됩니다.

데이터 드리프트의 4가지 유형

문서 업무에서 자주 나타나는 4가지 유형

첫째, 서식 변화입니다. 같은 이름의 서식이라도 개정되면서 항목 위치와 표 구조, 용어가 바뀝니다.

둘째, 품질 변화입니다. 스캔 해상도, 팩스 잡음, 촬영 각도와 그림자처럼 이미지의 상태가 달라집니다. 모바일 접수가 늘어나면 이 유형이 크게 나타납니다.

셋째, 구성 변화입니다. 한 파일에 합쳐져 들어오는 서류의 조합이나 페이지 순서가 달라집니다. 분류 단계의 오류가 먼저 늘어나는 것이 신호입니다.

넷째, 값의 분포 변화입니다. 금액 규모나 날짜 범위, 특정 항목이 비어 있는 비율처럼 값 자체의 분포가 바뀝니다. 검증 규칙의 기준값이 맞지 않게 되면서 예외가 늘어납니다.

네 유형은 서로 다른 단계에서 먼저 드러납니다. 서식과 구성 변화는 분류와 추출에서, 품질 변화는 인식에서, 값의 분포 변화는 검증에서 오류가 먼저 늘어나므로 어느 단계의 지표가 움직였는지 보면 유형을 좁힐 수 있습니다.

데이터 드리프트에 대응하는 실제 방법

기준 시점의 분포를 남겨 둡니다

도입 검증을 마친 시점의 문서 구성과 품질, 항목 값의 분포를 기록해 둡니다. 서식별 접수 비율, 이미지 해상도의 분포, 항목이 비어 있는 비율 같은 값이 나중에 변화를 비교하는 기준이 됩니다. 기준 분포를 정답 데이터와 같은 버전 번호로 묶어 두면 나중에 어느 시점과 비교하는지 헷갈리지 않습니다.

기준이 없으면 운영 중 성능이 떨어져도 문서가 달라진 것인지 다른 원인인지 가려내기 어렵습니다.

운영 지표로 조기에 감지합니다

정답이 없는 운영 데이터에서는 정확도를 바로 잴 수 없습니다. 대신 신뢰도 점수의 평균과 낮은 점수 건의 비율, 예외로 분리되는 건의 비율, 검수자가 값을 고친 비율을 주 단위로 봅니다. 이 값들이 함께 움직이면 드리프트를 의심할 신호입니다.

서식별, 접수 경로별로 나누어 보면 어느 쪽에서 변화가 시작됐는지 빨리 찾을 수 있습니다.

확인되면 평가셋부터 갱신합니다

드리프트가 확인되면 새로 들어오는 모습의 문서를 표본으로 뽑아 정답 데이터에 추가하고, 현재 버전을 다시 채점합니다. 성능이 기준에 못 미치면 추출 기준이나 전처리를 보완한 새 버전을 같은 평가셋으로 검증한 뒤 운영에 반영합니다.

평가셋을 갱신하지 않고 기준만 고치면, 고친 결과가 새 문서에서 실제로 나아졌는지 확인할 수 없습니다. 갱신한 평가셋은 새 버전으로 남기고 이전 버전도 보관해야 변화 전후를 설명할 수 있습니다.

국내 환경에서의 데이터 드리프트

국내에서는 법령과 고시가 개정되는 시기에 관공서 서식이 함께 바뀌는 경우가 많고, 연말정산처럼 특정 시기에 접수량과 서류 구성이 달라지는 업무도 있습니다. 이런 일정을 미리 파악해 두면 드리프트를 사후에 발견하는 대신 예정된 점검으로 다룰 수 있습니다.

금융과 공공에서는 운영 데이터를 외부로 내보내기 어려우므로 모니터링과 재평가를 내부 환경에서 수행할 수 있어야 합니다.