정답 데이터란 무엇인가: AI 결과를 채점하는 기준 데이터 완전 정리

정답 데이터란, 문서의 각 항목이나 질문에 대해 사람이 확정한 올바른 값을 모아 둔 데이터로, AI의 결과를 채점하고 버전 간 성능을 비교하는 기준입니다.

정답 데이터가 필요해진 배경

정확도가 얼마인지 아무도 확인할 수 없었습니다.

문서 AI를 도입하거나 모델을 바꿀 때 가장 먼저 나오는 질문은 얼마나 정확한가입니다. 그런데 무엇이 맞는 값인지 미리 정해 두지 않으면 이 질문에 답할 수 없습니다. 제안서에 적힌 수치나 공개 벤치마크 점수는 자사 문서에서의 성능을 보여 주지 못합니다.

운영 단계에서도 같은 문제가 생깁니다. 추출 기준이나 프롬프트를 고친 뒤 결과가 좋아졌는지 판단하려면 바꾸기 전과 후를 같은 기준으로 채점해야 합니다. 기준이 없으면 담당자가 몇 건을 눈으로 훑어보고 판단하게 되고, 그 판단은 사람마다 달라집니다.

정답 데이터는 이 기준을 데이터로 고정합니다. 한 번 만들어 두면 도입 검증과 운영 중 변경 검증, 모델 교체 비교에 반복해서 쓸 수 있습니다. 모델이나 공급사가 바뀌어도 같은 정답 데이터로 채점하면 결과를 공정하게 비교할 수 있습니다.

정답 데이터의 정확한 정의: 학습 데이터와 무엇이 다른가

학습 데이터와 정답 데이터, 세 가지 축의 차이

첫째, 목적이 다릅니다. 학습 데이터는 모델이 규칙을 익히도록 보여 주는 예시입니다. 정답 데이터는 모델이 얼마나 맞혔는지 채점하기 위한 기준입니다.

둘째, 관리 방식이 다릅니다. 학습 데이터는 성능을 높이기 위해 계속 늘리고 바꿉니다. 정답 데이터는 비교가 가능하도록 버전을 고정하고, 바꿀 때는 이유와 시점을 기록합니다.

셋째, 요구되는 정밀도가 다릅니다. 학습 데이터는 일부 오류가 섞여도 전체 경향을 배우는 데 쓰일 수 있습니다. 정답 데이터에 오류가 있으면 채점 결과 전체가 틀어지므로 항목 하나하나를 확정해야 합니다. 정답 하나가 틀리면 맞게 추출한 결과가 오답으로 기록됩니다.

같은 문서를 두 용도로 함께 쓰면 모델이 이미 본 문서로 채점하게 되어 성능이 실제보다 높게 나옵니다. 그래서 두 데이터는 처음부터 분리해 관리합니다.

정답 데이터를 이루는 4가지 원칙

믿을 수 있는 채점 기준을 만드는 4가지 원칙

첫째, 실제 업무 분포를 반영합니다. 잘 나오는 문서만 모으면 운영에서 점수가 떨어지고, 어려운 문서만 모으면 차이가 드러나지 않습니다. 실제 접수 비율에 맞춰 서식과 문서 상태를 섞습니다.

둘째, 판정 기준을 문서로 정합니다. 날짜 표기 차이를 맞은 것으로 볼지, 띄어쓰기 차이를 허용할지처럼 채점 규칙을 먼저 적어 둡니다. 기준이 없으면 같은 결과도 사람마다 다르게 채점합니다.

셋째, 두 사람 이상이 확인합니다. 한 사람이 만든 정답에는 그 사람의 실수가 그대로 남습니다. 두 사람이 따로 입력한 뒤 결과가 갈리는 항목만 다시 확인하는 방식이 효율적입니다.

넷째, 버전을 고정합니다. 정답을 고치면 이전 점수와 비교할 수 없으므로 변경 이력을 남기고, 비교는 같은 버전끼리만 합니다.

네 원칙을 지키는 작업은 BMT에서 가장 시간이 많이 드는 부분이기도 합니다. 이 과정을 서두르면 이후의 모든 비교가 흔들리므로 일정에 충분히 반영합니다.

정답 데이터의 실제 적용 방법

평가 요소 단위로 쪼개어 만듭니다

문서 한 장을 통째로 맞았다 틀렸다로 보면 어느 부분이 약한지 알 수 없습니다. 항목, 표, 텍스트 블록처럼 평가할 요소 단위로 정답을 만들어야 개선할 곳이 보입니다. 요소마다 쓰는 지표도 달라 텍스트는 유사도, 표는 구조 유사도, 입력 항목은 완전 일치로 보는 식으로 나눕니다.

공공 부문 사례에서는 평가 대상 문서에서 검출할 요소를 먼저 목록으로 정하고, 요소 검출과 텍스트, 표 구조를 각각 나누어 측정했습니다.

판단 불가 항목을 따로 표시합니다

값이 비어 있는 칸이 해당 없음인지, 기재 누락인지, 스캔 손상인지 문서만으로는 판단할 수 없는 경우가 있습니다. 이런 항목을 오답으로 채점하면 모델이 아니라 문서 품질을 평가하게 되므로 판단 불가로 분류해 따로 셉니다.

판단 불가로 분류된 항목은 버리지 않고 운영 규칙으로 처리 방침을 정합니다. 보완을 요청할지, 담당자 확인으로 돌릴지를 정해 두면 운영 단계의 예외 처리 기준으로 그대로 이어집니다.

검색과 생성 업무는 질문 단위로 만듭니다

문서 검색이나 생성형 답변을 평가할 때는 항목 대신 질문과 기대 답변, 근거 위치를 한 묶음으로 만듭니다. 세무 분야 사례의 검색 평가도 대상 문서를 먼저 정한 뒤 질문 세트를 만들어 구성했습니다.

질문은 실제 담당자가 묻는 표현으로 쓰고, 여러 문서를 함께 봐야 답할 수 있는 질문도 섞어야 실제 성능이 드러납니다.

국내 환경에서의 정답 데이터

정답 데이터에는 실제 업무 문서의 원문 값이 들어가므로 개인정보가 포함되는 경우가 많습니다. 성명과 주민등록번호 같은 항목은 비식별화한 뒤 정답을 만들거나, 원문이 필요한 경우 내부망 안에서만 작업하고 접근 권한을 제한합니다.

금융과 공공에서는 평가를 외부에 맡기기 어려운 경우가 많아, 담당 부서가 직접 정답을 확정할 수 있도록 판정 기준 문서와 입력 도구를 함께 준비하는 편이 좋습니다.

자주 묻는 질문