Exact Match란 무엇인가: 문서 AI 정확도를 정직하게 재는 기준 완전 정리

Exact Match(완전 일치율)란, 추출한 값이 사람이 정한 정답과 글자 하나 기호 하나까지 똑같은 경우만 맞은 것으로 세어 계산하는 지표로, 문서 AI 성능을 가장 엄격하게 판정하는 기준입니다.

정확도라는 말이 통하지 않는 이유

같은 제품이 두 자리 수 차이로 보고됩니다.

솔루션 검토 자리에서 정확도 98%라는 숫자와 90%라는 숫자가 함께 나오는 경우가 있습니다. 둘 다 거짓이 아닌데도 그렇습니다. 앞의 숫자는 띄어쓰기와 기호 차이를 감안한 유사도 기준이고 뒤의 숫자는 글자 하나까지 따진 완전 일치 기준이기 때문입니다.

계산 단위도 다릅니다. 문자 하나를 단위로 세면 긴 주소에서 한 글자만 틀려도 대부분 맞은 것으로 계산되지만, 항목 하나를 단위로 세면 그 주소는 통째로 틀린 것이 됩니다. 업무 관점에서는 뒤의 계산이 맞습니다. 주소 한 글자가 틀린 값은 시스템에 넣을 수 없기 때문입니다.

그래서 도입 검토에서 확인해야 할 것은 몇 퍼센트인가가 아니라 무엇을 어떻게 세었는가입니다.

Exact Match의 정확한 정의: 유사도 기반 정확도와 무엇이 다른가

Exact Match와 Fuzzy Similarity, 세 가지 축의 차이

첫째, 판정 방식이 다릅니다. Exact Match는 맞았거나 틀렸거나 둘 중 하나로 판정합니다. Fuzzy Similarity는 두 문자열이 얼마나 비슷한지를 비율로 계산해 부분 점수를 줍니다.

둘째, 반영하는 것이 다릅니다. Exact Match는 표기의 사소한 차이도 오류로 처리합니다. 하이픈이 빠진 사업자등록번호나 띄어쓰기가 다른 상호명이 여기서 걸립니다. Fuzzy Similarity는 사람이 읽었을 때 같은 값으로 판단되는 경우를 반영하므로 체감 정확도에 가깝습니다.

셋째, 쓰이는 자리가 다릅니다. Exact Match는 추출한 값을 그대로 시스템에 입력하는 업무에서 기준이 됩니다. 값이 조금이라도 다르면 등록이 실패하거나 잘못된 데이터가 쌓이기 때문입니다. Fuzzy Similarity는 인식 품질 자체를 비교하거나 검수 부담을 가늠할 때 유용합니다. 실제 검증에서 인쇄체와 필기체의 유사도 기준 정확도가 98%로 확인된 금융 문서군의 경우, 같은 문서군의 완전 일치 목표는 90%로 잡혔습니다.

두 지표는 대체 관계가 아닙니다. 유사도만 보면 실제 업무에서 발생할 재입력 부담을 놓치고, 완전 일치만 보면 표기 정규화로 해결될 문제까지 성능 부족으로 오해합니다. 두 값을 함께 놓고 보는 편이 정확합니다.

완전 일치율을 제대로 쓰는 5가지 기준

측정에 들어가는 완전 일치율의 5가지 기준

첫째, 계산 단위를 항목으로 잡습니다. 문자 단위로 계산하면 실제 업무 영향과 동떨어진 숫자가 나옵니다. 담당자가 시스템에 입력하는 항목 하나를 단위로 세는 편이 맞습니다.

둘째, 정규화 규칙을 미리 정합니다. 하이픈과 공백, 괄호, 단위 표기를 어떻게 처리할지 정해 두지 않으면 같은 결과가 측정할 때마다 다른 점수로 나옵니다. 업무에서 허용되는 표기 차이는 정답 판정 전에 정규화해 두는 편이 실용적입니다.

셋째, 항목별로 나누어 봅니다. 전체 평균 하나만 보면 어느 항목이 문제인지 알 수 없습니다. 금액과 날짜, 이름, 계좌번호는 오류의 성격과 업무 영향이 각각 다릅니다.

넷째, 목표치를 업무 기준으로 정합니다. 100%를 요구하는 것은 현실적이지 않고, 그렇다고 임의로 정할 수도 없습니다. 오류 한 건이 어떤 결과를 만드는지, 그 뒤에 검증 규칙과 사람 검수가 있는지를 함께 계산해 정합니다.

다섯째, 판단 불가 항목을 따로 셉니다. 원본에 값이 없거나 스캔이 손실되어 사람도 판정할 수 없는 항목이 있습니다. 이런 항목을 오답으로 계산하면 제품 평가가 아니라 문서 품질 평가가 됩니다.

완전 일치율의 실제 적용 방법

정답셋과 정규화 규칙을 함께 만듭니다

측정의 첫 산출물은 정답셋입니다. 문서마다 각 항목의 정답을 사람이 확정해 기록하는 작업인데, 여기에 정규화 규칙을 함께 적어 두는 편이 좋습니다.

예를 들어 사업자등록번호는 하이픈을 제거한 열 자리로 비교하고, 금액은 쉼표와 통화 기호를 뺀 숫자로 비교하며, 날짜는 정해진 형식으로 변환해 비교한다는 식입니다. 이 규칙이 문서로 남아 있으면 나중에 다시 측정할 때도 같은 기준이 적용됩니다.

운영 지표와 나누어 관리합니다

완전 일치율은 도입 판단과 성능 비교를 위한 지표입니다. 운영에 들어가면 다른 지표가 필요해집니다. 사람의 개입 없이 끝까지 처리된 비율, 검수자가 실제로 수정한 항목의 비율, 예외로 빠진 건의 비중 같은 값입니다.

두 종류를 나누어 관리하면 각각의 용도가 분명해집니다. 완전 일치율이 떨어졌다면 모델이나 서식의 문제이고, 완전 일치율은 그대로인데 수정 비율이 올라갔다면 검수 기준이나 업무 규칙 쪽을 봐야 합니다.

국내 환경에서의 완전 일치율

국내 문서에는 표기 차이가 자주 발생하는 지점이 있습니다. 상호명에 포함된 주식회사 표기가 앞에 붙기도 하고 뒤에 붙기도 하며 괄호로 묶이기도 합니다. 주소는 도로명과 지번이 섞이고 층과 호수 표기가 제각각입니다. 은행명은 정식 명칭과 약칭이 함께 쓰여, 한 문서에서는 정식 명칭으로 다른 문서에서는 약칭으로 나타납니다.

이런 차이를 전부 오류로 계산하면 완전 일치율이 실제보다 낮게 나옵니다. 반대로 전부 허용하면 업무에서 문제가 되는 차이까지 통과시킵니다. 어느 표기 차이가 업무에서 같은 값으로 취급되는지를 업무 담당자와 함께 정리해 두는 작업이 필요합니다.

자주 묻는 질문