TEDS란 무엇인가: 표 인식 성능을 재는 구조 유사도 지표 완전 정리

TEDS(Tree Edit Distance based Similarity)란, 추출한 표와 원본 표를 각각 트리 구조로 바꾼 뒤 하나를 다른 하나로 만드는 데 필요한 수정량을 계산해, 표의 구조와 값이 얼마나 일치하는지를 하나의 비율로 나타내는 지표입니다.

표에는 별도의 지표가 필요한 이유

문자 정확도가 표의 성능을 말해 주지 않습니다.

문서 AI 성능을 확인할 때 대부분의 자료는 텍스트 정확도를 제시합니다. 그 숫자가 높으면 표도 잘 나올 것이라고 생각하기 쉽습니다. 실제 측정은 다르게 나옵니다.

한 공공 문서 평가에서 텍스트 유사도는 98.80%였는데 표 구조 유사도는 79.18%였습니다. 스무 지점 가까이 벌어진 것입니다. 글자는 거의 다 읽혔는데 그 글자들이 어느 칸에 있었는지를 되살리는 데서 차이가 생겼습니다.

이 격차가 중요한 이유는 표가 담고 있는 정보의 성격 때문입니다. 표에서 값 하나는 그 자체로 의미를 갖지 않습니다. 어느 행과 어느 열에 있었는지가 정해져야 비로소 의미가 생깁니다. 구조가 무너지면 값이 정확해도 쓸 수 없습니다.

TEDS의 정확한 정의: 텍스트 정확도와 무엇이 다른가

텍스트 정확도와 TEDS, 세 가지 축의 차이

첫째, 대상이 다릅니다. 텍스트 정확도는 문자열을 대상으로 삼습니다. TEDS는 표를 트리로 바꾼 구조를 대상으로 삼습니다. 행과 열의 배치, 병합된 셀의 범위, 헤더와 데이터 영역의 구분이 모두 이 트리에 담깁니다.

둘째, 계산 방식이 다릅니다. 텍스트 정확도는 글자를 맞춰 봅니다. TEDS는 두 트리를 비교해 하나를 다른 하나로 바꾸는 데 필요한 수정 횟수를 세고, 그 수정량을 표의 크기로 나누어 유사도로 환산합니다. 그래서 셀 값이 전부 맞아도 병합 범위가 어긋나면 점수가 내려갑니다.

셋째, 드러내는 문제가 다릅니다. 텍스트 정확도는 읽기 실패를 드러냅니다. TEDS는 구조 복원 실패를 드러냅니다. 실제 평가에서 이 둘이 어떻게 갈리는지 보면, 한 공공 문서군에서는 요소 검출과 위치 정확도가 모두 100%이고 텍스트가 98.80%인데 TEDS는 79.18%였습니다. 다른 공공 문서군에서는 본문 텍스트 99.2%에 표 구조 복원 86%가 나왔고, 신고 서식을 대상으로 한 검증에서는 표 구조 복원이 99% 이상으로 확인되었습니다.

두 지표는 대체 관계가 아닙니다. 문자를 읽지 못하면 구조를 복원해도 내용이 비어 있고, 구조를 복원하지 못하면 정확히 읽은 값이 쓸 자리를 잃습니다. 두 값을 나란히 요구하는 편이 맞습니다.

TEDS를 읽을 때 주의할 5가지

해석에 들어가는 TEDS의 5가지 주의점

첫째, 절대 기준이 아닙니다. 몇 퍼센트 이상이면 좋다고 말할 수 있는 값이 아닙니다. 같은 제품이 문서 성격에 따라 79%에서 99% 이상까지 움직입니다. 자사 문서로 측정한 값만이 판단 근거가 됩니다.

둘째, 문서의 난이도를 함께 봐야 합니다. 단순한 격자형 표가 많은 문서군에서는 높은 값이 쉽게 나옵니다. 다층 헤더와 병합이 겹친 행정 문서에서는 같은 제품도 크게 내려갑니다. 점수만 비교하고 문서를 비교하지 않으면 잘못된 결론에 이릅니다.

셋째, 구조 점수와 값 점수를 나누어 볼 수 있습니다. TEDS는 구조와 셀 내용을 함께 반영하므로, 낮은 점수가 구조 때문인지 값 때문인지 구분되지 않습니다. 원인을 알고 싶다면 구조만 비교하는 방식과 함께 측정하시기 바랍니다.

넷째, 표를 어떻게 잘라 냈는지가 결과를 바꿉니다. 한 페이지에 걸친 표를 두 개로 나누어 인식하면 각각의 점수는 높아도 실제로는 하나의 표가 쪼개진 상태입니다. 표 영역 검출 결과와 함께 확인해야 합니다.

다섯째, 업무 영향과 직결되지는 않습니다. 79%라는 값이 곧 업무의 21%가 실패한다는 뜻은 아닙니다. 어느 항목이 어긋났는지, 그 항목이 업무에서 쓰이는지를 따로 확인해야 실제 영향이 나옵니다.

TEDS의 실제 활용 방법

검증 요청 시 함께 요구합니다

솔루션 검토 자료에 표 지표가 빠져 있는 경우가 많습니다. 표가 본문인 문서를 다루는 업무라면 텍스트 정확도와 함께 표 구조 유사도를 명시적으로 요구하시기 바랍니다.

요구할 때는 측정 대상 문서도 함께 지정하는 편이 좋습니다. 공개된 예시 문서로 측정한 값과 자사 접수함의 문서로 측정한 값은 다르게 나옵니다. 병합 셀과 다층 헤더가 있는 실제 서식을 포함시켜야 의미 있는 비교가 됩니다.

낮은 값의 원인을 좁힙니다

TEDS가 기대보다 낮게 나왔다면 원인을 세 방향으로 나누어 봅니다. 표 영역 자체를 잘못 잡았는지, 행과 열의 경계를 잘못 판별했는지, 병합 범위를 놓쳤는지입니다.

각각 대응이 다릅니다. 영역 검출 문제는 앞단의 레이아웃 분석에서, 경계 판별 문제는 괘선이 없거나 흐린 문서의 전처리에서, 병합 문제는 출력 형식에서 원인을 찾는 경우가 많습니다. 병합 정보를 표현할 수 없는 형식으로 결과를 받고 있다면 모델이 정확히 판별해도 그 정보가 결과물에서 사라집니다.

국내 환경에서의 TEDS

국내 관공서 서식과 세무 신고서는 표 구조가 특히 복잡합니다. 헤더가 두 단이나 세 단으로 쌓이고, 한 열의 값이 아래 여러 행을 대표하며, 표 안에 작성 방법 안내 문장이 함께 들어갑니다. 항목번호가 원문자로 표기되어 값과 섞이기도 합니다.

여기에 실제 접수 문서의 상태가 더해집니다. 도장이 표를 침범하고 취소선이 행을 가로지르며 팩스 재전송으로 괘선이 흐려집니다. 이런 조건에서 측정한 값은 깨끗한 문서로 측정한 값보다 낮게 나오는 것이 정상입니다. 낮은 값을 감추기보다 어떤 문서에서 측정했는지를 함께 밝히는 편이 판단에 도움이 됩니다.

자주 묻는 질문