LLM OCR이란 무엇인가: 대형 언어 모델로 문서를 읽을 때 알아야 할 구조와 한계 완전 정리

LLM OCR이란, 대형 언어 모델이 문서 이미지나 OCR로 읽어 낸 텍스트를 받아 문맥을 근거로 글자를 판독하거나 보정하고, 필요한 항목을 정해진 형식으로 정리해 내놓는 문서 인식 방식입니다.

LLM OCR이 주목받는 이유

서식마다 규칙을 만들지 않아도 되기 때문입니다.

기존 OCR 기반 문서 처리에서는 글자를 읽은 뒤 어떤 값이 어느 항목인지 찾기 위해 서식마다 위치 규칙이나 템플릿을 만들어야 했습니다. 발행처가 양식을 조금만 바꿔도 규칙을 다시 고쳐야 했고, 처음 보는 서식은 사람이 직접 입력해야 했습니다.

대형 언어 모델은 문맥을 이해하므로 계약 금액과 계약 기간을 찾으라는 지시만으로 처음 보는 서식에서도 항목을 찾아냅니다. 흐리게 찍힌 글자나 줄임말도 앞뒤 문장을 근거로 바로잡을 수 있습니다.

이런 편의 때문에 문서 인식에 대형 언어 모델을 붙이는 시도가 빠르게 늘었습니다. 다만 대형 언어 모델은 이미지 속 글자를 옮겨 적는 모델이 아니라 가장 그럴듯한 문장을 만들어 내는 모델입니다. 업무에 쓰기 전에 이 성질이 결과에 어떻게 드러나는지 따져 봐야 합니다.

LLM OCR의 정확한 정의: OCR과 무엇이 다른가

OCR과 LLM OCR, 세 가지 축의 차이

LLM OCR은 두 가지 형태로 쓰입니다. 하나는 OCR 엔진이 읽은 텍스트를 대형 언어 모델이 받아 보정하고 정리하는 방식이고, 다른 하나는 이미지를 입력받는 모델이 문서를 직접 읽고 결과를 내놓는 방식입니다. 이미지를 직접 읽는 모델은 기술 분류로는 VLM에 속하지만, 결과를 언어 모델이 생성한다는 점은 같습니다.

첫째, 결과를 만드는 방식이 다릅니다. OCR은 이미지 안에 있는 글자를 찾아 그대로 옮깁니다. LLM OCR은 입력을 근거로 가장 그럴듯한 문장을 생성하므로, 원본에 없는 값이 자연스러운 형태로 섞여 나올 수 있습니다.

둘째, 위치 정보가 다릅니다. OCR은 글자마다 문서 안의 좌표를 함께 돌려주므로 결과가 원본의 어디에서 왔는지 바로 확인할 수 있습니다. LLM OCR은 텍스트만 돌려주는 경우가 많아 값의 출처를 짚어 보기 어렵습니다.

셋째, 문맥을 쓰는 범위가 다릅니다. OCR은 글자 단위로 판단하므로 앞뒤 문장이 판독에 거의 영향을 주지 않습니다. LLM OCR은 문맥을 적극적으로 활용해 흐린 글자를 보정하고 항목의 의미를 해석하지만, 같은 성질 때문에 읽히지 않는 부분을 추측으로 채우기도 합니다.

정리하면 OCR은 확인할 수 있는 판독에 강하고, LLM OCR은 해석과 정리에 강합니다. 업무에서는 둘 중 하나를 고르기보다 역할을 나눠 함께 쓰는 구성이 많습니다.

LLM OCR을 업무에 쓰기 위한 5가지 조건

실제 운영에 들어가는 LLM OCR의 5가지 조건

첫째, 결과마다 근거 위치를 확인할 수 있어야 합니다. 추출한 값이 원본 이미지의 어느 영역에서 왔는지 연결되어 있어야 검수자가 빠르게 대조할 수 있습니다.

둘째, 읽지 못한 값은 비워 두어야 합니다. 판독이 불확실한 항목을 추측으로 채우지 않고 빈 값이나 확인 필요로 표시하도록 지시문과 출력 형식을 설계합니다.

셋째, 출력 형식이 고정되어 있어야 합니다. 항목 이름과 자료형, 날짜와 금액 표기 규칙을 추출 스키마로 정해 두어야 후속 시스템이 결과를 그대로 받을 수 있습니다.

넷째, 성격이 다른 방식으로 교차검증해야 합니다. 좌표를 돌려주는 OCR 결과나 합계 같은 계산 규칙과 비교해 서로 어긋나는 값을 골라냅니다.

다섯째, 운영 환경에 맞게 설치할 수 있어야 합니다. 개인정보가 담긴 문서를 외부 모델로 보내기 어려운 조직이라면 내부에 설치해 쓸 수 있는지부터 확인합니다.

LLM OCR의 실제 적용 방법

판독과 해석을 나누어 배치합니다

글자와 숫자를 정확히 옮겨야 하는 구간은 좌표를 돌려주는 인식 모델에 맡기고, 대형 언어 모델은 읽힌 텍스트를 해석해 항목을 찾고 형식을 맞추는 구간에 둡니다. 금액이나 계좌번호처럼 한 글자만 틀려도 사고가 되는 항목은 생성 결과를 그대로 쓰지 않고 판독 결과와 대조합니다.

추출 기준에 예외 규칙을 함께 씁니다

지시문에는 찾을 항목만이 아니라 값이 없거나 읽히지 않을 때의 처리 규칙을 함께 적습니다. 서명란이 비어 있으면 빈 값으로 두고, 금액이 두 곳에 다르게 적혀 있으면 둘 다 돌려주도록 정하는 식입니다. 예외 규칙이 없으면 모델은 빈칸을 그럴듯한 값으로 채우려 합니다.

실제 문서로 전후를 비교해 검증합니다

도입 전에 실제 업무 문서와 정답 데이터를 모아 항목별 정확도를 측정합니다. 글자 단위 일치와 별도로 원본에 없는 값이 나온 경우를 따로 세어야 LLM OCR의 위험을 제대로 볼 수 있습니다. 모델이나 지시문을 바꿀 때마다 같은 문서로 다시 측정합니다.

국내 환경에서의 LLM OCR

국내 금융과 공공 문서에는 주민등록번호와 계좌번호 같은 개인정보가 많고, 망분리 규제로 외부 모델 API를 쓰기 어려운 경우가 많습니다. 이 때문에 내부에 설치한 모델로 판독과 해석을 모두 처리하는 구성이 흔합니다.

한글 손글씨와 도장, 한자가 섞인 오래된 서식, 팩스로 받은 저화질 문서처럼 국내 문서에 자주 나오는 형태에서 성능을 따로 확인해야 합니다. 범용 모델이 영어 문서에서 보인 성능이 한국어 업무 문서에서 그대로 나오지는 않습니다.