VLM이란 무엇인가: 좌표 없이 문서를 이해하는 시각언어모델 완전 정리

VLM(Vision Language Model)이란, 문서 이미지와 언어를 하나의 모델 안에서 함께 처리해 글자뿐 아니라 그 글자가 놓인 배치와 주변 항목의 관계까지 해석하고, 사람이 문서를 읽는 방식에 가깝게 의미를 파악하는 모델입니다.

VLM이 등장한 배경

서식이 바뀌면 인식이 멈췄습니다.

문서 인식 기술은 오랫동안 좌표를 기준으로 동작했습니다. 신청서의 어느 위치에 이름이 있고 어느 위치에 금액이 있는지를 미리 지정해 두고, 그 자리에서 글자를 읽어 오는 방식입니다. 서식이 고정된 문서에서는 잘 작동했습니다. 문제는 실제 업무 문서가 고정되어 있지 않다는 점이었습니다. 같은 등기사항전부증명서라도 발급 시점과 기재 사항에 따라 항목의 순서와 위치가 달라지고, 같은 신청서라도 지점과 연도에 따라 배치가 바뀝니다. 좌표를 지정하는 방식에서는 서식이 하나 늘어날 때마다 라벨링과 학습이 하나씩 더 필요했고, 문서 유형이 수십 종에 이르는 금융 업무에서는 이 비용이 도입 자체를 가로막았습니다.

VLM은 이 지점을 다르게 접근합니다. 어디를 읽으라고 좌표로 지정하는 대신, 무엇을 찾으라고 언어로 지시하면 모델이 문서 전체를 보고 그 항목을 찾아냅니다. 접수 마감일과 지원 금액을 추출해 달라는 요청 하나로 공고문에서 해당 값을 꺼내 올 수 있게 된 것입니다.

VLM의 정확한 정의: 규칙 기반 OCR과 무엇이 다른가

규칙 기반 OCR과 VLM, 세 가지 축의 차이

첫째, 대상이 다릅니다. 규칙 기반 OCR은 지정된 영역 안의 픽셀을 대상으로 삼습니다. VLM은 페이지 전체의 시각 정보와 그 안에 적힌 언어를 함께 대상으로 삼습니다. 그래서 항목명과 값이 떨어져 있어도 둘 사이의 관계를 근거로 연결할 수 있고, 표 안의 체크박스가 선택된 상태인지 아닌지도 주변 문맥과 함께 판단합니다.

둘째, 목표가 다릅니다. 규칙 기반 OCR의 목표는 지정된 위치의 글자를 정확히 옮기는 것입니다. VLM의 목표는 문서가 무엇을 말하고 있는지를 파악해 요청받은 정보를 돌려주는 것입니다. 앞의 방식이 위치를 알고 값을 모르는 상태에서 출발한다면, 뒤의 방식은 값의 이름을 알고 위치를 모르는 상태에서 출발합니다.

셋째, 성과지표가 다릅니다. 규칙 기반 OCR은 문자 단위 정확도로 평가하는 것으로 충분했습니다. VLM은 문자 정확도에 더해 항목 단위의 값 정확도와 서식이 바뀌었을 때의 성능 유지 정도를 함께 봐야 합니다. 공공행정문서 90만 장에서 1천 장을 무작위로 뽑아 평가한 결과를 보면, 키 인식 정확도는 97.3%와 80.4%로 벌어졌고 값 인식 정확도는 96.0%와 48.7%로 두 배 가까이 벌어졌습니다. 항목의 이름을 찾는 것보다 그 이름에 붙은 값을 정확히 가져오는 데서 기술 차이가 훨씬 크게 드러납니다.

두 방식은 대체 관계가 아닙니다. 서식이 완전히 고정되어 있고 처리량이 많은 구간에서는 규칙 기반 방식이 여전히 빠르고 저렴합니다. 문서 유형이 많고 서식이 자주 바뀌는 구간에 VLM을 배치하는 조합이 현실적입니다.

업무에 투입할 수 있는 VLM의 5가지 요건

실제 운영에 들어가는 VLM의 5가지 요건

첫째, 문서에 특화되어 있어야 합니다. 범용 시각언어모델은 사진과 도표를 설명하는 데 강하지만 업무 문서에서 요구되는 것은 설명이 아니라 값입니다. 인장과 취소선, 겹친 글씨, 네 겹으로 쌓인 팩스 헤더처럼 일반 이미지에는 없는 요소를 학습해 두어야 실제 접수 문서에서 성능이 나옵니다.

둘째, 없는 값을 만들어 내지 않아야 합니다. VLM의 구조적 약점은 확신이 없을 때 가장 그럴듯한 값으로 빈칸을 채우는 경향입니다. 문서 업무에서는 이 성질이 그대로 사고가 됩니다. 확신이 낮은 항목은 값을 확정하지 않고 검토 대상으로 넘기는 통제가 모델 안에 들어 있어야 합니다.

셋째, 값의 위치를 함께 돌려주어야 합니다. 좌표 없이 이해한다는 말이 좌표를 돌려주지 않는다는 뜻은 아닙니다. 입력 단계에서 좌표 지정이 필요 없다는 것이고, 출력 단계에서는 그 값이 원문 어디에서 나왔는지를 함께 제시해야 검수가 가능합니다.

넷째, 표와 구조를 함께 해석해야 합니다. 문자만 인식하고 배치를 잃으면 항목과 값의 연결이 끊어집니다. 국제 문서 파싱 평가에서 상위권 모델 사이에서도 구조 복원 항목의 점수 차이가 크게 벌어지는 이유가 여기에 있습니다.

다섯째, 자체 모델이어야 통제가 가능합니다. 외부 모델을 호출하는 구조에서는 문서 원본이 외부로 나가고, 모델이 갱신될 때 성능이 예고 없이 바뀝니다. 금융과 공공에서는 두 조건 모두 도입을 막는 요인이 됩니다.

VLM의 실제 적용 방법

추출 기준을 문장으로 설계합니다

VLM 기반 문서 처리에서 프로젝트의 첫 산출물은 학습 데이터가 아니라 추출 기준서입니다. 청구 일자를 문서 상단에서 찾아 연월일 형식으로 정리하라거나, 총 청구 금액은 표 마지막 행의 합계에서 가져오되 통화 기호와 쉼표를 제거하라거나, 계약번호는 증권번호나 계약 No.로 표기된 경우도 같은 항목으로 취급하라는 식의 지시를 항목마다 정리합니다.

이 방식의 장점은 서식이 바뀌었을 때 대응 비용이 낮다는 데 있습니다. 새 항목이 추가되거나 표기 방식이 달라져도 모델을 다시 학습시키는 대신 기준서를 고쳐서 대응합니다. 다만 기준서가 곧 성능이므로, 이 문서를 누가 관리하고 어떻게 버전을 남길지를 도입 초기에 정해 두어야 합니다.

추론 환경을 먼저 확인합니다

VLM은 규칙 기반 방식보다 연산량이 큽니다. 실제 운영 사례를 보면 A100 급 GPU 기준으로 장당 0.5초 수준의 처리 속도가 나오고, 배치 처리에서는 시간당 1,800장 규모가 확인되었습니다. 100장을 3.5분에, 500장을 17분에 처리한 기록도 있습니다. 도입을 검토할 때는 월 처리량과 피크 시간대의 집중도를 함께 계산해 GPU 규모를 산정해야 합니다.

배포 형태도 함께 정합니다. 컨테이너 기반으로 내부망에 설치하는 구성이 일반적이며, 모델 추론과 후처리, 결과 저장을 계층으로 나누어 두면 이후 업무 시스템 연계가 수월해집니다.

국내 환경에서의 VLM

국내 도입에서 가장 먼저 걸리는 조건은 망분리입니다. 업무망에서 외부 API를 호출할 수 없으므로, 모델을 내부에 설치해 운영할 수 있는지가 기술 검토의 출발점이 됩니다. 해외 대형 모델을 API로 부르는 구성은 이 지점에서 검토 대상에서 제외되는 경우가 많습니다.

문서 자체의 조건도 다릅니다. 한글 워드프로세서 문서와 관공서 서식, 팩스로 접수된 저화질 스캔본이 실제 처리 대상이고, 여기에 도장과 필기체가 함께 들어옵니다. 국내 문서로 학습과 검증을 반복한 모델이 유리한 영역입니다.

다국어 확장도 고려 대상입니다. 해외 법인의 여신 심사 문서를 처리한 사례에서는 성조 문자를 포함한 현지어 인쇄체에서 95%, 현지어 필기체에서 92%의 정확도가 확인되었습니다. 언어별로 성능 편차가 있으므로 대상 언어의 실제 문서로 검증하는 절차가 필요합니다.

규칙 기반 구간과 나누어 배치합니다

모든 구간에 시각언어모델을 쓸 필요는 없습니다. 서식이 완전히 고정되어 있고 물량이 큰 구간, 예를 들어 매일 같은 양식으로 들어오는 정형 보고서라면 규칙 기반 처리가 더 빠르고 저렴합니다.

실무에서 자주 쓰는 배치는 앞단과 뒷단을 나누는 방식입니다. 접수된 문서가 어떤 서식인지 알 수 없는 앞단과 서식마다 배치가 흔들리는 구간은 시각언어모델이 맡고, 추출된 값을 정해진 화면과 절차로 입력하는 뒷단은 자동화 도구가 맡습니다. 이렇게 나누면 연산 비용이 필요한 곳에만 집중되고, 규칙이 고정된 구간의 안정성도 그대로 유지됩니다.

구간을 나눌 때 기준은 서식의 변동성입니다. 지난 1년간 서식이 몇 번 바뀌었는지, 새 서식이 얼마나 자주 추가되는지를 세어 보면 어디에 모델을 둘지가 대체로 정해집니다.

모델 갱신 절차를 함께 정합니다

모델은 한 번 설치하고 끝나지 않습니다. 새로운 문서군이 들어오거나 성능 개선판이 나오면 반영해야 하는데, 이 과정이 통제되지 않으면 어제까지 잘 나오던 항목이 오늘 갑자기 달라지는 일이 생깁니다.

안전한 구성은 세 단계입니다. 먼저 변경된 추출 기준이나 새 모델 버전을 검수 환경에 올립니다. 그다음 같은 평가 문서로 기존 버전과 성능을 비교합니다. 마지막으로 결과를 확인한 담당자가 승인하면 운영에 반영하고, 문제가 생기면 이전 버전으로 되돌립니다.

이 절차를 갖추면 변경 이력이 자산으로 남습니다. 어떤 서식 때문에 무엇을 바꿨고 그 결과 성능이 어떻게 달라졌는지가 기록되므로, 담당자가 바뀌어도 운영 지식이 흩어지지 않습니다.

자주 묻는 질문