핵심 요약
문서 AI의 정확도 99%는 대개 항목 하나 기준입니다. 필수 항목 20개 서류라면 모든 항목이 맞는 서류는 약 82%에 그칠 수 있습니다
(같은 정확도·독립 가정의 계산 예시).금융기관은 정확도와 함께 완전자동처리율(STP), 자동 처리 오류율, 검수량과 검수 시간, 변경 대응 시간을 봐야 합니다.
STP와 자동 처리 오류율은 같은 서류·같은 기준에서 한 쌍으로 비교해야 의미가 있습니다.
한국딥러닝의 보험금 청구 서류 사전검증에서는 사람 개입 없이 끝난 비율이 28%에서 91%로, 다시 검수할 문서가 87% 줄었습니다.
금융 AX의 상당 부분은 서류에서 시작합니다.
보험금을 지급하려면 청구서와 영수증을, 대출을 심사하려면 신청서와 재무 서류를 확인해야 합니다. 문서 AI는 이 서류를 심사에 쓸 수 있는 데이터로 바꾸는 역할을 맡습니다.
그래서 문서 AI를 비교할 때 가장 먼저 보는 숫자가 정확도입니다. 그런데 정확도 99%인 문서 AI를 써도 사람이 다시 확인해야 하는 서류는 생각보다 많이 남을 수 있습니다. 정확도는 서류 안의 항목 하나를 기준으로 세는 경우가 많지만, 심사 업무는 서류 한 건 단위로 끝나기 때문입니다.
이 글은 금융기관이 문서 AI를 평가할 때 정확도와 함께 봐야 할 네 가지 지표와,
PoC에서 바로 쓸 수 있는 체크리스트를 정리합니다.
우리 금융 업무에는 어떤 평가 기준이 필요할까요?
처리하시는 서류 종류와 업무 흐름을 알려 주시면,
네 가지 지표를 어떤 단위와 기준으로 확인할지 한국딥러닝이 함께 검토해 드립니다.
정확도 99%가 자동화 성과를 보장하지 않는 이유
필수 항목이 20개인 대출 신청서를 예로 들어 보겠습니다.
이 서류를 사람 확인 없이 넘기려면 20개 항목이 모두 맞아야 합니다.
항목 하나의 정확도가 99%일 때, 20개가 모두 맞는 서류는 약 82%입니다. 다섯 건 중 한 건 가까이에는 틀린 항목이 하나 이상 있다는 뜻이고, 그 서류는 결국 사람이 다시 봐야 합니다.
이 숫자는 개념을 보여 주기 위한 계산입니다. 모든 항목의 정확도가 같고, 한 항목이 틀리는 일이 다른 항목에 영향을 주지 않는다고 가정했습니다. 특정 금융기관이나 제품에서 측정한 결과가 아닙니다.
그래서 정확도 숫자를 받으면 무엇을 단위로, 어떤 서류로 셌는지부터 확인해야 합니다. 서류 상태에 따라 정확도가 흔들리는 이유는 OCR 정확도를 결정짓는 5가지 핵심 요소에서 다뤘습니다.
보험금 청구 업무에서 실제로 달라진 숫자
보험금 청구는 정확도와 업무 성과의 차이가 잘 드러나는 업무입니다. 청구 한 건에는 청구서, 진료비 영수증, 신분증, 통장 사본처럼 형식이 다른 서류가 함께 들어옵니다. 이 중 하나라도 불확실하면 청구 전체가 사람에게 넘어갑니다.
그래서 OCR로 서류를 먼저 읽어도 일이 끝나지 않습니다.
결과가 불확실하거나 항목이 빠진 서류는 담당자가 원문과 다시 대조해야 합니다.
OCR이 글자를 읽은 뒤에도, 그 결과를 믿고 다음 단계로 넘길지 판단하는 일은 사람의 몫으로 남는 셈입니다.
한국딥러닝은 보험금 청구 서류로 진행한 사전검증에서 이 판단 단계까지 결과를 측정했습니다.
지표 | 사전검증 결과 |
|---|---|
사람 개입 없이 끝난 비율 | 28% → 91% |
사람이 다시 검수할 문서 | 87% 감소 |
실제 운영 결과가 아니라 사전검증 결과이며, 평가에 쓴 서류 수와 기간은 공개되지 않았습니다. 확신이 낮은 결과는 예외로 분류해 사람이 원문을 확인하도록 설계했다는 점도 이 결과의 일부입니다. 자동 처리 비율이 올라간 만큼, 남은 예외를 어떻게 걸러 냈는지가 함께 설명돼야 하기 때문입니다.
이 결과가 보여 주는 것은 성과를 재는 단위입니다. 금융 업무에서 의미 있는 숫자는 "몇 % 맞았는가"보다 "몇 건을 사람이 다시 보지 않아도 됐는가"입니다.
금융기관이 확인해야 할 네 가지 성과 지표
지표 | 답해야 할 질문 |
|---|---|
완전자동처리율(STP) | 사람이 다시 확인하지 않고 끝나는 업무는 얼마나 되는가? |
자동 처리 오류율 | 자동으로 끝난 건 중 틀린 값이 남은 비율은 얼마인가? |
검수량과 검수 시간 | 사람이 확인할 업무가 실제로 얼마나 줄었는가? |
변경 대응 시간 | 서식이나 기준이 바뀌면 얼마나 빠르고 안정적으로 대응하는가? |
앞의 두 지표는 반드시 한 쌍으로 봐야 합니다.
문서 AI는 결과가 불확실하면 사람에게 넘기는 기준을 갖고 있습니다. 이 기준을 느슨하게 하면 자동으로 끝나는 비율은 쉽게 올라가지만, 틀린 값이 그대로 통과할 가능성도 함께 커집니다.
⏩ 완전자동처리율(STP)
서류 100건 중 몇 건을 사람이 다시 확인하지 않고 처리할 수 있는지를 나타냅니다(100건은 설명을 위한 예시입니다).
먼저 "한 건"이 무엇인지 정해야 합니다. 보험금 청구에는 청구서, 영수증, 신분증이 함께 들어옵니다. 영수증 한 장이 자동으로 처리돼도, 신분증 확인 때문에 청구 한 건은 사람에게 넘어갈 수 있습니다. 담당자의 업무량과 맞는 단위는 보통 신청 한 건입니다. 값을 읽는 데까지인지, 심사 시스템 입력까지인지처럼 "자동 완료"의 범위도 함께 정해야 합니다.
⏩ 자동 처리 오류율
자동으로 끝난 건을 나중에 뽑아 확인했을 때 틀린 값이 섞여 있던 비율입니다. 업계 표준 용어는 아니며, 기관에 따라 사후 검증 오류율 등으로 부르기도 합니다.
이 숫자는 측정 방법에 따라 크게 달라집니다. 표본을 업무와 서류 종류별로 고르게 뽑았는지, 어떤 항목을 확인했는지 밝혀야 합니다. 주소의 띄어쓰기와 대출 금액의 숫자 하나는 같은 오류가 아니므로, 업무에 직접 영향을 주는 항목의 오류는 따로 집계하는 편이 좋습니다.
STP와 이 오류율은 같은 평가 서류, 같은 처리 단위, 같은 검증 기준에서 비교해야 의미가 있습니다.
⏩ 검수량과 검수 시간
사람에게 넘어간 건의 비율과, 한 건을 확인해 넘기는 데 걸린 시간입니다. 이 지표는 인력을 줄였는지와는 다른 질문입니다. 같은 인원이 더 많은 신청을 처리하거나 처리 기간이 짧아지는 것도 성과입니다. 검수 화면이 확인할 위치를 바로 보여 주는지에 따라 건당 시간이 크게 달라집니다.
⏩ 변경 대응 시간
새 상품으로 신청서가 바뀌거나 심사 기준이 바뀐 뒤, 앞의 지표들이 원래 수준으로 돌아오기까지 걸린 시간입니다. 금융 업무에서는 속도와 함께 바꾸기 전후를 같은 서류로 비교했는지, 문제가 생기면 되돌릴 수 있는지, 변경 기록이 남는지를 확인해야 합니다. 변경을 운영하는 방식은 아래에서 다뤘습니다.
우리 회사의 PoC에서는 무엇을 확인해야 할까?
금융위원회의 「금융분야 인공지능 가이드라인」(2026년 6월 22일 시행)은 AI를 업무의 보조수단으로 보고, 최종 의사결정과 책임은 임직원이 지도록 하는 원칙을 담고 있습니다. 법적 의무가 아닌 자율규제이지만, 이 원칙에 따르려면 어떤 값이 자동으로 확정됐고 어떤 값을 사람이 확인했는지 설명할 수 있어야 합니다. 네 지표를 계산하는 데 필요한 기록도 같습니다.
공급사 제안서나 PoC 결과 보고서를 받았다면, 결재 전에 다음 질문에 답이 있는지 확인하십시오.
정확도의 단위: 글자, 항목, 서류 중 무엇으로 셌는가
평가 서류: 팩스본, 촬영본, 오래된 양식이 실제 비율대로 들어갔는가
STP의 정의: "한 건"과 "자동 완료"의 범위가 정해져 있는가
오류율 확인: 자동으로 끝난 건을 사후에 표본 검증한 결과가 있는가
넘기는 기준: 기준을 바꿨을 때 STP와 오류율이 함께 어떻게 변하는가
검수 화면: 담당자가 확인할 원문 위치를 보여 주는가
변경과 기록: 서식 변경을 비교·되돌리기·기록할 수 있는가
모든 공급사를 같은 평가 서류와 같은 정답 기준으로 비교해야 이 질문의 답을 서로 견줄 수 있습니다. PoC의 전체 진행 절차는 AI PoC 검증 기준과 도입 체크리스트를 참고하십시오.
한국딥러닝은 이 지표를 어떻게 다루는가
한국딥러닝은 문서와 비정형 데이터를 이해하는 기술 위에서,
사와 검토 업무를 수행하는 AI 에이전트를 만듭니다.
자동 처리와 예외 검수: DEEP Agent는 서류 분류, 정보 추출, 값 대조와 계산을 하나의 흐름으로 처리하고, 추가 확인이 필요한 항목만 담당자에게 넘깁니다. STP와 오류율을 함께 관리하는 출발점입니다.
검수 시간 단축: 확인할 항목을 원문 위치와 함께 보여 줘, 담당자가 서류 전체를 다시 읽지 않아도 됩니다. 고친 값은 이후 품질 평가의 정답 데이터로 쌓입니다.
변경 대응: DEEP Ops에서는 추출 기준을 바꾼 뒤 운영 중인 버전과 같은 서류로 결과를 비교하고, 필요하면 이전 버전으로 되돌릴 수 있습니다.
보안 환경: 온프레미스와 폐쇄망에도 설치할 수 있습니다.
구성 방식은 금융권 폐쇄망 AI 문서 자동화에서 볼 수 있습니다.
어떤 문서 AI도 모든 서류를 사람 확인 없이 처리하지는 못하며, 지표의 목표치는 업무별 위험 수준에 따라 금융기관이 정해야 합니다. 여신 심사와 법인 서류 검토에 적용된 흐름은 아래에서 확인할 수 있습니다.
정확도가 아니라 업무 자동화 성과로 확인해 보십시오.
검토 중인 업무와 서류를 알려 주시면, DEEP Agent를 서류 처리와 검수 과정에 어떻게 적용할 수 있는지 도입 상담에서 안내해 드립니다.
금융 문서 AI 도입 상담하기
정확도 옆에 두 숫자를 더 놓으십시오.
다음 PoC 결과 보고서에는 완전자동처리율과 자동 처리 오류율을 함께 올리십시오. 두 숫자를 같은 조건에서 확인할 때, 검수 업무가 실제로 얼마나 줄어드는지 판단할 수 있습니다.
자주 묻는 질문
금융 AX에서 문서 AI의 성과는 무엇으로 평가하나요?
정확도만으로는 부족합니다. 사람이 다시 확인하지 않고 끝난 비율(완전자동처리율), 자동으로 끝난 건 중 틀린 값이 남은 비율, 사람이 확인할 업무량과 시간, 서식이나 기준이 바뀌었을 때의 대응 시간을 함께 봐야 합니다.
OCR 정확도 99%면 자동화에 충분한가요?
어떤 단위로 측정했는지에 따라 다릅니다. 항목 기준 정확도가 99%여도 필수 항목이 많은 서류는 모든 항목이 맞는 비율이 크게 낮아질 수 있습니다. 정확도를 받으면 글자, 항목, 서류 중 어떤 단위로, 어떤 서류로 측정했는지 먼저 확인하십시오.
완전자동처리율(STP)은 어떻게 계산하나요?
사람의 확인이나 수정 없이 끝난 건수를 전체 처리 건수로 나눕니다. 서류 한 장 단위인지 신청 한 건 단위인지, 어디까지 처리돼야 "완료"로 볼지 먼저 정해야 합니다.
금융분야 인공지능 가이드라인에 맞추려면 문서 AI에 어떤 기능이 필요한가요?
가이드라인은 기능 목록이 아니라 원칙을 제시하는 자율규제이며, 적용 수준은 금융회사가 위험 수준에 따라 정합니다. 실무에서는 자동 확정 값과 사람이 확인한 값의 구분, 수정 기록, 운영 버전 기록을 남겨 두면 원칙에 따른 설명에 도움이 됩니다.
참고 자료
금융위원회, 「정부와 금융권이 함께 금융권 AX를 가속화해 나가겠습니다」, 2026-06-18
벤처스퀘어, 「전검증서 보험금 서류 100건 중 91건 자동 처리…한국딥러닝 '딥에이전트' 공급」, 2026-08-11
벤처스퀘어, 「한국딥러닝, 문서 AI도 고객이 직접 바꾼다…딥에이전트에 딥옵스 결합」, 2026-09-16
머니투데이, 「업무변화 맞춰 문서AI 도구도 최적화…한국딥러닝, '딥옵스' 출시」, 2026-09-02