한국딥러닝, 보이스피싱 피해구제의 골든타임을 되찾다

보이스피싱 피해구제는 시간 싸움이다. 한국딥러닝이 IBK기업은행과 함께 2026년 4월부터 8월까지 진행한 실증에서 비전언어모델(VLM) 기반 AI 에이전트로 피해구제 서류 처리시간을 기존 수작업 대비 88% 줄였다. 은행 직원이 팩스 서류를 하나하나 확인하고 입력하던 시간을 피해 대응에 돌릴 길이 열렸다. 이 과제는 재정경제부와 과학기술정보통신부가 주최한 '2026 공공기관 AI혁신 챌린지' AI 서비스 실증(PoC) 부문에서 우수상을 받았고, IBK기업은행은 장관상을 수상했다.

골든타임을 잡아먹던 팩스 서류

보이스피싱 피해구제는 피해자가 신청서와 신분증을 팩스로 접수하면, 은행 직원이 서류를 하나하나 확인하고 필요한 정보를 시스템에 직접 입력하는 방식으로 처리돼 왔다. 피해금 동결과 구제는 속도가 핵심인데, 서류 확인과 입력에만 많은 시간이 들어 골든타임 안에 대응하기 어려웠다.

처리 대상은 손글씨가 섞인 피해구제신청서와 신분증이다. 팩스로 들어온 신분증은 해상도가 낮은 경우가 많아 기존 AI-OCR로는 정확히 읽기 어려웠다. 접수된 서류가 어떤 문서인지 구분하는 일부터 사람이 맡아야 했던 이유다.

실증은 IBK기업은행 금융소비자지원부 주도로 2026년 4월부터 8월까지 다섯 달 동안 진행됐다. 한국딥러닝은 핵심 기술을 맡아 VLM 엔진 고도화, 문서 처리 파이프라인, 검수 대시보드 구축, 성능 검증, 은행 내부망 배포까지 전 과정을 수행했다.

"보이스피싱 피해구제에서 가장 아까운 시간은 피해 대응에 쓰지 못하고 서류 처리에 소모되는 시간입니다."

— 김지현 한국딥러닝 대표

팩스가 도착한 뒤 벌어지는 일

양사는 한국딥러닝의 금융 특화 AI 에이전트 DEEP Agent for 금융(딥 에이전트 for 금융)으로 자동화 시스템을 구축했다. 팩스가 도착하면 AI가 먼저 서류가 피해구제신청서인지 신분증인지 가려낸다. 이어 서류마다 업무에 필요한 핵심 정보를 뽑아내고, 서류 내용을 분석해 어떤 유형의 범죄인지까지 추론한다.

AI-OCR과 VLM이 각각 읽은 결과는 서로 맞대어 교차 검증된다. 신뢰도가 높은 서류는 그대로 자동 처리되고, 신뢰도가 낮은 서류만 담당자 검수로 넘어간다. 담당자는 검수 대시보드에서 결과를 확인하고 최종 판단을 내린다.

글자 추출에 초점을 맞췄던 기존 OCR과 달리, VLM은 문서의 시각 정보와 맥락을 함께 분석한다. 손글씨가 섞인 신청서와 해상도가 낮은 신분증 사본처럼 기존 AI-OCR이 고전하던 서류에서 차이가 벌어진 이유다. AI는 정보 처리와 판단을 보조하고, 최종 판단은 은행 직원이 내리는 사람 개입(HITL) 구조로 설계했다.

은행 밖으로 한 걸음도 나가지 않는 데이터

시스템은 망분리 규정에 맞춰 은행 내부망에 온프레미스로 구축됐다. 피해자의 신분증과 신청서에 담긴 금융 정보가 외부 클라우드로 나가지 않는다.

DEEP Agent for 금융은 처음부터 이런 금융 현장을 겨냥해 만든 제품이다. 2026년 4월 출시된 이 제품은 대출심사 신청서류, 피해구제 문서, 계좌·증빙서류, KYC/AML 확인 문서처럼 형식이 제각각인 금융 문서를 분류하고 핵심 정보를 추출해 내부 시스템 입력까지 한 흐름으로 잇는다. 개인정보 탐지와 비식별화, 권한 기반 접근제어, 변경 이력과 검수 로그 관리처럼 금융권이 요구하는 내부통제 기능도 기본으로 갖췄다.

인쇄체 100%, 필기체 97% 이상

실증에서 인쇄체 인식 정확도는 100%, 필기체 인식 정확도는 97% 이상을 기록했다. 문서 분류와 범죄 유형 추론은 평가 기준 100%의 정확도를 보였다. 일부 정보 추출 항목에서는 기존 AI-OCR보다 정확도가 최대 20.4%포인트 높아졌다. 숫자 한 자리, 이름 한 글자의 오류가 피해 구제를 늦출 수 있는 업무에서 나온 숫자다.

김지현 한국딥러닝 대표는 "이번 실증은 VLM 기반 AI 에이전트가 피해 대응에 필요한 시간을 확보하는 데 기여할 수 있음을 보여줬습니다"라며 "앞으로 금융기관의 반복 업무를 자동화해 운영비용을 낮추고, 금융소비자 보호에 더 많은 시간과 인력을 투입할 수 있는 환경을 만들겠습니다"라고 말했다.

IBK기업은행 금융소비자지원부 관계자는 보이스피싱 피해구제는 신속한 대응이 핵심이지만 기존에는 서류 처리에만 많은 시간이 소요됐다며, 이번 실증으로 피해구제에 필요한 대응 시간을 확보하고 금융소비자 보호를 강화할 가능성을 확인했다고 말했다.

투자사에서 실증 파트너로

IBK기업은행과 한국딥러닝의 인연은 이번 실증이 처음이 아니다. IBK기업은행은 2025년 10월 한국딥러닝의 120억 원 규모 시리즈A 1차 투자에 참여했다. 투자로 시작한 관계가 1년 만에 은행 업무 현장의 실증 성과로 이어졌다.

2027년 상반기, 실제 업무 속으로

IBK기업은행은 2027년 상반기 실제 피해구제 업무에 이 기술을 적용할 계획이다. 한국딥러닝은 이번 성과를 바탕으로 금융기관과 공공기관을 대상으로 문서 업무 자동화 사업을 넓혀 갈 방침이다.

금융 현장의 경험은 이미 쌓여 있다. 한국딥러닝은 2025년 국내 대형 금융사의 여신 서류 46종 분류·입력 자동화 프로젝트를 수주했고, DEEP Agent는 2026년 5월 국가 공인 소프트웨어 품질 인증인 GS인증 1등급을 종합 97.77점으로 받았다. 피해구제 실증은 그 경험이 금융소비자 보호라는 새로운 현장에서 증명된 사례다.