비정형 데이터란 무엇인가: 시스템에 넣을 수 없는 데이터 완전 정리

비정형 데이터란, 행과 열로 정리되어 있지 않아 데이터베이스에 그대로 적재할 수 없는 문서와 이미지, 스캔본, 팩스처럼 사람은 읽을 수 있지만 시스템은 곧바로 다룰 수 없는 상태의 데이터를 가리킵니다.

비정형 데이터가 문제가 되는 이유

데이터는 있는데 쓸 수가 없습니다.

기업과 기관이 보유한 데이터의 대부분은 비정형입니다. 계약서와 신청서, 증빙 서류, 공문, 매뉴얼, 회의록이 파일 서버와 문서관리시스템에 쌓여 있습니다. 양으로만 보면 어느 조직도 데이터가 부족하지 않습니다.

문제는 이 데이터가 조회되지 않는다는 데 있습니다. 어느 계약서에 어떤 조건이 들어 있는지 확인하려면 사람이 파일을 열어 읽어야 합니다. 생성형 AI를 도입해도 사정은 크게 달라지지 않습니다. 모델에게 줄 수 있는 형태가 아니기 때문입니다. 업무 자동화든 검색이든 출발점은 이 데이터를 읽어 내는 지점에 있습니다.

비정형 데이터의 정확한 정의: 정형 데이터와 무엇이 다른가

정형 데이터와 비정형 데이터, 세 가지 축의 차이

첫째, 형태가 다릅니다. 정형 데이터는 항목과 값이 미리 정해진 구조 안에 들어 있습니다. 비정형 데이터에는 그 구조가 없습니다. 같은 사업자등록번호라도 어떤 문서에서는 표 안에, 어떤 문서에서는 문장 속에, 어떤 문서에서는 도장 옆에 적혀 있습니다.

둘째, 다루는 방법이 다릅니다. 정형 데이터는 조회하면 됩니다. 비정형 데이터는 읽고 판별해 구조를 부여하는 단계를 거쳐야 조회 대상이 됩니다. 이 단계가 문서 AI의 영역입니다.

셋째, 품질을 재는 방법이 다릅니다. 정형 데이터는 누락과 중복을 봅니다. 비정형 데이터는 인식 정확도와 구조 복원 정확도를 함께 봐야 합니다. 글자를 정확히 읽어도 항목 연결이 어긋나면 쓸 수 없기 때문입니다.

두 종류는 대립하지 않습니다. 비정형 데이터를 처리하는 목적은 결국 정형 데이터로 바꾸어 기존 시스템에 넣는 것입니다.

업무 문서를 어렵게 만드는 5가지 요소

실제 접수 문서에서 나타나는 5가지 요소

첫째, 형식이 제각각입니다. PDF와 이미지뿐 아니라 한글 워드프로세서 문서, 오피스 문서, 스프레드시트가 한 업무 안에 섞여 들어옵니다.

둘째, 상태가 고르지 않습니다. 팩스로 접수된 저화질 스캔본, 바닥에 놓고 촬영해 구김과 그림자가 생긴 이미지, 여러 번 재전송되며 헤더가 겹쳐 쌓인 문서가 함께 있습니다.

셋째, 방해 요소가 많습니다. 도장이 표를 침범하고 취소선이 글자를 가로지르며 워터마크가 겹칩니다. 사람에게는 자연스럽지만 기계에게는 오독의 원인이 됩니다.

넷째, 서식이 계속 바뀝니다. 같은 신청서라도 지점과 연도에 따라 배치가 달라지고 관공서 서식은 주기적으로 개정됩니다.

다섯째, 한 건이 여러 문서로 구성됩니다. 업무 한 건에 평균 여섯 종의 서류가 들어오고 서류 사이의 정보가 맞는지 대조해야 처리가 끝납니다.

비정형 데이터를 다루는 실제 방법

읽기와 구조화를 나누어 설계합니다

비정형 데이터 처리는 두 단계로 나눕니다. 먼저 문자와 표, 그림을 인식하고, 그다음 그것들이 이루는 구조와 업무 항목을 부여합니다.

이렇게 나누면 문제가 생겼을 때 원인을 좁힐 수 있습니다. 글자가 틀렸다면 인식의 문제이고, 글자는 맞는데 항목 연결이 어긋났다면 구조화의 문제입니다.

목적에 따라 산출물을 정합니다

같은 문서라도 무엇에 쓸지에 따라 만들어야 할 결과가 다릅니다. 업무 시스템에 값을 넣는 것이 목적이면 항목과 값의 쌍이 필요하고, 검색과 생성에 쓸 것이라면 구조가 보존된 형태와 조각이 필요합니다.

한 번 분석해 여러 산출물을 함께 만들어 두면 이후 활용 방식이 바뀌어도 원본을 다시 처리하지 않아도 됩니다.

국내 환경에서의 비정형 데이터

국내 공공과 금융의 문서 자산에는 한글 워드프로세서 형식의 비중이 큽니다. 이 형식을 원본 그대로 처리할 수 있는지가 첫 관문이고, 변환 과정에서 표의 병합 정보가 손실되면 회복할 방법이 없습니다.

접수 경로도 조건이 됩니다. 팩스가 여전히 쓰이고 영업점 스캔과 휴대전화 촬영본이 섞입니다. 여기에 개인정보가 담긴 문서가 많아 비식별화 처리와 내부망 운영이 함께 요구됩니다.

문서의 상태까지 함께 봅니다

비정형 데이터라고 하면 형식이 정해지지 않았다는 점만 떠올리기 쉽습니다. 실제 업무에서 더 큰 변수는 문서의 상태입니다. 같은 서식이라도 어떤 경로로 들어왔느냐에 따라 처리 난이도가 완전히 달라집니다.

실제 접수함에는 스캔할 때 접힌 상단이 잘린 문서, 복사를 거듭하며 여백과 본문 일부가 손실된 문서, 바닥에 놓고 촬영해 구김과 그림자가 생긴 문서, 여러 차례 재전송되며 날짜 표기가 겹쳐 쌓인 팩스가 들어옵니다. 여기에 도장과 취소선, 워터마크, 필기체가 섞입니다.

그래서 도입을 검토할 때는 서식 목록만이 아니라 접수 경로별 상태를 함께 정리하는 편이 좋습니다. 깨끗한 표본으로 측정한 값과 실제 접수함의 문서로 측정한 값은 다르게 나옵니다.

자주 묻는 질문