데이터와 품질
AI 레디 데이터란 무엇인가: AI가 바로 읽고 쓸 수 있게 정리된 데이터 완전 정리
한국딥러닝작성
AI 레디 데이터란, 문서와 기록을 AI가 검색하고 판단하고 처리하는 데 바로 쓸 수 있도록 구조와 출처, 품질, 이용 조건을 갖춰 정리한 데이터로, 생성형 AI와 AI Agent를 업무에 쓰기 위한 출발점이 됩니다.
AI 레디 데이터가 필요한 이유
파일이 있다고 쓸 수 있는 것은 아니었습니다.
많은 조직이 이미 문서를 전산화해 두었습니다. 종이 서류는 스캔 파일이 되었고 보고서와 규정은 한글 파일과 PDF로 쌓여 있습니다. 그런데 생성형 AI를 붙여 보면 원하는 답이 나오지 않는 경우가 많습니다. 표가 글자 덩어리로 뭉개지고, 어느 문서의 몇 쪽에서 나온 내용인지 알 수 없고, 폐기된 규정과 현행 규정이 섞여 검색됩니다.
문제는 AI 모델보다 데이터 쪽에 있는 경우가 많습니다. 사람이 열어 보면 읽을 수 있는 파일과 AI가 정확하게 찾아 쓸 수 있는 데이터 사이에는 차이가 있습니다. 이 차이를 메우지 않은 채 모델만 바꾸면 결과는 크게 달라지지 않습니다.
AI Agent가 문서를 근거로 실제 업무를 처리하는 단계로 가면 요구 수준은 더 높아집니다. 판단의 근거가 된 원문 위치를 보여 줄 수 있어야 하고, 볼 권한이 없는 사람에게 민감한 정보가 노출되지 않아야 합니다.
AI 레디 데이터의 정확한 정의: 디지털화된 데이터와 무엇이 다른가
디지털화된 데이터와 AI 레디 데이터, 세 가지 축의 차이
첫째, 구조가 다릅니다. 디지털화된 데이터는 종이를 파일로 옮긴 상태여서 제목과 본문, 표와 각주의 구분이 남아 있지 않은 경우가 많습니다. AI 레디 데이터는 제목 계층과 표의 행과 열, 이미지 설명을 살려 기계가 구조를 알아볼 수 있는 형태로 바뀌어 있습니다.
둘째, 맥락 정보가 다릅니다. 디지털화된 데이터는 파일 이름 정도만 남습니다. AI 레디 데이터는 문서 종류, 작성일, 적용 기간, 원본 파일과 쪽 번호 같은 메타데이터가 내용 조각마다 연결되어 있어 검색 범위를 좁히고 근거를 되짚을 수 있습니다.
셋째, 관리 상태가 다릅니다. 디지털화된 데이터는 저장된 뒤 품질을 따로 확인하지 않습니다. AI 레디 데이터는 변환이 제대로 됐는지 확인하고, 개인정보를 가리고, 누가 볼 수 있는지를 정해 둔 상태입니다.
디지털화는 AI 레디 데이터로 가는 첫 단계입니다. 스캔과 전산화가 끝났다면 그 결과를 구조화하고 검증하는 단계가 남아 있다고 보면 됩니다.
AI 레디 데이터의 5가지 조건
AI가 바로 쓸 수 있는 데이터가 갖춰야 할 5가지 조건
첫째, 구조가 보존되어 있습니다. 표는 표로, 목록은 목록으로 남아 있어야 셀 값의 관계가 무너지지 않습니다.
둘째, 메타데이터가 붙어 있습니다. 문서 종류와 날짜, 부서처럼 검색을 거르는 기준이 되는 정보가 필요합니다.
셋째, 출처와 연결되어 있습니다. 내용 조각마다 원본 파일과 쪽, 위치가 남아 있어야 AI의 답을 사람이 확인할 수 있습니다.
넷째, 품질이 확인되어 있습니다. 인식 오류나 누락이 없는지 표본으로 점검한 기록이 있어야 합니다.
다섯째, 권한과 비식별화가 반영되어 있습니다. 민감 정보는 가려지고, 열람 권한이 데이터와 함께 관리되어야 합니다.
다섯 조건은 한 번에 모두 갖추기보다 활용 목적에 따라 우선순위를 정합니다. 사내 검색이 목적이면 구조와 메타데이터가 먼저이고, 외부 서비스에 쓰려면 권한과 비식별화를 먼저 확인합니다.
AI 레디 데이터를 만드는 실제 방법
쓰임새부터 정하고 범위를 좁힙니다
보유한 모든 문서를 한꺼번에 정리하려고 하면 끝나지 않습니다. 규정 질의응답, 계약서 검토, 민원 응대처럼 먼저 적용할 업무를 정하고 그 업무에 필요한 문서군부터 정리합니다.
업무를 정하면 어떤 메타데이터가 필요한지, 어느 수준의 품질이 필요한지도 함께 정해집니다. 실제 질문 목록을 미리 모아 두면 정리한 데이터로 답이 나오는지 바로 평가할 수 있습니다.
원본에서 구조를 살려 변환합니다
스캔 이미지와 PDF, 한글 파일을 파싱해 텍스트와 표, 이미지, 페이지 정보를 구분해 추출합니다. 추출한 결과는 JSON이나 Markdown처럼 후속 시스템이 읽기 쉬운 형식으로 저장하고, 검색에 쓸 경우 의미 단위로 청크를 나눕니다.
공공 부문의 생성형 AI 플랫폼 구축 사례에서는 텍스트와 표, 이미지, 페이지 정보, 청크, 키워드를 추출하고 비식별화까지 거쳐 DB에 적재할 수 있는 구조화 데이터로 만드는 것을 전처리 범위로 삼았습니다.
품질과 권한을 적재 전에 확인합니다
변환 결과를 원본과 대조해 표 구조가 무너지지 않았는지, 빠진 쪽이 없는지 표본으로 확인합니다. 개인정보는 적재 전에 가리고, 문서별 열람 권한을 검색 단계에서도 그대로 적용되도록 연결합니다. 원본이 개정되면 데이터도 함께 갱신되도록 버전을 관리합니다.
적재한 뒤에 문제를 발견하면 이미 그 데이터로 만들어진 답변과 처리 결과까지 거슬러 확인해야 하므로, 점검은 적재 전에 하는 편이 비용이 적게 듭니다.
국내 환경에서의 AI 레디 데이터
국내 공공기관과 기업에는 한글 파일로 된 문서가 많아 한글 파일을 구조째 읽을 수 있는지가 첫 관문이 됩니다. 결재란과 도장, 복잡하게 병합된 표도 흔해서 해외 도구로는 구조가 쉽게 무너집니다.
금융과 공공에서는 원본 문서를 외부로 내보내기 어렵기 때문에 변환과 비식별화를 내부 환경에서 처리할 수 있어야 합니다. 망분리 환경이라면 변환 도구와 저장소를 같은 내부망 안에 두는 구성을 먼저 검토합니다.
자주 묻는 질문
이미 전산화한 문서도 다시 작업해야 하나요?
파일을 다시 만들 필요는 없습니다. 기존 파일을 파싱해 구조와 메타데이터를 입히는 작업이 추가로 필요합니다.
AI 레디 데이터와 RAG 전처리는 같은 말인가요?
RAG 전처리는 검색 기반 생성형 AI에 맞춘 준비 작업이고, AI 레디 데이터는 검색뿐 아니라 추출과 자동화까지 쓸 수 있는 데이터 상태를 가리킵니다.
텍스트만 뽑으면 부족한가요?
표와 문서 구조가 사라지면 수치와 항목의 관계를 AI가 잘못 읽기 쉽습니다. 규정과 보고서처럼 표가 많은 문서일수록 구조 보존이 중요합니다.
어느 정도 품질이면 충분한가요?
활용 업무에 따라 다릅니다. 금액이나 조항을 인용하는 업무라면 표본 점검 기준을 높게 두고, 참고 검색이라면 범위를 넓히는 쪽을 먼저 택할 수 있습니다.
개인정보가 섞인 문서는 어떻게 하나요?
적재 전에 비식별화하고 원본은 권한이 있는 사람만 볼 수 있게 분리합니다. 검색 결과에서도 권한이 적용되는지 확인합니다.
한 번 만들면 계속 쓸 수 있나요?
문서는 계속 개정되고 새로 생깁니다. 새 문서가 들어오면 같은 절차로 변환되도록 파이프라인을 만들어 두어야 데이터가 낡지 않습니다.
어디서부터 시작하면 좋나요?
질문이 가장 많이 들어오거나 찾는 데 시간이 가장 오래 걸리는 문서군부터 시작하는 것이 효과를 확인하기 쉽습니다.
AI에 연결하려는 문서의 종류와 형식을 알려주시면 AI 레디 데이터로 만들기 위한 변환 범위와 점검 항목을 정리해 드립니다.
문의하기