기업 LLM 시대, AI 경쟁력은 모델이 아니라 '컨텍스트 관리 시스템'에 있다

한국딥러닝 김동현 미래AI개발팀장이 AI타임스에 '기업 LLM 시대, AI 경쟁력은 모델이 아니라 컨텍스트 관리 시스템에 있다'를 기고했다.

도입 이후의 질문

기고는 국내 대기업의 생성 AI 전면 도입에서 출발한다. 삼성은 전 관계사에 챗GPT, 제미나이 같은 생성 AI를 들였고, LG그룹은 LG CNS를 통해 계열사에 기업용 클로드를 적용했다. 생성 AI는 이제 '도입할 것인가'가 아니라 '어떻게 활용할 것인가'의 단계로 넘어왔다.

하지만 현장의 질문은 다르다. 어떤 LLM이 뛰어난가보다, 이 AI가 우리 회사의 문서를 제대로 이해하는가, 그 이해가 매번 같은 품질로 반복되는가다. 필자는 최신 LLM을 도입하고도 업무 자동화 성과가 기대에 못 미치는 사례가 많은 이유를 모델 성능이 아니라 AI가 조직 내부 데이터를 이해하지 못하는 데서 찾는다.

모델보다 컨텍스트

에이전트 시대의 과제는 프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로 옮겨 가고 있다. 계약서 검토, 품질 문서 분석, 보고서 작성, 사내 지식 검색처럼 기업이 AI에 맡기려는 일은 대부분 내부 맥락을 알아야 할 수 있다.

"AI의 성능은 질문을 얼마나 잘 작성했는가보다 어떤 업무 맥락(Context)을 지속적으로 제공 받는가에 의해 결정됩니다."

문제는 기업의 지식이 데이터베이스에만 있지 않다는 점이다. 계약서와 보고서, 공문, 설계도, 검사성적서, 품질 문서, 이메일, 스캔 이미지와 PDF에 흩어져 있다. 필자는 이런 비정형 문서를 AI가 이해할 수 있는 형태로 바꾸는 일이 기업 AI의 가장 큰 병목이라고 지적한다.

좋은 컨텍스트는 만들어진다

필자에 따르면 문서를 OCR로 텍스트화하는 것만으로는 부족하다. 제목과 본문을 구분하고, 표 구조를 유지하고, 키와 값을 추출하고, 문서 간 계층을 이해해야 한다. 이런 문서 이해 기술이 RAG의 정확도와 에이전트의 안정성을 높이며, 금융·공공·제조·보험 산업에서 특히 중요하다는 것이다. 기고는 한국딥러닝의 문서 AI 기술이 OCRBench v2 영어 부문에서 68.1점으로 1위, 글로벌 문서 파싱 벤치마크 ParseBench에서 76.4점으로 종합 1위를 기록했다고 소개했다.

"좋은 컨텍스트는 주어지는 것이 아니라 만들어지는 것입니다."

컨텍스트 관리 시스템을 구축하라

결론부에서 필자는 기업의 고민이 '어떤 LLM을 고를까'에서 '어떤 컨텍스트를 지속적으로 관리할까'로 바뀌어야 한다고 제안한다. 공공, 금융, 제조처럼 보안과 책임성이 중요한 산업에서는 데이터 위치와 접근 권한, 감사 체계가 기본이다. 그 위에서 일관된 결과가 나오도록 문서를 체계적으로 관리하는 능력이 핵심 경쟁력이 된다. 필자는 앞으로 기업 AI의 핵심 인프라가 이러한 컨텍스트 관리 시스템이 될 것이라고 전망하며, 기업 AI의 경쟁력은 더 뛰어난 모델에서 나오지 않는다고 강조했다.

전문은 AI타임스에 실렸다.