에이전트가 실패하는 이유는 지능이 아니라 제약

한국딥러닝 김동현 미래AI개발팀장이 AI타임스에 '에이전트가 실패하는 이유는 지능이 아니라 제약'을 기고했다.

데모와 파일럿에 머문 2025년

기고는 2025년 AI 에이전트 열풍의 성적표에서 출발한다. 기대에 비해 결과물은 화려한 데모와 조심스러운 파일럿이 대부분이었다. 텍스트 환경에서는 잘 작동하던 에이전트가 실제 업무 화면과 다단계 절차에서는 오류를 누적하고 예외 상황에서 흔들리면서, '현장에 두기엔 불안한 자동화'라는 평가를 받았다는 것이다.

문제는 지능이 아니라 재현성

필자는 문제의 본질을 재현성에서 찾는다. LLM 에이전트는 확률적으로 동작해 같은 입력에서도 출력이 달라질 수 있고, 문서나 데이터가 불완전하면 빈틈을 그럴듯하게 메우는 환각이 생긴다. 콘텐츠 생성에서는 장점일 수 있지만 기업 업무에서는 치명적이다. 기업이 원하는 것은 더 똑똑한 답변이 아니라 예측 가능한 실행과 책임, 감사 가능성이라는 진단이다.

"기업은 '같은 입력에 같은 결과'가 도출돼야만 운영이 가능하며 책임과 감사가 가능해집니다."

— 김동현 한국딥러닝 미래AI개발팀장

하이브리드 접근과 판정의 가치

기고는 세일즈포스가 LLM의 무작위성을 신뢰성의 벽으로 보고 결정론적 자동화를 결합하는 방향으로 선회한 사례를 든다. 업무의 중요도에 따라 자율성과 통제 수준을 다르게 설계해야 하며, 핵심은 LLM을 덜 쓰는 것이 아니라 LLM이 임의로 행동하지 못하게 만드는 데 있다는 설명이다.

수익과 리스크 절감이 실제로 일어나는 곳은 카드뉴스 제작이나 회의록 요약이 아니라 '판정' 영역이라는 주장도 편다. 보험 문서 업무의 가치는 요약이 아니라 요건 충족 여부를 패스·페일로 가르는 데 있다. 필수 항목 누락, 서명과 날짜, 증빙 적합성처럼 규칙으로 정의할 수 있는 부분은 룰과 스키마, 트리거로 처리하고, 애매한 예외는 LLM이 근거와 후보를 함께 내놓은 뒤 검증기를 통과시키는 구조가 안정적이라는 것이다.

"이렇게 하면 환각현상을 '없애려는 소망'이 아니라 사고로 번지지 않게 '막는' 설계로 다룰 수 있게 됩니다."

성패를 가르는 세 가지 제약

필자는 기업용 에이전트에 필요한 제약 설계로 세 가지를 제시한다. 결과 포맷과 허용 범위를 고정해 자유 서술을 줄이는 출력 제한, 규칙 점검과 교차검증을 두고 실패하면 중단하거나 상위 단계로 넘기는 것을 기본값으로 삼는 검증 강제, 호출할 수 있는 도구와 실행 권한을 좁히고 로그와 리플레이로 추적할 수 있게 하는 권한 최소화다. 에이전트 시대의 경쟁은 더 큰 모델이 아니라 제약된 실행 공간을 얼마나 정교하게 설계하는지에 달려 있으며, 문서 기반 업무가 이런 제약을 정의하기에 가장 좋은 영역이라는 것이 결론이다.

전문은 AI타임스에 실렸다.