에이전틱 AI, 오답보다 위험한 '잘못된 실행'

한국딥러닝 김동현 미래AI개발팀장이 AI타임스에 '에이전틱 AI, 오답보다 위험한 잘못된 실행'을 기고했다. 답변하던 AI가 업무를 실행하기 시작한 지금, 가장 위험한 것은 AI가 틀리는 것이 아니라 틀린 판단을 멈추지 않고 실행하는 것이라는 주장이다.

답변하던 AI가 업무를 실행하기 시작했다

기고는 정부가 2026년 7월 23일 발표한 '에이전틱 AI 이니셔티브'를 배경으로 한다. AI 경쟁의 중심이 우수한 모델의 보유에서 데이터와 시스템, 업무 흐름을 연결해 실제 업무를 수행하는 역량으로 옮겨 가고 있으며, 에이전틱 AI가 외부 시스템과 연동해 행동하면서 권한 오남용, 민감정보 유출, 목표 이탈을 관리할 안전·신뢰 체계도 과제로 떠올랐다는 진단이다.

에이전틱 AI는 목표를 작업 단위로 나누고, 필요한 정보와 도구를 고르며, 중간 결과에 따라 다음 행동을 정한다. 기업 업무에서는 문서 검토에서 멈추지 않고 누락 자료 요청, 심사 결과 등록, ERP·생산관리·민원 시스템 입력까지 이어질 수 있다. 그래서 오류도 답변에서 끝나지 않는다. 잘못된 답변은 사람이 고칠 수 있지만, 잘못된 판단이 승인과 반려, 지급, 발주, 생산중단으로 이어지면 실제 업무 사고가 된다.

에이전트는 하나의 모델이 아니라 실행 파이프라인

필자는 기업용 에이전트를 계획 모듈, 오케스트레이터, 검색 계층, 정책 엔진, 실행 계층이 결합된 구조로 설명했다. 문서 업무는 문서 구조 이해, 정보 추출과 구조화, 문서 간 대조, 업무 조건 판단, 정책 검증, 예외 분리, 시스템 실행의 흐름을 거친다. 이름이나 금액을 잘못 추출하면 대조가 어긋나고, 어긋난 대조는 정상과 예외 판단을 왜곡하며, 검증 없이 시스템과 연결되면 실제 입력 오류가 된다.

기업 문서에는 표의 행과 열, 체크박스와 서명, 주석, 페이지 간 관계에도 업무 의미가 담겨 있다. 문자만 읽어서는 기준값과 실측값, 신청인과 대상자, 청구 금액과 증빙 금액을 정확히 구분하기 어렵다. 그래서 필자는 첫 번째 안전장치로 근거 구조를 꼽았다. 추출값마다 원문 문서와 페이지, 값의 위치, 사용한 모델과 버전, 적용한 검증 규칙이 연결돼야 최종 판단에서 원문까지 역추적하고 오류가 어느 단계에서 생겼는지 가려낼 수 있다는 것이다.

판단과 실행 사이에 통제 계층을 둔다

모델은 비정형 문서의 의미와 복합적인 관계를 해석하는 데 강하지만 결과는 본질적으로 확률적이다. 필수 서류, 금액 한도, 승인 절차, 접근 권한처럼 반드시 지켜야 할 조건은 확정적인 규칙으로 관리하고, 실행 직전에 정책 엔진이 이를 검사해야 한다는 것이 필자의 설명이다. 문서를 읽고 판단하는 권한과 업무를 실행하는 권한도 나눠야 한다. 보험 에이전트는 청구 서류의 누락과 불일치를 찾을 수 있지만 지급까지 확정할 필요는 없고, 제조 에이전트가 품질검사표의 이상값을 감지해도 생산 라인 중단은 책임자 승인을 거쳐야 한다.

문서 간 값이 충돌하거나 근거가 부족하면 자동 실행을 멈추고, 어느 문서의 어떤 값이 충돌했는지와 무엇을 확인해야 하는지를 원문과 함께 사람에게 넘겨야 한다. 실행 결과는 실행별 식별자와 처리 상태로 기록해 중복을 막고, 오류가 나면 취소하거나 이전 상태로 되돌릴 수 있어야 한다.

"에이전틱 AI의 경쟁력은 얼마나 많은 업무를 사람 없이 처리하는지보다, 잘못된 실행과 불필요한 사람의 개입을 얼마나 정확하게 줄일 수 있는가에서 결정됩니다."

— 김동현 한국딥러닝 미래AI개발팀장

필자는 한국딥러닝이 정상적인 문서 업무는 AI가 스스로 판단하고 처리하되, 원문 근거가 부족하거나 값이 충돌하는 예외만 사람에게 전달하는 방식으로 '일하는 AI'를 구현하고 있다고 소개했다. 전문은 AI타임스에 실렸다.