AgentOps란 무엇인가: 업무를 수행하는 AI Agent를 통제하고 개선하는 운영 체계 완전 정리

AgentOps란, AI Agent가 도구를 호출하고 시스템에 입력하며 업무를 수행하는 과정 전체를 기록하고, 권한과 승인, 업무 단위 평가, 중단과 복구를 관리해 에이전트를 안전하게 운영하는 체계입니다.

AgentOps가 필요한 이유

답변이 아니라 행동이 남기 시작했습니다.

생성형 AI가 답변만 할 때는 틀린 답을 사람이 걸러 내면 됐습니다. AI Agent는 다릅니다. 문서를 읽고 조건을 판단한 뒤 ERP에 값을 등록하고, 이메일을 보내고, 다음 단계로 업무를 넘깁니다. 한 번의 잘못된 판단이 여러 시스템에 흔적을 남깁니다.

에이전트의 한 건 처리는 여러 단계로 이루어집니다. 어느 단계에서 어떤 근거로 어떤 도구를 호출했는지 기록이 없으면, 결과가 잘못됐을 때 원인이 인식인지 판단 규칙인지 시스템 연동인지 가려낼 수 없습니다.

에이전트가 할 수 있는 일의 범위를 정하고, 사람의 승인이 필요한 지점을 두고, 문제가 생기면 멈추고 되돌릴 수 있어야 업무를 맡길 수 있습니다. 이 요구를 운영 체계로 묶은 것이 AgentOps입니다.

에이전트를 시범 업무에서 실제 업무로 넓히는 단계에서 이 차이가 드러납니다. 시범 운영에서는 담당자가 결과를 모두 지켜보지만, 처리량이 늘면 사람이 일일이 볼 수 없으므로 기록과 통제가 체계로 갖춰져 있어야 합니다.

AgentOps의 정확한 정의: LLMOps와 무엇이 다른가

LLMOps와 AgentOps, 세 가지 축의 차이

첫째, 관리 단위가 다릅니다. LLMOps는 모델 호출 한 번의 입력과 출력을 단위로 관리합니다. AgentOps는 한 업무 건을 처리하기 위해 이어진 판단과 도구 호출, 시스템 입력의 연쇄 전체를 단위로 관리합니다.

둘째, 위험의 성격이 다릅니다. LLMOps가 주로 다루는 위험은 틀리거나 근거 없는 답변입니다. AgentOps는 여기에 더해 권한 밖의 시스템에 접근하거나, 승인 없이 값을 등록하거나, 같은 작업을 반복 실행하는 행동의 위험을 다룹니다.

셋째, 평가 기준이 다릅니다. LLMOps는 답변의 정확성과 형식을 채점합니다. AgentOps는 업무가 끝까지 올바르게 처리됐는지, 사람이 개입한 지점이 어디였는지, 처리 시간과 비용이 얼마였는지를 업무 건 단위로 봅니다.

AgentOps는 LLMOps를 대신하지 않고 그 위에 놓입니다. 에이전트 안에서 쓰는 모델과 프롬프트는 LLMOps로 관리하고, 그 모델이 움직이는 업무 흐름은 AgentOps로 관리합니다.

AgentOps를 이루는 4가지 기능

에이전트에게 업무를 맡기기 위한 4가지 기능

첫째, 실행 추적입니다. 한 건마다 어떤 문서를 읽고, 어떤 규칙으로 판단하고, 어떤 도구를 어떤 값으로 호출했는지를 순서대로 남깁니다.

둘째, 권한과 승인입니다. 에이전트가 조회만 할 수 있는 시스템과 입력까지 할 수 있는 시스템을 나누고, 금액이 크거나 기준에서 벗어난 건은 사람의 승인을 거친 뒤에 실행하도록 정합니다. 승인 기준은 에이전트 설정 안이 아니라 별도 규칙으로 두어야 업무 부서가 확인하고 고칠 수 있습니다.

셋째, 업무 단위 평가입니다. 단계별 정확도와 함께 업무 완료율과 예외 비율, 건당 처리 시간을 봅니다. 단계마다 성적이 좋아도 흐름이 중간에 끊기면 업무는 끝나지 않습니다.

넷째, 중단과 되돌리기입니다. 이상 행동이 감지되면 에이전트를 멈추고, 이미 실행한 입력을 취소하거나 사람에게 넘길 수 있어야 합니다.

네 기능은 서로 맞물립니다. 실행 기록이 있어야 승인 기준을 조정할 수 있고, 되돌릴 수 있어야 권한을 넓혀 볼 수 있습니다.

AgentOps의 실제 적용 방법

좁은 권한으로 시작해 넓혀 갑니다

처음부터 에이전트에게 입력 권한까지 주지 않습니다. 초기에는 판단 결과와 입력할 값을 제안만 하게 하고 사람이 승인해 실행합니다. 승인 이력에서 수정이 거의 없는 업무 유형부터 자동 실행으로 전환합니다.

권한을 넓힐 때마다 전환 기준과 날짜를 기록해 두면 문제가 생겼을 때 어느 결정부터 되짚어야 할지 알 수 있습니다.

실행 기록을 업무 담당자가 읽을 수 있게 남깁니다

개발자용 로그만으로는 업무 부서가 에이전트의 판단을 검토할 수 없습니다. 판단의 근거가 된 원문 위치와 적용한 규칙, 실행한 작업을 업무 용어로 요약한 처리 이력을 함께 남깁니다.

처리 이력은 감사 대응 자료이면서 개선의 출발점입니다. 담당자가 에이전트의 판단을 고친 건을 모아 보면 어떤 규칙이 부족한지, 어떤 문서 유형에서 판단이 흔들리는지 드러납니다.

변경은 같은 업무 건으로 검증합니다

판단 규칙이나 모델, 연동 방식을 바꿀 때는 과거에 처리한 업무 건을 다시 돌려 결과가 어떻게 달라지는지 비교합니다. 실제 시스템에 입력하지 않는 시험 환경에서 먼저 확인하고, 승인 절차를 거쳐 운영에 반영합니다. 변경 전 버전은 남겨 두어 바로 되돌릴 수 있게 합니다. 과거 건의 결과가 달라진 경우에는 달라진 이유가 의도한 변경 때문인지 하나씩 확인합니다.

국내 환경에서의 AgentOps

국내 금융과 공공은 전산 작업의 책임 소재와 접근 기록을 엄격하게 요구합니다. 에이전트가 수행한 입력도 사람의 작업과 같은 수준으로 누가 승인했고 어떤 근거로 실행됐는지 남아야 합니다.

기존 ERP와 EDMS, RPA와 연동하는 경우가 많으므로 에이전트 전용 계정과 권한을 따로 발급하고, 망분리 환경에서도 실행 기록을 내부에 보관할 수 있게 구성합니다.