AgentOps là gì: Hệ thống vận hành kiểm soát và cải thiện AI Agent đang làm công việc

AgentOps là hệ thống vận hành AI Agent một cách an toàn. Hệ thống này ghi lại toàn bộ quá trình AI Agent gọi công cụ, nhập dữ liệu vào hệ thống và thực hiện công việc. Đồng thời, hệ thống quản lý quyền hạn, phê duyệt, đánh giá theo từng nghiệp vụ, cũng như việc dừng và khôi phục.

Vì sao cần AgentOps

AI bắt đầu để lại dấu vết của hành động, không chỉ của câu trả lời.

Khi AI tạo sinh chỉ trả lời, con người có thể tự lọc ra các câu trả lời sai. AI Agent thì khác. Nó đọc tài liệu, phán đoán điều kiện, đăng ký giá trị vào ERP, gửi email và chuyển công việc sang bước tiếp theo. Một phán đoán sai có thể để lại dấu vết trên nhiều hệ thống cùng lúc.

Việc xử lý một hồ sơ của agent gồm nhiều bước. Nếu không có bản ghi cho biết bước nào đã gọi công cụ nào, trên căn cứ gì, thì khi kết quả sai, không thể xác định nguyên nhân là do nhận dạng, quy tắc phán đoán hay tích hợp hệ thống.

Chỉ khi phạm vi việc agent được phép làm được xác định, các điểm cần con người phê duyệt được đặt sẵn, và khi có sự cố có thể dừng lại và hoàn tác, công việc mới có thể giao cho agent. AgentOps là hệ thống vận hành gom các yêu cầu này lại.

Sự khác biệt thể hiện rõ khi agent chuyển từ thử nghiệm sang công việc thực tế. Trong thử nghiệm, nhân viên theo dõi mọi kết quả. Khi khối lượng tăng, con người không thể kiểm tra từng việc, nên ghi nhận và kiểm soát phải được xây dựng thành hệ thống.

Định nghĩa chính xác về AgentOps: khác gì LLMOps

Ba trục khác biệt giữa LLMOps và AgentOps

Thứ nhất, đơn vị quản lý khác nhau. LLMOps quản lý một lần gọi mô hình, với một đầu vào và một đầu ra, làm đơn vị. AgentOps quản lý toàn bộ chuỗi phán đoán, gọi công cụ và nhập liệu vào hệ thống đã cùng nhau xử lý một hồ sơ nghiệp vụ, làm đơn vị.

Thứ hai, bản chất rủi ro khác nhau. Rủi ro chủ yếu mà LLMOps xử lý là câu trả lời sai hoặc không có căn cứ. AgentOps bổ sung rủi ro truy cập hệ thống ngoài quyền hạn, nhập giá trị mà không có phê duyệt, và thực hiện lặp lại cùng một thao tác.

Thứ ba, tiêu chí đánh giá khác nhau. LLMOps chấm độ chính xác và định dạng của câu trả lời. AgentOps xem theo từng hồ sơ nghiệp vụ: công việc có được hoàn tất đúng đến cuối không, con người can thiệp ở đâu, và thời gian cùng chi phí xử lý là bao nhiêu.

AgentOps không thay thế LLMOps mà được đặt ở tầng trên. Mô hình và prompt dùng bên trong agent được quản lý bằng LLMOps, còn luồng nghiệp vụ mà mô hình đó vận hành được quản lý bằng AgentOps.

Bốn chức năng của AgentOps

Bốn chức năng để giao việc cho agent

Thứ nhất, theo dõi thực thi. Với mỗi hồ sơ, ghi theo thứ tự tài liệu nào đã được đọc, quy tắc nào đã dùng để phán đoán, và công cụ nào đã được gọi với giá trị gì.

Thứ hai, quyền hạn và phê duyệt. Tách các hệ thống agent chỉ được tra cứu khỏi các hệ thống agent được nhập liệu. Với hồ sơ có số tiền lớn hoặc nằm ngoài tiêu chuẩn, yêu cầu phê duyệt của con người trước khi thực thi. Tiêu chí phê duyệt nên đặt trong một bộ quy tắc riêng, không nằm trong cấu hình của agent, để bộ phận nghiệp vụ có thể kiểm tra và thay đổi.

Thứ ba, đánh giá theo nghiệp vụ. Bên cạnh độ chính xác của từng bước, xem tỷ lệ hoàn thành nghiệp vụ, tỷ lệ ngoại lệ và thời gian xử lý mỗi hồ sơ. Một bước có thể đạt điểm cao, nhưng nếu luồng bị đứt giữa chừng thì nghiệp vụ vẫn chưa hoàn tất.

Thứ tư, dừng và hoàn tác. Khi phát hiện hành vi bất thường, phải dừng được agent, và có thể hủy một lần nhập đã thực hiện hoặc chuyển cho con người.

Bốn chức năng này gắn kết với nhau. Cần có bản ghi thực thi thì mới điều chỉnh được tiêu chí phê duyệt, và cần khả năng hoàn tác thì mới có thể thử mở rộng quyền hạn.

Cách áp dụng AgentOps trong thực tế

Bắt đầu với quyền hạn hẹp rồi mở rộng dần

Không cấp cho agent quyền nhập liệu ngay từ đầu. Giai đoạn đầu, chỉ để agent đề xuất phán đoán và giá trị sẽ nhập, còn người phụ trách phê duyệt rồi thực thi. Khi lịch sử phê duyệt cho thấy gần như không có chỉnh sửa, chuyển sang tự động thực thi cho loại nghiệp vụ đó.

Mỗi lần mở rộng quyền hạn, hãy ghi lại tiêu chí chuyển đổi và ngày tháng. Nếu sau này xảy ra vấn đề, điều này giúp xác định cần xem lại quyết định nào trước.

Ghi nhật ký thực thi để nhân viên nghiệp vụ đọc được

Chỉ có nhật ký của lập trình viên thì bộ phận nghiệp vụ không thể xem xét phán đoán của agent. Hãy ghi vị trí trong văn bản gốc làm căn cứ cho phán đoán, quy tắc đã áp dụng và các thao tác đã thực hiện, cùng với lịch sử xử lý được tóm tắt bằng thuật ngữ nghiệp vụ.

Lịch sử xử lý vừa là tài liệu cho kiểm toán vừa là điểm xuất phát để cải thiện. Khi tập hợp các hồ sơ mà nhân viên đã sửa phán đoán của agent, sẽ thấy quy tắc nào còn thiếu và loại tài liệu nào khiến phán đoán dao động.

Kiểm chứng thay đổi trên cùng tập hồ sơ

Khi thay đổi quy tắc phán đoán, mô hình hoặc cách kết nối, hãy chạy lại các hồ sơ đã xử lý trong quá khứ để so sánh kết quả khác nhau thế nào. Kiểm tra trước trong môi trường thử không nhập dữ liệu vào hệ thống thật, rồi mới đưa thay đổi vào vận hành qua quy trình phê duyệt. Giữ lại phiên bản trước để có thể khôi phục ngay. Khi kết quả của một hồ sơ cũ thay đổi, cần xác nhận từng trường hợp xem sự khác biệt có đến từ thay đổi có chủ đích hay không.

AgentOps trong môi trường trong nước

Tài chính và khu vực công trong nước yêu cầu nghiêm ngặt về trách nhiệm đối với công việc vận hành máy tính và hồ sơ truy cập. Các thao tác nhập liệu do agent thực hiện cũng phải được ghi lại với cùng tiêu chuẩn như công việc do người làm: ai đã phê duyệt và thực thi trên căn cứ nào.

Agent thường được kết nối với ERP, EDMS và RPA hiện có. Vì vậy, thông lệ là cấp một tài khoản và quyền riêng cho agent, đồng thời thiết lập nhật ký thực thi để lưu trữ nội bộ, kể cả trong môi trường phân tách mạng.