AI Ops là gì: Hệ thống vận hành liên tục các hệ thống AI

AI Ops (AI Operations) là hệ thống vận hành, trong đó các mô hình và agent AI sau khi được triển khai vào công việc thực tế sẽ được quản lý liên tục về chất lượng, chi phí, tốc độ phản hồi, phiên bản và lịch sử thay đổi.

AI vẫn thay đổi sau khi triển khai

Phần mềm thông thường cũng cần vận hành và quản lý liên tục, nhưng hệ thống AI có nhiều biến số hơn phải quản lý trong quá trình vận hành.

Mô hình có thể được thay bằng phiên bản mới, prompt có thể được chỉnh sửa. Dữ liệu dùng cho tìm kiếm có thể được cập nhật, và các API hay công cụ nghiệp vụ mà agent kết nối có thể được thêm vào.

Chỉ cần một trong số đó thay đổi cũng có thể làm kết quả cuối cùng khác đi.

Ví dụ, một mô hình mới có thể đạt điểm benchmark cao hơn mô hình cũ, nhưng lại bỏ sót một số hạng mục thường xuyên hơn trong tài liệu nghiệp vụ thực tế. Chỉ sửa một câu trong prompt có thể làm độ chính xác tăng nhưng thời gian xử lý cũng kéo dài.

Vì vậy, trong vận hành AI, chỉ kiểm tra hệ thống có chạy hay không là chưa đủ.

Cần quản lý đồng thời các câu hỏi: kết quả còn chính xác không, chi phí có phù hợp không, tốc độ có được duy trì không, và thay đổi nào đã ảnh hưởng đến kết quả.

AI Ops là khái niệm biến quá trình này thành một hệ thống vận hành có thể lặp lại.

Định nghĩa chính xác về AI Ops: vận hành cái gì

Không chỉ quản lý mô hình

Đối tượng vận hành của AI Ops không dừng ở một mô hình AI.

Kết quả của một dịch vụ AI thực tế được quyết định bởi nhiều yếu tố cùng lúc.

Thứ nhất, mô hình. Cần quản lý mô hình và phiên bản đang dùng, và kiểm tra xem phiên bản mới có thực sự cho kết quả tốt hơn phiên bản cũ trong công việc thực tế hay không.

Thứ hai, prompt và chỉ dẫn. Trong AI tạo sinh và AI Agent, vai trò và tiêu chí nghiệp vụ được truyền cho mô hình ảnh hưởng trực tiếp đến kết quả. Vì vậy, prompt cũng là tài sản vận hành, cần có lịch sử thay đổi và đánh giá.

Thứ ba, dữ liệu và ngữ cảnh. Khi tài liệu gắn với RAG, dữ liệu tìm kiếm hoặc thông tin từ hệ thống nghiệp vụ thay đổi, cùng một mô hình cũng cho kết quả khác.

Thứ tư, công cụ và luồng công việc. Nếu AI Agent gọi tìm kiếm, cơ sở dữ liệu, hệ thống nội bộ hoặc API bên ngoài, thì thứ tự và điều kiện sử dụng các công cụ đó cũng trở thành đối tượng vận hành.

Thứ năm, tiêu chí đánh giá. Để biết AI có đang làm việc tốt hay không, cần xem không chỉ độ chính xác mà cả các tiêu chí phù hợp với công việc như tỷ lệ xử lý thành công, tỷ lệ ngoại lệ, độ trễ và chi phí.

Nói tóm lại, AI Ops có thể được xem là hệ thống vận hành toàn bộ hệ thống AI, từ mô hình đến prompt, dữ liệu, công cụ, luồng công việc và đánh giá.

Bốn chức năng của AI Ops

Thứ nhất, quản lý phiên bản và lịch sử thay đổi

Khi vận hành hệ thống AI, nhiều yếu tố có thể thay đổi cùng lúc.

Có thể thay mô hình, sửa prompt hoặc kết nối nguồn dữ liệu mới.

Khi đó, cần thấy được không chỉ cấu hình nào đang chạy mà còn cả điểm khác biệt so với phiên bản trước.

Nếu lịch sử thay đổi được lưu lại, khi kết quả xấu đi có thể truy xem thay đổi nào là nguyên nhân và, khi cần, quay về trạng thái trước.

Thứ hai, đánh giá chất lượng và giám sát

Kết quả của AI không phải lúc nào cũng giống nhau theo cùng một cách.

Vì vậy, cần biến các đầu vào thường gặp trong công việc thực tế thành dữ liệu đánh giá, và so sánh kết quả trước và sau thay đổi trong cùng điều kiện.

Với công việc có đáp án rõ ràng, có thể xem độ chính xác hoặc tỷ lệ khớp hoàn toàn. Với công việc tạo sinh, có thể cần định nghĩa riêng tiêu chí đánh giá.

Sau khi vận hành, vẫn cần liên tục kiểm tra xem lỗi hay ngoại lệ có lặp lại ở nghiệp vụ nào đó hay không.

Thứ ba, quản lý chi phí và hiệu năng

Trong vận hành AI, chi phí và hiệu năng xử lý cũng quan trọng không kém chất lượng.

Mô hình lớn có thể nâng cao chất lượng, nhưng chi phí gọi và thời gian phản hồi có thể tăng lên.

Ngược lại, nếu chỉ dùng mô hình nhỏ để giảm chi phí, có thể không đạt được tiêu chuẩn chất lượng cần thiết cho một số nghiệp vụ.

Vì vậy, AI Ops cần một quy trình so sánh đồng thời chất lượng, thời gian xử lý, mức sử dụng và chi phí, để chọn cấu hình phù hợp cho từng nghiệp vụ.

Thứ tư, thay đổi và triển khai có kiểm soát

Không thể đưa ngay một mô hình mới hoặc prompt mới vào công việc thực tế chỉ vì nó vừa được tạo ra. Làm vậy có thể gây rủi ro.

An toàn hơn là so sánh kết quả trong cùng điều kiện đánh giá với phiên bản hiện tại, và chỉ đưa vào môi trường vận hành những thay đổi vượt qua tiêu chí đã đặt trước.

Với các nghiệp vụ quan trọng, nên ghi lại ai đã xem xét và ai đã phê duyệt từng thay đổi.

Cách này biến việc thay đổi hệ thống AI từ sửa chữa một lần thành một quy trình vận hành có thể quản lý được.

Cách áp dụng AI Ops trong thực tế

Xây dựng dữ liệu đánh giá trước

Để vận hành AI, cần có tiêu chí để phán đoán điều gì AI làm tốt và điều gì nó làm chưa tốt.

Nếu xây dựng dữ liệu đánh giá từ các trường hợp thường gặp trong công việc thực tế cùng với các trường hợp ngoại lệ khó, khi thay đổi mô hình hoặc prompt có thể so sánh hiệu năng trong cùng điều kiện.

Nếu dữ liệu đánh giá liên tục thay đổi, rất khó xác định chính xác sự khác biệt giữa phiên bản cũ và mới. Vì vậy, nên quản lý chính tiêu chí đánh giá theo phiên bản.

Ghi nhận riêng từng yếu tố thay đổi

Khi kết quả thay đổi, để tìm nguyên nhân cần biết những gì đã được thay đổi.

Nếu quản lý riêng phiên bản mô hình, prompt, dữ liệu tìm kiếm, cấu hình công cụ và quy tắc nghiệp vụ, sẽ dễ theo dõi hơn thay đổi nào đã ảnh hưởng đến chất lượng.

Khi có thể, việc đánh giá từng yếu tố thay đổi riêng lẻ, thay vì thay đổi nhiều yếu tố cùng lúc, cũng có ích cho vận hành.

Xem chất lượng và chi phí cùng lúc

Mô hình có hiệu năng cao nhất không phải lúc nào cũng là lựa chọn vận hành tốt nhất.

Nếu dùng mô hình đắt tiền cho công việc phân loại hoặc trích xuất thông tin đơn giản, chi phí vận hành có thể quá cao so với mức cải thiện chất lượng.

Ngược lại, trong công việc phán đoán phức tạp, giảm hiệu năng mô hình để tiết kiệm chi phí có thể làm giảm hiệu quả của toàn bộ công việc.

Trong AI Ops, điều quan trọng là đặt tiêu chuẩn chất lượng cho từng nghiệp vụ, rồi tối ưu chi phí và thời gian xử lý trong phạm vi đáp ứng tiêu chuẩn đó.

Đưa ngoại lệ phát sinh trong vận hành trở lại đánh giá

Khi triển khai vào công việc thực tế, luôn xuất hiện những trường hợp không được dự đoán trong giai đoạn xây dựng.

Một tài liệu cụ thể có thể liên tục gây lỗi, hoặc agent có thể chọn sai công cụ với một yêu cầu nhất định.

Nếu những trường hợp này không chỉ được coi là lỗi đơn thuần mà được tích lũy thành dữ liệu đánh giá mới và tiêu chí vận hành, thì các thay đổi sau sẽ ít lặp lại cùng một vấn đề hơn.

AI Ops và MLOps

MLOps là phương pháp luận quản lý có hệ thống việc phát triển, huấn luyện, triển khai và giám sát mô hình học máy.

Các đối tượng quản lý chính gồm dữ liệu huấn luyện, phiên bản mô hình, kết quả thử nghiệm và đường ống huấn luyện lại.

AI Ops có thể dùng để chỉ một tầm nhìn vận hành rộng hơn mô hình, khi AI tạo sinh và AI Agent lan vào công việc thực tế.

Lý do là không chỉ bản thân mô hình mà cả prompt, dữ liệu RAG, kết nối công cụ, luồng công việc của agent, tiêu chí đánh giá và chi phí đều ảnh hưởng đến kết quả cuối cùng.

Nói đơn giản, MLOps tập trung quản lý vòng đời của mô hình học máy, còn AI Ops tập trung vận hành các dịch vụ AI thực tế và AI Worker để chúng tiếp tục làm việc đúng cách.

Hai khái niệm này không thay thế nhau và trong môi trường thực tế có thể được dùng cùng nhau.

AI Ops và AIOps

Hai thuật ngữ này có cách viết giống nhau và có phần trùng lặp về bản chất.

Hai khái niệm chia sẻ khung công việc là liên tục theo dõi các chỉ số vận hành, phát hiện dấu hiệu bất thường và truy vết nguyên nhân để ứng phó. Trên thực tế, nhiều phương pháp giám sát và phát hiện bất thường được dùng trong AI Ops đã được hình thành trước bên phía AIOps.

Điểm khác biệt nằm ở đối tượng quản lý. AI Ops trong bài viết này có nghĩa là AI Operations, tức vận hành và quản lý liên tục bản thân hệ thống AI. Còn AIOps là viết tắt của Artificial Intelligence for IT Operations, khái niệm dùng AI và học máy để tự động hóa việc vận hành hạ tầng và dịch vụ CNTT.

AIOps tập trung vào các công việc vận hành CNTT như phân tích sự kiện của máy chủ và ứng dụng, phân tích nguyên nhân sự cố. AI Ops tập trung vào việc mô hình, prompt, dữ liệu và kết nối công cụ thay đổi thế nào trong quá trình vận hành, và các thay đổi đó ảnh hưởng ra sao đến kết quả.

Vì vậy, một tổ chức có thể cần cả hai. Vấn đề máy chủ ngừng hoạt động thuộc về AIOps, còn vấn đề máy chủ vẫn bình thường nhưng chất lượng kết quả suy giảm dần thuộc về AI Ops. Vì hai thuật ngữ dễ nhầm lẫn do cách viết gần giống nhau, nên nên nêu rõ trong tài liệu đang nói đến cái nào.

Vì sao AI Ops quan trọng trong kỷ nguyên AI Agent

AI Agent có quy trình vận hành phức tạp hơn một mô hình chỉ trả lời câu hỏi.

Nó không chỉ gọi mô hình mà còn tìm kiếm dữ liệu, sử dụng nhiều công cụ và quyết định hành động tiếp theo dựa trên điều kiện.

Vì vậy, khi xảy ra sự cố, cần phân biệt được mô hình có phải là nguyên nhân không, prompt có phải là nguyên nhân không, dữ liệu sai có được truyền đi không, hay lời gọi công cụ có thất bại không.

Khi AI Agent mở rộng thành AI Worker thực hiện công việc thực tế, người vận hành cần kiểm tra xem toàn bộ công việc đã được hoàn tất hay chưa, thay vì chỉ hiệu năng của mô hình.

Ví dụ, với một agent phân loại tài liệu, trích xuất thông tin rồi nhập vào hệ thống bên ngoài, các chỉ số vận hành có thể bao gồm không chỉ độ chính xác trích xuất mà còn tỷ lệ hoàn thành toàn bộ công việc, tỷ lệ xử lý ngoại lệ và tỷ lệ người phải kiểm tra lại.

AI Ops có thể phát triển theo hướng mở rộng đơn vị đánh giá từ đầu ra thô của mô hình đến kết quả của công việc thực tế đã được thực hiện.

AI Ops trong doanh nghiệp trong nước

Khi doanh nghiệp áp dụng AI vào công việc thực tế, các vấn đề bảo mật và kiểm soát trở nên quan trọng không kém chất lượng.

Cần thấy được mô hình nào đã truy cập dữ liệu nào, người dùng nào đã thay đổi cấu hình, và thông tin nào đã được truyền ra hệ thống bên ngoài.

Trong các môi trường như tài chính và khu vực công, nơi quyền xuất dữ liệu và quyền truy cập hệ thống rất quan trọng, nhật ký vận hành AI, phân quyền và lịch sử thay đổi cần được quản lý theo chính sách nội bộ.

Cuối cùng, vận hành AI trong doanh nghiệp không chỉ là chọn mô hình tốt nhất, mà gần hơn với việc xây dựng cấu trúc giúp kiểm soát được AI sử dụng dữ liệu và tiêu chí nào để thực hiện công việc nào.