LLMOps là gì: hệ thống vận hành để dùng mô hình ngôn ngữ lớn ổn định trong công việc, hướng dẫn đầy đủ

LLMOps là hệ thống vận hành giúp kết quả của mô hình ngôn ngữ lớn duy trì ở mức nhất quán sau khi đưa vào công việc thực tế. Hệ thống này quản lý đồng bộ prompt, phiên bản mô hình, dữ liệu tìm kiếm, chất lượng câu trả lời và chi phí.

Vì sao cần LLMOps

Cùng một câu hỏi nhưng nhận được câu trả lời khác nhau.

Mô hình ngôn ngữ lớn cho kết quả ấn tượng ở giai đoạn trình diễn. Nhưng sau khi đưa vào công việc thực tế và vài tuần trôi qua, một câu hỏi từng cho kết quả tốt tuần trước có thể nhận câu trả lời sai, hoặc định dạng câu trả lời thay đổi khiến hệ thống phía sau không đọc được kết quả. Chi phí tăng nhanh hơn dự kiến cũng là chuyện thường gặp.

Nguyên nhân có thể nằm ở nhiều nơi. Ai đó có thể đã sửa nội dung prompt, nhà cung cấp mô hình có thể đã cập nhật phiên bản, hoặc các tài liệu được tìm kiếm có thể đã thay đổi. Nếu không có ghi nhận về việc gì đã thay đổi và khi nào, việc tìm nguyên nhân có thể mất nhiều ngày.

Phần mềm truyền thống cho kết quả giống nhau khi mã nguồn giống nhau. Kết quả của mô hình ngôn ngữ lớn lại thay đổi theo các câu lệnh nằm ngoài mã nguồn, theo dữ liệu và theo mô hình bên ngoài, nên cần một hệ thống quản lý riêng các yếu tố này.

Yêu cầu này tăng lên khi mô hình ngôn ngữ lớn không chỉ dừng ở việc tạo câu trả lời mà còn được dùng cho các phán đoán và xử lý nghiệp vụ. Một câu trả lời hơi khác đi chỉ là điều bất tiện trong một chatbot tham khảo, nhưng trong các công việc như thẩm định hoặc đăng ký, nó dẫn đến xử lý sai.

Định nghĩa chính xác của LLMOps: khác gì với MLOps

MLOps và LLMOps, ba trục khác biệt

Thứ nhất, đối tượng quản lý khác nhau. MLOps tập trung vào mô hình do tổ chức tự huấn luyện và dữ liệu huấn luyện của chúng. Với LLMOps, thường không huấn luyện lại mô hình, nên đối tượng quản lý chính trở thành prompt, dữ liệu tìm kiếm, việc lựa chọn mô hình và cấu hình gọi mô hình.

Thứ hai, nơi phát sinh thay đổi khác nhau. Trong MLOps, chủ thể thay đổi mô hình là nội bộ tổ chức. Trong LLMOps, xuất hiện những thay đổi mà tổ chức không kiểm soát được, như nhà cung cấp bên ngoài cập nhật mô hình hoặc ngừng hỗ trợ một phiên bản cũ.

Thứ ba, cách đánh giá khác nhau. Đánh giá trong MLOps tập trung vào các chỉ số có thể so sánh trực tiếp với đáp án đúng, như độ chính xác phân loại hoặc sai số số học. LLMOps xử lý câu trả lời dưới dạng văn bản, nên phải xem xét đồng thời nhiều tiêu chí: câu trả lời có khớp với tài liệu căn cứ hay không, có tuân thủ định dạng hay không, và có cách diễn đạt nào không được phép dùng hay không.

Hai hệ thống này không thay thế cho nhau. LLMOps áp dụng các nguyên tắc của MLOps, gồm quản lý phiên bản, kiểm chứng trước triển khai và giám sát vận hành, vào đặc tính của mô hình ngôn ngữ lớn.

Bốn đối tượng mà LLMOps quản lý

Bốn đối tượng cần lưu thành phiên bản trong quá trình vận hành

Thứ nhất, prompt. Chỉ dẫn, ví dụ và định nghĩa định dạng đầu ra được gắn số phiên bản như mã nguồn, và có ghi nhận ai đã thay đổi, vì sao. Chỉ sửa một câu cũng có thể làm kết quả thay đổi đáng kể.

Thứ hai, phiên bản mô hình và nhà cung cấp. Ghi lại phiên bản nào của mô hình nào được gọi với cấu hình ra sao, và theo dõi lịch ngừng hỗ trợ phiên bản của nhà cung cấp.

Thứ ba, dữ liệu tìm kiếm. Quản lý tập hợp tài liệu làm căn cứ cho câu trả lời, tiêu chí chia đoạn và thời điểm lập chỉ mục, để khi câu trả lời thay đổi có thể xác định được dữ liệu có phải là nguyên nhân hay không.

Thứ tư, đánh giá và chi phí. Tích lũy kết quả chấm điểm trên một bộ câu hỏi cố định, cùng với chi phí mỗi lần gọi và thời gian phản hồi, để có thể so sánh theo từng phiên bản.

Nếu thiếu ghi nhận cho dù chỉ một trong bốn đối tượng này, khi kết quả thay đổi sẽ không thể thu hẹp được nguyên nhân. Nên gộp tổ hợp phiên bản của bốn yếu tố này thành một đơn vị triển khai duy nhất.

Cách áp dụng LLMOps trong thực tế

Xây dựng bộ câu hỏi đánh giá trước tiên

Trước khi đưa vào vận hành, hãy xây dựng bộ đánh giá gồm các câu hỏi có thể xuất hiện trong công việc thực tế, cùng câu trả lời mong đợi và tài liệu căn cứ. Trong một trường hợp thuộc lĩnh vực thuế, nhóm đã xác định tài liệu mục tiêu, thu thập các truy vấn thực tế và xây dựng bộ đánh giá RAG.

Đồng thời, hãy xác định tiêu chí chấm điểm. Với mỗi câu hỏi, cần có thể đánh giá được câu trả lời có khớp với tài liệu căn cứ không, có bỏ sót mục bắt buộc không, và có tuân thủ định dạng đã quy định không.

Bộ này cho phép so sánh trước và sau theo cùng một tiêu chí mỗi khi prompt hoặc mô hình thay đổi. Các trường hợp lỗi mới phát hiện trong vận hành được thêm vào bộ đánh giá để kiểm tra vấn đề đó không tái diễn.

Chỉ thay đổi một thứ tại một thời điểm

Nếu thay đổi đồng thời prompt, mô hình và dữ liệu tìm kiếm, khi kết quả tốt lên hoặc xấu đi sẽ không biết được nguyên nhân là gì. Chỉ thay đổi một yếu tố tại một thời điểm, kiểm chứng bằng bộ đánh giá, rồi mới đưa vào vận hành sau khi được phê duyệt. Giữ lại phiên bản trước để có thể quay lại tổ hợp cũ ngay lập tức nếu có sự cố.

Ghi lại lịch sử gọi và phân tách chi phí

Trong quá trình vận hành, ghi lại đầu vào, đầu ra, phiên bản đã dùng, thời gian phản hồi và chi phí của từng lần gọi. Phân tách chi phí theo nghiệp vụ và theo phòng ban giúp thấy nghiệp vụ nào khiến chi phí tăng và chọn ra những nghiệp vụ mà mô hình nhẹ hơn là đủ. Lịch sử gọi cũng là căn cứ để tái hiện đầu vào và phiên bản tại thời điểm người dùng báo cáo một câu trả lời bất thường.

LLMOps trong bối cảnh Hàn Quốc

Tài chính và khu vực công Hàn Quốc thường khó dùng API mô hình bên ngoài do quy định phân tách mạng, nên việc vận hành song song một mô hình cài đặt nội bộ là cấu hình phổ biến. Trong trường hợp này, việc thay thế mô hình và so sánh hiệu năng phải thực hiện được trong môi trường nội bộ.

Khi dùng mô hình bên ngoài, cần che thông tin cá nhân ngay ở bước đầu vào để không đưa vào prompt, đồng thời quy định nơi lưu lịch sử gọi và thời gian lưu giữ. Cần xây dựng bộ đánh giá từ tài liệu nghiệp vụ tiếng Hàn thì mới đánh giá được hiệu năng thực tế.