VLMOps là gì: Hệ thống vận hành AI tài liệu mà không cần huấn luyện lại, hướng dẫn đầy đủ

VLMOps là hệ thống vận hành gồm một chuỗi các bước: định nghĩa tiêu chí trích xuất của mô hình thị giác-ngôn ngữ dùng cho tài liệu bằng ngôn ngữ tự nhiên, quản lý tiêu chí đó theo phiên bản, đánh giá hiệu năng trên cùng bộ tài liệu, rồi đưa vào vận hành sau khi qua quy trình phê duyệt.

Vì sao vận hành tốn kém hơn triển khai

Biểu mẫu luôn thay đổi.

Các dự án tự động hóa tài liệu đạt hiệu quả tốt nhất vào thời điểm hoàn thành xây dựng. Lý do là hệ thống được làm để khớp với biểu mẫu và các mục tại thời điểm đó. Vấn đề đến sau đó.

Biểu mẫu công quyền được sửa đổi, quy định nghiệp vụ thay đổi làm tăng số mục cần trích xuất, và các loại tài liệu mới bắt đầu được tiếp nhận. Nếu cấu trúc đòi hỏi huấn luyện lại mô hình mỗi lần như vậy, mỗi thay đổi đều kéo theo chuẩn bị dữ liệu, huấn luyện và kiểm chứng. Lặp lại vài lần, người phụ trách bắt đầu trì hoãn các yêu cầu thay đổi và tự động hóa dần lệch khỏi thực tế. VLMOps nhắm đúng vào điểm này.

Định nghĩa chính xác của VLMOps: khác gì MLOps

Ba tiêu chí phân biệt MLOps và VLMOps

Thứ nhất, đối tượng được quản lý khác nhau. Hệ thống vận hành mô hình thông thường quản lý dữ liệu huấn luyện, trọng số mô hình và pipeline huấn luyện. VLMOps đặt tiêu chí trích xuất và lược đồ làm trọng tâm của việc quản lý. Việc cần trích xuất gì và bằng cách nào được ghi thành câu văn, và chính câu văn đó trở thành đơn vị quản lý phiên bản.

Thứ hai, cách ứng phó với thay đổi khác nhau. Cách trước thu thập dữ liệu rồi huấn luyện lại. VLMOps ứng phó bằng cách sửa tiêu chí. Khi có mục mới được thêm vào hoặc cách ghi thay đổi, các tham số mô hình không bị động đến.

Thứ ba, người xử lý khác nhau. Cách trước thuộc về nhà khoa học dữ liệu và kỹ sư. Trong VLMOps, nhân viên nghiệp vụ có thể tự nhập tên trường, vị trí, định dạng và ngoại lệ. Một chỉ dẫn như tìm ngày yêu cầu ở phần đầu tài liệu và sắp xếp theo định dạng đã định sẽ trở thành chính cấu hình.

Hai hệ thống không thay thế nhau. Những phần không giải quyết được bằng điều chỉnh tiêu chí vẫn cần huấn luyện bổ sung. Tuy nhiên, nếu xét về thứ tự, thử điều chỉnh tiêu chí trước sẽ cho hiệu quả chi phí tốt hơn.

Bốn chức năng tạo nên VLMOps

Bốn chức năng cấu thành hệ thống vận hành

Thứ nhất, chỉ dẫn bằng ngôn ngữ tự nhiên. Nhân viên nghiệp vụ xác định bằng câu văn cần trích xuất cái gì, từ đâu và theo định dạng nào. Chỉ dẫn coi số hợp đồng được ghi là số bảo hiểm hoặc số hợp đồng là cùng một mục thuộc chức năng này.

Thứ hai, quản lý phiên bản. Một phiên bản mới chỉ được tạo khi nội dung tiêu chí thực sự thay đổi, và các phiên bản cũ không bị ghi đè mà được giữ lại. Những gì được thêm vào, gợi ý định dạng nào đã thay đổi và vì sao thay đổi đều được ghi lại cùng với ghi chú.

Thứ ba, đánh giá trên cùng tài liệu. Hiệu năng của phiên bản cũ và phiên bản mới được so sánh song song trên cùng bộ tài liệu đánh giá. Độ chính xác tổng thể, tỷ lệ khớp hoàn toàn theo từng tài liệu và độ trễ xử lý được xem xét cùng lúc.

Thứ tư, triển khai có kiểm soát. Kết quả đánh giá được xem xét, phê duyệt nội bộ rồi mới đưa vào vận hành, đồng thời theo dõi tiến trình và quay lại phiên bản trước nếu cần.

Cách áp dụng VLMOps trong thực tế

Quản lý tài liệu tiêu chí như một tài sản

Tiêu chí trích xuất không phải là cài đặt hệ thống mà là tri thức nghiệp vụ. Cần ghi lại mục nào của biểu mẫu nào được trích xuất và vì sao lại quyết định trích xuất theo cách đó, để vận hành vẫn tiếp tục khi người phụ trách thay đổi.

Tài liệu tiêu chí nên ghi chính sách xử lý ngoại lệ bên cạnh chỉ dẫn cho từng mục. Các quy tắc như không trích xuất văn bản thông báo in sẵn, hoặc không coi ô chữ ký là giá trị, thuộc về phần này.

Dùng lịch sử kiểm tra làm căn cứ thay đổi

Khi nào cần thay đổi tiêu chí phải được quyết định bằng dữ liệu chứ không phải cảm tính. Nếu người kiểm tra liên tục sửa một mục nhất định, đã đến lúc cần chỉnh chỉ dẫn của mục đó.

Nếu tỷ lệ tài liệu rơi vào mục chưa phân loại hoặc ngoại lệ tăng lên, đó là dấu hiệu có biểu mẫu mới đang được tiếp nhận. Kiểm tra định kỳ các chỉ số này giúp phát hiện sớm tình trạng hiệu năng giảm dần một cách âm thầm.

Quyết định những gì sẽ giữ lại làm tài sản

Xây dựng hệ thống vận hành nghĩa là quyết định những gì sẽ được giữ lại để có thể tái sử dụng. Nếu không có định nghĩa này, cấu hình sẽ bị phân tán mỗi khi một công việc kết thúc.

Trong thực tế, có bốn thứ được coi là tài sản. Đó là đã dùng mô hình nào, chỉ dẫn nào đã định hướng việc trích xuất, mục nào được trích xuất theo định dạng nào, và mức nào được chọn làm tiêu chuẩn đạt. Thêm vào đó là lịch sử thay đổi. Cần ghi lại điều gì đã thay đổi, khi nào, vì sao, và thay đổi đó ảnh hưởng đến hiệu năng ra sao, để có thể hoàn tác và căn cứ quyết định vẫn còn khi người phụ trách thay đổi.

Với các phòng ban và nghiệp vụ mới, chỉ điều chỉnh phần khác biệt trong số này để áp dụng, và phản hồi từ thực địa được đưa ngược lại vào tiêu chuẩn chất lượng. Tài sản tích lũy cũng được chuyển sang các luồng công việc của tác nhân AI. Hệ thống phân loại, lược đồ mục và quy tắc kiểm chứng được tái sử dụng nguyên trạng trong luồng, nên tài sản càng dày thì thời gian xây dựng nghiệp vụ mới càng ngắn.

VLMOps trong môi trường tại Hàn Quốc

Tại các tổ chức công quyền và tài chính Hàn Quốc, biểu mẫu được sửa đổi thường xuyên, và thời điểm sửa đổi được quy định bằng thông báo chính thức. Vì có thể biết trước khi nào biểu mẫu mới sẽ đến, nên có thể chuẩn bị tiêu chí trước ngày có hiệu lực và đánh giá sẵn trong môi trường kiểm tra.

Quy trình phê duyệt cũng là một yêu cầu. Các thay đổi được đưa vào vận hành phải ghi lại ai đã xem xét và ai đã phê duyệt để có thể ứng phó với kiểm toán. Thêm vào đó, toàn bộ quá trình phải diễn ra trong mạng nội bộ.