DEEP Ops là gì? Nền tảng quản lý thay đổi, kiểm chứng và vận hành AI tài liệu, giải thích đầy đủ

DEEP Ops là nền tảng vận hành AI tài liệu của Korea Deep Learning, được thiết kế để tiêu chí trích xuất của AI tài liệu có thể thay đổi theo sự thay đổi của công việc, hiệu năng trước và sau khi thay đổi có thể được kiểm chứng, và phiên bản cùng lịch sử vận hành được quản lý.

AI tài liệu khó hơn ở khâu vận hành so với khâu xây dựng

Tự động hóa tài liệu hoạt động tốt nhất ngay khi mới xây dựng.

Điều này là vì hệ thống được tạo ra theo biểu mẫu, hạng mục trích xuất và tiêu chí nghiệp vụ của thời điểm đó. Nhưng môi trường công việc thực tế không đứng yên.

Tiêu chí thẩm định bảo hiểm thay đổi, nên có thể cần kiểm tra thêm hạng mục mới trên giấy chẩn đoán vốn có. Biểu mẫu đơn đăng ký của tổ chức tài chính được sửa đổi, hoặc luật và thông tư của cơ quan nhà nước thay đổi, khiến tiêu chí trích xuất cũng khác đi.

Trong cách làm truyền thống, ngay cả những thay đổi nhỏ cũng có thể kéo theo chuỗi việc dài: gửi yêu cầu sửa đổi cho đơn vị phát triển, chuẩn bị dữ liệu cần thiết, sửa mô hình hoặc hệ thống, rồi kiểm chứng và triển khai lại. Nói cách khác, quá trình áp dụng thay đổi kéo dài hơn chính nội dung thay đổi.

DEEP Ops tập trung vào việc coi AI tài liệu không phải là hệ thống được xây một lần rồi thôi, mà là đối tượng vận hành có thể liên tục quản lý theo sự thay đổi thực tế của công việc.

Định nghĩa chính xác của DEEP Ops: vận hành cái gì

Quản lý tiêu chí thay đổi và quá trình kiểm chứng của AI tài liệu

Cốt lõi của DEEP Ops không chỉ nằm ở việc triển khai mô hình AI.

Trong công việc tài liệu thực tế, các câu hỏi quan trọng là sẽ trích xuất hạng mục nào, áp dụng điều kiện nào, tiêu chí đã thay đổi có cho kết quả tốt hơn trước hay không, và thay đổi đã đưa vào vận hành có thể hoàn tác được không.

Với DEEP Ops, có thể định nghĩa bằng ngôn ngữ tự nhiên các hạng mục hoặc điều kiện mới cần trích xuất từ tài liệu, và xem kết quả thay đổi trên tài liệu thực tế.

Cũng có thể áp dụng tiêu chí đang vận hành và tiêu chí mới lên cùng một tài liệu để so sánh kết quả. Bằng cách xem kết quả trích xuất theo từng hạng mục, độ chính xác và độ trễ xử lý, có thể xác nhận thay đổi có thực sự dẫn đến cải thiện hay không.

Thay đổi được quản lý theo phiên bản. Hệ thống ghi lại điều gì đã thay đổi và khi nào, so sánh với phiên bản trước, và khi cần có thể quay lại phiên bản cũ.

Nói cách khác, DEEP Ops là nền tảng quản lý thành một luồng vận hành duy nhất các bước của AI tài liệu: thay đổi → đánh giá → phê duyệt → vận hành → quản lý lịch sử.

Bốn chức năng của DEEP Ops

Thứ nhất, thay đổi tiêu chí trích xuất bằng ngôn ngữ tự nhiên

Người phụ trách nghiệp vụ có thể định nghĩa bằng ngôn ngữ tự nhiên các hạng mục và điều kiện cần kiểm tra mới trong tài liệu.

Ví dụ, trước đây chỉ trích xuất số tiền yêu cầu bồi thường và số hợp đồng, nhưng theo tiêu chí nghiệp vụ mới cần kiểm tra thêm một ngày cụ thể hoặc một hạng mục thẩm định. Khi đó, có thể định nghĩa tiêu chí trích xuất mới và xem kết quả.

Không phải mọi thay đổi đều đòi hỏi huấn luyện lại mô hình. Với những thay đổi chỉ cần điều chỉnh tiêu chí trích xuất và lược đồ mà không làm thay đổi tham số mô hình, có thể áp dụng mà không cần dự án huấn luyện riêng.

Thứ hai, so sánh hiệu năng trên cùng tài liệu

Thay đổi xong mà đưa ngay vào vận hành là rủi ro.

DEEP Ops cho phép áp dụng phiên bản cũ và phiên bản mới lên cùng một bộ tài liệu đánh giá để so sánh kết quả.

Không chỉ xem kết quả tổng thể, có thể xem kết quả trích xuất theo từng tài liệu và từng hạng mục, rồi so sánh chênh lệch về độ chính xác, kết quả xử lý và thời gian trễ để đánh giá tiêu chí mới có thực sự tốt hơn hay không.

Nhờ vậy, có thể kiểm chứng trước và sau khi thay đổi bằng kết quả đánh giá với cùng điều kiện, chứ không dựa vào cảm tính.

Thứ ba, quản lý phiên bản và lịch sử thay đổi

Trong vận hành AI tài liệu, biết những gì đã thay đổi trong quá khứ cũng quan trọng không kém biết hiện đang áp dụng gì.

DEEP Ops ghi lại theo phiên bản mỗi khi hạng mục trích xuất hoặc điều kiện thay đổi.

Có thể so sánh phiên bản mới với phiên bản cũ, và nếu sau khi vận hành phát hiện vấn đề thì có thể quay về trạng thái trước đó.

Điều quan trọng về mặt vận hành là ngay cả khi người phụ trách thay đổi, vẫn có thể lưu lại tiêu chí nào đã thay đổi, khi nào và vì lý do gì.

Thứ tư, cấu hình luồng công việc tài liệu

Công việc tài liệu không kết thúc ở việc trích xuất thông tin.

Tài liệu được tiếp nhận, phân loại theo loại, trích xuất thông tin cần thiết, đối chiếu hoặc tính toán giá trị, và có thể cần xử lý khác nhau theo điều kiện.

Với DEEP Ops, có thể kết nối các bước cần thiết như nhập tài liệu và OCR, phân loại tài liệu, trích xuất thông tin, đối chiếu và tính toán giá trị, phân nhánh xử lý theo điều kiện, phán đoán và tạo kết quả để cấu hình luồng công việc theo từng nghiệp vụ.

Vì vậy, phạm vi quản lý không dừng ở từng mô hình riêng lẻ, mà mở rộng đến việc quản lý cách AI tài liệu thực sự vận hành trong công việc.

Cách áp dụng DEEP Ops trong thực tế

Khi tiêu chí công việc thay đổi, bắt đầu từ tiêu chí trích xuất

Giả sử trước đây cần kiểm tra ba hạng mục A, B, C trong tài liệu, nhưng theo quy định mới cần thêm hạng mục D.

Trước hết, định nghĩa hạng mục trích xuất và điều kiện mới.

Khi đó, cần ghi rõ hạng mục nào sẽ được trích xuất theo tiêu chí nào. Không chỉ thêm tên hạng mục, mà còn quản lý định dạng giá trị và điều kiện ngoại lệ sẽ giúp dễ hiểu lịch sử thay đổi về sau.

So sánh với cùng tài liệu của phiên bản cũ

Tiêu chí đã thay đổi được so sánh trên cùng bộ tài liệu đánh giá với phiên bản cũ.

Cần kiểm tra hạng mục mới có được trích xuất đúng không, và hiệu năng của các hạng mục đã trích xuất tốt trước đây có bị giảm không.

Nếu chỉ một hạng mục được cải thiện mà lỗi lại tăng ở hạng mục khác, thì rất khó đưa vào vận hành ngay.

Chỉ khi so sánh phiên bản cũ và mới trong cùng điều kiện mới đánh giá đúng hiệu quả của thay đổi.

Chỉ đưa phiên bản đã kiểm chứng vào vận hành

Khi kết quả đánh giá đáp ứng tiêu chuẩn, phiên bản mới được đưa vào vận hành.

Trong các môi trường như tài chính hay khu vực công, nơi kiểm soát nội bộ đối với thay đổi là quan trọng, có thể quản lý bằng cách phân tách người rà soát và người phê duyệt, đồng thời ghi lại phiên bản nào được áp dụng vào vận hành khi nào.

Khi có sự cố, phải có khả năng quay về phiên bản trước.

Nhờ vậy, thay đổi của AI tài liệu trở thành một quá trình vận hành có thể quản lý, chứ không phải chỉnh sửa một lần rồi thôi.

Quản lý cả luồng công việc

Trích xuất giá trị tốt từ tài liệu chưa đủ để tự động hóa công việc hoàn tất.

Ví dụ, khi xử lý đơn đăng ký, cần xác nhận loại tài liệu, trích xuất các hạng mục cần thiết, đối chiếu với tài liệu khác, hoặc chuyển sang bước phê duyệt và kiểm tra tùy theo điều kiện.

Với DEEP Ops, các bước tiếp theo này có thể được cấu hình thành luồng công việc, giúp kết quả của AI tài liệu được nối tiếp đến xử lý nghiệp vụ thực tế.

DEEP Ops và MLOps

MLOps là phương pháp hệ thống hóa việc huấn luyện, triển khai, quản lý phiên bản và giám sát hiệu năng của mô hình học máy nói chung.

Trung tâm của đối tượng quản lý là dữ liệu huấn luyện, mô hình, kết quả thí nghiệm và phiên bản mô hình.

DEEP Ops tập trung cụ thể hơn vào quá trình vận hành thực tế của AI tài liệu.

Trong công việc tài liệu, không chỉ trọng số mô hình mà cả hạng mục trích xuất, lược đồ, chỉ dẫn bằng ngôn ngữ tự nhiên, tài liệu đánh giá, tiêu chí nghiệp vụ và luồng công việc đều ảnh hưởng trực tiếp đến kết quả vận hành.

Vì vậy, DEEP Ops không thay thế MLOps thông thường, mà gần với nền tảng xử lý lĩnh vực vận hành cần thiết để AI tài liệu thích ứng với thay đổi thực tế của công việc.

DEEP Ops và VLMOps

VLMOps là khái niệm và hệ thống vận hành nhằm vận hành liên tục mô hình ngôn ngữ thị giác trong môi trường công việc thực tế.

Cốt lõi là quản lý tiêu chí trích xuất, lược đồ, tiêu chí đánh giá, phiên bản và lịch sử thay đổi, để AI tài liệu tiếp tục hoạt động phù hợp với công việc đang thay đổi.

DEEP Ops là nền tảng vận hành của Korea Deep Learning, hiện thực hóa khái niệm vận hành AI tài liệu này để thực hiện trong công việc thực tế.

Nói đơn giản, VLMOps là khái niệm mô tả phương thức và hệ thống vận hành, còn DEEP Ops là sản phẩm để thực hiện chính việc vận hành đó.

DEEP Agent và DEEP Ops

DEEP Agent và DEEP Ops có vai trò khác nhau.

DEEP Agent tập trung vào vai trò đọc và phân loại tài liệu thực tế, trích xuất và kiểm chứng thông tin cần thiết, rồi xử lý công việc.

DEEP Ops phụ trách vùng vận hành: thay đổi AI tài liệu đã được xây dựng theo sự thay đổi công việc, kiểm chứng hiệu năng của tiêu chí mới, và quản lý phiên bản cùng lịch sử thay đổi.

Có thể hiểu DEEP Agent là AI Worker thực hiện công việc tài liệu, còn DEEP Ops là môi trường vận hành giúp Worker đó tiếp tục làm việc đúng đắn khi công việc thay đổi.

DEEP Ops trong môi trường tài chính và khu vực công tại Hàn Quốc

Trong lĩnh vực tài chính và khu vực công, biểu mẫu tài liệu và tiêu chí nghiệp vụ không cố định.

Luật và thông tư được sửa đổi, tiêu chí kiểm tra nội bộ thay đổi, và có thể xuất hiện đơn đăng ký hoặc giấy chứng nhận mới.

Thay đổi nghiệp vụ có thể xảy ra vào thời điểm đã định, nhưng cũng có thể phát sinh khi tài liệu chưa từng gặp xuất hiện trong quá trình vận hành.

Nếu xử lý mọi thay đổi như một dự án phát triển mới, tốc độ thay đổi của nghiệp vụ và tốc độ phản ứng của hệ thống AI có thể lệch nhau.

Trong vận hành AI tài liệu, điều quan trọng không chỉ là độ chính xác khi mới xây dựng, mà còn là khả năng sửa tiêu chí, kiểm chứng và đưa lại vào vận hành nhanh đến mức nào khi nghiệp vụ thay đổi.