VLM là gì: Mô hình thị giác-ngôn ngữ hiểu tài liệu mà không cần tọa độ, hướng dẫn đầy đủ

VLM (Vision Language Model) là mô hình xử lý ảnh tài liệu và ngôn ngữ cùng trong một mô hình duy nhất. Nó không chỉ hiểu ký tự mà còn hiểu bố cục nơi các ký tự đó nằm và quan hệ với các mục xung quanh, nắm bắt ý nghĩa gần giống cách con người đọc tài liệu.

VLM ra đời trong bối cảnh nào

Hễ biểu mẫu thay đổi là việc nhận dạng dừng lại.

Công nghệ nhận dạng tài liệu trong thời gian dài hoạt động dựa trên tọa độ. Người ta xác định trước tên nằm ở vị trí nào trên đơn đăng ký và số tiền nằm ở đâu, rồi đọc ký tự tại các vị trí đó. Cách này hoạt động tốt với tài liệu có biểu mẫu cố định. Vấn đề là tài liệu nghiệp vụ thực tế không cố định. Cùng một giấy chứng nhận đăng ký có thể có thứ tự và vị trí các mục khác nhau tùy thời điểm cấp và nội dung ghi, còn cùng một đơn đăng ký có thể bố trí khác nhau theo chi nhánh và năm. Với cách dùng tọa độ, mỗi mẫu được thêm vào lại cần thêm nhãn và huấn luyện. Trong nghiệp vụ tài chính có hàng chục loại tài liệu, chi phí này đã cản trở chính việc đưa vào sử dụng.

VLM tiếp cận theo cách khác. Thay vì chỉ định nơi cần đọc bằng tọa độ, bạn nói bằng ngôn ngữ cần tìm gì, và mô hình sẽ xem toàn bộ tài liệu rồi tìm mục đó. Chỉ với một yêu cầu trích xuất hạn nộp hồ sơ và mức hỗ trợ, các giá trị đó đã có thể được lấy ra từ thông báo tuyển chọn.

Định nghĩa chính xác của VLM: khác gì OCR dựa trên quy tắc

Ba tiêu chí phân biệt OCR dựa trên quy tắc và VLM

Thứ nhất, đối tượng xử lý khác nhau. OCR dựa trên quy tắc xử lý các điểm ảnh trong một vùng đã chỉ định. VLM xử lý đồng thời thông tin thị giác của toàn bộ trang và văn bản được viết trên đó. Nhờ vậy, ngay cả khi tên mục và giá trị nằm xa nhau, VLM vẫn có thể liên kết hai thứ dựa trên quan hệ giữa chúng, và nó cũng phán đoán một ô đánh dấu trong bảng có được chọn hay không dựa trên ngữ cảnh xung quanh.

Thứ hai, mục tiêu khác nhau. Mục tiêu của OCR dựa trên quy tắc là chép chính xác ký tự tại vị trí đã chỉ định. Mục tiêu của VLM là hiểu tài liệu đang nói gì và trả về thông tin được yêu cầu. Cách trước bắt đầu từ việc biết vị trí nhưng chưa biết giá trị, còn cách sau bắt đầu từ việc biết tên giá trị nhưng chưa biết vị trí.

Thứ ba, chỉ số đánh giá khác nhau. Với OCR dựa trên quy tắc, độ chính xác theo ký tự là đủ. Với VLM, phải đánh giá thêm độ chính xác giá trị theo từng mục và mức độ duy trì hiệu năng khi biểu mẫu thay đổi. Trong một đánh giá lấy mẫu ngẫu nhiên tài liệu hành chính công, khoảng cách giữa các phương pháp lớn hơn nhiều ở độ chính xác nhận dạng giá trị so với độ chính xác nhận dạng khóa. Sự khác biệt công nghệ thể hiện rõ nhất không phải ở việc tìm tên mục, mà ở việc lấy đúng giá trị gắn với tên đó.

Hai cách tiếp cận không thay thế nhau. Ở những khâu biểu mẫu hoàn toàn cố định và khối lượng lớn, phương pháp dựa trên quy tắc vẫn nhanh và rẻ. Với các loại tài liệu nhiều và biểu mẫu thay đổi thường xuyên, kết hợp đặt VLM vào là cách thực tế.

Năm yêu cầu để đưa VLM vào nghiệp vụ

Năm yêu cầu để chạy VLM trong vận hành thực tế

Thứ nhất, phải chuyên biệt cho tài liệu. Mô hình thị giác-ngôn ngữ đa dụng giỏi mô tả ảnh và biểu đồ, nhưng thứ nghiệp vụ tài liệu cần không phải là mô tả mà là giá trị. Các yếu tố không có trong ảnh thông thường như con dấu, nét gạch ngang, chữ viết chồng lên nhau và tiêu đề fax xếp bốn lớp phải được học sẵn thì hiệu năng mới đạt được trên tài liệu tiếp nhận thực tế.

Thứ hai, không được tạo ra giá trị không tồn tại. Điểm yếu cấu trúc của VLM là khi không chắc chắn, nó có xu hướng lấp ô trống bằng giá trị có vẻ hợp lý nhất. Trong nghiệp vụ tài liệu, đặc tính này trở thành tai nạn. Bên trong mô hình phải có cơ chế kiểm soát để các mục có độ tin cậy thấp không được xác nhận thành giá trị và được chuyển sang kiểm tra.

Thứ ba, phải trả về vị trí của từng giá trị. Hiểu mà không cần tọa độ không có nghĩa là không trả về tọa độ. Nó chỉ có nghĩa là không cần chỉ định tọa độ ở đầu vào. Ở đầu ra, vị trí của giá trị trong tài liệu gốc vẫn phải được chỉ ra thì việc kiểm tra mới khả thi.

Thứ tư, phải hiểu bảng và cấu trúc cùng lúc. Nếu chỉ nhận dạng ký tự mà mất bố cục thì liên kết giữa mục và giá trị sẽ đứt. Đây là lý do trong các đánh giá phân tích tài liệu quốc tế, điểm các mục khôi phục cấu trúc chênh lệch lớn ngay cả giữa các mô hình hàng đầu.

Thứ năm, phải tự triển khai mô hình thì mới kiểm soát được. Trong cấu hình gọi mô hình bên ngoài, tài liệu gốc sẽ rời khỏi tổ chức, và hiệu năng có thể thay đổi không báo trước khi mô hình được cập nhật. Với tài chính và công quyền, cả hai điều kiện này đều là rào cản đưa vào sử dụng.

Cách áp dụng VLM trong thực tế

Thiết kế tiêu chí trích xuất bằng câu văn

Trong xử lý tài liệu dựa trên VLM, sản phẩm đầu tiên của dự án không phải dữ liệu huấn luyện mà là tài liệu tiêu chí trích xuất. Với từng mục, bạn viết các chỉ dẫn như: tìm ngày yêu cầu ở phần đầu tài liệu và định dạng theo năm, tháng, ngày; lấy tổng số tiền yêu cầu từ dòng tổng cộng ở cuối bảng và bỏ ký hiệu tiền tệ cùng dấu phẩy; coi số hợp đồng được ghi là số hợp đồng hoặc số bảo hiểm là cùng một mục.

Ưu điểm của cách này là chi phí ứng phó khi biểu mẫu thay đổi thấp. Khi thêm một mục mới hoặc cách ghi thay đổi, bạn sửa tiêu chí thay vì huấn luyện lại mô hình. Tuy nhiên, vì tiêu chí chính là hiệu năng, nên ngay từ đầu phải xác định ai quản lý tài liệu này và cách lưu phiên bản.

Kiểm tra môi trường suy luận trước

VLM cần tính toán nhiều hơn phương pháp dựa trên quy tắc. Trong các triển khai thực tế, tốc độ xử lý mỗi trang và thông lượng theo lô đã được xác nhận trên GPU. Khi cân nhắc đưa vào sử dụng, hãy tính quy mô GPU bằng cách kết hợp sản lượng hằng tháng với mức độ tập trung của giờ cao điểm.

Cũng cần quyết định hình thức triển khai. Cấu hình phổ biến là cài đặt dạng container trong mạng nội bộ. Nếu tách suy luận mô hình, hậu xử lý và lưu trữ kết quả thành các lớp riêng, việc kết nối với hệ thống nghiệp vụ về sau sẽ dễ dàng hơn.

VLM trong môi trường tại Hàn Quốc

Điều kiện đầu tiên gặp phải khi đưa vào sử dụng tại Hàn Quốc là tách mạng. Vì không thể gọi API bên ngoài từ mạng nghiệp vụ, việc mô hình có thể cài đặt và vận hành nội bộ hay không là điểm khởi đầu của thẩm định kỹ thuật. Các cấu hình gọi API mô hình lớn của nước ngoài thường bị loại khỏi danh sách xem xét ngay tại bước này.

Bản thân tài liệu cũng khác biệt. Tài liệu của trình soạn thảo chữ Hàn, biểu mẫu công quyền và bản quét fax độ phân giải thấp là đối tượng xử lý thực tế, và đi kèm đó là con dấu cùng chữ viết tay. Các mô hình đã được huấn luyện và kiểm chứng nhiều lần trên tài liệu tiếng Hàn sẽ có lợi thế trong lĩnh vực này.

Mở rộng đa ngôn ngữ cũng là một cân nhắc. Trong một trường hợp xử lý hồ sơ thẩm định tín dụng của công ty con nước ngoài, độ chính xác được xác nhận cho cả chữ in và chữ viết tay bằng ngôn ngữ địa phương, bao gồm cả ký tự có thanh điệu. Hiệu năng khác nhau theo ngôn ngữ, nên cần quy trình kiểm chứng bằng tài liệu thực tế của ngôn ngữ đích.

Bố trí tách biệt với các khâu dựa trên quy tắc

Không cần dùng mô hình thị giác-ngôn ngữ cho mọi khâu. Với những khâu biểu mẫu hoàn toàn cố định và khối lượng lớn, ví dụ báo cáo có cấu trúc đến theo cùng một mẫu mỗi ngày, xử lý dựa trên quy tắc nhanh và rẻ hơn.

Cách bố trí thường gặp trong thực tế là tách khâu đầu và khâu sau. Khâu đầu, nơi không biết tài liệu tiếp nhận thuộc mẫu nào, và các khâu mà bố cục thay đổi theo từng biểu mẫu do mô hình thị giác-ngôn ngữ đảm nhận. Khâu sau, nơi nhập các giá trị đã trích xuất vào màn hình và quy trình cố định, do công cụ tự động hóa đảm nhận. Cách chia này giúp tập trung tính toán vào nơi cần thiết và giữ được sự ổn định của các khâu có quy tắc cố định.

Cơ sở để chia khâu là mức độ biến động của biểu mẫu. Đếm xem trong một năm qua biểu mẫu đã thay đổi bao nhiêu lần và bao lâu thì có biểu mẫu mới được thêm vào, sẽ xác định gần đúng nên đặt mô hình ở đâu.

Thống nhất quy trình cập nhật mô hình

Mô hình không phải cài một lần rồi thôi. Khi có bộ tài liệu mới hoặc có bản cải tiến, nó phải được áp dụng. Nếu quá trình này không được kiểm soát, một thứ hoạt động tốt hôm qua có thể đột ngột khác đi hôm nay.

Cấu hình an toàn gồm ba bước. Trước hết, đưa tiêu chí trích xuất đã thay đổi hoặc phiên bản mô hình mới lên môi trường kiểm tra. Tiếp theo, so sánh hiệu năng với phiên bản hiện tại bằng cùng bộ tài liệu đánh giá. Cuối cùng, khi người phụ trách đã kiểm tra kết quả và phê duyệt, đưa vào vận hành, và nếu có sự cố thì quay lại phiên bản trước.

Khi quy trình này được thiết lập, lịch sử thay đổi trở thành tài sản. Ghi lại được thay đổi nào xuất phát từ biểu mẫu nào và hiệu năng thay đổi ra sao sau đó, nên kiến thức vận hành sẽ không bị phân tán khi người phụ trách thay đổi.