LLM OCR là gì: cấu trúc và giới hạn khi đọc tài liệu bằng mô hình ngôn ngữ lớn, hướng dẫn đầy đủ

LLM OCR là phương pháp nhận dạng tài liệu trong đó một mô hình ngôn ngữ lớn nhận văn bản do OCR đọc được hoặc ảnh tài liệu, dùng ngữ cảnh để đọc hoặc hiệu chỉnh ký tự, rồi sắp xếp các trường cần thiết theo một định dạng cố định.

Vì sao LLM OCR được chú ý

Vì không cần viết quy tắc cho từng biểu mẫu.

OCR truyền thống trong xử lý tài liệu đòi hỏi quy tắc vị trí hoặc mẫu cho từng biểu mẫu để tìm xem giá trị nào thuộc trường nào sau khi đã đọc ký tự. Khi đơn vị phát hành chỉ thay đổi bố cục một chút, quy tắc phải được sửa lại, và biểu mẫu chưa từng gặp thì phải nhập tay.

Mô hình ngôn ngữ lớn hiểu ngữ cảnh, nên chỉ cần một chỉ dẫn như "tìm giá trị hợp đồng và thời hạn hợp đồng" là có thể tìm được các trường trên biểu mẫu chưa từng gặp. Các ký tự bị mờ hoặc chữ viết tắt cũng có thể được sửa dựa trên các câu xung quanh.

Vì sự tiện lợi này, các nỗ lực gắn mô hình ngôn ngữ lớn vào nhận dạng tài liệu đã tăng nhanh. Tuy nhiên, mô hình ngôn ngữ lớn không phải là mô hình chép lại chữ trong ảnh mà là mô hình tạo ra câu có khả năng cao nhất. Trước khi dùng trong công việc, cần xem xét tính chất này thể hiện ra kết quả như thế nào.

Định nghĩa chính xác của LLM OCR: khác gì với OCR

OCR và LLM OCR, ba trục khác biệt

LLM OCR được dùng theo hai hình thức. Một là mô hình ngôn ngữ lớn nhận văn bản do công cụ OCR đọc và hiệu chỉnh, sắp xếp lại. Hai là mô hình nhận ảnh làm đầu vào, đọc trực tiếp tài liệu và đưa ra kết quả. Mô hình đọc ảnh trực tiếp được xếp vào nhóm VLM về mặt phân loại công nghệ, nhưng cả hai đều có điểm chung là kết quả do mô hình ngôn ngữ tạo ra.

Thứ nhất, cách tạo kết quả khác nhau. OCR tìm ký tự trong ảnh và chép lại đúng như vậy. LLM OCR tạo ra câu có khả năng cao nhất từ đầu vào, nên các giá trị không có trong nguồn có thể xuất hiện lẫn vào một cách tự nhiên.

Thứ hai, thông tin vị trí khác nhau. OCR trả về tọa độ của từng ký tự, nên có thể thấy ngay kết quả đến từ đâu trong bản gốc. LLM OCR thường chỉ trả về văn bản, nên khó truy ra nguồn gốc của một giá trị.

Thứ ba, phạm vi sử dụng ngữ cảnh khác nhau. OCR phán đoán theo từng ký tự, nên các câu trước và sau hầu như không ảnh hưởng đến việc nhận dạng. LLM OCR chủ động dùng ngữ cảnh để sửa ký tự mờ và diễn giải ý nghĩa của các mục, nhưng cũng vì tính chất này mà phần không đọc được có thể bị điền bằng phỏng đoán.

Tóm lại, OCR mạnh ở việc đọc có thể kiểm chứng, còn LLM OCR mạnh ở việc diễn giải và sắp xếp. Trong công việc thực tế, nhiều hệ thống chia vai trò và dùng cả hai, thay vì chọn một trong hai.

Năm điều kiện để dùng LLM OCR trong công việc

Năm điều kiện của LLM OCR khi vận hành thực tế

Thứ nhất, mỗi kết quả phải có vị trí nguồn có thể kiểm tra. Mỗi giá trị trích xuất cần được liên kết với vùng trên ảnh gốc mà nó đến từ, để người kiểm tra có thể đối chiếu nhanh.

Thứ hai, các giá trị không đọc được phải để trống. Thiết kế chỉ dẫn và định dạng đầu ra sao cho các mục không chắc chắn được để trống hoặc được đánh dấu cần xác nhận, thay vì được điền bằng giá trị có vẻ hợp lý.

Thứ ba, định dạng đầu ra phải cố định. Đặt tên mục, kiểu dữ liệu và quy tắc ghi ngày tháng, số tiền trong một lược đồ trích xuất, để các hệ thống phía sau có thể nhận kết quả đúng như vậy.

Thứ tư, phải kiểm tra chéo bằng một phương pháp khác bản chất. So sánh với kết quả OCR có trả về tọa độ hoặc với các quy tắc tính toán như tổng cộng, rồi chọn ra những giá trị không khớp.

Thứ năm, phải có thể cài đặt trong môi trường vận hành. Với tổ chức khó gửi tài liệu chứa thông tin cá nhân ra mô hình bên ngoài, trước hết cần kiểm tra xem mô hình có thể cài đặt nội bộ hay không.

Cách áp dụng LLM OCR trong thực tế

Tách việc đọc và việc diễn giải khi bố trí

Các đoạn cần chép chính xác chữ và số thì giao cho mô hình nhận dạng có trả về tọa độ. Mô hình ngôn ngữ lớn được đặt ở đoạn diễn giải văn bản đã đọc, tìm các mục và căn chỉnh định dạng. Với các mục mà chỉ một ký tự sai cũng gây sự cố, như số tiền hoặc số tài khoản, không dùng trực tiếp kết quả do mô hình sinh ra mà phải đối chiếu với kết quả đọc.

Viết kèm quy tắc ngoại lệ vào tiêu chí trích xuất

Chỉ dẫn không chỉ nên nêu các mục cần tìm mà còn phải nêu cách xử lý khi giá trị bị thiếu hoặc không đọc được. Ví dụ, nếu ô chữ ký trống thì để trống, hoặc nếu số tiền được ghi ở hai chỗ khác nhau thì trả về cả hai. Nếu không có quy tắc ngoại lệ, mô hình có xu hướng điền các chỗ trống bằng giá trị hợp lý.

Kiểm chứng bằng cách so sánh trước và sau với tài liệu thực

Trước khi đưa vào sử dụng, hãy thu thập tài liệu công việc thực tế và dữ liệu đáp án, rồi đo độ chính xác cho từng mục. Cần đếm riêng số trường hợp xuất hiện giá trị không có trong nguồn, tách khỏi độ khớp theo ký tự, vì đó mới là rủi ro thật của LLM OCR. Mỗi khi thay đổi mô hình hoặc chỉ dẫn, hãy đo lại trên cùng bộ tài liệu.

LLM OCR trong bối cảnh Hàn Quốc

Tài liệu tài chính và công của Hàn Quốc chứa nhiều thông tin cá nhân, như số đăng ký cư trú và số tài khoản, và theo quy định phân tách mạng, thường khó sử dụng API mô hình bên ngoài. Vì vậy, cấu hình phổ biến là dùng mô hình cài đặt nội bộ để xử lý cả việc đọc lẫn diễn giải.

Cần kiểm tra hiệu năng riêng với các dạng tài liệu thường gặp trong nghiệp vụ Hàn Quốc: chữ viết tay tiếng Hàn, con dấu, biểu mẫu cũ có lẫn chữ Hán, và bản fax độ phân giải thấp. Hiệu năng mà một mô hình đa dụng thể hiện trên tài liệu tiếng Anh không nhất thiết sẽ giữ nguyên trên tài liệu nghiệp vụ tiếng Hàn.