Document AI là gì: Tổng quan đầy đủ về nhóm công nghệ nhận diện và hiểu tài liệu

Document AI là tên gọi chung cho tập hợp các công nghệ đọc tài liệu, nắm bắt cấu trúc và ý nghĩa của tài liệu đó, bao quát mọi khâu từ nhận dạng ký tự đến chuẩn hóa dữ liệu và trích xuất các mục.

Vì sao thuật ngữ Document AI được sử dụng

Một công nghệ đơn lẻ không đủ để giải quyết công việc tài liệu.

Trong thời gian dài, công nghệ xử lý tài liệu được gọi là nhận dạng ký tự, vì khi đó công việc chỉ là lấy chữ ra khỏi hình ảnh. Tuy nhiên khi áp dụng vào công việc thực tế, chỉ riêng chữ thì chưa làm được gì.

Cấu trúc bảng phải được hiểu thì giá trị trong bảng mới có nghĩa. Biểu mẫu phải được phân biệt thì mới biết cần trích xuất gì. Mục phải được liên kết với giá trị thì mới đưa vào hệ thống được. Các công nghệ này mỗi cái có tên riêng nhưng nằm trên cùng một dòng chảy. Document AI là thuật ngữ được tạo ra để chỉ toàn bộ dòng chảy ấy. Điều quan trọng là nó gọi tên một nhóm, không phải một sản phẩm hay một phương pháp cụ thể.

Định nghĩa chính xác của Document AI: khác gì với AI Worker

Ba trục khác biệt giữa Document AI và AI Worker

Thứ nhất, phạm vi khác nhau. Document AI bao quát đến bước đọc và hiểu tài liệu. AI Worker bao quát bước thực thi, nơi kết quả đọc được dùng để ra quyết định và đăng ký vào hệ thống. Cái trước là một nhóm công nghệ, cái sau là một đơn vị công việc.

Thứ hai, mục tiêu khác nhau. Mục tiêu của Document AI là biến tài liệu thành dữ liệu mà máy có thể xử lý. Mục tiêu của AI Worker là hoàn tất công việc bằng dữ liệu đó.

Thứ ba, chỉ số đánh giá khác nhau. Document AI được đo bằng độ chính xác nhận dạng, độ chính xác khôi phục cấu trúc và độ chính xác trích xuất mục. AI Worker được đo bằng tỷ lệ hồ sơ được xử lý không cần người can thiệp và thời gian xử lý trên mỗi hồ sơ. Trong thực tế, nhóm chỉ số trước thường được cải thiện trong khi nhóm chỉ số sau thì không, nên đây là điều cần lưu ý.

Hai khái niệm không đối lập nhau. Document AI là nền móng mà AI Worker đứng trên. Tuy nhiên, nếu trộn lẫn hai thuật ngữ trong thảo luận triển khai thì kỳ vọng và kết quả sẽ lệch nhau. Nên xác định trước công việc muốn giao phó đến đâu.

Bốn lĩnh vực công nghệ tạo nên Document AI

Bốn lĩnh vực công nghệ nằm trong nhóm

Thứ nhất, nhận dạng ký tự. Lĩnh vực này tìm chữ trong hình ảnh và chuyển thành văn bản, bao gồm việc chỉnh lại tình trạng của tài liệu và xử lý chữ viết tay.

Thứ hai, phân tích cấu trúc. Lĩnh vực này xác định các thành phần như tiêu đề, nội dung, bảng và hình, rồi quyết định thứ tự đọc và thứ bậc của chúng.

Thứ ba, trích xuất mục. Lĩnh vực này chọn các giá trị cần thiết cho công việc, ghép với mục tương ứng và xuất ra. Các quy tắc kiểm tra đi kèm với bước này.

Thứ tư, phân loại tài liệu. Lĩnh vực này xác định biểu mẫu của tệp tiếp nhận và, khi cần, tách tệp thành từng tài liệu.

Bốn lĩnh vực này không chạy theo thứ tự cố định mà phụ thuộc lẫn nhau. Phải phân loại được thì mới xác định được cần trích xuất gì. Cấu trúc phải được xác lập thì giá trị mới có nghĩa. Nhận dạng phải chính xác thì các khâu còn lại mới thành lập.

Những điều cần kiểm tra khi triển khai Document AI

Trước hết xác nhận sản phẩm bao quát đến đâu

Vì thuật ngữ Document AI có phạm vi rộng nên phạm vi thực tế khác nhau giữa các sản phẩm. Có sản phẩm chỉ cung cấp nhận dạng ký tự, có sản phẩm đến tận khâu chuẩn hóa, có sản phẩm còn bao quát cả việc thực thi công việc. Tất cả đều được giới thiệu dưới cùng một tên gọi.

Khi xem xét, nên hỏi về đầu ra thay vì nhãn sản phẩm. Hãy hỏi kết quả nào được tạo ra và kết quả đó đi vào hệ thống hiện có như thế nào. Làm như vậy, phạm vi sẽ rõ ràng.

Chia chỉ số theo từng lĩnh vực

Tóm tắt hiệu năng bằng một con số độ chính xác sẽ che khuất thực trạng. Hãy kiểm tra riêng nhận dạng ký tự, khôi phục cấu trúc, trích xuất mục và nhận diện biểu mẫu.

Trong các đánh giá thực tế, các giá trị này không biến động cùng nhau. Có trường hợp nhận dạng ký tự cao nhưng khôi phục cấu trúc bảng lại thấp hơn nhiều. Cũng có trường hợp phát hiện đầy đủ các phần tử nhưng riêng khôi phục bảng thì thấp.

Document AI trong bối cảnh Hàn Quốc

Tại Hàn Quốc, định dạng tài liệu và yêu cầu bảo mật quyết định phạm vi triển khai trước tiên. Trong đánh giá kỹ thuật, điều được xem xét đầu tiên là có xử lý được tệp Hangul word processor ở dạng gốc hay không, và có cài đặt được trong môi trường phân tách mạng hay không.

Bản thân tài liệu cũng đặt ra điều kiện. Các đối tượng thực tế gồm bảng nhiều tầng của biểu mẫu công, mục đánh số bằng ký tự khoanh tròn, tiêu đề chồng lên nhau trên bản fax, và đơn có cả con dấu lẫn chữ viết tay. Nhà cung cấp đã nhiều lần huấn luyện và kiểm chứng với tài liệu Hàn Quốc sẽ có lợi thế trong lĩnh vực này.

Tách giai đoạn đọc và giai đoạn thực thi

Vì thuật ngữ Document AI có phạm vi rộng nên mỗi người hiểu nó bao gồm những gì một cách khác nhau. Trong thảo luận triển khai, nên thống nhất trước xem đang nói đến giai đoạn nào.

Có thể chia thành năm giai đoạn: nhận dạng ký tự, hiểu cấu trúc tài liệu, chuẩn hóa các giá trị cần thiết, đưa ra phán đoán dựa trên các giá trị đó, và phản ánh kết quả vào hệ thống nghiệp vụ. Thuật ngữ Document AI thường chỉ ba giai đoạn đầu.

Các khái niệm bao gồm hai giai đoạn sau được gọi bằng tên khác. Quá trình dừng ở việc đọc hay đi đến tận việc thực hiện công việc sẽ quyết định hiệu quả triển khai, nên nếu làm mờ sự phân biệt này thì kỳ vọng và kết quả sẽ lệch nhau.