Exact Match là gì: Tiêu chuẩn nghiêm ngặt để đo đúng độ chính xác của Document AI, tổng quan đầy đủ

Exact Match (tỷ lệ khớp hoàn toàn) là chỉ số chỉ đếm một giá trị là đúng khi giá trị trích xuất trùng khớp với đáp án do con người xác định, đến từng chữ cái và từng ký hiệu. Đây là tiêu chuẩn nghiêm ngặt nhất để đánh giá hiệu năng của Document AI.

Vì sao độ chính xác không có nghĩa giống nhau ở mọi nơi

Cùng một sản phẩm nhưng được báo cáo với những con số chênh nhau hai chữ số.

Khi bàn về độ chính xác trong buổi đánh giá giải pháp, đôi khi xuất hiện nhiều con số khác nhau cùng lúc. Không con số nào sai, nhưng chúng vẫn khác nhau. Con số trước là tiêu chuẩn tương đồng cho phép sai khác về khoảng trắng và ký hiệu, còn con số sau là tiêu chuẩn khớp hoàn toàn đếm từng ký tự một.

Đơn vị tính cũng khác nhau. Nếu đếm theo ký tự, chỉ cần sai một chữ trong một địa chỉ dài vẫn được tính là phần lớn đúng. Nếu đếm theo mục, cùng địa chỉ đó sẽ bị tính là sai toàn bộ. Xét theo góc độ nghiệp vụ, cách tính sau mới đúng, vì một giá trị sai một chữ thì không thể nhập vào hệ thống.

Vì vậy, điều cần làm rõ khi xem xét triển khai không phải là bao nhiêu phần trăm, mà là đã đếm cái gì và đếm thế nào.

Định nghĩa chính xác của Exact Match: khác gì với độ chính xác dựa trên tương đồng

Ba trục khác biệt giữa Exact Match và Fuzzy Similarity

Thứ nhất, cách phán định khác nhau. Exact Match phán định mỗi giá trị hoặc đúng hoặc sai. Fuzzy Similarity tính mức độ giống nhau của hai chuỗi bằng tỷ lệ, nên cho điểm từng phần.

Thứ hai, điều được phản ánh khác nhau. Exact Match coi cả những khác biệt nhỏ về cách viết cũng là lỗi. Số đăng ký kinh doanh thiếu dấu gạch nối hay tên công ty có khoảng trắng khác nhau đều bị phát hiện ở đây. Fuzzy Similarity phản ánh những trường hợp người đọc cho là cùng một giá trị, nên gần với độ chính xác mà người cảm nhận được hơn.

Thứ ba, nơi sử dụng khác nhau. Exact Match là tiêu chuẩn trong nghiệp vụ mà giá trị trích xuất được nhập nguyên văn vào hệ thống. Nếu giá trị khác dù chỉ một chút, việc đăng ký sẽ thất bại hoặc dữ liệu sai sẽ được tích lũy. Fuzzy Similarity hữu ích khi so sánh chất lượng nhận dạng hoặc ước lượng gánh nặng kiểm tra. Trong một kiểm chứng thực tế, một bộ tài liệu tài chính có độ chính xác theo tương đồng cao đối với chữ in và chữ viết tay, nhưng mục tiêu khớp hoàn toàn của cùng bộ tài liệu đó được đặt thấp hơn.

Hai chỉ số này không thay thế nhau. Nếu chỉ nhìn tương đồng thì sẽ bỏ qua gánh nặng nhập lại phát sinh trong công việc thực tế. Nếu chỉ nhìn khớp hoàn toàn thì sẽ hiểu nhầm các vấn đề về cách viết, vốn có thể giải quyết bằng chuẩn hóa, là thiếu hiệu năng. Xem cả hai giá trị cùng nhau sẽ chính xác hơn.

Năm tiêu chí để dùng Exact Match đúng cách

Năm tiêu chí đo tỷ lệ khớp hoàn toàn

Thứ nhất, lấy mục làm đơn vị tính. Tính theo ký tự sẽ cho ra con số xa rời tác động thực tế lên công việc. Đơn vị đúng là một mục, tức là giá trị mà nhân viên nhập vào hệ thống.

Thứ hai, định trước quy tắc chuẩn hóa. Nếu không quyết định cách xử lý dấu gạch nối, khoảng trắng, dấu ngoặc và cách ghi đơn vị, cùng một kết quả sẽ cho điểm khác nhau mỗi lần đo. Thực tế hơn là chuẩn hóa trước những khác biệt về cách viết mà nghiệp vụ cho phép, rồi mới so với đáp án.

Thứ ba, chia kết quả theo từng mục. Nếu chỉ có một trung bình chung thì không biết mục nào đang có vấn đề. Số tiền, ngày tháng, tên và số tài khoản có tính chất lỗi và tác động đến công việc khác nhau.

Thứ tư, đặt mục tiêu theo tiêu chuẩn nghiệp vụ. Yêu cầu 100% là không thực tế, nhưng mục tiêu cũng không thể đặt tùy tiện. Cần tính cùng lúc một lỗi dẫn đến điều gì và sau đó có quy tắc kiểm chứng cùng việc người rà soát hay không.

Thứ năm, đếm riêng các mục không thể xác định. Có những mục không có giá trị trong bản gốc, hoặc bản quét đã mất thông tin khiến cả người cũng không thể phán đoán. Nếu tính các mục này là sai, việc đánh giá sẽ trở thành đánh giá chất lượng tài liệu chứ không phải hiệu năng sản phẩm.

Cách áp dụng tỷ lệ khớp hoàn toàn trong thực tế

Xây dựng bộ đáp án và quy tắc chuẩn hóa cùng lúc

Sản phẩm đầu tiên của việc đo lường là bộ đáp án. Đây là công việc để con người xác nhận và ghi lại đáp án đúng cho từng mục của từng tài liệu, và nên ghi kèm quy tắc chuẩn hóa.

Ví dụ, số đăng ký kinh doanh được so sánh dưới dạng mười chữ số đã bỏ dấu gạch nối, số tiền được so sánh dưới dạng số đã bỏ dấu phẩy và ký hiệu tiền tệ, còn ngày tháng được chuyển về định dạng đã quy định trước khi so sánh. Nếu các quy tắc này được ghi thành văn bản thì khi đo lại sau này cũng sẽ áp dụng cùng tiêu chuẩn.

Quản lý tách biệt với các chỉ số vận hành

Tỷ lệ khớp hoàn toàn là chỉ số dùng cho quyết định triển khai và so sánh hiệu năng. Khi đã vận hành, cần có các chỉ số khác: tỷ lệ hồ sơ được xử lý hoàn tất không cần người can thiệp, tỷ lệ mục nhân viên thực sự sửa khi rà soát, và tỷ lệ hồ sơ rơi vào ngoại lệ.

Tách riêng hai loại này sẽ làm rõ mục đích của từng loại. Nếu tỷ lệ khớp hoàn toàn giảm thì vấn đề nằm ở mô hình hoặc biểu mẫu. Nếu tỷ lệ khớp hoàn toàn không đổi nhưng tỷ lệ sửa tăng lên thì cần xem lại tiêu chuẩn rà soát hoặc quy tắc nghiệp vụ.

Exact Match trong bối cảnh Hàn Quốc

Tài liệu tiếng Hàn thường có chênh lệch cách viết ở những điểm cụ thể. Hậu tố pháp nhân tương đương “Co., Ltd.” (công ty cổ phần) trong tên công ty có khi đứng trước, có khi đứng sau hoặc nằm trong ngoặc. Địa chỉ trộn lẫn cách ghi theo tên đường và số thửa đất, còn cách ghi tầng và số phòng thì khác nhau. Tên ngân hàng được dùng cả tên chính thức lẫn tên viết tắt, nên trong một tài liệu có thể là tên chính thức còn trong tài liệu khác là tên viết tắt.

Nếu tính tất cả các khác biệt này là lỗi, tỷ lệ khớp hoàn toàn sẽ thấp hơn hiệu năng thực tế. Ngược lại, nếu cho phép tất cả, những khác biệt quan trọng với công việc sẽ bị bỏ qua. Cần làm việc với nhân viên nghiệp vụ để xác định khác biệt cách viết nào được coi là cùng một giá trị trong công việc.