TEDS là gì: Chỉ số độ tương đồng cấu trúc đo hiệu năng nhận dạng bảng, hướng dẫn đầy đủ

TEDS (Tree Edit Distance based Similarity) là chỉ số chuyển bảng đã trích xuất và bảng gốc thành hai cấu trúc cây, rồi tính lượng chỉnh sửa cần thiết để biến cây này thành cây kia, từ đó biểu diễn mức độ khớp của cấu trúc và giá trị bảng dưới dạng một tỷ lệ duy nhất.

Vì sao bảng cần một chỉ số riêng

Độ chính xác văn bản không cho biết hiệu năng của bảng.

Khi kiểm tra hiệu năng AI tài liệu, hầu hết tài liệu đều nêu độ chính xác văn bản. Khi con số này cao, người ta dễ nghĩ bảng cũng sẽ cho kết quả tốt. Nhưng khi đo thực tế, kết quả lại khác.

Trong một đánh giá tài liệu công quyền, độ tương đồng văn bản cao nhưng độ tương đồng cấu trúc bảng thấp hơn nhiều. Gần như toàn bộ ký tự đã được đọc, nhưng sự chênh lệch nằm ở việc khôi phục xem từng ký tự nằm trong ô nào.

Khoảng cách này quan trọng vì bản chất thông tin mà bảng chứa. Một giá trị trong bảng tự nó không có ý nghĩa. Chỉ khi biết nó nằm ở hàng nào và cột nào thì nó mới có nghĩa. Khi cấu trúc sụp đổ, các giá trị dù chính xác cũng không dùng được.

Định nghĩa chính xác của TEDS: khác gì độ chính xác văn bản

Ba tiêu chí phân biệt độ chính xác văn bản và TEDS

Thứ nhất, đối tượng đo khác nhau. Độ chính xác văn bản đo chuỗi ký tự. TEDS đo cấu trúc thu được khi chuyển bảng thành cây. Cách bố trí hàng và cột, phạm vi ô gộp, và sự phân tách giữa vùng tiêu đề và vùng dữ liệu đều được ghi lại trong cây này.

Thứ hai, cách tính khác nhau. Độ chính xác văn bản so khớp từng ký tự. TEDS so sánh hai cây, đếm số lần chỉnh sửa cần thiết để biến cây này thành cây kia, rồi quy đổi lượng chỉnh sửa đó thành điểm tương đồng theo kích thước bảng. Vì vậy, dù mọi giá trị ô đều đúng, điểm vẫn giảm nếu phạm vi ô gộp sai.

Thứ ba, vấn đề mà mỗi chỉ số phơi bày khác nhau. Độ chính xác văn bản phơi bày lỗi đọc. TEDS phơi bày lỗi khôi phục cấu trúc. Khi xem hai chỉ số này tách biệt ra sao trong các đánh giá thực tế: ở một nhóm tài liệu công quyền, việc phát hiện phần tử và độ chính xác vị trí đều đạt đầy đủ, văn bản cũng cao, nhưng riêng TEDS lại thấp. Ở một nhóm tài liệu công quyền khác, văn bản cao trong khi khôi phục cấu trúc bảng ở mức trung bình, còn trong kiểm chứng trên biểu mẫu khai thuế, khôi phục cấu trúc bảng được xác nhận là cao.

Hai chỉ số không thay thế nhau. Nếu không đọc được ký tự thì dù khôi phục cấu trúc, nội dung vẫn trống. Nếu không khôi phục được cấu trúc, các giá trị đọc đúng sẽ không có chỗ để đặt. Nên yêu cầu cả hai giá trị đi cùng nhau.

Năm điều cần lưu ý khi đọc TEDS

Năm lưu ý khi diễn giải TEDS

Thứ nhất, đây không phải tiêu chuẩn tuyệt đối. Không thể nói một con số đạt đến mức phần trăm nào đó là tốt. Cùng một sản phẩm có thể dao động mạnh tùy theo tính chất tài liệu. Chỉ những giá trị đo trên tài liệu của chính đơn vị mới là căn cứ đánh giá.

Thứ hai, phải xem xét độ khó của tài liệu. Các bộ tài liệu có nhiều bảng lưới đơn giản sẽ dễ cho giá trị cao. Tài liệu hành chính có tiêu đề nhiều tầng và ô gộp chồng lấp sẽ làm cùng một sản phẩm giảm mạnh. Chỉ so sánh điểm mà không so sánh tài liệu sẽ dẫn đến kết luận sai.

Thứ ba, có thể tách điểm cấu trúc và điểm giá trị. TEDS phản ánh cả cấu trúc lẫn nội dung ô, nên không thể phân biệt điểm thấp là do cấu trúc hay do giá trị. Nếu muốn biết nguyên nhân, hãy đo kết hợp với một phương pháp chỉ so sánh cấu trúc.

Thứ tư, cách cắt bảng quyết định kết quả. Nếu một bảng trải qua một trang bị tách thành hai khi nhận dạng, điểm của từng phần có thể cao, nhưng thực tế một bảng đã bị chia nhỏ. Hãy kiểm tra điều này cùng với kết quả phát hiện vùng bảng.

Thứ năm, không liên hệ trực tiếp với tác động nghiệp vụ. Điểm thấp không có nghĩa là nghiệp vụ thất bại theo đúng tỷ lệ đó. Để biết tác động thực tế, cần kiểm tra mục nào bị lệch và mục đó có được dùng trong nghiệp vụ hay không.

Cách áp dụng TEDS trong thực tế

Yêu cầu khi đề nghị kiểm chứng

Tài liệu đánh giá giải pháp thường thiếu chỉ số bảng. Với nghiệp vụ xử lý tài liệu mà bảng là nội dung chính, hãy yêu cầu rõ độ tương đồng cấu trúc bảng bên cạnh độ chính xác văn bản.

Khi yêu cầu, nên ghi rõ cả tài liệu sẽ được đo. Giá trị đo trên tài liệu mẫu công khai và giá trị đo trên tài liệu tiếp nhận của chính đơn vị sẽ khác nhau. Để so sánh có ý nghĩa, cần đưa vào các biểu mẫu thực tế có ô gộp và tiêu đề nhiều tầng.

Thu hẹp nguyên nhân của giá trị thấp

Nếu TEDS thấp hơn mong đợi, hãy chia nguyên nhân thành ba hướng: có xác định sai chính vùng bảng hay không, có nhận định sai ranh giới hàng và cột hay không, hoặc có bỏ sót phạm vi ô gộp hay không.

Mỗi hướng có cách xử lý khác nhau. Vấn đề phát hiện vùng thường được truy về phân tích bố cục ở khâu đầu, vấn đề nhận định ranh giới thường nằm ở bước tiền xử lý với tài liệu có đường kẻ mờ hoặc không có đường kẻ, còn vấn đề ô gộp thường nằm ở định dạng đầu ra. Nếu kết quả được nhận ở định dạng không thể biểu diễn thông tin gộp, thì dù mô hình xác định đúng cấu trúc, thông tin đó vẫn biến mất khỏi kết quả.

TEDS trong môi trường tại Hàn Quốc

Biểu mẫu hành chính và tờ khai thuế của Hàn Quốc có cấu trúc bảng đặc biệt phức tạp. Tiêu đề xếp chồng hai hoặc ba tầng, giá trị ở một cột đại diện cho nhiều hàng bên dưới, và câu hướng dẫn cách điền nằm ngay trong bảng. Số thứ tự mục đôi khi được ghi bằng ký hiệu số khoanh tròn và bị lẫn với giá trị.

Thêm vào đó là tình trạng thực tế của tài liệu tiếp nhận. Con dấu chiếm chỗ trên bảng, nét gạch ngang cắt qua các hàng, và việc fax gửi lại làm mờ đường kẻ. Trong điều kiện này, giá trị đo được thường thấp hơn so với tài liệu sạch, và điều đó là bình thường. Thay vì che giấu giá trị thấp, nên nêu rõ đo trên loại tài liệu nào sẽ hữu ích hơn cho việc đánh giá.