Độ tương đồng mờ (Fuzzy Similarity) là gì: Chỉ số tương đồng gần với độ chính xác cảm nhận, hướng dẫn đầy đủ

Độ tương đồng mờ (Fuzzy Similarity) là chỉ số tính theo tỷ lệ mức độ giống nhau của hai chuỗi ký tự. Chỉ số này thể hiện độ chính xác đã tính đến những khác biệt mà con người coi là nhỏ, chẳng hạn khoảng trắng hoặc ký hiệu.

Vì sao chỉ khớp hoàn toàn có thể che khuất hiệu năng

Một ký tự khác biệt cho điểm 0.

Nếu chỉ đo hiệu năng AI tài liệu theo tiêu chí khớp hoàn toàn, chất lượng nhận dạng thực tế có thể bị bóp méo. Chỉ cần một khoảng trắng khác trong địa chỉ dài, hoặc vị trí dấu ngoặc trong tên công ty khác đi, mục đó đã bị coi là sai hoàn toàn.

Với con người, đó vẫn là cùng một giá trị, nhưng điểm số lại bằng 0. Khi nhiều mục như vậy tích tụ, sẽ xuất hiện tình trạng nhận dạng đang tốt nhưng chỉ số hiệu năng lại thấp. Lúc đó không thể biết cần cải thiện mô hình hay chuẩn hóa cách ghi. Fuzzy Similarity là chỉ số giúp phân biệt được điều này.

Định nghĩa chính xác của Fuzzy Similarity: khác gì với tỷ lệ khớp hoàn toàn

Ba điểm khác nhau giữa tỷ lệ khớp hoàn toàn và độ chính xác theo tương đồng

Thứ nhất, cách tính khác nhau. Tỷ lệ khớp hoàn toàn chỉ xét đúng hay sai. Độ chính xác theo tương đồng đếm mức chênh lệch giữa hai chuỗi và quy đổi thành tỷ lệ, nên có điểm từng phần.

Thứ hai, phản ánh khác nhau. Tỷ lệ khớp hoàn toàn tính cả khác biệt nhỏ về cách ghi là lỗi. Độ chính xác theo tương đồng phản ánh những trường hợp người đọc coi là cùng giá trị, cho con số gần với độ chính xác cảm nhận hơn.

Thứ ba, nơi sử dụng khác nhau. Tỷ lệ khớp hoàn toàn dùng để đánh giá giá trị có thể nhập vào hệ thống hay không. Độ chính xác theo tương đồng dùng để so sánh chất lượng nhận dạng hoặc so sánh độ khó giữa các nhóm tài liệu. Trong kiểm chứng thực tế, có một nhóm tài liệu tài chính được xác nhận tương đồng cao cho cả chữ in lẫn chữ viết tay, và một nhóm tài liệu công cũng đo được độ tương đồng văn bản cao.

Hai chỉ số không thay thế được cho nhau. Chỉ nhìn tương đồng sẽ bỏ sót gánh nặng nhập lại dữ liệu, còn chỉ nhìn khớp hoàn toàn sẽ nhầm vấn đề có thể giải quyết bằng chuẩn hóa thành thiếu năng lực của mô hình.

Bốn lưu ý khi đọc độ chính xác theo tương đồng

Bốn điểm cần chú ý khi diễn giải

Thứ nhất, cách tính có thể khác nhau giữa các sản phẩm. Giá trị thay đổi tùy theo việc đếm theo ký tự hay theo từ, và dùng phép tính khoảng cách nào. Muốn so sánh thì phải đo theo cùng một cách.

Thứ hai, chuỗi dài cho giá trị cao. Với mục dài như địa chỉ, dù sai một hai ký tự thì độ tương đồng vẫn cao. Xem riêng theo độ dài mục sẽ chính xác hơn.

Thứ ba, không liên quan trực tiếp đến tác động nghiệp vụ. Số tài khoản chỉ cần sai một ký tự là không dùng được. Với các mục số, nên áp dụng đồng thời tiêu chí khớp hoàn toàn.

Thứ tư, không cho biết hướng cải thiện. Chỉ biết tương đồng thấp không đủ để xác định vấn đề nằm ở nhận dạng hay ở tình trạng tài liệu. Phải xem trực tiếp các mục có điểm thấp.

Cách sử dụng độ chính xác theo tương đồng trong thực tế

Đặt cạnh tỷ lệ khớp hoàn toàn

Xem hai giá trị cùng nhau sẽ thấy hướng cải thiện. Nếu tương đồng cao nhưng tỷ lệ khớp hoàn toàn thấp, phần lớn khoảng cách có thể được giải quyết bằng chuẩn hóa cách ghi. Nếu cả hai đều thấp, phải xem lại chính chất lượng nhận dạng.

Khi yêu cầu tài liệu kiểm chứng, hãy yêu cầu cả hai chỉ số cùng lúc để nắm được tình trạng sản phẩm chính xác hơn nhiều.

Dùng để so sánh độ khó của nhóm tài liệu

Đo cùng một sản phẩm trên nhiều nhóm tài liệu sẽ cho thấy tài liệu nào khó. Đo riêng chữ in và chữ viết tay, bản quét và bản fax, sẽ làm cơ sở dự đoán tỷ lệ ngoại lệ về sau.

Đo tương đồng trong môi trường trong nước

Trong tài liệu tiếng Hàn có những điểm mà độ tương đồng đặc biệt hữu ích. Điển hình là ký hiệu công ty "Co., Ltd." gắn vào tên doanh nghiệp, việc trộn lẫn địa chỉ theo tên đường và địa chỉ theo số thửa đất (jibun), và tên đầy đủ cùng tên viết tắt của ngân hàng.

Những mục này cho điểm tương đồng cao nhưng điểm khớp hoàn toàn thấp. Việc xác định đâu là khác biệt cách ghi mà nghiệp vụ coi là cùng giá trị, rồi chuyển thành quy tắc chuẩn hóa, sẽ thu hẹp khoảng cách giữa hai giá trị.

Dùng cùng quy tắc chuẩn hóa

Chỉ số tương đồng tiện lợi ở chỗ tính đến khác biệt cách ghi, nhưng việc giá trị nào được coi là như nhau do nghiệp vụ quyết định chứ không phải do chỉ số. Vì vậy, nên đặt quy tắc chuẩn hóa trước khi đo thì chính xác hơn.

Trong tài liệu tiếng Hàn có một số điểm thường gây vướng. Ký hiệu công ty trong tên có khi đứng trước, có khi đứng sau, có khi nằm trong ngoặc. Địa chỉ trộn lẫn tên đường và số thửa, cách ghi tầng và số phòng cũng khác nhau. Tên ngân hàng có cả tên chính thức và tên viết tắt được dùng lẫn trong cùng một nghiệp vụ.

Nếu nghiệp vụ coi các khác biệt này là cùng giá trị, hãy chuẩn hóa trước khi so sánh. Nếu phải coi là khác nhau, hãy giữ nguyên và đo. Quy tắc phải được lưu thành tài liệu để khi đo lại vẫn áp dụng cùng một tiêu chuẩn.