Điểm tin cậy là gì? Ngưỡng phân tách xử lý tự động và kiểm tra của con người, giải thích đầy đủ

Điểm tin cậy là giá trị số được gán cho từng hồ sơ, thể hiện khả năng kết quả do AI trích xuất hoặc phán định là đúng, và được dùng làm cơ sở để tách hồ sơ cần xử lý tự động khỏi hồ sơ cần con người kiểm tra.

Vì sao cần điểm tin cậy

Không thể xem lại toàn bộ kết quả.

AI xử lý tài liệu vẫn có khả năng cho kết quả sai. Vì vậy, ở giai đoạn đầu, người phụ trách thường kiểm tra lại mọi kết quả. Cách này khiến thời gian kiểm tra vẫn giữ nguyên dù đã đưa AI vào. Ngược lại, nếu không kiểm tra gì cả, các giá trị sai sẽ đi thẳng vào hệ thống nghiệp vụ.

Điều cần có là một tiêu chí để phân biệt, theo từng hồ sơ, kết quả nào có thể tin và gửi đi, kết quả nào con người cần xem. Độ chính xác chỉ cho biết mức trung bình tổng thể, không cho biết hồ sơ đang đến này đúng hay sai.

Điểm tin cậy được gắn vào từng kết quả nên giúp tạo ra sự phân biệt này. Hồ sơ có điểm trên ngưỡng cơ sở được chuyển tự động, chỉ những hồ sơ thấp mới được đưa lên màn hình kiểm tra, nhờ đó giảm khối lượng kiểm tra.

Trong các tổ chức có số nhân sự kiểm tra hạn chế, sự khác biệt này đồng nghĩa với sự khác biệt về năng lực xử lý. Thay vì cùng một số người xem lướt toàn bộ, thời gian được dành cho các hồ sơ không chắc chắn, nhờ đó lỗi bỏ sót giảm và sản lượng tăng. Mức độ tự động hóa nên đặt ở đâu cũng có thể quyết định dựa trên lỗi thực tế theo từng khoảng điểm, thay vì phỏng đoán.

Định nghĩa chính xác của điểm tin cậy: khác gì độ chính xác

Ba điểm khác biệt giữa độ chính xác và điểm tin cậy

Thứ nhất, thời điểm tính khác nhau. Độ chính xác được tính sau, bằng cách so kết quả với đáp án do con người xác lập. Điểm tin cậy được tính ngay khi có kết quả trong quá trình vận hành, khi chưa có đáp án, nên có thể dùng ngay trước khi kết quả chuyển sang bước tiếp theo.

Thứ hai, đơn vị khác nhau. Độ chính xác là trung bình trên một nhóm tài liệu hoặc toàn bộ một khoảng thời gian. Điểm tin cậy gắn cho từng tài liệu hoặc từng hạng mục. Dù trung bình cao, lỗi vẫn có thể tập trung ở một biểu mẫu hoặc một hạng mục cụ thể, và điểm ở cấp hạng mục cho thấy vị trí đó.

Thứ ba, mục đích sử dụng khác nhau. Độ chính xác dùng để so sánh mô hình hoặc phiên bản và quyết định có triển khai hay không. Điểm tin cậy dùng để quyết định trong vận hành, từng hồ sơ riêng lẻ sẽ được xử lý tự động, chuyển đi kiểm tra hay tách thành ngoại lệ.

Hai giá trị này kiểm chứng lẫn nhau. Cần xác nhận bằng dữ liệu đáp án rằng các hồ sơ có điểm cao thực sự đúng với tỷ lệ cao thì mới dùng điểm đó làm tiêu chí. Điểm chưa được kiểm chứng gần giống một phỏng đoán mang hình thức con số.

Bốn điều kiện để dùng điểm tin cậy trong vận hành

Bốn điều kiện để có thể tin và dùng điểm

Thứ nhất, tính điểm theo từng hạng mục. Nếu chỉ có một điểm cho toàn bộ tài liệu, không thể biết hạng mục nào không chắc chắn, và cuối cùng vẫn phải xem lại toàn bộ tài liệu.

Thứ hai, đối chiếu với tỷ lệ đúng thực tế. Những hồ sơ được đánh dấu điểm cao phải thực sự có tỷ lệ đúng cao. Nếu điểm và tỷ lệ đúng thực tế lệch nhau thì dù có đặt ngưỡng cơ sở cũng không có ý nghĩa.

Thứ ba, đặt ngưỡng cơ sở cho từng hạng mục. Với các hạng mục mà sai sót gây ảnh hưởng lớn như số tiền và số tài khoản, ngưỡng nên đặt cao; với hạng mục chỉ mang tính tham khảo, ngưỡng có thể đặt thấp hơn.

Thứ tư, kiểm chứng sau khi xử lý. Lấy mẫu một phần trong số các hồ sơ đã xử lý tự động để xác nhận chúng thực sự đúng. Chỉ bằng cách này mới biết được mức độ sai sót ở những hồ sơ không có người xem.

Nếu thiếu bất kỳ điều kiện nào trong bốn điều kiện trên, điểm chỉ là thông tin tham khảo. Đặc biệt, nếu bỏ qua điều kiện thứ hai và thứ tư, sẽ không thể giải thích được rằng ngưỡng đã đặt là đúng.

Cách áp dụng điểm tin cậy trong thực tế

Xác định ngưỡng từ lịch sử kiểm tra

Ban đầu không thể biết chính xác ngưỡng nên đặt ở đâu. Ở giai đoạn đầu, nên kiểm tra toàn bộ kết quả trong khi ghi lại tỷ lệ lỗi thực tế theo từng khoảng điểm, rồi chuyển sang tự động xử lý từ khoảng điểm có rất ít lỗi.

Mỗi lần nâng hoặc hạ ngưỡng, cần xem số lượng hồ sơ phải kiểm tra và số lỗi bị bỏ sót thay đổi thế nào. Khi đặt hai giá trị này trong cùng một bảng, bộ phận nghiệp vụ và phạm vi tự động hóa dễ thống nhất hơn.

Hiển thị điểm cùng với căn cứ

Nếu màn hình kiểm tra chỉ hiển thị điểm, người phụ trách sẽ phải tìm lại tài liệu gốc. Nếu hiển thị kèm vị trí nội dung gốc đã được dùng để đọc giá trị và làm nổi bật vị trí đó, thời gian xác nhận sẽ giảm.

Nếu chỉ hiển thị những hạng mục chưa đạt ngưỡng cơ sở thay vì toàn bộ tài liệu, người phụ trách chỉ cần kiểm tra các ô đó rồi chuyển tiếp. Các thay đổi mà người phụ trách thực hiện được lưu lại làm dữ liệu cho việc điều chỉnh ngưỡng cơ sở và cải thiện mô hình về sau.

Theo dõi sự thay đổi phân bố điểm

Khi trong vận hành tỷ lệ hồ sơ có điểm thấp tăng lên, đó có thể là dấu hiệu tài liệu đã thay đổi. Nếu định kỳ xem phân bố điểm theo từng biểu mẫu và từng kênh tiếp nhận, có thể phát hiện sớm hiện tượng trôi dạt dữ liệu.

Sau khi thay đổi mô hình hoặc tiêu chí trích xuất, phân bố điểm cũng sẽ khác, nên cần kiểm tra lại ngưỡng cơ sở. Nếu áp dụng nguyên điểm của phiên bản mới với ngưỡng cũ, tỷ lệ xử lý tự động có thể thay đổi khác với dự kiến.

Điểm tin cậy trong môi trường tại Hàn Quốc

Trong lĩnh vực tài chính và khu vực công tại Hàn Quốc, thường có yêu cầu kiểm toán buộc phải lưu căn cứ phán đoán ngay cả với các hồ sơ được xử lý tự động. Hồ sơ càng được xử lý mà không có người xác nhận thì càng cần có khả năng trình bày căn cứ của quyết định sau này. Nếu ghi điểm tin cậy, ngưỡng cơ sở và việc có tự động xử lý hay không vào lịch sử xử lý, có thể giải thích được vì sao con người không xem hồ sơ đó.

Những điều kiện khó thường gặp trong tài liệu tại Hàn Quốc, như chữ viết tay hoặc con dấu chồng lên hạng mục, thường cho điểm thấp, nên cần điều chỉnh ngưỡng cơ sở riêng cho từng hạng mục.