Human-in-the-Loop là gì: Thiết kế thu hẹp các hồ sơ con người cần xem, hướng dẫn đầy đủ

Human-in-the-Loop (kiểm duyệt có con người tham gia) là cách thiết kế để trong các kết quả AI xử lý, chỉ những mục có độ tin cậy thấp hoặc vướng quy tắc mới được con người kiểm tra. Đây là cách quản lý rủi ro vận hành nằm giữa việc kiểm tra toàn bộ và không kiểm tra gì.

Vì sao thiết kế kiểm duyệt quyết định thành bại của tự động hóa

Hoặc xem tất cả, hoặc không xem gì.

Khi đưa tự động hóa tài liệu vào sử dụng, cách kiểm duyệt thường được quyết định sau. Kết quả là rơi vào một trong hai trạng thái: vì lo lắng nên kiểm tra tất cả, hoặc vì tin tưởng nên không kiểm tra gì.

Trường hợp đầu xóa mất hiệu quả của tự động hóa. Trường hợp sau khiến lỗi bị ẩn cho đến khi gây ra sự cố nghiệp vụ. Điều thực sự cần là khoảng ở giữa: một thiết kế phân biệt được hồ sơ nào an toàn, hồ sơ nào rủi ro, và chỉ gửi những hồ sơ rủi ro cho con người. Đây là lý do cần coi kiểm duyệt là một cấu trúc phải thiết kế ngay từ đầu, chứ không phải một chức năng thêm vào sau.

Định nghĩa chính xác của Human-in-the-Loop: khác gì với kiểm tra toàn bộ

Ba điểm khác nhau giữa kiểm tra toàn bộ và kiểm tra có chọn lọc

Thứ nhất, đối tượng khác nhau. Kiểm tra toàn bộ xem mọi hồ sơ. Kiểm tra có chọn lọc chỉ xem những hồ sơ có chứa mục nằm dưới ngưỡng. Điều then chốt là chọn lọc theo từng mục chứ không theo hồ sơ.

Thứ hai, mục tiêu khác nhau. Mục tiêu của kiểm tra toàn bộ là không bỏ sót lỗi nào. Mục tiêu của kiểm tra có chọn lọc là thu hẹp các mục cần kiểm tra mà vẫn không bỏ sót lỗi. Khi có điều kiện thứ hai này, thiết kế trở nên cần thiết.

Thứ ba, chỉ số đánh giá khác nhau. Kiểm tra toàn bộ xem số lỗi phát hiện được. Kiểm tra có chọn lọc xem cả tỷ lệ hồ sơ được chuyển sang kiểm duyệt và tỷ lệ trong đó thực sự được sửa. Nếu hầu hết hồ sơ được chuyển đi đều qua mà không cần sửa, ngưỡng đặt quá cao.

Hai phương thức không thay thế được cho nhau. Giai đoạn đầu triển khai, an toàn hơn là bắt đầu bằng kiểm tra toàn bộ để thu thập dữ liệu, rồi dựa trên dữ liệu đó chuyển sang kiểm tra có chọn lọc.

Năm yếu tố cần có trong thiết kế kiểm duyệt

Năm yếu tố dùng trong vận hành thực tế

Thứ nhất, độ tin cậy theo từng mục. Nếu chỉ có một điểm số cho cả tài liệu, sẽ không biết nên xem giá trị nào.

Thứ hai, hiển thị vị trí trong bản gốc. Khi chọn một giá trị, phần tương ứng trong bản gốc phải hiện ra, để người kiểm duyệt không phải đọc lại tài liệu từ đầu.

Thứ ba, kết quả kiểm định quy tắc. Lý do một hồ sơ được chuyển sang kiểm duyệt phải được hiển thị trên màn hình. Cần xem chỗ nào tùy thuộc vào việc là do độ tin cậy thấp hay do tổng số tiền không khớp.

Thứ tư, lịch sử chỉnh sửa. Ai đã sửa gì và sửa thế nào phải được lưu lại, để đáp ứng kiểm toán và cũng dùng làm căn cứ điều chỉnh ngưỡng.

Thứ năm, đường quay lại. Giá trị đã sửa phải được đưa trở lại luồng xử lý và đăng ký vào hệ thống. Nếu không có đường này, người kiểm duyệt sẽ phải nhập kết quả riêng.

Cách áp dụng Human-in-the-Loop trong thực tế

Đặt ngưỡng dựa trên dữ liệu

Không có cách nào đặt ngưỡng chính xác ngay từ đầu. Ban đầu hãy đặt ngưỡng ở mức thận trọng, rồi điều chỉnh bằng cách thu thập kết quả kiểm duyệt thực tế.

Các mục hầu như không bao giờ bị sửa có thể hạ ngưỡng và chuyển sang xử lý tự động. Các mục bị sửa thường xuyên thì nâng ngưỡng hoặc thêm quy tắc kiểm định. Lặp lại việc điều chỉnh này sẽ dần thu hẹp đối tượng kiểm duyệt.

Rút ngắn đường đi của người kiểm duyệt

Thiết kế màn hình kiểm duyệt quyết định phần lớn thời gian xử lý thực tế. Chỉ làm nổi bật mục có vấn đề và hiển thị vị trí tương ứng trong bản gốc sẽ rút ngắn thời gian xác nhận mỗi hồ sơ.

Đặt thêm một màn hình quản lý mục trích xuất và lược đồ theo từng loại tài liệu cũng cho phép người kiểm duyệt trực tiếp chỉnh tiêu chí khi phát hiện mục bị sửa lặp lại.

Human-in-the-Loop trong môi trường trong nước

Trong lĩnh vực tài chính và khu vực công trong nước, lịch sử kiểm duyệt là đối tượng kiểm toán. Hồ sơ được xử lý tự động và hồ sơ do con người sửa phải được ghi tách biệt, và giá trị trước và sau khi sửa phải được lưu cùng nhau.

Phân tách quyền hạn cũng là một yêu cầu. Một số nghiệp vụ phải tách quyền kiểm duyệt khỏi quyền phê duyệt, và tài liệu có thông tin cá nhân thường bị giới hạn phạm vi truy cập. Tách môi trường kiểm duyệt khỏi môi trường vận hành sẽ giúp đáp ứng các yêu cầu này dễ dàng hơn.

Màn hình kiểm duyệt quyết định hiệu quả tiết kiệm

Thiết kế chỉ để con người xem các hồ sơ có độ tin cậy thấp chỉ thành lập khi màn hình kiểm duyệt hỗ trợ điều đó. Nếu đã tách hồ sơ thành ngoại lệ nhưng cán bộ vẫn phải đọc lại toàn bộ tài liệu từ đầu, hiệu quả tiết kiệm sẽ không lớn.

Màn hình cần có ba thứ. Thứ nhất, phải hiển thị lý do hồ sơ trở thành ngoại lệ. Nơi cần kiểm tra khác nhau tùy vào việc độ tin cậy thấp hay phép đối chiếu giữa các tài liệu phát hiện không khớp. Thứ hai, giá trị phải được liên kết với bản gốc, để khi chọn một mục thì vị trí của nó trong bản gốc hiện ra, giảm thời gian xác nhận bằng mắt. Thứ ba, các chỉnh sửa đã thực hiện phải được lưu lại.

Khi lịch sử chỉnh sửa tích lũy, nó trở thành căn cứ để cải tiến. Nếu cùng một mục trên cùng một biểu mẫu bị sửa lặp lại, đó là dấu hiệu cần điều chỉnh tiêu chí trích xuất hoặc quy tắc kiểm định.