Ảo giác (Hallucination) là gì: Khi AI tài liệu tạo ra giá trị không tồn tại, hướng dẫn đầy đủ

Ảo giác (Hallucination) là hiện tượng khi mô hình không xác nhận được căn cứ, thay vì nói rằng không biết thì lại tạo ra giá trị nghe hợp lý nhất. Trong xử lý tài liệu, hiện tượng này xuất hiện dưới dạng số tiền hoặc ngày tháng không có trong bản gốc lại hiện ra trong kết quả.

Vì sao ảo giác đặc biệt nguy hiểm trong công việc tài liệu

Giá trị nghe hợp lý còn nguy hiểm hơn giá trị sai.

Trong AI hội thoại, khi thông tin sai lệch, người dùng thấy có gì đó lạ và kiểm tra lại. Trong xử lý tài liệu thì không như vậy. Nếu tên nhà cung cấp trích xuất từ hóa đơn thuế được điền bằng một tên công ty không có trong bản gốc, nhưng trông rất hợp lý, người kiểm duyệt sẽ không có lý do gì để nghi ngờ. Định dạng đúng, số chữ số đúng, và phù hợp với ngữ cảnh.

Vì vậy, trong công việc tài liệu, chênh lệch 1% độ chính xác không dừng lại ở 1% hồ sơ bị lỗi. Với nghiệp vụ thẩm định xử lý 15.000 hồ sơ mỗi tháng, 1% tương đương 150 hồ sơ, và 150 hồ sơ đó được đăng ký vào hệ thống lõi mà không ai phát hiện. Ô trống sẽ bị cán bộ nhận ra, nhưng ô đã được điền thì bị bỏ qua. Chính xu hướng lấp đầy chỗ trống này khiến ảo giác trở thành vấn đề khó xử lý nhất trong AI tài liệu.

Định nghĩa chính xác của ảo giác: khác gì với lỗi nhận dạng

Ba điểm khác nhau giữa lỗi nhận dạng và ảo giác

Thứ nhất, nguyên nhân khác nhau. Lỗi nhận dạng là đọc sai một ký tự có trong bản gốc, chẳng hạn khi các nét bị nhòe hoặc chồng lên nhau và bị đọc thành ký tự khác. Ảo giác là giá trị được tạo ra mà không có bất kỳ căn cứ nào trong bản gốc. Đây không phải lỗi đọc mà là sinh ra quá mức.

Thứ hai, cách biểu hiện khác nhau. Lỗi nhận dạng thường cho kết quả kỳ lạ. Nó xuất hiện dưới dạng một từ không tồn tại hoặc một con số bị hỏng, nên được phát hiện bằng quy tắc hậu xử lý hoặc kiểm duyệt của con người. Ảo giác cho kết quả nghe có vẻ hợp lý. Nó vượt qua kiểm tra định dạng và trông tự nhiên với con người, nên chỉ được phát hiện khi đối chiếu với bản gốc.

Thứ ba, cách ứng phó khác nhau. Lỗi nhận dạng giảm bằng cách cải thiện chất lượng hình ảnh và độ chính xác của mô hình. Ảo giác không được giải quyết bằng cách tăng độ chính xác. Cần thiết kế để kiểm soát chính việc sinh ra nội dung, sao cho khi độ tin cậy thấp thì không tạo ra giá trị nào. Trong một khảo sát lấy mẫu ngẫu nhiên tài liệu hành chính công, khoảng cách ở độ chính xác nhận dạng giá trị lớn hơn nhiều so với độ chính xác nhận dạng khóa. Điều tạo ra khoảng cách này là cách hệ thống hành xử khi không tìm thấy giá trị.

Hai vấn đề không thay thế được cho nhau. Khi độ chính xác nhận dạng thấp, số trường hợp không xác nhận được căn cứ tăng lên, và khả năng xảy ra ảo giác cũng tăng theo. Thứ tự đúng là đặt kiểm soát sinh nội dung lên trên chất lượng nhận dạng.

Năm yêu cầu thiết kế để kiểm soát ảo giác

Năm yêu cầu kiểm soát ảo giác trong vận hành thực tế

Thứ nhất, nếu độ tin cậy thấp thì không xác định giá trị. Nếu thiết kế buộc mọi mục phải có giá trị, mô hình sẽ tạo ra thứ gì đó dù không có căn cứ. Phải có lựa chọn để bỏ trống giá trị và chuyển cho kiểm duyệt ngay trong đầu ra của mô hình.

Thứ hai, trả về vị trí gốc của từng giá trị. Khi vị trí trong bản gốc nơi giá trị được trích xuất đi kèm với giá trị, một giá trị không có căn cứ không thể chỉ ra vị trí nên sẽ bị lộ ngay. Điều này cũng giúp người kiểm duyệt chỉ cần kiểm tra các mục đáng ngờ.

Thứ ba, cung cấp điểm tin cậy theo từng mục. Một điểm số cho cả tài liệu không cho biết nên xem mục nào. Chỉ khi có độ tin cậy theo từng mục, vận hành mới có thể chỉ hiển thị trên màn hình kiểm duyệt những mục dưới ngưỡng.

Thứ tư, chạy các quy tắc kiểm định cùng lúc. Các điều kiện mà nghiệp vụ yêu cầu, chẳng hạn thứ tự ngày tháng, khớp tổng số tiền, và đối chiếu tên giữa các tài liệu, được đặt thành quy tắc chứ không để mô hình tự quyết. Đối chiếu chéo, tức là so khớp cùng một mục trên nhiều tài liệu, đặc biệt hiệu quả trong việc lọc các giá trị được tạo ra.

Thứ năm, phân biệt được trạng thái không có giá trị. Trong hồ sơ tiếp nhận thực tế có nhiều ô trống cần phán đoán. Có ô chỉ có hai dấu chấm, ô bị thanh trắng che, dòng chỉ còn đơn vị in mà không có giá trị, và bảng có mười bốn ô hoàn toàn trống. Đôi khi tài liệu không có căn cứ để biết một ô trống là không áp dụng, bị bỏ sót khi ghi, hay bị mất khi quét. Những mục như vậy không nên được điền tùy ý. Thiết kế cần đánh dấu trạng thái của chúng rồi chuyển đi.

Cách áp dụng kiểm soát ảo giác trong thực tế

Dùng xử lý ngoại lệ trong tiêu chí trích xuất

Bản định nghĩa mục được lập từ đầu dự án không chỉ nên ghi những gì cần trích xuất mà còn phải ghi khi nào không được trích xuất. Các câu hướng dẫn in sẵn như chỗ ký tên hoặc con dấu là chỗ đặt trước chứ không phải giá trị, nên phải loại khỏi đối tượng trích xuất. Các câu hướng dẫn như "hồ sơ đã nộp sẽ không được hoàn trả" cũng vậy. Nếu không định nghĩa được sự phân biệt này, mô hình sẽ hiểu nhầm chữ in sẵn là giá trị nhập vào.

Trong một dự án tự động hóa tại một công ty thẻ tín dụng, việc hiểu tài liệu đủ để tách văn bản hướng dẫn khỏi giá trị nhập thực tế cũng được xem là thách thức cốt lõi. Trong nhiều trường hợp, việc không trích xuất cái gì quyết định chất lượng kết quả còn nhiều hơn là việc trích xuất cái gì.

Dùng màn hình kiểm duyệt như một công cụ kiểm soát

Việc kiểm soát sinh nội dung không chỉ diễn ra bên trong mô hình. Nếu hiển thị kết quả trích xuất trên màn hình kiểm duyệt, chỉ làm nổi bật các mục có độ tin cậy thấp, và khi nhấn vào từng giá trị thì hiện vị trí tương ứng trong bản gốc, thời gian kiểm duyệt sẽ giảm đáng kể.

Thêm một màn hình quản lý mục trích xuất và lược đồ theo từng loại tài liệu cũng giúp bạn ứng phó với biểu mẫu mới bằng cách chỉnh tiêu chí trích xuất khi chúng xuất hiện. Nếu lưu tiêu chí dưới dạng phiên bản và có quy trình so sánh với phiên bản trước trên cùng một tài liệu, bạn có thể kiểm tra xem thay đổi có làm giảm hiệu năng hay không.

Kiểm định kép bằng hai công nghệ có bản chất khác nhau

Nếu chỉ phán định bằng một phương pháp, phần mà phương pháp đó bỏ sót sẽ lọt qua. Vì vậy, trong thực tế, người ta xếp chồng hai công nghệ có bản chất khác nhau.

Một công nghệ nhận dạng văn bản và cấu trúc. Nó xác nhận ký tự có thực sự nằm ở vị trí đó hay không, và đến từ ô nào trong bảng. Công nghệ còn lại hiểu ngữ cảnh và ý nghĩa nghiệp vụ. Nó kiểm tra giá trị đó có hợp lý với mục tương ứng hay không, và có mâu thuẫn với ngữ cảnh của toàn bộ tài liệu hay không.

Khi hai kết luận mâu thuẫn, hoặc kết quả nằm ngoài định dạng quy định, chúng sẽ được tách ra tự động. Đây là cơ chế ngăn các giá trị thiếu căn cứ được đưa vào hệ thống phía sau. Trong chiến lược 3 Zero AI Worker, cấu trúc này được gọi là Zero Hallucination.

Kiểm soát ảo giác trong môi trường trong nước

Tài liệu trong nước có một số điều kiện dễ khiến giá trị bị tạo ra sai.

Trước hết là cách ghi số. Nếu đọc nguyên văn một tài liệu dùng dấu chấm làm dấu phân cách hàng nghìn, 20 triệu won sẽ bị đọc thành 20 won. Một số biểu mẫu đặt hai số tiền có cùng các chữ số đầu nhưng khác nhau ở một chữ số giữa, như khoản kê khai ban đầu và khoản đề nghị điều chỉnh, cạnh nhau. Với các tài liệu này, cần chạy đồng thời kiểm tra số chữ số và xác nhận đường dẫn mục như một quy tắc.

Tiếp theo là cách đánh số mục. Có những mẫu đăng ký mà cả mười một mục mục đích kinh doanh đều bắt đầu bằng số 1. Phải phán đoán xem đó là mười một mục hay một mục bị lặp lại, và đánh số lại mà không có căn cứ sẽ tạo ra một cấu trúc không có trong bản gốc.

Cuối cùng là tình trạng tài liệu. Với các bản fax đã được gửi lại nhiều lần, các cách ghi ngày khác nhau chồng lên nhau trong cùng một dòng, và đôi khi tài liệu không có căn cứ nào để xác định ngày tiếp nhận. Với những mục này, xử lý đúng là chuyển đi như không thể phán định thay vì tạo ra giá trị.