Dữ liệu chuẩn là gì: Dữ liệu tham chiếu để chấm điểm kết quả AI, hướng dẫn đầy đủ

Dữ liệu chuẩn (Ground Truth) là tập hợp các giá trị đúng do con người xác nhận cho từng mục hoặc câu hỏi trong tài liệu. Đây là chuẩn dùng để chấm điểm kết quả AI và so sánh hiệu năng giữa các phiên bản.

Vì sao cần dữ liệu chuẩn

Không ai có thể xác nhận độ chính xác là bao nhiêu.

Khi đưa vào sử dụng một hệ thống AI tài liệu hoặc thay mô hình, câu hỏi đầu tiên thường là độ chính xác đến đâu. Nhưng nếu không xác định trước đâu là giá trị đúng, câu hỏi này không thể trả lời. Con số trong đề xuất hay điểm benchmark công khai không cho thấy hiệu năng trên tài liệu của chính bạn.

Vấn đề tương tự cũng xuất hiện trong vận hành. Để biết kết quả có tốt hơn sau khi chỉnh sửa tiêu chí trích xuất hoặc câu lệnh hay không, phải chấm điểm trước và sau khi thay đổi theo cùng một tiêu chuẩn. Không có tiêu chuẩn, cán bộ sẽ xem qua vài hồ sơ rồi đưa ra đánh giá, và đánh giá đó khác nhau giữa từng người.

Dữ liệu chuẩn cố định tiêu chuẩn này thành dữ liệu. Sau khi xây dựng một lần, có thể dùng lại nhiều lần để kiểm định khi đưa vào sử dụng, kiểm tra thay đổi trong vận hành và so sánh khi thay mô hình. Ngay cả khi mô hình hoặc nhà cung cấp thay đổi, chấm điểm bằng cùng một dữ liệu chuẩn vẫn cho phép so sánh công bằng.

Định nghĩa chính xác của dữ liệu chuẩn: khác gì với dữ liệu huấn luyện

Ba điểm khác nhau giữa dữ liệu huấn luyện và dữ liệu chuẩn

Thứ nhất, mục đích khác nhau. Dữ liệu huấn luyện là các ví dụ cho mô hình học quy tắc. Dữ liệu chuẩn là tiêu chuẩn để chấm xem mô hình đúng bao nhiêu.

Thứ hai, cách quản lý khác nhau. Dữ liệu huấn luyện liên tục được bổ sung và thay đổi để nâng cao hiệu năng. Dữ liệu chuẩn được cố định phiên bản để có thể so sánh, và khi thay đổi phải ghi lại lý do và thời điểm.

Thứ ba, độ chính xác yêu cầu khác nhau. Dữ liệu huấn luyện vẫn có thể học được xu hướng chung dù có lẫn một số lỗi. Nếu dữ liệu chuẩn có lỗi, toàn bộ kết quả chấm điểm sẽ bị sai lệch, nên mỗi mục phải được xác nhận. Chỉ một đáp án sai cũng khiến kết quả trích xuất đúng bị ghi nhận thành sai.

Nếu cùng một tài liệu được dùng cho cả hai mục đích, mô hình sẽ bị chấm trên những tài liệu nó đã thấy và hiệu năng sẽ cao hơn thực tế. Vì vậy, hai bộ dữ liệu này phải được quản lý tách biệt ngay từ đầu.

Bốn nguyên tắc để xây dựng dữ liệu chuẩn

Bốn nguyên tắc tạo tiêu chí chấm điểm đáng tin cậy

Thứ nhất, phản ánh phân bố nghiệp vụ thực tế. Nếu chỉ thu thập những tài liệu đã cho kết quả tốt, điểm số sẽ giảm khi đưa vào vận hành; nếu chỉ thu thập tài liệu khó, sự khác biệt sẽ không hiện ra. Hãy trộn các biểu mẫu và tình trạng tài liệu theo đúng tỷ lệ tiếp nhận thực tế.

Thứ hai, ghi tiêu chí phán định thành văn bản. Hãy quyết định trước các quy tắc chấm điểm, chẳng hạn khác biệt về cách ghi ngày tháng có được coi là đúng hay không, hoặc có chấp nhận chênh lệch khoảng trắng hay không. Không có tiêu chí, cùng một kết quả sẽ được chấm khác nhau bởi những người khác nhau.

Thứ ba, có ít nhất hai người xác nhận. Đáp án do một người tạo sẽ giữ lại sai sót của người đó. Cách hiệu quả là hai người nhập riêng, sau đó chỉ kiểm tra lại những mục mà kết quả của họ khác nhau.

Thứ tư, cố định phiên bản. Nếu sửa dữ liệu chuẩn, điểm số trước đó không còn so sánh được, nên phải lưu lịch sử thay đổi và chỉ so sánh giữa cùng một phiên bản.

Việc thực hiện đúng bốn nguyên tắc này cũng là phần tốn nhiều thời gian nhất trong BMT. Nếu làm vội, mọi phép so sánh về sau sẽ bị ảnh hưởng, vì vậy cần dành đủ thời gian cho công đoạn này trong kế hoạch.

Cách áp dụng dữ liệu chuẩn trong thực tế

Chia nhỏ theo đơn vị đánh giá

Xem cả một tài liệu là đúng hay sai thì không cho biết phần nào đang yếu. Dữ liệu chuẩn phải được xây dựng theo từng đơn vị đánh giá như mục, bảng hay khối văn bản để thấy rõ chỗ cần cải thiện. Mỗi đơn vị dùng một chỉ số khác nhau: văn bản đo bằng độ tương đồng, bảng đo bằng độ tương đồng cấu trúc, mục nhập liệu đo bằng khớp hoàn toàn.

Trong một trường hợp thuộc khu vực công, trước tiên người ta liệt kê các phần tử cần phát hiện trong tài liệu đánh giá, sau đó đo riêng việc phát hiện phần tử, văn bản và cấu trúc bảng.

Đánh dấu riêng các mục không thể phán định

Đôi khi chỉ nhìn tài liệu không thể biết một ô trống là không áp dụng, bị bỏ sót khi ghi, hay tài liệu bị hư khi quét. Nếu chấm các mục này là sai, bạn sẽ đánh giá chất lượng tài liệu chứ không phải mô hình, nên hãy phân loại chúng là không thể phán định và đếm riêng.

Các mục không thể phán định không bị loại bỏ. Hãy quyết định cách xử lý thành quy tắc vận hành. Việc quyết định có yêu cầu bổ sung hay chuyển cho cán bộ xác nhận sẽ được áp dụng trực tiếp làm tiêu chí xử lý ngoại lệ khi vận hành.

Xây dựng nghiệp vụ tìm kiếm và sinh câu trả lời theo câu hỏi

Khi đánh giá tìm kiếm tài liệu hoặc câu trả lời do AI tạo ra, thay vì theo mục, hãy tạo một bộ gồm câu hỏi, câu trả lời mong đợi và vị trí căn cứ. Trong một trường hợp về thuế, việc đánh giá tìm kiếm cũng được xây dựng bằng cách xác định trước tài liệu đối tượng rồi mới tạo bộ câu hỏi.

Câu hỏi nên được viết bằng cách diễn đạt mà cán bộ thực tế sẽ dùng. Cần đưa vào cả những câu hỏi phải đọc nhiều tài liệu cùng lúc mới trả lời được, như vậy hiệu năng thực tế mới bộc lộ rõ.

Dữ liệu chuẩn trong môi trường trong nước

Dữ liệu chuẩn thường chứa giá trị gốc từ tài liệu nghiệp vụ thực tế, nên thường có thông tin cá nhân. Các mục như họ tên và số định danh cá nhân nên được khử nhận dạng trước khi tạo dữ liệu chuẩn. Trường hợp cần bản gốc thì chỉ làm việc trong mạng nội bộ và hạn chế quyền truy cập.

Trong lĩnh vực tài chính và khu vực công, việc giao phó đánh giá ra bên ngoài thường khó thực hiện. Nên chuẩn bị sẵn tài liệu tiêu chí phán định và công cụ nhập liệu, để bộ phận phụ trách có thể trực tiếp xác nhận dữ liệu chuẩn.