Trôi dạt dữ liệu là gì? Khi dữ liệu đi vào vận hành thay đổi, giải thích đầy đủ

Trôi dạt dữ liệu là hiện tượng đặc tính và phân phối của dữ liệu đi vào môi trường vận hành khác với dữ liệu lúc mô hình được xây dựng và đánh giá, và đây là nguyên nhân làm giảm dần hiệu năng của một AI vẫn đang chạy bình thường bề ngoài.

Vì sao trôi dạt dữ liệu là vấn đề

Cùng một mô hình, nhưng kết quả đã khác.

Khi đưa AI xử lý tài liệu vào sử dụng, hiệu năng được kiểm chứng bằng tài liệu của thời điểm đó. Sau khi qua kiểm chứng, mô hình vẫn giữ nguyên, nhưng vài tháng sau số hồ sơ bị tách thành ngoại lệ có thể tăng lên, hoặc lỗi lặp lại ở một hạng mục cụ thể. Mô hình không hề xấu đi, mà là tài liệu đi vào đã thay đổi.

Biểu mẫu được sửa đổi, kênh tiếp nhận thay đổi, và tài liệu của những đối tác mới xuất hiện trong dòng đầu vào. Khi thiết bị quét được thay thế hoặc đầu thu nhận bằng điện thoại được mở, chất lượng hình ảnh cũng thay đổi. Mỗi thay đổi riêng lẻ có thể nhỏ, nhưng khi tích lũy lại, niềm tin vào hiệu năng đã kiểm chứng sẽ không còn đứng vững.

Trôi dạt dữ liệu khó nhận ra vì nó diễn ra âm thầm. Hệ thống vẫn chạy không lỗi và kết quả vẫn đúng định dạng, nên nếu không theo dõi riêng, suy giảm hiệu năng chỉ được phát hiện sau một thời gian dài.

Định nghĩa chính xác của trôi dạt dữ liệu: khác gì trôi dạt khái niệm

Ba điểm khác biệt giữa trôi dạt khái niệm và trôi dạt dữ liệu

Thứ nhất, cái thay đổi khác nhau. Trôi dạt dữ liệu là hiện tượng hình dáng của dữ liệu đầu vào thay đổi. Trôi dạt khái niệm là hiện tượng mối quan hệ giữa đầu vào và đáp án thay đổi, tức là điều gì được coi là kết quả đúng thay đổi.

Thứ hai, nguyên nhân tiêu biểu khác nhau. Trôi dạt dữ liệu đến từ việc sửa đổi biểu mẫu, thay đổi kênh tiếp nhận và thay đổi chất lượng hình ảnh. Trôi dạt khái niệm xuất hiện khi tiêu chí phán đoán nghiệp vụ thay đổi, như khi pháp luật được sửa đổi hoặc tiêu chí thẩm định được thay đổi.

Thứ ba, cách ứng phó khác nhau. Với trôi dạt dữ liệu, cần đưa dữ liệu có hình dạng mới vào bộ đánh giá và bổ sung quy tắc trích xuất hoặc tiền xử lý. Với trôi dạt khái niệm, cần sửa chính quy tắc phán đoán và dữ liệu đáp án theo tiêu chí mới.

Trong vận hành thực tế, hai hiện tượng thường xảy ra cùng lúc. Khi biểu mẫu được sửa đổi, các hạng mục cần kiểm tra cũng thay đổi. Cần ghi riêng nguyên nhân để biết nên xử lý bên nào trước. Nếu ghi lẫn lộn, có thể nhầm vấn đề biểu mẫu thành vấn đề tiêu chí và sửa sai quy tắc.

Bốn loại trôi dạt dữ liệu

Bốn loại thường gặp trong nghiệp vụ tài liệu

Thứ nhất, thay đổi biểu mẫu. Các biểu mẫu cùng tên nhưng khi được sửa đổi thì vị trí hạng mục, cấu trúc bảng và thuật ngữ đều có thể thay đổi.

Thứ hai, thay đổi chất lượng. Trạng thái hình ảnh thay đổi, như độ phân giải khi quét, nhiễu của fax, góc chụp và bóng đổ. Khi tiếp nhận qua điện thoại tăng lên, loại này xuất hiện rõ rệt.

Thứ ba, thay đổi cấu thành. Tổ hợp giấy tờ hoặc thứ tự trang trong một tệp được gửi vào thay đổi. Dấu hiệu là lỗi ở bước phân loại tăng lên trước tiên.

Thứ tư, thay đổi phân phối giá trị. Bản thân phân phối giá trị thay đổi, như quy mô số tiền, khoảng ngày tháng, hoặc tỷ lệ một hạng mục nào đó bị để trống. Khi giá trị chuẩn của quy tắc kiểm chứng không còn phù hợp, ngoại lệ sẽ tăng lên.

Bốn loại này xuất hiện trước ở các bước khác nhau. Thay đổi biểu mẫu và cấu thành xuất hiện trước ở phân loại và trích xuất, thay đổi chất lượng xuất hiện trước ở nhận dạng, còn thay đổi phân phối giá trị xuất hiện trước ở kiểm chứng. Vì vậy, nhìn vào chỉ số ở bước nào dịch chuyển, có thể thu hẹp loại trôi dạt.

Cách ứng phó với trôi dạt dữ liệu trong thực tế

Lưu lại phân phối tại thời điểm chuẩn

Ghi lại cấu thành tài liệu, chất lượng và phân phối giá trị các hạng mục tại thời điểm hoàn tất kiểm chứng triển khai. Các giá trị như tỷ lệ tiếp nhận theo biểu mẫu, phân phối độ phân giải hình ảnh và tỷ lệ hạng mục bị để trống sẽ là cơ sở so sánh khi có thay đổi sau này. Nếu gắn phân phối chuẩn với cùng số phiên bản của dữ liệu đáp án, sau này sẽ không nhầm lẫn về việc đang so với thời điểm nào.

Nếu không có chuẩn, khi hiệu năng giảm trong vận hành, rất khó phân biệt là do tài liệu thay đổi hay do nguyên nhân khác.

Phát hiện sớm bằng chỉ số vận hành

Với dữ liệu vận hành không có đáp án, không thể đo độ chính xác ngay. Thay vào đó, hãy theo dõi hàng tuần điểm tin cậy trung bình, tỷ lệ hồ sơ có điểm thấp, tỷ lệ hồ sơ bị tách thành ngoại lệ và tỷ lệ người kiểm tra phải sửa giá trị. Khi các giá trị này cùng dịch chuyển, đó là tín hiệu nên nghi ngờ trôi dạt.

Nếu chia các chỉ số này theo biểu mẫu và kênh tiếp nhận, có thể nhanh chóng tìm ra thay đổi bắt đầu từ đâu.

Khi xác nhận trôi dạt thì cập nhật bộ đánh giá trước

Khi trôi dạt được xác nhận, lấy mẫu các tài liệu có dạng mới đang đi vào, bổ sung vào dữ liệu đáp án rồi chấm lại phiên bản hiện tại. Nếu hiệu năng không đạt tiêu chuẩn, hãy triển khai phiên bản mới đã bổ sung quy tắc trích xuất hoặc tiền xử lý, kiểm chứng bằng cùng bộ đánh giá, rồi mới đưa vào vận hành.

Nếu chỉ sửa tiêu chuẩn mà không cập nhật bộ đánh giá, sẽ không kiểm chứng được kết quả đã sửa có thực sự tốt hơn trên tài liệu mới hay không. Bộ đánh giá đã cập nhật cần được lưu thành phiên bản mới, và phiên bản cũ cũng cần được giữ lại để có thể giải thích sự thay đổi trước và sau.

Trôi dạt dữ liệu trong môi trường tại Hàn Quốc

Tại Hàn Quốc, biểu mẫu tài liệu công thường thay đổi cùng thời điểm luật và thông tư được sửa đổi, và có những nghiệp vụ mà lượng tiếp nhận và tổ hợp giấy tờ thay đổi vào một thời điểm nhất định trong năm, chẳng hạn quyết toán thuế cuối năm. Nếu nắm trước các lịch trình này, thay vì phát hiện trôi dạt sau khi xảy ra, có thể xử lý nó như một đợt kiểm tra đã được lên kế hoạch.

Trong tài chính và khu vực công, dữ liệu vận hành thường khó đưa ra ngoài, nên việc giám sát và đánh giá lại phải có thể thực hiện trong môi trường nội bộ.