Dữ liệu sẵn sàng cho AI là gì: Dữ liệu được sắp xếp để AI đọc và sử dụng ngay

Dữ liệu sẵn sàng cho AI là tài liệu và hồ sơ được sắp xếp với cấu trúc, nguồn gốc, chất lượng và điều kiện sử dụng để AI có thể tìm kiếm, phán đoán và xử lý ngay. Đây là điểm xuất phát để đưa AI tạo sinh và AI Agent vào công việc.

Vì sao cần dữ liệu sẵn sàng cho AI

Có file không có nghĩa là dùng được.

Nhiều tổ chức đã số hóa tài liệu của mình. Hồ sơ giấy đã trở thành tệp quét, còn báo cáo và quy định được lưu thành tệp văn bản và PDF. Tuy nhiên, khi kết nối AI tạo sinh vào các tệp này, câu trả lời mong muốn thường không xuất hiện. Bảng bị dồn thành khối chữ, không biết nội dung đến từ trang nào của tài liệu nào, và quy định đã hết hiệu lực lẫn lộn với quy định hiện hành trong kết quả tìm kiếm.

Vấn đề thường nằm ở dữ liệu nhiều hơn là ở mô hình AI. Có một khoảng cách giữa tệp mà con người mở ra đọc được và dữ liệu mà AI có thể tìm và dùng một cách chính xác. Nếu chỉ thay mô hình mà không thu hẹp khoảng cách này, kết quả sẽ không thay đổi nhiều.

Khi AI Agent chuyển sang xử lý công việc dựa trên tài liệu, yêu cầu còn cao hơn. Phải có khả năng chỉ ra vị trí trong văn bản gốc làm căn cứ cho phán đoán, và thông tin nhạy cảm không được lộ ra cho người không có quyền truy cập.

Định nghĩa chính xác về dữ liệu sẵn sàng cho AI: khác gì dữ liệu số hóa

Ba trục khác biệt giữa dữ liệu số hóa và dữ liệu sẵn sàng cho AI

Thứ nhất, cấu trúc khác nhau. Dữ liệu số hóa là giấy tờ đã được chuyển thành tệp, nên thường không còn phân biệt được tiêu đề, nội dung chính, bảng và chú thích. Dữ liệu sẵn sàng cho AI giữ được phân cấp tiêu đề, hàng và cột của bảng, mô tả hình ảnh, để máy có thể nhận ra cấu trúc.

Thứ hai, ngữ cảnh khác nhau. Dữ liệu số hóa thường chỉ còn tên tệp. Dữ liệu sẵn sàng cho AI gắn siêu dữ liệu như loại tài liệu, ngày lập, thời hạn áp dụng, tệp gốc và số trang vào từng đoạn nội dung, nhờ đó có thể thu hẹp phạm vi tìm kiếm và truy lại nguồn.

Thứ ba, trạng thái quản lý khác nhau. Dữ liệu số hóa thường được lưu mà không kiểm tra chất lượng. Dữ liệu sẵn sàng cho AI đã được kiểm tra xem chuyển đổi có đúng không, thông tin cá nhân đã được che chưa và ai được phép xem đã được xác định.

Số hóa là bước đầu tiên hướng tới dữ liệu sẵn sàng cho AI. Sau khi quét và số hóa xong, vẫn còn bước cấu trúc hóa và kiểm chứng kết quả.

Năm điều kiện của dữ liệu sẵn sàng cho AI

Năm điều kiện để dữ liệu có thể dùng ngay cho AI

Thứ nhất, cấu trúc được bảo toàn. Bảng vẫn là bảng, danh sách vẫn là danh sách, để quan hệ giữa các giá trị trong ô không bị phá vỡ.

Thứ hai, có siêu dữ liệu đính kèm. Cần có thông tin làm tiêu chí lọc tìm kiếm, như loại tài liệu, ngày tháng và phòng ban.

Thứ ba, được liên kết với nguồn. Mỗi đoạn nội dung giữ được tệp gốc, trang và vị trí, để con người có thể kiểm chứng câu trả lời của AI.

Thứ tư, chất lượng đã được xác nhận. Phải có bản ghi cho thấy lỗi nhận dạng và thiếu sót đã được kiểm tra trên mẫu.

Thứ năm, quyền truy cập và che dữ liệu nhận dạng cá nhân đã được phản ánh. Thông tin nhạy cảm được che, và quyền xem được quản lý cùng với dữ liệu.

Không cần đáp ứng đủ cả năm điều kiện cùng lúc. Hãy đặt thứ tự ưu tiên theo mục đích sử dụng. Với tìm kiếm nội bộ, cấu trúc và siêu dữ liệu đi trước. Khi dùng cho dịch vụ bên ngoài, quyền truy cập và che dữ liệu phải được kiểm tra trước.

Cách tạo dữ liệu sẵn sàng cho AI trong thực tế

Xác định mục đích sử dụng trước và thu hẹp phạm vi

Cố gắng sắp xếp tất cả tài liệu đang có cùng một lúc sẽ không bao giờ xong. Hãy xác định trước công việc sẽ áp dụng, chẳng hạn trả lời câu hỏi về quy định, rà soát hợp đồng hoặc tiếp nhận khiếu nại của người dân, rồi bắt đầu từ nhóm tài liệu mà công việc đó cần.

Khi đã xác định công việc, siêu dữ liệu cần thiết và mức chất lượng yêu cầu cũng trở nên rõ ràng. Nếu thu thập trước danh sách câu hỏi thực tế, có thể đánh giá ngay xem câu trả lời có được tạo ra từ dữ liệu đã sắp xếp hay không.

Chuyển đổi từ bản gốc và giữ nguyên cấu trúc

Phân tích tệp quét, PDF và tệp văn bản để tách riêng văn bản, bảng, hình ảnh và thông tin trang. Lưu kết quả ở định dạng mà các hệ thống phía sau dễ đọc, như JSON hoặc Markdown. Nếu dữ liệu sẽ dùng để tìm kiếm, chia thành các đoạn theo nghĩa.

Trong một trường hợp xây dựng nền tảng AI tạo sinh trong khu vực công, phạm vi tiền xử lý được đặt là trích xuất văn bản, bảng, hình ảnh, thông tin trang, đoạn và từ khóa, sau đó áp dụng che dữ liệu nhận dạng cá nhân, để kết quả trở thành dữ liệu có cấu trúc có thể nạp vào cơ sở dữ liệu.

Kiểm tra chất lượng và quyền truy cập trước khi nạp

Đối chiếu kết quả chuyển đổi với bản gốc, kiểm tra trên mẫu xem cấu trúc bảng có bị phá vỡ không và có trang nào bị thiếu không. Che thông tin cá nhân trước khi nạp, và liên kết quyền xem của từng tài liệu để áp dụng ngay cả ở bước tìm kiếm. Khi bản gốc được sửa đổi, quản lý phiên bản để dữ liệu cũng được cập nhật.

Nếu phát hiện vấn đề sau khi đã nạp, phải truy ngược lại các câu trả lời và kết quả xử lý đã được tạo ra từ dữ liệu đó, vì vậy kiểm tra trước khi nạp sẽ tốn ít chi phí hơn.

Dữ liệu sẵn sàng cho AI trong môi trường trong nước

Nhiều cơ quan nhà nước và doanh nghiệp trong nước lưu tài liệu dưới dạng tệp văn bản HWP, nên việc có đọc được tệp với cấu trúc nguyên vẹn hay không là rào cản đầu tiên. Khung phê duyệt, con dấu và bảng gộp ô phức tạp rất phổ biến, và các công cụ nước ngoài thường dễ làm vỡ cấu trúc.

Trong tài chính và khu vực công, tài liệu gốc khó đưa ra bên ngoài, nên việc chuyển đổi và che dữ liệu phải thực hiện được trong môi trường nội bộ. Trong môi trường phân tách mạng, trước hết cần xem xét cấu hình đặt công cụ chuyển đổi và kho lưu trữ trong cùng một mạng nội bộ.