Dữ liệu phi cấu trúc là gì: Dữ liệu không thể đưa thẳng vào hệ thống, hướng dẫn đầy đủ

Dữ liệu phi cấu trúc là dữ liệu ở dạng tài liệu, hình ảnh, bản quét và bản fax không được sắp xếp theo hàng và cột, nên không thể nạp thẳng vào cơ sở dữ liệu. Con người có thể đọc được, nhưng hệ thống không thể xử lý trực tiếp.

Vì sao dữ liệu phi cấu trúc là vấn đề

Dữ liệu có đấy nhưng không dùng được.

Phần lớn dữ liệu mà doanh nghiệp và tổ chức đang giữ đều là phi cấu trúc. Hợp đồng, đơn đăng ký, chứng từ, công văn, sổ tay hướng dẫn và biên bản họp đều được lưu chồng chất trên máy chủ tệp và trong hệ thống quản lý tài liệu. Xét về khối lượng, không tổ chức nào thiếu dữ liệu.

Vấn đề là dữ liệu này không thể truy vấn. Để biết một hợp đồng nào đó có những điều kiện gì, người ta phải mở tệp và đọc. Việc đưa AI sinh nội dung vào cũng không thay đổi nhiều tình hình, vì dữ liệu không ở dạng mà mô hình có thể tiếp nhận. Dù là tự động hóa nghiệp vụ hay tìm kiếm, điểm xuất phát đều nằm ở bước đọc dữ liệu này.

Định nghĩa chính xác của dữ liệu phi cấu trúc: khác gì dữ liệu có cấu trúc

Ba tiêu chí phân biệt dữ liệu có cấu trúc và phi cấu trúc

Thứ nhất, hình thức khác nhau. Trong dữ liệu có cấu trúc, các mục và giá trị nằm trong một cấu trúc đã được định nghĩa trước. Dữ liệu phi cấu trúc không có cấu trúc đó. Cùng một số đăng ký kinh doanh có thể nằm trong bảng ở tài liệu này, trong câu văn ở tài liệu khác, và bên cạnh con dấu ở tài liệu thứ ba.

Thứ hai, cách xử lý khác nhau. Dữ liệu có cấu trúc chỉ cần truy vấn. Dữ liệu phi cấu trúc phải trải qua bước đọc và xác định cấu trúc trước khi trở thành đối tượng có thể truy vấn. Bước này thuộc phạm vi của AI tài liệu.

Thứ ba, cách đo chất lượng khác nhau. Với dữ liệu có cấu trúc, người ta kiểm tra thiếu và trùng bản ghi. Với dữ liệu phi cấu trúc, phải xem cả độ chính xác nhận dạng lẫn độ chính xác khôi phục cấu trúc. Vì dù ký tự được đọc đúng, liên kết giữa các mục vẫn có thể sai, và khi đó dữ liệu không dùng được.

Hai loại dữ liệu này không đối lập nhau. Mục đích của việc xử lý dữ liệu phi cấu trúc rốt cuộc là chuyển nó thành dữ liệu có cấu trúc để nạp vào các hệ thống hiện có.

Năm yếu tố khiến tài liệu nghiệp vụ trở nên khó xử lý

Năm yếu tố thường thấy trong tài liệu tiếp nhận thực tế

Thứ nhất, định dạng không đồng nhất. Tài liệu của trình soạn thảo chữ Hàn, tài liệu văn phòng và bảng tính xuất hiện trong cùng một nghiệp vụ, bên cạnh PDF và hình ảnh.

Thứ hai, tình trạng tài liệu không đều. Các bản quét fax độ phân giải thấp, ảnh chụp trên sàn nhà có nếp nhăn và bóng đổ, và tài liệu được gửi lại nhiều lần khiến tiêu đề chồng lên nhau, tất cả cùng xuất hiện.

Thứ ba, có nhiều vật cản. Con dấu chiếm chỗ bảng, nét gạch ngang cắt qua chữ và hình mờ chồng lên. Con người đọc qua những thứ này một cách tự nhiên, nhưng đối với máy móc chúng là nguyên nhân gây đọc sai.

Thứ tư, biểu mẫu liên tục thay đổi. Cùng một đơn đăng ký nhưng bố cục có thể khác nhau tùy chi nhánh và năm, còn biểu mẫu công quyền được sửa đổi định kỳ.

Thứ năm, một hồ sơ gồm nhiều tài liệu. Một hồ sơ nghiệp vụ trung bình có khoảng sáu loại giấy tờ, và việc xử lý chỉ hoàn tất khi đã đối chiếu thông tin giữa các tài liệu đó.

Cách thực tế để xử lý dữ liệu phi cấu trúc

Thiết kế tách riêng việc đọc và cấu trúc hóa

Xử lý dữ liệu phi cấu trúc được chia làm hai bước. Trước hết nhận dạng ký tự, bảng và hình vẽ. Sau đó gán cấu trúc mà chúng tạo thành và các mục nghiệp vụ.

Cách chia này giúp thu hẹp nguyên nhân khi có vấn đề. Nếu ký tự sai thì đó là vấn đề nhận dạng. Nếu ký tự đúng nhưng liên kết mục sai thì đó là vấn đề cấu trúc hóa.

Xác định đầu ra theo mục đích

Cùng một tài liệu, kết quả cần tạo ra cũng khác nhau tùy vào việc sẽ dùng nó để làm gì. Nếu mục đích là nhập giá trị vào hệ thống nghiệp vụ thì cần các cặp mục và giá trị. Nếu mục đích là tìm kiếm và sinh nội dung thì cần dạng giữ nguyên cấu trúc và các đoạn trích.

Nếu phân tích một lần và tạo cùng lúc nhiều đầu ra, bạn không cần xử lý lại tài liệu gốc khi cách sử dụng thay đổi về sau.

Dữ liệu phi cấu trúc trong môi trường tại Hàn Quốc

Trong tài sản tài liệu của các cơ quan công quyền và tài chính Hàn Quốc, tỷ trọng định dạng của trình soạn thảo chữ Hàn rất lớn. Liệu định dạng này có xử lý được nguyên trạng hay không là cửa ải đầu tiên, và nếu thông tin bảng gộp bị mất trong quá trình chuyển đổi thì không có cách nào khôi phục.

Đường tiếp nhận cũng là một điều kiện. Fax vẫn đang được sử dụng, và bản quét tại chi nhánh cùng ảnh chụp bằng điện thoại di động lẫn vào nhau. Ngoài ra, nhiều tài liệu chứa thông tin cá nhân, nên việc khử nhận dạng và vận hành trong mạng nội bộ đều được yêu cầu.

Xem cả tình trạng của tài liệu

Khi nghe đến dữ liệu phi cấu trúc, người ta thường chỉ nghĩ đến việc định dạng chưa cố định. Trong thực tế nghiệp vụ, biến số lớn hơn là tình trạng của tài liệu. Cùng một biểu mẫu nhưng độ khó xử lý có thể khác hẳn tùy theo đường đi mà nó đến tay.

Khay tiếp nhận thực tế có những tài liệu bị cắt mất mép trên đã gập khi quét, tài liệu bị mất lề và một phần nội dung do sao chép nhiều lần, tài liệu được chụp trên sàn nhà có nếp nhăn và bóng đổ, và fax được gửi lại nhiều lần khiến dấu ngày chồng lên nhau. Ngoài ra còn lẫn các con dấu, nét gạch ngang, hình mờ và chữ viết tay.

Vì vậy, khi đánh giá đưa vào sử dụng, nên sắp xếp tình trạng tài liệu theo từng đường tiếp nhận chứ không chỉ liệt kê danh sách biểu mẫu. Giá trị đo trên mẫu sạch và giá trị đo trên tài liệu trong khay tiếp nhận thực tế sẽ khác nhau.