Document Parsing là gì: Chuyển khung xương tài liệu thành dữ liệu, tổng quan đầy đủ về phân tích cấu trúc

Document Parsing là công việc xác định từng thành phần cấu tạo nên tài liệu như tiêu đề, nội dung, bảng, danh sách và hình, khôi phục thứ bậc mà các thành phần đó tạo nên cùng thứ tự đọc, rồi chuyển thành dữ liệu cấu trúc mà máy có thể sử dụng trực tiếp.

Vì sao cần Document Parsing

Chuyển tài liệu thành văn bản thì khung xương sẽ mất.

Khi tổ chức đã áp dụng AI tạo sinh và muốn kết nối tài sản tài liệu với mô hình, việc thường làm nhất là trích xuất văn bản từ tệp rồi đưa vào. Cách này nhanh và đơn giản. Vấn đề là ngay lúc đó tài liệu bị làm phẳng.

Câu văn từng là tiêu đề không còn được phân biệt với nội dung, bảng bị vỡ thành dãy giá trị ô rời rạc, và chú thích cuối trang chen ngang vào giữa phần nội dung. Khi trải một bảng nhiều tầng trong hướng dẫn thủ tục hoàn trả, nơi tách thành quốc phí và địa phương phí, số dư và lãi, thành các câu văn, thì không còn biết tài khoản nào thuộc điều kiện nào. Khi con người hiểu tài liệu, phần lớn manh mối không nằm ở chữ mà nằm ở bố cục và thứ bậc, nên nếu chỉ lấy văn bản thì toàn bộ những manh mối đó sẽ bị bỏ đi.

Document Parsing là công việc giữ lại khung xương ấy khi chuyển dữ liệu. Đây cũng là lý do chất lượng tìm kiếm và sinh nội dung được quyết định ở khâu này chứ không phải ở mô hình.

Định nghĩa chính xác của Document Parsing: khác gì với OCR

Ba trục khác biệt giữa OCR và Document Parsing

Thứ nhất, đối tượng khác nhau. OCR nhắm đến chữ trên hình ảnh. Document Parsing nhắm đến toàn bộ các thành phần cấu tạo nên trang. Nếu liệt kê các phần tử được phân biệt trong thực tế thì gồm tiêu đề và tiêu đề mục, nội dung, bảng, hình, biểu đồ, công thức, mục danh sách, chú thích, tiêu đề đầu trang, chân trang, chú thích cuối trang và sơ đồ luồng.

Thứ hai, mục tiêu khác nhau. Mục tiêu của OCR là chép đúng chữ đã viết. Mục tiêu của Document Parsing là tạo ra dữ liệu có hình dạng giống tài liệu. Vì vậy kết quả cũng khác nhau: cách trước cho ra chuỗi ký tự, còn cách sau cho ra đánh dấu hoặc dữ liệu cấu trúc có giữ nguyên thứ bậc.

Thứ ba, chỉ số đánh giá khác nhau. OCR được đo bằng độ chính xác theo ký tự. Document Parsing được đo riêng theo việc đã tìm đủ các thành phần chưa, vị trí của từng thành phần có đúng không, và cấu trúc bảng có khớp với bản gốc không. Trong một đánh giá trên tài liệu công, mọi phần tử đều được phát hiện đầy đủ và vị trí chính xác, nhưng độ tương đồng cấu trúc bảng lại thấp hơn nhiều. Điều này cho thấy việc tìm phần tử và việc khôi phục bên trong nó là hai bài toán có độ khó khác nhau.

Hai công nghệ này không thay thế nhau. Nếu nhận dạng ký tự không chính xác thì dù cấu trúc được khôi phục tốt đến đâu, nội dung vẫn sai. Đặt cấu trúc hóa lên trên nhận dạng là thứ tự đúng.

Sáu điều kiện để đưa Document Parsing vào vận hành

Sáu điều kiện của Document Parsing trong vận hành thực tế

Thứ nhất, phải tìm đủ mọi phần tử. Nếu bỏ sót dù chỉ một phần tử, phần đó sẽ trở thành nội dung không tồn tại trong tìm kiếm và sử dụng sau này. Hãy kiểm tra độ chính xác phát hiện phần tử tách biệt với độ chính xác khôi phục bảng.

Thứ hai, phải xác định đúng thứ tự đọc. Với tài liệu được dàn trang thành nhiều cột hoặc cấu trúc có bảng nằm trong bảng, ngay cả con người cũng dễ nhầm thứ tự. Nếu thứ tự sai, câu văn sẽ bị đan xen và ý nghĩa thay đổi.

Thứ ba, phải giữ nguyên cấu trúc bảng. Các ô đã gộp và tiêu đề nhiều tầng phải được bảo toàn thì mới kiểm tra được giá trị thuộc mục nào. Điều kiện này cần được đo bằng một chỉ số riêng.

Thứ tư, phải cung cấp nhiều định dạng đầu ra. Tìm kiếm và sinh nội dung thường phù hợp với dạng đánh dấu, nhập vào hệ thống nghiệp vụ cần dữ liệu cấu trúc, còn hiển thị trên màn hình lại cần một định dạng khác. Phân tích một lần rồi tạo sẵn nhiều đầu ra sẽ giúp không phải xử lý lại tài liệu gốc khi cách sử dụng thay đổi.

Thứ năm, phải nhận đúng các định dạng tài liệu gốc. Tài sản tài liệu thực tế không chỉ có PDF và hình ảnh. Tệp Hangul word processor, tài liệu văn phòng, bảng tính và tệp văn bản được tích lũy cùng nhau. Nếu cấu trúc bị mất trong quá trình chuyển đổi thì không có cách nào khôi phục.

Thứ sáu, phải trả về vị trí của từng phần tử. Nếu không xác định được kết quả cấu trúc đến từ đâu trong tài liệu gốc thì không thể kiểm tra và đưa ra căn cứ.

Cách áp dụng Document Parsing trong thực tế

Xác định sản phẩm đầu ra trước

Quyết định đầu tiên của thiết kế là sẽ tạo ra cái gì. Việc dùng cho tìm kiếm, đưa vào hệ thống nghiệp vụ hay hiển thị lên màn hình sẽ quyết định định dạng cần thiết khác nhau.

Trong thực tế, tổ hợp thường được dùng là tạo đồng thời ba loại: một dạng đánh dấu thể hiện được thứ bậc, một dữ liệu cấu trúc mà chương trình dễ xử lý, và một định dạng có thể biểu diễn chính xác bảng. Trong một dự án xây dựng ở một chính quyền địa phương cấp tỉnh lớn, văn bản, bảng và hình được tách riêng, sau đó tạo nhiều định dạng cùng các đoạn và từ khóa, rồi nạp vào kho tri thức.

Tách việc nhận diện phần tử và nhận dạng nội dung

Nếu chia pipeline thành hai bước thì việc cải thiện sẽ dễ hơn nhiều. Trước hết xác định loại, ranh giới và thứ tự đọc của các phần tử trên trang, sau đó nhận dạng nội dung từng phần tử.

Khi chia như vậy, có thể thu hẹp nguyên nhân khi xảy ra sự cố. Nếu cả bảng bị mất, đó là vấn đề của khâu nhận diện phần tử. Nếu bảng đã được phát hiện nhưng giá trị bị sai, đó là vấn đề của khâu nhận dạng nội dung. Với một xử lý gộp chung, không phân biệt được hai trường hợp này nên khó xác định hướng cải thiện.

Chia hiệu năng theo từng mục

Tóm tắt hiệu năng của Document Parsing bằng một con số sẽ che khuất thực trạng. Hãy kiểm tra riêng việc phát hiện phần tử và độ chính xác vị trí, nhận dạng văn bản, khôi phục cấu trúc bảng và phát hiện hình.

Trong các đánh giá thực tế, các giá trị này biến động khác nhau. Trên một nhóm tài liệu công, việc phát hiện phần tử, độ chính xác vị trí và phát hiện hình đều đầy đủ, nhận dạng văn bản cũng cao, nhưng riêng khôi phục cấu trúc bảng lại thấp. Trên một nhóm tài liệu công khác, văn bản nội dung cao còn khôi phục bảng ở mức trung bình, còn trong kiểm chứng với biểu mẫu khai báo thì khôi phục bảng được xác nhận là cao. Điều này cho thấy tùy đặc điểm tài liệu mà mục nào sẽ kéo hiệu năng xuống.

Document Parsing trong bối cảnh Hàn Quốc

Tài sản tài liệu của khu vực công và tài chính trong nước được lưu chủ yếu dưới định dạng Hangul word processor. Xử lý được định dạng này ở dạng gốc là cửa ải đầu tiên, vì nếu chuyển sang định dạng khác mà thông tin gộp ô của bảng bị mất thì không thể khôi phục ở các bước sau.

Bố cục của tài liệu cũng là một điều kiện. Công văn, hướng dẫn, văn bản pháp luật và báo cáo cùng nằm trong một kho nhưng mỗi loại có cấu trúc thứ bậc khác nhau. Biểu mẫu công có bảng nhiều tầng, mục đánh số bằng ký tự khoanh tròn và câu hướng dẫn cách điền nằm ngay trong bảng. Nếu không phân biệt được một ô của bảng là dữ liệu hay là hướng dẫn, kết quả cấu trúc hóa sẽ bị nhiễm.

Ngoài ra, trong môi trường phân tách mạng, toàn bộ quá trình từ chuyển đổi tài liệu đến cấu trúc hóa phải được thực hiện trong mạng nội bộ. Các cấu hình gọi đến dịch vụ chuyển đổi bên ngoài sẽ bị loại khỏi danh sách xem xét ở điểm này.