Xem toàn bộ thuật ngữ

Kỹ thuật và kiến trúc

Phân tích bố cục là gì: quy trình quyết định cách đọc tài liệu, hướng dẫn đầy đủ

Korea Deep LearningĐăng

Phân tích bố cục là quá trình xác định vị trí các vùng trên một trang tài liệu, như tiêu đề, nội dung, bảng, hình vẽ và đầu trang, rồi sắp xếp các vùng đó theo thứ tự mà người đọc sẽ đọc.

Vì sao thứ tự đọc trở thành vấn đề

Câu chữ bị xáo trộn.

Bạn có thể đã từng trích xuất văn bản từ một tài liệu và thấy nội dung lộn xộn. Câu ở cột trái và cột phải của một báo cáo chia hai cột xen kẽ nhau, hoặc giá trị trong bảng lại chen vào giữa các câu nội dung.

Nguyên nhân thường nằm ở thứ tự đọc. Cách quét từ trên xuống dưới, từ trái sang phải sẽ sụp đổ ngay với các tài liệu chia cột hoặc có bảng. Con người nhận ra cột nhờ tiêu đề và xem bảng là một phần riêng biệt, nhưng nếu thiếu phán đoán đó, dù ký tự được đọc chính xác, kết quả vẫn không dùng được. Phân tích bố cục thực hiện chính phán đoán này.

Định nghĩa chính xác của phân tích bố cục: khác gì với nhận dạng ký tự

Nhận dạng ký tự và phân tích bố cục, ba trục khác biệt

Thứ nhất, đối tượng khác nhau. Nhận dạng ký tự nhắm vào chữ cái. Phân tích bố cục nhắm vào các vùng mà chữ cái tạo thành và cách các vùng đó được sắp xếp.

Thứ hai, mục tiêu khác nhau. Mục tiêu của nhận dạng ký tự là chuyển chữ sang văn bản một cách chính xác. Mục tiêu của phân tích bố cục là xác định cái gì nằm ở đâu và cần đọc theo thứ tự nào.

Thứ ba, chỉ số đánh giá khác nhau. Nhận dạng ký tự được đo bằng độ chính xác ký tự. Phân tích bố cục được đo bằng việc có tìm đủ mọi vùng hay không và vị trí của các vùng có chính xác hay không. Trong một đánh giá tài liệu công, người ta xác nhận rằng toàn bộ các thành phần được đánh giá đều được phát hiện và vị trí được xác định chính xác.

Hai xử lý này không thay thế cho nhau. Kết quả nhận dạng chỉ có ý nghĩa khi thứ tự đã được xác định, và nội dung của các vùng chỉ được điền khi đã nhận dạng xong. Trong các pipeline thực tế, phân tích bố cục được đặt trước, rồi nhận dạng ký tự được xếp lên trên.

Bốn phán đoán mà phân tích bố cục đưa ra

Bốn phán đoán trong quá trình xử lý

Thứ nhất, xác định loại vùng. Hệ thống quyết định một vùng là tiêu đề, nội dung, bảng, hình vẽ hay đầu trang. Các ký tự có cùng kích thước vẫn có vai trò khác nhau tùy theo vị trí và quan hệ với các phần xung quanh.

Thứ hai, xác định ranh giới vùng. Hệ thống quyết định đâu là kết thúc của một bảng và đâu là đoạn văn tiếp theo. Độ khó tăng lên với các bảng không có đường kẻ và các đoạn văn chỉ được phân tách bằng khoảng trắng.

Thứ ba, xác định thứ tự đọc. Khi bố cục nhiều cột, hình chèn và chú thích cuối trang xen lẫn nhau, cần quyết định thứ tự đọc, và ngay cả con người cũng có thể bối rối ở bước này.

Thứ tư, dựng cấu trúc phân cấp. Việc xác định nội dung nào thuộc tiêu đề mục nào giúp tăng đáng kể khả năng sử dụng trong tìm kiếm và cấu trúc hóa về sau.

Cách áp dụng phân tích bố cục trong thực tế

Đặt ở đầu pipeline và đo hiệu năng riêng

Phân tích bố cục nằm ở đầu pipeline, nên một vùng bị bỏ sót ở đây sẽ không được khôi phục ở các bước sau. Vì vậy, hiệu năng cần được đo riêng, tách khỏi nhận dạng ký tự.

Khi đo, hãy tách số lượng vùng tìm được khỏi độ chính xác vị trí của chúng. Việc phát hiện thường hoạt động tốt, nhưng khả năng tái tạo bên trong bảng lại yếu, nên đừng gộp hai giá trị này thành một con số.

Đặt kỳ vọng theo loại tài liệu

Báo cáo thông thường, biểu mẫu hành chính và tờ khai thuế có đặc điểm bố cục hoàn toàn khác nhau. Trong tờ khai thuế, bảng chính là nội dung và các câu hướng dẫn nằm ngay trong bảng. Báo cáo có hệ thống phân cấp tiêu đề và nội dung rõ ràng.

Khi chọn tài liệu để kiểm định, cần phản ánh sự khác biệt này, nếu không hiệu năng thực tế sẽ không lộ ra. Đo chỉ với một loại tài liệu sẽ dẫn đến kết quả bất ngờ khi hệ thống được dùng với tài liệu khác.

Phân tích bố cục trong bối cảnh Hàn Quốc

Biểu mẫu hành chính của Hàn Quốc dồn bảng, câu hướng dẫn và các mục đánh số dạng ký tự khoanh tròn (①, ②) dày đặc trên một trang. Vì một ô trong bảng thường là hướng dẫn cách điền biểu mẫu chứ không phải dữ liệu, việc xác định loại vùng đặc biệt quan trọng.

Tình trạng tài liệu cũng đặt ra điều kiện. Bản fax thường bị nghiêng, mất phần đầu trang và các đường kẻ bị mờ. Với những tài liệu này, cần đưa vào hiệu chỉnh độ nghiêng và khử nhiễu trước khi phân tích bố cục.

Quyết định thứ tự đọc là trọng tâm

Việc khó hơn trong phân tích bố cục không phải là chia vùng mà là quyết định thứ tự. Con người tự nhiên phán đoán nên bắt đầu đọc từ đâu khi nhìn vào trang, nhưng phán đoán đó dễ sai trong tài liệu nhiều cột và trong cấu trúc có bảng nằm trong bảng.

Đặt sai thứ tự làm kết quả thay đổi đáng kể. Với một báo cáo hai cột, nếu đọc hết cột trái chưa xong đã chuyển sang phải, câu chữ sẽ trộn lẫn và mất ý nghĩa. Chú thích cuối trang chen vào giữa đoạn văn sẽ làm đứt mạch lập luận. Đầu trang và chân trang lẫn vào nội dung sẽ lặp lại cùng một cụm từ trên mọi trang và làm giảm chất lượng tìm kiếm.

Vì vậy, khi kiểm tra hiệu năng, cần xem thứ tự có đúng hay không cùng với số lượng vùng tìm được. Một đánh giá tài liệu công đã xác nhận việc phát hiện thành phần và độ chính xác vị trí cùng lúc, nhưng giá trị đó là một chỉ số riêng, không phải độ chính xác thứ tự.

Câu hỏi thường gặp

Chỉ nhận dạng ký tự có đủ không?

Nếu thứ tự đọc chưa được xác định, câu chữ sẽ bị xáo trộn. Điều này đặc biệt đúng với tài liệu nhiều cột hoặc tài liệu có bảng.

Hiệu năng được kiểm tra như thế nào?

Hãy kiểm tra số lượng vùng được phát hiện và độ chính xác vị trí của chúng tách biệt với nhận dạng ký tự. Gộp thành một con số sẽ che khuất vị trí của vấn đề.

Có thể phân biệt được những vùng nào?

Hệ thống phân biệt tiêu đề và tiêu đề mục, nội dung, bảng, hình vẽ, biểu đồ, công thức, danh sách, chú thích ảnh, đầu trang, chân trang, chú thích cuối trang và các thành phần tương tự.

Tài liệu quét bị nghiêng có xử lý được không?

Được, nhưng để kết quả ổn định cần có bước hiệu chỉnh độ nghiêng ở phía trước. Khi đánh giá việc đưa vào sử dụng, hãy kiểm tra cấu hình tiền xử lý.

Tài liệu nhiều cột có xử lý được không?

Được, nhưng việc xác định thứ tự với cấu trúc này khó hơn. Hãy nhất thiết đưa các tài liệu như vậy vào bộ kiểm định và kiểm tra chúng.

Đầu trang và chân trang được xử lý như thế nào?

Chúng được nhận diện như những thành phần khác với nội dung và được đánh dấu riêng. Nếu không có sự phân biệt này, cùng một cụm từ sẽ lặp lại trên mọi trang và chất lượng tìm kiếm sẽ giảm.

Gửi một tài liệu có cấu trúc phức tạp, chúng tôi sẽ trả lại kết quả nhận diện vùng nguyên trạng.

Liên hệ