OCR là gì: nhận dạng ký tự để đọc tài liệu nghiệp vụ thực tế, hướng dẫn đầy đủ

OCR (Optical Character Recognition) là công nghệ tìm các ký tự mà con người đọc được trong tài liệu chỉ tồn tại dưới dạng hình ảnh, như bản quét hoặc ảnh chụp, chuyển chúng thành văn bản mà máy tính có thể xử lý, đồng thời trả về cả vị trí của từng ký tự.

Vì sao OCR vẫn khó

Chữ in đã là bài toán được giải quyết.

Độ chính xác khi đọc chữ trên tài liệu in rõ ràng đã đạt mức dùng được từ lâu. Vì vậy, nhiều người nghĩ OCR là công nghệ đã hoàn thiện. Nhưng khi mở hộp tiếp nhận tài liệu thực tế, câu chuyện khác hẳn.

Trong tài liệu tiếp nhận của một tổ chức tài chính, phần băng đen ở mép trên bị gấp khi quét đã che đi gần nửa dấu xác thực. Một tài liệu khác bị mất lề và một phần nội dung sau nhiều lần photo. Có tài liệu được chụp khi đặt trên sàn, nên đồng thời có nếp nhăn, bóng đổ và méo hình. Cũng có bản fax đã được gửi lại bốn lần, khiến bốn kiểu ghi ngày khác nhau chồng lên nhau trên cùng một dòng. Thêm vào đó, con dấu đè lên bảng, gạch ngang xuyên qua chữ, và chữ viết tay lẫn với ô đánh dấu.

Con người đọc những tài liệu này một cách tự nhiên. Khó khăn của nhận dạng ký tự không nằm ở việc đọc chữ in, mà ở việc đọc tài liệu trong trạng thái như vậy.

Định nghĩa chính xác của OCR: khác gì với trích xuất văn bản

Trích xuất văn bản và OCR, ba trục khác biệt

Thứ nhất, đối tượng khác nhau. Trích xuất văn bản là thao tác lấy dữ liệu ký tự vốn đã có sẵn trong tài liệu được tạo bằng kỹ thuật số. Ký tự đã được lưu dưới dạng dữ liệu trong tệp gốc nên chỉ cần đọc ra. OCR nhắm vào đối tượng không có dữ liệu đó. Trên màn hình chỉ có điểm ảnh, nên công việc bắt đầu từ việc tìm ra ký tự trong đó.

Thứ hai, mục tiêu khác nhau. Mục tiêu của trích xuất văn bản là chuyển chuỗi ký tự đã lưu mà không mất mát. Mục tiêu của OCR là tìm mọi ký tự mà con người đọc được trong ảnh và khôi phục chúng thành văn bản. Vì vậy, trích xuất văn bản gần như không có khái niệm độ chính xác, còn với OCR, độ chính xác là chỉ số cốt lõi.

Thứ ba, chỉ số đánh giá khác nhau. Trích xuất văn bản chỉ xem có bị thiếu hay không. OCR xem đồng thời độ chính xác theo từng ký tự và độ chính xác dựa trên mức độ giống nhau. Trong một kiểm chứng thực tế, có nhóm tài liệu tài chính cho độ chính xác cao theo mức độ giống nhau đối với cả chữ in lẫn chữ viết tay, và tốc độ nhận dạng cũng được đo theo bộ tăng tốc. Cũng có trường hợp được xác nhận trên nhóm tài liệu có chữ viết tay.

Hai phương thức này không thay thế nhau. Trong công việc thực tế, bản gốc kỹ thuật số và bản quét thường đi chung trong cùng một nghiệp vụ, nên cần một cấu hình có thể nhận diện tính chất của tệp và xử lý mỗi loại bằng phương thức phù hợp. Nếu bản gốc đã có văn bản mà vẫn chuyển sang hình ảnh rồi nhận dạng, thì chính bạn đang làm giảm độ chính xác.

Sáu điều kiện để đưa OCR vào nghiệp vụ

Sáu điều kiện của OCR khi vận hành thực tế

Thứ nhất, phải có thể hiệu chỉnh trạng thái tài liệu. Bản quét bị nghiêng, trang bị xoay và bản fax độ phân giải thấp cần được sửa trước khi nhận dạng. Hãy kiểm tra xem trước bước nhận dạng có các khâu hiệu chỉnh độ nghiêng, hiệu chỉnh góc xoay và nâng độ phân giải hay không.

Thứ hai, phải chịu được các yếu tố gây nhiễu. Con dấu, hình mờ, gạch ngang, chữ bị chồng và bóng đổ che hoặc làm méo ký tự. Nếu không kiểm chứng bằng tài liệu thực có các yếu tố này, hiệu năng sau khi đưa vào sử dụng có thể khác rất nhiều.

Thứ ba, phải xử lý được chữ viết tay. Phần lớn các mục trong đơn đăng ký được điền bằng tay. Vì tài liệu chỉ có độ chính xác chữ in thì không thể đánh giá hiệu năng thực tế, hãy yêu cầu độ chính xác chữ viết tay được đo riêng.

Thứ tư, phải trả về vị trí của ký tự. Chuỗi ký tự đã nhận dạng thôi thì không thể trích xuất mục và kiểm tra về sau. Tọa độ của từng giá trị cần đi kèm để có thể chỉ đúng vị trí trong bản gốc trên màn hình.

Thứ năm, phải cung cấp độ tin cậy theo từng mục. Nếu gán một điểm số cho cả tài liệu thì không biết cần xem chỗ nào. Cần đánh dấu riêng các phần có độ chắc chắn thấp để có thể kiểm tra tập trung vào ngoại lệ.

Thứ sáu, phải đáp ứng được thông lượng. Không xét theo mức trung bình tháng mà xét theo mật độ vào các khung giờ dồn việc. Trong các trường hợp vận hành, thời gian xử lý theo lô và thông lượng theo giờ đã được đo cùng lúc.

Cách áp dụng OCR trong thực tế

Đặt tiền xử lý trước nhận dạng

Cách nhanh nhất để nâng độ chính xác nhận dạng không phải là đổi mô hình mà là làm sạch ảnh đầu vào. Quy trình thực tế là chuyển định dạng tài liệu thành ảnh, phân tách trang, chuẩn hóa, sửa độ nghiêng và góc xoay, khử nhiễu, rồi mới chuyển sang nhận dạng.

Nếu không có khâu này ở phía trước, dù dùng mô hình tốt đến đâu ở phía sau cũng không thể khôi phục phần mất mát. Đặc biệt với nghiệp vụ có nhiều bản fax và ảnh chụp bằng điện thoại, chất lượng tiền xử lý quyết định hiệu năng tổng thể.

Thiết kế nhận dạng ký tự và nhận dạng cấu trúc cùng nhau

Nếu chỉ trích ký tự theo thứ tự, thứ tự đọc sẽ bị lệch ở bảng và bố cục nhiều cột. Trong cấu hình thực tế, bố cục được phân tích trước để tách vùng tiêu đề, nội dung, bảng và hình, xác định thứ tự đọc, rồi mới nhận dạng ký tự trong từng vùng.

Nhờ vậy, kết quả nhận dạng được chuyển thẳng thành dữ liệu có cấu trúc. Điều này giúp ích nhiều hơn cho việc trích xuất mục và tìm kiếm về sau so với một chuỗi ký tự liệt kê đơn thuần.

Đặt quy tắc hậu xử lý

Kết quả nhận dạng có những lỗi lặp lại theo khuôn. Có thể số và chữ cái bị nhầm lẫn, dấu phân cách hàng nghìn bị đọc sai, hoặc cùng một mục bị lệch lặp đi lặp lại trong một biểu mẫu cụ thể.

Những lỗi như vậy thường được xử lý nhanh hơn bằng quy tắc hậu xử lý thay vì huấn luyện lại mô hình. Với các mục có hình dạng đã cố định, như số đăng ký kinh doanh, định dạng ngày tháng hay ký hiệu phân cách số tài khoản, kiểm tra bằng quy tắc sẽ lọc được phần lớn lỗi.

OCR trong bối cảnh Hàn Quốc

Tài liệu nghiệp vụ Hàn Quốc có một số điều kiện riêng.

Trước hết là định dạng tài liệu. Tài liệu HWP được dùng rộng rãi, và định dạng này cần xử lý riêng ngay từ bước chuyển sang hình ảnh. Biểu mẫu hành chính và tờ khai thuế chứa các mục đánh số bằng ký tự khoanh tròn cùng các bảng nhiều tầng.

Tiếp theo là cách ghi số. Nếu đọc nguyên văn một tài liệu dùng dấu chấm để phân cách hàng nghìn, cả số tiền sẽ lệch về số chữ số. Việc số đăng ký cư trú được in mà thiếu dấu gạch nối cũng rất phổ biến. Những cách ghi này phải được hiệu chỉnh bằng quy tắc, nếu không sẽ trở thành lỗi nghiệp vụ.

Cuối cùng là kênh tiếp nhận. Fax vẫn đang được sử dụng, và bản quét tại chi nhánh cùng ảnh chụp bằng điện thoại trộn lẫn trong cùng một nghiệp vụ. Đây là lĩnh vực có lợi cho nhà cung cấp đã lặp đi lặp lại việc huấn luyện và kiểm chứng trên tài liệu Hàn Quốc.