KIE là gì: Trích xuất thông tin chính để lấy dữ liệu nghiệp vụ từ tài liệu, hướng dẫn đầy đủ

KIE (Key Information Extraction) là công nghệ chọn ra từ nội dung tài liệu những mục cần thiết cho nghiệp vụ, cấu trúc hóa chúng thành các cặp khóa và giá trị, rồi chuyển thành dạng có thể nhập trực tiếp vào hệ thống nghiệp vụ hiện có.

Vì sao cần KIE

Chỉ đọc là chưa đủ.

Công nghệ chuyển hình ảnh tài liệu thành văn bản đã có từ lâu, và độ chính xác với chữ in đã đủ cao. Thế nhưng khối lượng công việc của cán bộ vẫn không giảm nhiều. Khi kết quả nhận dạng là một khối chữ liền nhau, việc tìm mã số đăng ký doanh nghiệp nằm ở đâu và họ tên người đại diện nằm ở đâu vẫn phải do con người nhìn và chép vào hệ thống. Tại nghiệp vụ thẩm định tín dụng cho một công ty ở nước ngoài, việc xem, nhập và đối chiếu một bộ hồ sơ đăng ký mất rất nhiều thời gian vì cùng lý do đó. KIE nhắm vào chính điểm này.

Định nghĩa chính xác của KIE: khác gì với OCR

Ba điểm khác nhau giữa OCR và KIE

Thứ nhất, đối tượng khác nhau. OCR lấy các ký tự trên hình ảnh làm đối tượng. KIE lấy đồng thời các ký tự đã nhận dạng, vị trí mà chúng nằm, và tên mục xung quanh làm đối tượng.

Thứ hai, mục tiêu khác nhau. Mục tiêu của OCR là chép đầy đủ và chính xác những chữ đã viết. Mục tiêu của KIE là chọn ra các mục nghiệp vụ cần thiết và ghép chúng với giá trị để xuất ra. Trên cùng một tài liệu, OCR cho ra mã số đăng ký doanh nghiệp và các chữ số đi sau thành một chuỗi, còn KIE cho ra dữ liệu trong đó các chữ số đó được liên kết làm giá trị của khóa "mã số đăng ký doanh nghiệp".

Thứ ba, chỉ số đánh giá khác nhau. OCR được đo bằng độ chính xác theo ký tự. KIE được đo bằng tỷ lệ khớp hoàn toàn theo mục và tỷ lệ do con người sửa. Dù độ chính xác ký tự cao, nếu liên kết mục bị sai thì trong nghiệp vụ vẫn tính là lỗi, nên xem hai chỉ số riêng biệt sẽ chính xác hơn.

Hai công nghệ không thay thế được cho nhau. Chữ mà OCR không đọc được thì KIE cũng không trích xuất được, nên thứ tự đúng là xây cấu trúc trích xuất lên trên chất lượng nhận dạng.

Năm điều kiện để đưa KIE vào sử dụng nghiệp vụ

Năm điều kiện của KIE trong vận hành thực tế

Thứ nhất, các mục trích xuất phải được định nghĩa theo tiêu chí nghiệp vụ. Tiêu chuẩn không phải là các mục mô hình có thể lấy ra, mà là các mục cán bộ phải nhập vào hệ thống.

Thứ hai, phải chịu được khi biểu mẫu thay đổi. Ngay cả cùng một loại đơn, bố cục cũng khác nhau tùy chi nhánh và năm, nên phương pháp cố định tọa độ không dùng được lâu.

Thứ ba, phải xử lý được tài liệu lẫn chữ viết tay, ô đánh dấu và con dấu. Trong kiểm chứng tại một công ty thẻ tín dụng, độ chính xác trích xuất giá trị khóa được xác nhận là cao cho cả chữ in và chữ viết tay, nghĩa là điều kiện này đã được đáp ứng.

Thứ tư, phải có thể truy lại vị trí của giá trị đã trích xuất. Nếu không xác nhận được giá trị đến từ vị trí nào trong bản gốc, người kiểm duyệt sẽ phải đọc lại toàn bộ tài liệu.

Thứ năm, các quy tắc kiểm định phải chạy cùng. Các điều kiện nghiệp vụ yêu cầu, như thứ tự ngày tháng, tổng số tiền và khớp tên giữa các tài liệu, được đặt thành quy tắc chứ không để mô hình tự quyết.

Cách áp dụng KIE trong thực tế

Định nghĩa mục trích xuất là việc làm đầu tiên

Sản phẩm đầu tiên của dự án không phải là mô hình mà là bản định nghĩa mục. Trong dự án tự động hóa xử lý yêu cầu bồi thường thiệt hại của một ngân hàng, việc định nghĩa mục nào được trích xuất và theo định dạng nào cho từng tài liệu đã được thực hiện trước. Các tài liệu gồm đơn yêu cầu bồi thường thiệt hại, đơn đề nghị tạm ngừng chi trả và giấy xác nhận sự cố. Nếu không có tài liệu này, tiêu chí đánh giá hiệu năng sẽ không hình thành.

Tách phân loại và trích xuất trong thiết kế

Trong môi trường nhiều tài liệu được gộp vào một tệp, cần có công đoạn tách tài liệu và nhận diện biểu mẫu trước. Đây là lý do trong một trường hợp tại công ty thẻ tín dụng, nhóm tài liệu ban đầu và hệ thống mã phân loại được thiết lập trước khi chuyển sang trích xuất. Chỉ khi độ chính xác phân loại được bảo đảm, việc trích xuất mục mới vận hành ổn định.

Chạy quy tắc kiểm định cùng với trích xuất

Nếu đưa thẳng giá trị đã trích xuất vào hệ thống, lỗi sẽ bị phát hiện ở phía sau. Lọc bằng quy tắc ngay khi giá trị được tạo ra sẽ giảm số hồ sơ chuyển sang cho cán bộ.

Quy tắc được chia thành ba loại. Loại thứ nhất là kiểm tra định dạng, xác nhận các mục có hình dạng cố định như số chữ số của mã số đăng ký doanh nghiệp, định dạng ngày tháng hoặc ký hiệu phân cách trong số tài khoản. Loại thứ hai là kiểm tra quan hệ, xem ngày nộp đơn có không sớm hơn ngày cấp hay không, và tổng số tiền có khớp với tổng các giá trị mục hay không. Loại thứ ba là kiểm tra giữa các tài liệu, đối chiếu tên người đại diện trên đơn với tên trên giấy tờ chứng minh, và số tài khoản có khớp với bản sao sổ ngân hàng hay không.

Loại thứ ba đặc biệt quan trọng. Nghiệp vụ thẩm định tài chính không kết thúc chỉ với một tài liệu, vì một hồ sơ chỉ hoàn tất khi nhiều tài liệu được đối chiếu với nhau. Trong tự động hóa xử lý yêu cầu bồi thường của một ngân hàng, đã xác nhận được các trường hợp phát hiện tự động sự không khớp giữa các tài liệu nhờ bước đối chiếu này.

Quản lý mục trích xuất theo phiên bản

Bản định nghĩa mục không kết thúc sau khi viết xong. Khi biểu mẫu được sửa đổi hoặc quy tắc nghiệp vụ thay đổi, các mục trích xuất cũng thay đổi theo. Nếu lúc đó ghi đè lên bản định nghĩa, sẽ mất dấu về việc gì đã thay đổi, khi nào và vì sao.

Cách thường dùng là tạo phiên bản mới mỗi khi có thay đổi và giữ lại các phiên bản cũ. Ghi lại việc mục nào được thêm, gợi ý định dạng nào thay đổi, và mục con nào được nhóm lại, kèm theo ghi chú. Sau đó so sánh hiệu năng với phiên bản trước trên cùng tài liệu đánh giá, rồi đưa vào vận hành sau quy trình phê duyệt.

Khi có quy trình này, nếu một thay đổi làm giảm hiệu năng, có thể hoàn lại ngay, và ngay cả khi người phụ trách thay đổi, lý do thiết lập vẫn được lưu lại trong tài liệu.

KIE trong môi trường trong nước

Các tổ chức tài chính và khu vực công trong nước thường chịu quy định tách mạng, nên việc gọi API bên ngoài bị hạn chế. Vì vậy, khả năng triển khai tại chỗ (on-premises) là cổng đầu tiên của đánh giá kỹ thuật. Ngoài ra, phải xử lý tài liệu HWP (trình soạn thảo chữ Hàn), bản quét chất lượng thấp nhận qua fax, và cấu trúc bảng đặc trưng của biểu mẫu cơ quan nhà nước. Các nhà cung cấp đã nhiều lần huấn luyện và kiểm chứng trên tài liệu trong nước có lợi thế ở các điểm này.