BMT là gì? Cách kiểm chứng giải pháp bằng tài liệu của chính doanh nghiệp, giải thích đầy đủ

BMT (Benchmark Test) là quy trình kiểm chứng trong đó tổ chức đang cân nhắc triển khai cho các giải pháp ứng viên xử lý cùng một bộ tài liệu công việc thực tế của chính mình, trên cùng điều kiện và theo tiêu chí đánh giá đã định trước, để so sánh hiệu năng và quyết định có triển khai hay không.

Vì sao cần BMT

Điểm công khai và điểm trên tài liệu của chúng tôi là khác nhau.

Con số được nhắc đến nhiều nhất khi xem xét giải pháp là độ chính xác. Thế nhưng cùng một sản phẩm có thể đạt giá trị cao trên loại tài liệu này và chỉ đạt giá trị thấp hơn nhiều trên loại tài liệu khác. Trong một ca kiểm chứng thực tế, việc khôi phục cấu trúc bảng trên biểu mẫu khai báo được đánh giá cao, nhưng với văn bản hành chính có tiêu đề nhiều tầng và ô gộp chồng lên nhau, cùng hạng mục đó giảm mạnh. Phân loại loại tài liệu cũng có trường hợp đạt cao trên nhóm tài liệu tài chính nhưng thấp trên nhóm tài liệu công.

Khoảng cách này xuất phát từ đặc điểm của tài liệu chứ không phải sự hơn kém của sản phẩm. Vì vậy, nếu chỉ dựa vào điểm benchmark công khai hoặc độ chính xác ghi trong đề xuất để quyết định triển khai, kết quả sau khi đưa vào vận hành có thể khác với kỳ vọng. BMT đưa rủi ro này về trước khi triển khai.

Định nghĩa chính xác của BMT: khác gì PoC

Ba điểm khác biệt giữa BMT và PoC

Thứ nhất, đối tượng khác nhau. BMT hướng đến nhiều sản phẩm ứng viên. Mục đích là đưa cùng một tài liệu vào trên cùng điều kiện rồi so sánh hiệu năng các sản phẩm với nhau. PoC hướng đến một giải pháp và kiểm tra xem nó có hoạt động khi gắn vào luồng công việc thực tế hay không.

Thứ hai, mục tiêu khác nhau. Mục tiêu của BMT là lựa chọn: sản phẩm nào cho kết quả tốt hơn trên tài liệu của chúng tôi. Mục tiêu của PoC là thiết kế: xác định quy tắc nghiệp vụ, cách xử lý ngoại lệ và cách kết nối hệ thống.

Thứ ba, chỉ số đánh giá khác nhau. BMT dùng các chỉ số có thể so sánh giữa các sản phẩm, như độ chính xác phân loại loại tài liệu, tỷ lệ khớp hoàn toàn ở mức từng hạng mục và độ tương đồng cấu trúc bảng. PoC dùng các chỉ số vận hành, như thời gian xử lý trên mỗi hồ sơ, tỷ lệ phải can thiệp thủ công và tỷ trọng hồ sơ ngoại lệ. Trong một ca tài chính thực tế, giai đoạn BMT đã đặt mục tiêu tỷ lệ khớp hoàn toàn trước, đo hiệu năng phân loại tài liệu và trích xuất hạng mục, rồi các giai đoạn sau mới xác định tiêu chí vận hành.

Hai quy trình này không thay thế cho nhau. Thông thường, BMT được dùng để thu hẹp danh sách ứng viên, sau đó PoC được dùng để xác định thiết kế vận hành. Tuy vậy, nếu nhóm tài liệu đơn giản và ứng viên đã được thu hẹp, hai quy trình có thể được gộp lại.

Sáu nguyên tắc thiết kế để kết quả đáng tin cậy

Sáu nguyên tắc thiết kế BMT khi triển khai thực tế

Thứ nhất, tài liệu dùng để đánh giá phải được lấy theo phân bố công việc thực tế. Nếu chỉ chọn những tài liệu được xử lý tốt, điểm số sẽ giảm sau khi triển khai; nếu chỉ chọn tài liệu khó, sự khác biệt giữa các sản phẩm sẽ không thể hiện rõ. Hãy trộn các loại và trạng thái tài liệu theo tỷ lệ tiếp nhận thực tế. Trong một ca tài chính, nhóm tài liệu ban đầu được sắp xếp trước, rồi từ đó chọn đối tượng đánh giá. Trong một ca khu vực công, các yếu tố đánh giá được rút ra từ tài liệu mục tiêu rồi đo lường.

Thứ hai, phải xây dựng bộ đáp án trước. Nếu con người chưa xác định đáp án đúng của từng hạng mục, điểm số không thể được tính. Đây là phần tốn nhiều thời gian nhất trong BMT, và nếu làm qua loa ở đây thì mọi so sánh sau đó đều không đáng tin.

Thứ ba, phải định nghĩa chỉ số trước. Từ "độ chính xác" có thể được tính khác nhau giữa các sản phẩm. Trước khi bắt đầu, cần xác định bằng văn bản: tính khớp hoàn toàn hay dựa trên độ tương đồng, bảng đo bằng độ tương đồng cấu trúc hay không, và phân loại được tính theo đơn vị nào.

Thứ tư, phải đưa tài liệu ngoại lệ vào. Những tài liệu có con dấu đè lên bảng, bản fax chồng nhiều lớp tiêu đề, hoặc có ô trống cần phán đoán thì phải được đưa vào để sự khác biệt giữa các sản phẩm lộ ra. Chỉ với tài liệu bình thường, hầu hết sản phẩm sẽ cho điểm gần nhau.

Thứ năm, điều kiện phải được giữ đồng nhất. Cùng tệp, cùng độ phân giải và cùng định nghĩa hạng mục thì việc so sánh mới có giá trị. Nếu chỉ một bên được cấu hình tiêu chí trích xuất chi tiết, kết quả sẽ phản ánh thời gian chuẩn bị chứ không phải hiệu năng của sản phẩm.

Thứ sáu, phải kiểm tra cả môi trường xử lý. Dù độ chính xác bằng nhau, nếu không thể cài đặt trong nội bộ hoặc yêu cầu bộ tăng tốc quá lớn thì cũng không thể triển khai. Hãy đặt chỉ số hiệu năng và yêu cầu triển khai trên cùng một bảng để đánh giá.

Cách tiến hành BMT trong thực tế

Hoàn tất việc thu thập tài liệu và định nghĩa hạng mục trước

Sản phẩm đầu tiên của BMT không phải là kết quả đánh giá mà là danh sách tài liệu và bản định nghĩa hạng mục. Cần xác định sẽ đưa vào bao nhiêu tài liệu cho từng biểu mẫu, và từ mỗi biểu mẫu sẽ trích xuất những hạng mục nào, dưới định dạng nào, thì mới có tiêu chuẩn để so sánh.

Ở bước này nên đồng thời sắp xếp hệ thống phân loại. Trong một ca tài chính, nhóm tài liệu được sắp xếp cùng lúc với việc thiết lập bộ mã phân loại, rồi mới chuyển sang kiểm chứng trích xuất. Nếu đo hiệu năng trích xuất khi phân loại chưa được định nghĩa, sẽ bỏ sót những nút thắt sẽ xuất hiện trong vận hành thực tế.

Tách việc đo lường và việc diễn giải

Đo lường thực hiện theo cơ học, còn diễn giải thực hiện riêng. Cần phân biệt điểm thấp là do giới hạn của sản phẩm, do định nghĩa đáp án chưa rõ ràng, hay do chính tài liệu gốc không có căn cứ để trả lời.

Trên thực tế, có trường hợp ô trống không đủ thông tin trong tài liệu để xác định là không áp dụng, bỏ sót khi điền, hay mất dữ liệu do quét. Nếu tính những hạng mục này là sai, việc đánh giá sẽ trở thành đánh giá chất lượng tài liệu chứ không phải đánh giá sản phẩm. Nên xếp riêng các hạng mục không thể phán đoán và quyết định cách xử lý bằng quy tắc vận hành.

BMT trong môi trường tại Hàn Quốc

Khi tiến hành BMT trong lĩnh vực tài chính và khu vực công tại Hàn Quốc, điều đầu tiên phải giải quyết là nơi xử lý tài liệu. Trong môi trường phân tách mạng, không thể đưa tài liệu đánh giá ra bên ngoài, nên trước hết phải xác nhận sản phẩm ứng viên có thể được cài đặt tạm thời trong nội bộ để kiểm chứng hay không. Sản phẩm không đáp ứng điều kiện này thì không thể đánh giá, bất kể hiệu năng ra sao.

Cũng cần xem xét điều kiện về định dạng tài liệu. Hãy xác nhận tài liệu Hangul, biểu mẫu cơ quan và bản fax tiếp nhận có nằm trong phạm vi đánh giá hay không. Kết quả đo trên tài liệu mẫu công khai khác với kết quả đo trên hộp tiếp nhận của chính doanh nghiệp. Lý do tồn tại của BMT nằm chính ở sự khác biệt đó.