Tiền xử lý RAG là gì: quy trình chuẩn bị tài liệu quyết định chất lượng câu trả lời, hướng dẫn đầy đủ

Tiền xử lý RAG là công việc chuẩn bị, trong đó tài liệu dùng cho sinh nội dung tăng cường truy xuất được phân tích và chỉnh lý sao cho cấu trúc và ý nghĩa được giữ nguyên, rồi được chia thành các đoạn (chunk) có thể tìm kiếm. Chất lượng tài liệu mà mô hình dùng làm căn cứ được quyết định ở bước này.

Vì sao cần tiền xử lý RAG

Đổi mô hình cũng không làm câu trả lời tốt hơn trong một số trường hợp.

Một điều thường nghe ở các tổ chức đã đưa AI sinh nội dung vào sử dụng là: đã gắn một mô hình tốt, nhưng câu hỏi nghiệp vụ vẫn nhận được câu trả lời lạc đề. Khi truy ngược nguyên nhân, thường thấy vấn đề nằm ở tài liệu đưa cho mô hình chứ không nằm ở mô hình. Tài liệu hành chính, sổ tay hướng dẫn và văn bản pháp luật được tích lũy dưới dạng PDF và tài liệu HWP, rồi những tệp này được trích xuất thẳng thành văn bản và đưa vào.

Vấn đề là ngay khi chỉ trích xuất văn bản, cấu trúc sẽ biến mất. Nếu một tài liệu mô tả quy trình trả lại được trình bày thành bảng có tiêu đề nhiều tầng, chia thành ngân sách quốc gia và ngân sách địa phương, số dư và lãi, rồi lại trải phẳng thành danh sách câu chữ, sẽ không còn biết được tài khoản nào thuộc điều kiện nào. Mô hình tạo ra những câu nghe hợp lý trên nền tài liệu đã rối này. Nguyên nhân khiến chất lượng câu trả lời kém thường nằm ở đây.

Định nghĩa chính xác của tiền xử lý RAG: khác gì với trích xuất văn bản

Trích xuất văn bản và tiền xử lý RAG, ba trục khác biệt

Thứ nhất, đối tượng khác nhau. Trích xuất văn bản nhắm vào các ký tự được ghi trong tài liệu. Tiền xử lý RAG nhắm vào cả ký tự lẫn thứ bậc của tiêu đề và nội dung, hàng và cột của bảng, quan hệ giữa hình và phần mô tả, và liên kết giữa chú thích cuối trang với nội dung. Đây là công việc sao chép bộ khung của tài liệu, chứ không chỉ đọc nội dung.

Thứ hai, mục tiêu khác nhau. Mục tiêu của trích xuất văn bản là lấy ra toàn bộ nội dung không bỏ sót. Mục tiêu của tiền xử lý RAG là sắp đặt tài liệu sao cho khi có câu hỏi, đúng đoạn cần thiết được tìm ra. Vì vậy, cùng một tài liệu nhưng cách chia đoạn sẽ khác nhau tùy theo câu hỏi nào sẽ được đặt ra.

Thứ ba, chỉ số đánh giá khác nhau. Trích xuất văn bản đo bằng độ chính xác ký tự. Tiền xử lý RAG đo bằng độ chính xác của câu trả lời cuối cùng. Trong một kiểm chứng hành chính thuế quốc gia, nhóm đã xây dựng bộ đánh giá gồm tài liệu và các câu hỏi để kiểm tra đồng thời cấu trúc hóa và chất lượng tìm kiếm. Vì khó chấm điểm riêng bước tiền xử lý, việc chuẩn bị trước các cặp câu hỏi và đáp án gần như là thao tác bắt buộc.

Hai công việc này không thay thế cho nhau. Nếu nhận dạng ký tự không chính xác, dù chia đoạn khéo đến đâu thì nội dung sai vẫn được tìm ra. Thứ tự đúng là đặt khâu khôi phục cấu trúc lên trên nhận dạng, rồi đặt chia đoạn lên trên khâu đó.

Sáu điều kiện giữ chất lượng câu trả lời trong tiền xử lý RAG

Sáu điều kiện của tiền xử lý RAG khi xây dựng thực tế

Thứ nhất, phải chuyển đổi theo cách giữ được cấu trúc. Tiêu đề, mục, bảng, danh sách và mô tả hình phải được đánh dấu rõ là gì, để có thể sử dụng ở bước tìm kiếm. Nếu tạo sẵn cả dạng đánh dấu và dữ liệu có cấu trúc bằng cách gắn thẻ cho các thành phần này, các lựa chọn về sau sẽ rộng hơn.

Thứ hai, ranh giới của đoạn phải khớp với đơn vị logic của tài liệu. Nếu chỉ cắt theo số ký tự, bảng sẽ bị đứt giữa chừng và một điều khoản sẽ bị chia thành hai đoạn. Nên ưu tiên ranh giới theo mục hoặc theo bảng, còn độ dài là điều kiện đặt sau.

Thứ ba, bảng phải được xử lý riêng. Bảng khác bản chất với câu văn, nên nếu cắt theo cùng cách thì tìm kiếm sẽ không hiệu quả. Cách thực dụng là giữ nguyên toàn bộ bảng như một đoạn, đồng thời gắn kèm thông tin về mục mà bảng thuộc về.

Thứ tư, phải gắn siêu dữ liệu kèm theo. Tên tài liệu, cơ quan ban hành, ngày có hiệu lực, lịch sử sửa đổi và số trang của bản gốc phải được gắn vào từng đoạn thì câu trả lời mới đưa ra được căn cứ. Câu trả lời không đưa ra được căn cứ sẽ không được dùng trong nghiệp vụ.

Thứ năm, phải che thông tin cá nhân. Khi chuyển dữ liệu công sang mục đích tìm kiếm, việc che hoặc thay thế các mục có thể xác định cá nhân gần như là điều kiện tiên quyết. Công việc này phải được thực hiện trước khi tạo đoạn, để giá trị gốc không còn lại trong chỉ mục tìm kiếm.

Thứ sáu, phải xây dựng bộ đánh giá trước. Để xác định việc thay đổi phương pháp tiền xử lý làm tốt lên hay xấu đi, cần có chuẩn so sánh với cùng bộ câu hỏi. Nếu xây dựng sớm một bộ đánh giá vài trăm câu hỏi, các cải tiến sau này sẽ trở thành công việc có thể đo lường được.

Cách áp dụng tiền xử lý RAG trong thực tế

Phân loại tài liệu trước

Công việc đầu tiên của dự án không phải là chuyển đổi mà là nắm rõ đặc tính của tài liệu cần xử lý. Văn bản pháp luật và thông tư có cấu trúc điều khoản rõ ràng, sổ tay hướng dẫn có các mục và tiểu mục phân tầng, công văn ngắn và độc lập, còn biểu mẫu khai báo mà bảng chính là nội dung thì mỗi loại cần được chia theo cách khác nhau.

Trong một dự án xây dựng tại một chính quyền địa phương cấp đô thị lớn, tài liệu hành chính được cấu trúc hóa, rồi tách thành văn bản, bảng và hình, sau đó tạo đồng thời dạng đánh dấu, dữ liệu có cấu trúc, các đoạn và từ khóa, và nạp vào kho tri thức. Khi tài liệu được chuyển đổi một lần để tạo nhiều sản phẩm đầu ra, thì dù sau này cách tìm kiếm có thay đổi, cũng không cần xử lý lại tài liệu gốc.

Tách bước cấu trúc hóa và bước chia đoạn

Nếu gộp cấu trúc hóa và chia đoạn thành một xử lý, mỗi lần điều chỉnh kích thước đoạn sẽ phải phân tích lại tài liệu. Khi tách thành hai bước, có thể giữ nguyên kết quả cấu trúc hóa và chỉ thử nghiệm các quy tắc chia đoạn.

Trong cấu hình thực tế, tài liệu được chuyển đổi thành dữ liệu cấu trúc, sau đó văn bản được chia theo độ dài nhất định và kết quả được sắp xếp. Khi đó, nếu các đoạn liền kề chồng lên nhau một phần, có thể giảm được vấn đề câu bị cắt ngang ở ranh giới làm mất ý nghĩa.

Tiền xử lý RAG trong bối cảnh Hàn Quốc

Phần lớn tài sản tài liệu công của Hàn Quốc được tích lũy dưới định dạng HWP. Việc có thể xử lý trực tiếp định dạng này nguyên vẹn hay không là cửa ải đầu tiên. Nếu quá trình chuyển sang định dạng khác làm mất thông tin gộp ô của bảng, các bước sau sẽ không có cách nào khôi phục.

Bản thân tài liệu cũng có điều kiện riêng. Công văn, sổ tay, văn bản pháp luật và báo cáo cùng nằm trong một kho, và các bảng nhiều tầng đặc trưng của biểu mẫu hành chính, số thứ tự dạng ký tự khoanh tròn và con dấu che bảng cũng xuất hiện cùng lúc. Tài liệu công của Hàn Quốc thường xuyên được sửa đổi, nên nên xác định việc quản lý bản mới nhất và theo dõi lịch sử thay đổi là yêu cầu của bước tiền xử lý.

Thêm vào đó, trong môi trường phân tách mạng, việc gọi dịch vụ nhúng bên ngoài bị hạn chế. Cần xác nhận cấu hình có thể thực hiện trong mạng nội bộ từ chuyển đổi tài liệu, tạo đoạn cho đến nhúng vector hay không.

Liên kết bản gốc với các đoạn

Nếu câu trả lời chỉ được tạo từ các đoạn đã tìm được, người dùng không có cách nào kiểm tra căn cứ. Lưu tệp gốc, số trang và vị trí trong tài liệu cho từng đoạn sẽ giúp gắn nguồn cho câu trả lời.

Điều này đặc biệt quan trọng trong nghiệp vụ. Khi cán bộ hành chính tra cứu thông tin chính sách, điều họ cần không chỉ là câu trả lời mà còn là căn cứ nằm ở trang nào của hướng dẫn nào. Chỉ khi có thể mở bản gốc để kiểm tra, họ mới dùng câu trả lời làm căn cứ để trình duyệt.

Khi triển khai, cách đơn giản là dùng cùng một mã định danh được gán khi tạo đoạn trong cả chỉ mục lẫn kho tệp gốc. Nhờ vậy, khi bản gốc bị thay thế, vẫn có thể theo dõi được đoạn nào bị ảnh hưởng.

Khi tài liệu được sửa đổi, cập nhật cả đoạn

Tài liệu công và tài liệu tài chính được sửa đổi thường xuyên. Hướng dẫn thay đổi, biểu mẫu được điều chỉnh, và văn bản pháp luật có hiệu lực theo từng thời điểm khác nhau. Nếu bản gốc đã thay đổi nhưng chỉ mục vẫn giữ nguyên, mô hình sẽ trả lời dựa trên quy định đã bị bãi bỏ.

Vì vậy, trong dây chuyền tiền xử lý phải có đường cập nhật. Khi có phiên bản mới, tìm và thay thế các đoạn của tài liệu đó, và phiên bản cũ thì xóa hoặc đánh dấu thời gian có hiệu lực để loại khỏi phạm vi tìm kiếm. Nếu gắn ngày có hiệu lực và ngày bãi bỏ làm siêu dữ liệu cho tài liệu, việc xử lý này có thể tự động hóa.

Xử lý lại toàn bộ sẽ ngày càng khó kham khi khối lượng tài liệu tăng. Nên thiết kế ngay từ đầu cấu trúc chỉ xử lý những tài liệu đã thay đổi.

Thu thập các trường hợp tìm kiếm thất bại để phản hồi

Chất lượng tiền xử lý không hoàn thiện ngay từ đầu. Khi câu hỏi thực tế bắt đầu đến, những thất bại không lường trước sẽ lộ ra.

Ba loại thường gặp nhất là: cách diễn đạt trong câu hỏi khác với cách diễn đạt trong tài liệu nên không tìm được, nội dung liên quan bị rải ở nhiều đoạn nên chỉ tìm được một đoạn, và thông tin trong bảng không khớp với câu hỏi dạng câu văn.

Thu thập các trường hợp thất bại này sẽ cho thấy hướng xử lý. Chênh lệch cách diễn đạt được giải quyết bằng cách gắn thêm từ khóa vào đoạn, nội dung bị phân tán được giải quyết bằng cách điều chỉnh lại ranh giới đoạn, còn bảng được giải quyết bằng cách lưu kèm câu tóm tắt. Các trường hợp thất bại càng tích lũy, bộ đánh giá càng dày, nên cơ sở để cải tiến và tiêu chí đo lường cùng tăng trưởng.