Xem toàn bộ thuật ngữ

Triển khai và vận hành

On-premise là gì: cách dùng AI mà không đưa tài liệu ra bên ngoài, hướng dẫn đầy đủ

Korea Deep LearningĐăng

On-premise (triển khai nội bộ) là cách vận hành trong đó mô hình và hệ thống được cài đặt trên máy chủ nội bộ do chính khách hàng quản lý, thay vì trên đám mây của nhà cung cấp bên ngoài, nhờ đó dữ liệu cần xử lý không rời khỏi ranh giới của tổ chức.

Vì sao on-premise trở thành yêu cầu

Có những tổ chức không thể gửi tài liệu ra ngoài.

Khi dịch vụ đám mây trở nên phổ biến, phần lớn thảo luận về việc đưa phần mềm vào sử dụng bắt đầu từ câu hỏi nên dùng dịch vụ nào. Nhưng trong lĩnh vực tài chính và công, trước câu hỏi đó còn có một câu hỏi khác: tài liệu này có được phép đưa ra ngoài không. Hồ sơ thẩm định tín dụng chứa thông tin thu nhập và tài khoản của cá nhân, còn đơn xin hỗ trợ bồi thường chứa danh tính của người bị hại và nội dung vụ việc. Việc gửi những tài liệu này lên máy chủ bên ngoài đều vi phạm cả quy định nội bộ lẫn quy định giám sát.

Vì vậy, trong các tổ chức này, on-premise không phải là một trong nhiều lựa chọn mà là yêu cầu phải đáp ứng. Dù hiệu năng tốt đến đâu, giải pháp không thể cài đặt nội bộ sẽ bị loại khỏi danh sách đánh giá ngay từ đầu. Đây là lý do cửa ải đầu tiên khi thẩm định không phải đánh giá công nghệ mà là xác nhận cách triển khai.

Định nghĩa chính xác của on-premise: khác gì với mô hình đám mây

Mô hình đám mây và on-premise, ba trục khác biệt

Thứ nhất, đối tượng quản lý khác nhau. Với mô hình đám mây, khách hàng chỉ quản lý đặc tả yêu cầu và phản hồi. Với on-premise, máy chủ, bộ tăng tốc, môi trường container, kho lưu trữ và quyền truy cập đều nằm trong phạm vi quản lý của khách hàng. Số thứ phải quản lý tăng lên, nhưng phạm vi có thể kiểm soát cũng rộng hơn tương ứng.

Thứ hai, mục tiêu khác nhau. Mục tiêu của mô hình đám mây là đưa vào sử dụng nhanh. Mục tiêu của on-premise là xử lý ổn định khối lượng ở quy mô vận hành mà không đưa dữ liệu ra ngoài. Nếu cách trước ưu tiên tốc độ đưa vào sử dụng, cách sau ưu tiên khả năng kiểm soát.

Thứ ba, chỉ số đánh giá khác nhau. Mô hình đám mây xem thời gian phản hồi và giới hạn thông lượng. On-premise, ngoài các chỉ số đó, còn xem khả năng cài đặt trong mạng kín, thông số bộ tăng tốc cần thiết, quy trình cập nhật mô hình, yêu cầu nhật ký kiểm toán và cơ chế xử lý sự cố. Trong cấu hình thực tế, toàn bộ suy luận và quy trình xử lý tài liệu được thực hiện trong mạng nội bộ, đồng thời có sẵn quản lý quyền truy cập, lưu lịch sử xử lý và tách môi trường vận hành khỏi môi trường kiểm tra.

Hai phương thức không thay thế nhau. Kiểm chứng ban đầu thường được thực hiện nhanh bằng cuộc gọi bên ngoài, rồi chuyển sang cài đặt nội bộ ở giai đoạn vận hành. Vì vậy, điều cần xác nhận khi đánh giá không phải là phương thức đang dùng, mà là việc cùng một công cụ có được cung cấp theo cả hai cách hay không.

Năm yêu cầu cần xác nhận trước khi quyết định triển khai

Năm yêu cầu khi triển khai thực tế

Thứ nhất, việc cài đặt phải hoàn tất được trong mạng kín. Nếu quá trình cài đặt truy cập kho lưu trữ bên ngoài để tải thành phần, công việc sẽ dừng lại khi internet bị chặn. Cần xác nhận có thể mang các image và trọng số mô hình cần thiết vào bằng phương tiện lưu trữ và cài đặt từ đó hay không.

Thứ hai, thông số bộ tăng tốc cần phải rõ ràng. Xử lý dựa trên mô hình ngôn ngữ thị giác có khối lượng tính toán lớn, nên nếu không có bộ tăng tốc thì tốc độ không đạt mức thực tế. Nên ước tính quy mô cần thiết dựa trên lượng xử lý hằng tháng và mật độ vào giờ cao điểm, đồng thời kiểm tra trước phương án mở rộng.

Thứ ba, quy trình cập nhật mô hình phải được kiểm soát. Mô hình bên ngoài được nhà cung cấp cập nhật theo quyết định của họ, nên hiệu năng có thể thay đổi mà không báo trước. Với cài đặt nội bộ, phiên bản mới phải được kiểm chứng rồi mới áp dụng qua quy trình phê duyệt, và phải có thể quay lại phiên bản cũ nếu cần.

Thứ tư, phải đáp ứng yêu cầu kiểm toán. Cần ghi lại được ai đã xử lý tài liệu nào vào lúc nào, và giá trị nào đã bị sửa. Kiểm soát quyền truy cập theo vai trò và lưu giữ lịch sử xử lý là những điều kiện thường xuyên được yêu cầu trong kiểm toán tài chính và công.

Thứ năm, phải tính toán gánh nặng nhân sự vận hành. Với cài đặt nội bộ, khách hàng phải tự gánh cả máy chủ lẫn môi trường container. Nên xác định trước khi ký hợp đồng: có kèm công cụ giám sát, cảnh báo sự cố và quy trình kiểm tra định kỳ hay không, và phạm vi hỗ trợ từ xa của nhà cung cấp đến đâu.

Cách áp dụng on-premise trong thực tế

Chia cấu trúc triển khai theo lớp

Thiết kế cài đặt bắt đầu bằng việc chia chức năng thành các lớp. Lớp ứng dụng tiếp nhận tài liệu, lớp mô hình thực hiện nhận dạng và cấu trúc hóa, lớp dữ liệu lưu kết quả và bản gốc, và lớp tích hợp kết nối với hệ thống nghiệp vụ. Nếu phân chia như vậy, việc mở rộng và thay thế về sau sẽ dễ dàng hơn.

Trong cấu hình thực tế, các lớp thường được triển khai trên nền container, và tài nguyên bộ tăng tốc chỉ được cấp cho lớp mô hình. Cơ sở dữ liệu quan hệ lưu lịch sử xử lý và siêu dữ liệu kết quả, tệp gốc được lưu trong kho đối tượng, còn hàng đợi công việc và bộ nhớ đệm được vận hành riêng. Đây là cấu hình được sử dụng rộng rãi.

Tách môi trường kiểm tra và vận hành

Lợi ích của cài đặt nội bộ không chỉ là dữ liệu không bị đưa ra ngoài. Trong thực tế, khả năng tách môi trường kiểm tra khỏi môi trường vận hành cũng rất quan trọng. Khi có biểu mẫu mới, có thể thử tiêu chí trích xuất trước trong môi trường kiểm tra, kiểm tra kết quả, rồi áp dụng vào vận hành sau khi qua phê duyệt.

Khi cấu trúc này được thiết lập, rủi ro thay đổi trong vận hành dẫn đến sự cố sẽ giảm. Ngược lại, nếu không tách hai môi trường, mỗi lần thêm một biểu mẫu sẽ có khả năng làm hiệu năng vận hành dao động.

On-premise trong bối cảnh Hàn Quốc

Quy định trực tiếp nhất tạo ra yêu cầu on-premise ở Hàn Quốc là phân tách mạng. Khi mạng nghiệp vụ tách khỏi mạng internet, lệnh gọi API bên ngoài bị chặn hoàn toàn, nên không có lựa chọn nào khác ngoài cài đặt nội bộ.

Trong lĩnh vực tài chính, cấu hình phải tuân theo Quy định giám sát tài chính điện tử và hướng dẫn của Viện Bảo mật Tài chính. Trong khu vực công, tiêu chuẩn bảo mật và tiêu chí xử lý thông tin cá nhân của từng cơ quan được áp dụng thêm. Điều kiện chung của cả hai lĩnh vực là gần như không thể chuyển thông tin cá nhân ra nước ngoài.

Một điều cần lưu ý thêm là định dạng tài liệu bản địa. Để chuyển đổi tài liệu HWP trong mạng kín, các thành phần xử lý liên quan cũng phải được cài đặt nội bộ. Nếu thiếu phần này, dù đã cài đặt xong vẫn không mở được tài liệu tiếp nhận thực tế.

Câu hỏi thường gặp

Có thể cài đặt khi internet bị chặn không?

Có thể. Các thành phần và mô hình cần thiết được mang vào bằng phương tiện lưu trữ rồi cài đặt. Hãy xác nhận trước xem quá trình cài đặt có cần truy cập bên ngoài hay không.

Có thể kiểm chứng trên đám mây trước rồi chuyển vào nội bộ không?

Có thể. Nếu cùng một công cụ được cung cấp theo cả hai cách, tiêu chí trích xuất và lược đồ đã kiểm chứng ở giai đoạn đầu có thể được chuyển nguyên vẹn sang.

Cần cấu hình bao nhiêu là đủ?

Tùy thuộc vào khối lượng xử lý. Mô hình suy luận thị giác-ngôn ngữ cần có bộ tăng tốc, và quy mô được tính dựa trên lượng tài liệu hằng tháng và mật độ giờ cao điểm. Khi xem xét đưa vào sử dụng, nếu cung cấp khối lượng thực tế, chúng tôi có thể cùng xem xét phương án cấu hình.

Mô hình được cập nhật như thế nào?

Phiên bản mới được kiểm chứng trước trong môi trường kiểm tra, rồi áp dụng vào vận hành sau khi qua phê duyệt. Nếu xảy ra sự cố, có thể quay lại phiên bản trước.

Có phát sinh chuyển thông tin cá nhân ra nước ngoài không?

Không. Suy luận và xử lý tài liệu đều được thực hiện trong mạng nội bộ của khách hàng, nên tài liệu gốc không ra khỏi tổ chức.

Lịch sử xử lý được lưu như thế nào?

Quyền truy cập và lịch sử xử lý được lưu thành hồ sơ, và có thể kiểm soát quy trình thay đổi bằng cách tách môi trường vận hành với môi trường kiểm tra. Các hạng mục cần cho kiểm toán được xác định cùng lúc khi triển khai.

Chúng tôi sẽ gửi phương án xây dựng mạng nội bộ và tài liệu tính toán cấu hình. Chỉ cần cho biết lượng tài liệu mỗi tháng.

Liên hệ