Mistral ra mắt dịch vụ xử lý dữ liệu tại EU và hàng đợi ưu tiên, kèm theo nhiều hạn chế

Tính năng suy luận theo khu vực (Regional inference) hiện đã khả dụng rộng rãi. Khách hàng có thể gửi yêu cầu đến điểm cuối tại châu Âu (api.eu.mistral.ai) hoặc điểm cuối tại Mỹ (api.us.mistral.ai), và quá trình xử lý sẽ được giữ nguyên trong khu vực đó. Điều này rất quan trọng đối với các ngân hàng, cơ quan chính phủ và công ty bảo hiểm cần chứng minh rằng dữ liệu khách hàng không bao giờ rời khỏi EU. Các đường truyền mạng ngắn hơn cũng đồng nghĩa với độ trễ thấp hơn. Bất kỳ ai sử dụng điểm cuối mặc định sẽ không nhận được sự đảm bảo về nơi yêu cầu của họ được xử lý. Định tuyến theo khu vực sẽ tính thêm 10% phí so với mức giá tiêu chuẩn.

Xử lý dữ liệu tại EU đi kèm với những giới hạn đáng kể

Tuy nhiên, trong số các công cụ bổ sung của nền tảng, chỉ có tính năng gọi hàm (function calling) là hoạt động với các điểm cuối theo khu vực, nghĩa là khả năng kích hoạt các API bên ngoài của mô hình. Các tác nhân (Agents), xử lý theo lô (batch processing) và quản lý tệp tin không khả dụng tại các địa chỉ theo khu vực. Việc lựa chọn mô hình cũng khác nhau tùy theo khu vực. Mistral không công bố danh sách cố định, khách hàng phải truy vấn từng điểm cuối để xem những gì có sẵn.

Lý do có khả năng nhất là sự khác biệt giữa một truy vấn mô hình đơn giản và việc lưu trữ trạng thái trung gian. Một lệnh gọi mô hình tiêu chuẩn không cần bộ nhớ lưu trữ bền vững. Các tác nhân, công việc theo lô và lưu trữ tệp tin giữ lại dữ liệu vượt ra ngoài một lệnh gọi đơn lẻ, chẳng hạn như các bước trung gian hoặc tài liệu đã tải lên. Mistral gọi các tính năng này là "có trạng thái" (stateful). Chúng có thể yêu cầu cơ sở hạ tầng tại chỗ bổ sung, mặc dù công ty chưa xác nhận điều này.

Phạm vi cũng hẹp hơn so với từ "chủ quyền" (sovereignty) gợi ý. Theo tài liệu, cài đặt tài khoản, khóa API, thanh toán và số liệu thống kê sử dụng vẫn có thể được xử lý bên ngoài khu vực đã chọn. Bài đăng trên blog cũng đề cập đến việc chuyển dữ liệu có giới hạn và bảo mật cho các nhà thầu phụ bên ngoài khu vực. Những gì thuộc về khu vực là bước tính toán, chứ không phải toàn bộ nền tảng. Việc các yêu cầu có được lưu trữ hoặc ghi nhật ký sau đó hay không phụ thuộc vào một cài đặt riêng biệt có tên là Zero Data Retention (Không lưu giữ dữ liệu).

Điều này có nghĩa là trong thực tế: khách hàng gửi văn bản hợp đồng trực tiếp đến mô hình có thể chạy nó thông qua điểm cuối EU. Bất kỳ ai cần sử dụng tác nhân hoặc quản lý tệp tin thông qua Files API sẽ không nhận được sự đảm bảo tương tự.

Tại sao các công ty lại trả tiền cho một hàng đợi nhanh hơn

Dịch vụ thứ hai là Priority Tier (Gói ưu tiên), hiện đang trong giai đoạn thử nghiệm mở. Tất cả khách hàng đều dùng chung các trung tâm dữ liệu. Khi có quá nhiều yêu cầu gửi đến cùng lúc, thời gian phản hồi sẽ tăng lên. Priority Tier là một làn đường nhanh: yêu cầu của khách hàng trả phí sẽ được xử lý trước lưu lượng truy cập thông thường khi hệ thống bận rộn. Mistral đang nhắm đến các trường hợp sử dụng mà độ trễ gây tốn kém chi phí thực tế, như chatbot dịch vụ khách hàng hoặc hệ thống sản xuất trên sàn nhà máy.

Gói này bao gồm cam kết mức dịch vụ (SLA) về thời gian hoạt động là 99,5%, một mức dịch vụ được đảm bảo theo hợp đồng cho phép khoảng ba tiếng rưỡi thời gian ngừng hoạt động mỗi tháng. Gói tiêu chuẩn của Mistral không có sự đảm bảo như vậy.

Khách hàng kích hoạt quyền truy cập ưu tiên thông qua một tham số API duy nhất có tên là service_tier. Đặt tham số này thành "auto" sẽ gửi yêu cầu qua làn đường nhanh khi có sẵn dung lượng. Giá trị mặc định là "standard_only", sẽ đi theo đường dẫn thông thường. Mỗi khách hàng cũng nhận được các giới hạn tốc độ được thương lượng riêng cho số lượng yêu cầu mỗi phút được ưu tiên. Việc vượt quá giới hạn đó không làm yêu cầu bị lỗi mà chỉ quay lại xử lý theo tiêu chuẩn. Phản hồi API sẽ hiển thị cấp độ nào thực sự đã xử lý yêu cầu, vì vậy khách hàng có thể kiểm tra xem họ có nhận được đúng những gì họ đã trả tiền hay không.

Mistral tính phí gấp 1,75 lần giá tiêu chuẩn, tức là phụ phí 75%. Các khoản giảm giá từ tính năng lưu trữ bộ nhớ đệm (prompt caching), nơi các phân đoạn văn bản lặp lại được lưu trữ và tính phí ở mức thấp hơn, vẫn được áp dụng. Theo tài liệu, các khoản giảm giá đó có thể lên tới 90% và được tính trước, sau đó mới áp dụng phụ phí ưu tiên. Priority Tier không phải là dịch vụ tự phục vụ. Khách hàng phải ký hợp đồng với đội ngũ kinh doanh của Mistral.

Các mô hình của bên thứ ba tham gia nền tảng

Mistral cũng đang mở nền tảng của mình cho các mô hình mở từ các nhà cung cấp khác. Đầu tiên là GLM-5.2 từ công ty AI Trung Quốc Z.ai, hoạt động theo các quy tắc và đảm bảo khu vực giống như các mô hình của chính Mistral. Để tài trợ cho năng lực tính toán cần thiết này, Mistral đang thu thập các cam kết mua hàng nhiều năm từ các khách hàng lớn, được đóng gói dưới dạng European Compute Units (Đơn vị tính toán châu Âu). Ý tưởng là việc xây dựng các trung tâm dữ liệu mới ở châu Âu chỉ khả thi nếu đủ các công ty cam kết dài hạn.

Mistral là thành viên của Open Secure AI Alliance và liên minh Nemotron của Nvidia. Công ty coi việc lưu trữ trọng số mô hình của bên thứ ba trên nền tảng của mình là một phần mở rộng tự nhiên của công việc đó.