OpenRouter ra mắt Batch API: Giảm 50% chi phí cho các tác vụ xử lý hàng loạt

Đối với các khối lượng công việc lớn hoặc các yêu cầu không cần hoàn thành ngay lập tức, giờ đây bạn có thể sử dụng Batch API mới. Khi gửi một batch (lô), nhà cung cấp có thể chọn thời điểm trong khung giờ 24 tiếng để hoàn thành yêu cầu, và đổi lại, họ thường tính phí bằng 50% (đôi khi ít hơn) so với mức giá trên mỗi token thông thường.

Tính năng này hiện đã hoạt động trên hơn 70 mô hình. Hãy tìm hiểu cách sử dụng trong tài liệu Batch API.

Trên thực tế, chúng tôi nhận thấy bạn hiếm khi phải chờ đợi gần đến 24 tiếng. Trong hơn 230.000 batch đã hoàn thành trong giai đoạn thử nghiệm kéo dài hai tuần của chúng tôi, thời gian trung vị là 7 phút và 90% hoàn thành trong vòng một giờ.

Batch là một API bất đồng bộ dành cho các khối lượng công việc mà bạn có thể chấp nhận thời gian phản hồi biến động cao, chẳng hạn như gắn nhãn một tập dữ liệu (corpus), bổ sung embeddings, chấm điểm một bộ đánh giá (eval set), tóm tắt các yêu cầu tồn đọng hoặc chạy cùng một prompt trên vài nghìn hàng qua đêm.

Cách thức hoạt động của Batch API

Gọi api/v1/batches với danh sách các yêu cầu của bạn và chỉ định hình dạng endpoint (endpoint shape) cần sử dụng. Chat completions, responses, messages và embeddings đều được hỗ trợ. Ví dụ:

Sau khi gửi yêu cầu, hãy bắt đầu polling GET /api/v1/batches/:id cho đến khi trạng thái là completed (hoàn thành), failed (thất bại), expired (hết hạn) hoặc cancelled (đã hủy). Các batch hoàn thành sẽ trả về kết quả trực tiếp trong cùng một phản hồi.

Hầu hết các batch hoàn thành trong vài phút

Chúng tôi đã xem xét các batch hoàn thành trong giai đoạn thử nghiệm hai tuần và đo lường thời gian từ lúc chấp nhận đến khi có kết quả cuối cùng. Thời gian trung vị là 7 phút, phân vị thứ 90 là 1,0 giờ và phân vị thứ 99 là 10,3 giờ. Chúng tôi cũng nhận thấy thời điểm trong ngày bạn gửi yêu cầu quan trọng hơn số lượng yêu cầu bạn gửi.

Các batch được gửi từ 5 giờ sáng đến trưa theo giờ Thái Bình Dương (Pacific) chậm hơn đáng kể so với các thời điểm khác trong ngày. 10% các batch chậm nhất mất từ 2 đến 4,5 giờ. Nếu gửi vào bất kỳ khung giờ nào khác, phân vị thứ 90 giảm xuống dưới 1,1 giờ, và sau 6 giờ tối theo giờ Thái Bình Dương, thời gian này là dưới 50 phút.

Một batch đơn lẻ hoàn thành trong 5 đến 11 phút tùy thuộc vào khung giờ, và một batch từ 1.000 yêu cầu trở lên hoàn thành trong 12 đến 21 phút. Các batch lớn sẽ mất nhiều thời gian xử lý hơn. 10% các batch chậm nhất với hơn 100 yêu cầu được gửi từ nửa đêm đến trưa theo giờ Thái Bình Dương mất tới 6,8 giờ.

Bắt đầu

Chọn một mô hình hỗ trợ batch, lấy API key và gửi batch đầu tiên của bạn tới https://openrouter.ai/api/v1/batches. Phần Quickstart có đầy đủ các hình dạng yêu cầu và phản hồi.

Hãy cho chúng tôi biết bạn đang thực hiện batch nội dung gì tại kênh #feedback trên Discord.

Bài gốc còn tiếp — xem tiếp tại bài gốc ↗