OpenRouter ra mắt tính năng Classifiers: Tự động phân loại và quản lý chi phí AI

Giờ đây, bạn có thể tự động phân loại các nội dung tạo ra từ OpenRouter bằng siêu dữ liệu (metadata) có cấu trúc để báo cáo việc sử dụng AI.

Mọi yêu cầu đều mang theo thông tin: loại công việc, mức độ phức tạp, bộ phận gửi yêu cầu, hoặc liệu nó có chứa dữ liệu nội bộ không được phép hay không. Các bộ phân loại (Classifiers), hiện đã có bản beta, sẽ mang lại cho bạn khả năng hiển thị đó. Hãy xác định các tiêu chí của bạn (loại tác vụ, độ phức tạp của tác nhân, danh mục tuân thủ, trung tâm chi phí). Một mô hình do bạn chọn sẽ gắn thẻ từng nội dung được tạo, hoặc một tập hợp con được lấy mẫu, dựa trên hệ thống phân loại của bạn và ghi kết quả vào nhật ký (logs). Bạn sẽ có cái nhìn liên tục về những gì các tác nhân và người dùng của mình đang thực hiện, họ đang sử dụng mô hình nào cho các tác vụ khác nhau và chi phí đang đổ vào đâu.

Tạo bộ phân loại trong cài đặt không gian làm việc (workspace) của bạn hoặc đọc tài liệu hướng dẫn trước.

Chọn một mẫu có sẵn hoặc tự xác định hệ thống phân loại của riêng bạn.

Một bộ phân loại là một cấu hình nhỏ gồm bốn phần: hệ thống phân loại (tối đa tám chiều, mỗi chiều với các giá trị bạn chọn), lời nhắc phân loại (classification prompt - các hướng dẫn được gửi đến mô hình phân loại dưới dạng thông báo hệ thống), một mô hình để đọc từng lời nhắc và áp dụng nó, và tỷ lệ lấy mẫu. Quá trình phân loại chạy không đồng bộ sau khi mỗi yêu cầu hoàn tất, vì vậy nó không bao giờ làm tăng độ trễ cho đường dẫn suy luận (inference path) của bạn.

Chọn từ sáu mẫu cài đặt sẵn, tùy chỉnh một mẫu hoặc tự xây dựng từ đầu.

Chọn mô hình phân loại của bạn. Chúng tôi đề xuất Gemini 3.5 Flash Lite để có giá trị tốt nhất: chi phí rẻ, độ chính xác cao đối với đầu ra có cấu trúc, đủ tốt cho hầu hết các hệ thống phân loại. Bạn có thể thay đổi mô hình bất cứ lúc nào.

Ở lưu lượng truy cập cao, chi phí phân loại mọi yêu cầu sẽ tăng lên. Hãy sử dụng tỷ lệ lấy mẫu để giữ chi phí ở mức thấp. Chạy bộ phân loại tuân thủ có độ chính xác cao ở mức 100%, trong khi bộ phân loại phân bổ chi phí rộng hơn chỉ lấy mẫu 10% cùng lưu lượng đó, giúp chi phí tương xứng với mức độ giám sát bạn cần.

Đầu ra của bộ phân loại được ép kiểu vào các định dạng có cấu trúc, bị giới hạn bởi các chiều và giá trị bạn xác định. Mọi nội dung được tạo sau khi phân loại đều được gắn thẻ trong nhật ký của bạn, vì vậy bạn có thể lọc các yêu cầu theo phân loại. Ví dụ: bạn có thể truy xuất mọi yêu cầu được gắn thẻ department: legal hoặc agent_complexity_difficulty_tier: complex_multistep. Bảng chi tiết của mỗi nội dung được gắn thẻ sẽ phân tách các chiều và giá trị đã được phân loại.

Bạn cũng có thể chạy bộ phân loại theo yêu cầu đối với bất kỳ nội dung nào đã tạo trong quá khứ để kiểm tra tính hợp lệ của một hệ thống phân loại mới. Hãy mở nó trong nhật ký, chọn một bộ phân loại và xem cách nó được gắn thẻ.

Tổng hợp trong Activity.

Các thẻ riêng lẻ trên các nội dung được tạo trả lời cho câu hỏi "yêu cầu này là gì?". Activity Explorer trả lời các câu hỏi tổng hợp: nhóm lưu lượng truy cập của bạn theo bất kỳ chiều phân loại nào để xem mô hình nào đang được sử dụng cho từng loại tác vụ hoặc mức độ phức tạp của tác nhân, và bộ phận hoặc tác vụ nào đang tiêu tốn nhiều chi phí nhất.

Kết quả được tổng hợp theo thời gian; theo dõi các mô hình thay đổi trong dữ liệu của bạn và cho các bên liên quan thấy cách việc sử dụng AI của bạn được quản lý. Các bộ lọc phân loại được áp dụng xuyên suốt các tab Activity để bạn có thể thấy các xu hướng và việc thực thi các rào cản bảo vệ (guardrail) theo bất kỳ giá trị phân loại nào.

Bắt đầu ngay.

Các bộ phân loại hiện đã có bản beta. Hãy tạo bộ phân loại trong không gian làm việc của bạn hoặc đọc tài liệu để tìm hiểu thêm về thiết kế hệ thống phân loại, thanh toán và cách thức hoạt động của quá trình phân loại. Các bộ phân loại vẫn hoạt động ngay cả khi tính năng ghi nhật ký đầu vào & đầu ra bị tắt.

Hãy cho chúng tôi biết suy nghĩ của bạn tại kênh #feedback trên Discord.