OpenRouter ra mắt bảng điều khiển Activity và Analytics API: Quản lý chi phí AI theo thời gian thực

Mọi công ty đã dành hai năm qua để triển khai các agent giờ đây đều đang đặt ra cùng một câu hỏi: chúng tiêu tốn bao nhiêu chi phí và những agent nào thực sự đáng giá? Bảng điều khiển Activity và Analytics API bản beta của OpenRouter sẽ trả lời câu hỏi đó cho từng agent, từng model và từng yêu cầu.

Mở Activity để xem chi phí được phân bổ như thế nào giữa các agent, ứng dụng và thành viên trong nhóm. Tìm hiểu xem những model và tác vụ nào đang đẩy chi phí lên cao, và tính năng caching giúp bạn tiết kiệm hóa đơn ở đâu. Tạo và lưu các chế độ xem tùy chỉnh, sau đó đi sâu từ bất kỳ biểu đồ nào xuống từng yêu cầu cụ thể.

Tất cả dữ liệu đều có sẵn thông qua Analytics API bản beta. Hãy hướng agent của bạn tới kỹ năng openrouter-analytics để đào sâu vào dữ liệu sử dụng, nhận câu trả lời nhanh ngay trong terminal hoặc kéo các con số vào bảng điều khiển của riêng bạn.

Bắt đầu với bức tranh toàn cảnh

Overview cung cấp cái nhìn tổng quan về mức độ sử dụng của bạn. Năm chỉ số ở trên cùng: tổng chi phí, số lượng yêu cầu, lưu lượng token, tỷ lệ cache hit và chi phí hỗn hợp trên mỗi triệu token, mỗi chỉ số đều đi kèm biểu đồ đường (sparkline) và so sánh với kỳ trước. Trên cùng màn hình đó, bạn có thể xem người dùng và ứng dụng hàng đầu, chi phí theo model, so sánh giữa tín dụng OpenRouter và chi phí BYOK, lưu lượng yêu cầu theo model, phân tích chi tiết token prompt và completion, cùng với tính năng prompt caching.

Trends sử dụng cùng dữ liệu đó nhưng sắp xếp theo biến động thay vì quy mô, với một bảng hiển thị những gì đang tăng và giảm. Xem xu hướng của bạn trên các model, người dùng, API key và ứng dụng. Sử dụng tính năng này để phát hiện một agent đang tiêu tốn quá mức, một model mới đang được ưa chuộng hoặc một công cụ đang lan rộng trong tổ chức của bạn.

Khám phá mọi câu hỏi

Mọi thẻ trên Overview và Trends đều liên kết đến Explore, nơi bạn tự mình xây dựng chế độ xem:

Sử dụng nó để xem ứng dụng nào đang thúc đẩy mức sử dụng trong mỗi workspace, các agent của bạn đang sử dụng model nào cho từng loại tác vụ hoặc độ trễ của nhà cung cấp đang có xu hướng như thế nào theo thời gian.

Lưu các chế độ xem thường dùng của bạn. Mở menu tùy chọn, chọn Save current chart và đặt tên cho nó. Trong một tổ chức, bạn cũng có thể chọn người được phép xem: Chỉ mình tôi hoặc Mọi người trong tổ chức của tôi.

Chọn Download CSV hoặc Download PDF để gửi dữ liệu của bất kỳ biểu đồ nào trực tiếp vào bảng tính hoặc báo cáo.

Guardrails hiển thị những gì mà các quy tắc về prompt injection và thông tin nhạy cảm của bạn đã chặn, ẩn hoặc gắn cờ, cũng như quy tắc nào đang thực hiện công việc đó. Sử dụng nó để theo dõi tỷ lệ dữ liệu nhạy cảm đi vào các prompt của bạn, và quy tắc cũng như loại dữ liệu nào đang phát hiện ra chúng. Lọc theo workspace hoặc bộ phân loại (classifier) để thu hẹp phạm vi tìm kiếm nguồn gốc của chúng.

Mở rộng một thẻ để xem phân tích chi tiết đầy đủ, bao gồm sự kết hợp của các mẫu được phát hiện nào đã dẫn đến mỗi hành động chặn, ẩn và gắn cờ.

Nhấp vào biểu đồ, đi đến nhật ký (logs)

Các số liệu tổng hợp cho bạn biết thứ gì đó đã trở nên đắt đỏ. Câu hỏi tiếp theo là những yêu cầu nào gây ra điều đó.

Mọi biểu đồ và bảng xếp hạng trong Activity đều liên kết đến các nhật ký phía sau nó. Nhấp vào cột của ngày thứ Ba, một phần của biểu đồ chồng hoặc một hàng trong bảng xếp hạng, bạn sẽ được đưa đến nhật ký của mình với các yêu cầu đã được lọc tương ứng.

Mở bất kỳ hàng nào trong nhật ký để xem chế độ xem chi tiết Generation. Nó hiển thị:

Chế độ xem chi tiết Prompt hiển thị toàn bộ mảng tin nhắn và biểu đồ flamegraph về số lượng token ước tính cho mỗi tin nhắn, được tô màu theo vai trò: system, user, assistant và tool. Một cuộc hội thoại tốn kém gấp ba lần dự kiến thường sẽ hiển thị ở đây dưới dạng một dải rộng các lệnh gọi tool hoặc một system prompt nặng nề. Phần tiền tố được cache sẽ được tô bóng, vì vậy bạn có thể thấy cache đã giữ được bao xa trong prompt và tin nhắn nào đã làm gián đoạn nó.

Số lượng token trên mỗi tin nhắn là ước tính dựa trên kích thước tin nhắn; tổng số trên chính phần generation là mức sử dụng đã được ghi lại. Chi tiết về prompt và completion chỉ tồn tại nếu tính năng ghi nhật ký đầu vào/đầu ra riêng tư đã được bật khi yêu cầu được thực hiện, bạn có thể bật tính năng này trong phần observability của workspace.

Dữ liệu tương tự như Explore, thông qua API

Mọi thứ trong Explore cũng có sẵn thông qua Analytics API bản beta: hãy để agent của bạn chạy phân tích, nhận câu trả lời nhanh trong terminal hoặc kéo các con số vào bảng điều khiển của riêng bạn. Các truy vấn Analytics yêu cầu một management key. Hai endpoint bao gồm:

Dành cho các agent

Sách hướng dẫn kiểm soát chi phí (cost control cookbook) giúp agent của bạn phụ trách việc phân tích chi tiêu. Cung cấp cho agent lập trình của bạn một management key và kỹ năng openrouter-analytics để nó chạy đánh giá chi phí trên tài khoản OpenRouter của bạn. Nó sẽ tìm ra các model có chi phí cao gấp nhiều lần tỷ lệ hỗn hợp trên mỗi triệu token của bạn, truy xuất nguồn gốc về các key và pipeline chịu trách nhiệm, sau đó trả về các đề xuất đã được xếp hạng.

Chúng tôi đã chạy thử nghiệm nội bộ và phát hiện một model bản xem trước đang tiêu tốn khoảng 6,2 nghìn USD/tháng với mức phí cao gấp khoảng 25 lần tỷ lệ hỗn hợp của tổ chức. Sau một truy vấn đào sâu, 98% chi phí đó bắt nguồn từ một key batch-pipeline duy nhất đang chạy một tác vụ không bao giờ cần đến một model tiên tiến (frontier model). Giải pháp khắc phục chỉ là thay đổi model bằng một dòng lệnh. Xem các công thức truy vấn và prompt cho agent mà chúng tôi đã sử dụng trong sách hướng dẫn.

Bắt đầu

Mở Activity hoặc bắt đầu trong Explore nếu bạn đã biết câu hỏi mình muốn trả lời. Để làm việc từ terminal, hãy lấy một management key và truy cập Analytics API bản beta.

Hãy cho chúng tôi biết bạn muốn thấy gì tiếp theo trong mục #feedback trên Discord.