OpenRouter ra mắt bộ định tuyến Auto mới: Tối ưu hóa mô hình AI dựa trên dữ liệu thực tế

Vẻ đẹp của thị trường nằm ở mô hình của những nhóm cá nhân độc lập, đa dạng và đông đảo, cùng nhau đưa ra những đánh giá và quyết định tốt hơn bất kỳ chuyên gia đơn lẻ nào. OpenRouter chứng kiến hàng nghìn tỷ token mỗi ngày và chúng tôi đã và đang nghiên cứu một phương thức mới để chia sẻ trí tuệ tập thể của hàng triệu người này khi họ đưa ra các quyết định chọn mô hình.

Hôm nay, chúng tôi ra mắt bản cập nhật lớn cho Auto router (openrouter/auto), được đúc kết từ hơn 55T token chi tiêu hàng tuần trên OpenRouter. Chúng tôi nhận thấy rằng việc lựa chọn mô hình dựa trên chi tiêu thị trường mang lại hiệu quả vượt trội so với các lựa chọn của Auto router cũ trên phạm vi rộng các tác vụ và mức chi phí. Bằng cách tham chiếu dữ liệu sử dụng OpenRouter trong 7 ngày qua, nó luôn cập nhật kịp thời các mô hình mới được phát hành.

Chúng tôi đã thử nghiệm phương pháp này dưới dạng beta với hàng nghìn người trong vài tuần qua và hôm nay chúng tôi đã triển khai nó cho tất cả người dùng Auto router. Hãy dùng thử ngay bằng cách gửi "model": "openrouter/auto" tới bất kỳ endpoint suy luận nào của chúng tôi, hoặc đọc tài liệu để biết chi tiết.

Để vận hành bộ định tuyến này, chúng tôi đã chuyển đổi các phân loại tác vụ mà chúng tôi chạy trên một mẫu prompt đại diện thành một đường cong định tuyến tối ưu Pareto (pareto-optimal routing curve). Đây cũng chính là dữ liệu nền tảng được hiển thị trên bảng xếp hạng mô hình theo chi tiêu tác vụ của chúng tôi. Bạn có thể chỉ định mức chi phí mong muốn bằng cách gửi tham số cost_tier và hệ thống sẽ tuân thủ mọi thiết lập bảo mật/guardrails từ tài khoản của bạn khi chọn mô hình.

Chúng tôi đã sử dụng các bộ tiêu chuẩn đánh giá (benchmarks) trên nhiều lĩnh vực để xác minh hiệu suất của Auto router mới.

Chúng tôi thiết kế bộ định tuyến này với tính linh hoạt cao, vì vậy chúng tôi đã đánh giá nó dựa trên một tập hợp các tiêu chuẩn đa dạng: MMLU Pro (Kiến thức), τ³-bench Banking (Tác nhân), WideSearch (Tìm kiếm), DSQA (Nghiên cứu) và SWE-Atlas QnA (Lập trình).

Để tự tin vào các lựa chọn của bộ định tuyến mới ở mức chi phí mặc định, chúng tôi cần thấy nó đạt được hiệu suất tương đương với bộ định tuyến cũ trong khi vẫn giảm được chi phí. Chúng tôi đã thấy điều này ở hầu hết các lĩnh vực, ngoại trừ một vài trường hợp mà Auto router cũ hoạt động kém hơn so với các mô hình ngân sách hiện đại. Ở mức chi phí tối đa (max), tiêu chuẩn của chúng tôi là hiệu suất tiên phong (frontier performance) ngay cả khi nó tốn kém hơn so với bộ định tuyến cũ.

Mặc định trên bộ định tuyến mới là cost_tier=low và cost_quality_tradeoff=7 trên bộ định tuyến cũ. Mức Max so sánh cost_tier=max với cost_quality_tradeoff=0.

Những kết quả này ghi lại một thời điểm nhất định và sẽ thay đổi khi sở thích của cộng đồng thay đổi theo thời gian. Chúng tôi đang sử dụng việc đánh giá để hiểu hiệu suất tương đối giữa các chiến lược định tuyến nhằm xây dựng niềm tin rằng trí tuệ đám đông thực sự đang mang lại cho bạn kết quả tốt hơn. Giả thuyết của chúng tôi là việc lựa chọn mô hình hiệu quả sẽ cải thiện theo thời gian khi ngày càng có nhiều người sử dụng OpenRouter.

So sánh chi phí

Mức chi phí mặc định của bộ định tuyến mới sẽ tiết kiệm chi phí trên nhiều khối lượng công việc, trong khi mức max cho phép sử dụng nhiều mô hình chi phí cao hơn khi hiệu suất quan trọng hơn chi tiêu.

Bất kỳ chiến lược định tuyến nào chuyển đổi giữa nhiều mô hình đều sẽ phát sinh thêm một số chi phí khi bộ nhớ đệm đầu vào (input cache) được xây dựng lại. Thông thường, chi phí này là xứng đáng để chuyển sang một mô hình phù hợp hơn với tác vụ mới, nhưng có thể gây lãng phí nếu mô hình chuyển đổi quá thường xuyên. Auto router triển khai các hành vi "dính" (sticky) để giữ các cuộc hội thoại đa lượt trên một mô hình cho đến khi mô hình đang sử dụng không còn là lựa chọn hàng đầu cho tác vụ của bạn nữa.

Cách thức hoạt động của Auto router mới

Auto router mới đưa ra quyết định dựa trên những gì cộng đồng người dùng OpenRouter, xét về tổng thể, đang sử dụng cho chính loại tác vụ mà prompt của bạn đại diện. Hãy coi nó như một chỉ số thị trường luôn cập nhật và trở nên hiệu quả hơn khi có nhiều người sử dụng OpenRouter.

Hỗn hợp mô hình dưới đây cho thấy đường cong định tuyến của Auto router mới ánh xạ từng loại tác vụ tới các thiết lập cost_tier: low, medium, high, xhigh và max. Đây là cái nhìn tại một thời điểm: đường cong định tuyến thay đổi khi các mô hình mới ra mắt và các mô hình sử dụng của cộng đồng OpenRouter thay đổi.

Ảnh chụp nhanh này có hiệu lực tính đến ngày 10 tháng 8. Xem trang xếp hạng để biết thông tin mới nhất.

Các bảng xếp hạng mà nó sử dụng được tính toán từ số liệu thống kê chi tiêu ẩn danh tổng hợp, bảo vệ quyền riêng tư và chính sách dữ liệu của tất cả khách hàng của chúng tôi. Các prompt của bạn được phân loại ngay trong quá trình xử lý mà không cần lưu trữ. Cách thức hoạt động như sau:

Phân loại tác vụ. Một bộ phân loại nhanh, nhẹ sẽ gán cho mỗi prompt một trong khoảng 30 loại tác vụ chi tiết, chẳng hạn như gỡ lỗi mã, lập kế hoạch tác nhân đa bước, hỏi đáp kiến thức, toán học, hỗ trợ khách hàng hoặc báo cáo nghiên cứu.

Xếp hạng theo tỷ trọng chi tiêu thực tế. Đối với loại tác vụ đó, Auto router mới tra cứu xem cộng đồng OpenRouter thực sự chi tiêu cho những mô hình nào trong 7 ngày qua, tương tự như chế độ xem "Share of Spend" từ trang xếp hạng của chúng tôi. Đây là tín hiệu trực tiếp: khi mọi người chuyển khối lượng công việc sang một mô hình mới, bộ định tuyến sẽ theo kịp trong vòng vài ngày.

Áp dụng mức chi phí của bạn. Thiết lập cost_tier (low, medium, high, xhigh hoặc max) xác định số tiền bạn sẵn sàng chi trả và chọn dải chi phí phù hợp của các ứng viên. Ở mức low, định tuyến sẽ chọn các mô hình có khả năng tốt nhất với chi phí rẻ nhất cho mỗi tác vụ; ở mức max, nó chọn từ các mô hình có khả năng mạnh nhất và đắt nhất.

Định tuyến với các phương án dự phòng (fallbacks). Các mô hình được chọn trở thành lựa chọn chính cộng với các phương án dự phòng, được sắp xếp theo tỷ trọng sử dụng. Định tuyến tuân thủ các hạn chế về mô hình và nhà cung cấp trong yêu cầu và tài khoản của bạn, như các mô hình được phép, guardrails và chính sách ZDR. Nếu việc phân loại hoặc xếp hạng không khả dụng, bộ định tuyến sẽ quay lại tập hợp mô hình mặc định, vì vậy yêu cầu sẽ không bao giờ thất bại do sự cố định tuyến.

Qua các lượt hội thoại, bộ định tuyến ghi nhớ mô hình mà cuộc hội thoại đã chọn và ưu tiên nó trong các lượt sau. Nó xác định cuộc hội thoại từ một session_id rõ ràng khi được cung cấp, hoặc từ dấu vân tay của các tin nhắn nếu không có. Các ứng viên vẫn được xếp hạng lại từ đầu mỗi lượt và mô hình được ghi nhớ chỉ được sử dụng lại khi nó vẫn nằm trong số các ứng viên hàng đầu, vì vậy một mô hình phù hợp hơn có thể tiếp quản khi tác vụ thay đổi.

Dùng thử Auto router mới ngay bây giờ

Auto router hoạt động ở bất cứ nơi nào bạn thường đặt chuỗi mô hình:

Hoặc thiết lập mức chi phí và giới hạn tập hợp ứng viên:

Tham số cost_tier chấp nhận các giá trị low, medium, high, xhigh hoặc max và thiết lập số tiền bạn sẵn sàng chi trả: low định tuyến đến các mô hình có khả năng tốt nhất với chi phí rẻ nhất, max luôn chọn từ các mô hình có khả năng mạnh nhất. Auto router cũ sử dụng thiết lập cost_quality_tradeoff dạng số, trong đó 0 là thiết lập chất lượng cao và các giá trị cao hơn nhạy cảm hơn về chi phí, mặc định là 7. Tham số cost_quality_tradeoff vẫn được chấp nhận để tương thích ngược và giữ nguyên hành vi giới hạn chi phí ban đầu, và nó sẽ được ưu tiên nếu bạn gửi cả hai.

Trường model trong phản hồi cho bạn biết mô hình nào đã được chọn và không có phí bổ sung; bạn trả mức giá tiêu chuẩn cho bất kỳ mô hình nào chạy. Xem tài liệu Auto router mới để biết chi tiết, bao gồm tính năng "sticky" cho các cuộc hội thoại đa lượt.

Sử dụng openrouter/auto-beta để là người đầu tiên nhận các cải tiến mới

Chúng tôi sẽ tiếp tục cải thiện bộ định tuyến này để tối ưu hóa việc lựa chọn mô hình và hiệu suất bộ nhớ đệm theo thời gian. Bất kỳ ai muốn thử nghiệm các hành vi định tuyến mới nhất trước tiên có thể sử dụng openrouter/auto-beta, nơi các thay đổi đó xuất hiện trước khi chúng đến với openrouter/auto. Bộ định tuyến mới đã chạy ở đây được vài tuần, với hàng nghìn người sử dụng cho các khối lượng công việc thực tế. Hãy cho chúng tôi biết trải nghiệm của bạn trên Discord hoặc thông qua đại diện tài khoản của bạn.