Cursor ra mắt hệ thống định tuyến thông minh Cursor Router giúp tối ưu chi phí và hiệu năng

Hôm nay, chúng tôi ra mắt Cursor Router, bộ định tuyến mô hình thông minh dành cho các nhóm và doanh nghiệp.

Cursor Router cho phép các nhóm tự động điều hướng mọi yêu cầu đến mô hình có khả năng xử lý phù hợp nhất cho tác vụ đó, mang lại trí tuệ tiên phong với chi phí thấp hơn.

Chúng tôi đã ghi nhận những kết quả vô cùng ấn tượng trên lưu lượng truy cập thực tế từ hàng nghìn lập trình viên doanh nghiệp. Trong giai đoạn truy cập sớm với hàng chục doanh nghiệp, khách hàng đã đạt được hiệu suất tiên phong với chi phí thấp hơn khoảng 30–50%.

Trong các thử nghiệm A/B trực tuyến trên hàng triệu yêu cầu, Cursor Router đã mang lại hiệu suất chất lượng tiên phong với mức tiết kiệm 60%.

Cursor định tuyến hàng trăm triệu yêu cầu lập trình mỗi tuần trên mọi mô hình và nhà cung cấp, với khả năng quan sát độc đáo về những gì người dùng ưa thích và những gì được giữ lại trong codebase. Tính trung lập của mô hình luôn là cốt lõi trong cách vận hành của Cursor, và hôm nay chúng tôi đưa dữ liệu cùng chuyên môn đó vào phục vụ cho đội ngũ của bạn.

Với Cursor Router, mục tiêu của chúng tôi là cung cấp cho các nhóm hiệu suất và trải nghiệm tốt nhất cho mọi tác vụ mà không cần chi tiêu nhiều hơn mức cần thiết.

Cách thức hoạt động

Khoảng 60% lập trình viên sử dụng Cursor chọn một mô hình duy nhất làm công cụ làm việc hàng ngày. Điều này dẫn đến việc các công việc thường nhật được thực hiện với mức giá của các mô hình tiên phong, khiến chi phí AI tăng nhanh hơn nhiều so với chất lượng đầu ra. Cursor Router khắc phục điều đó bằng cách phân loại từng yêu cầu trước khi mô hình được chạy.

Về cốt lõi, Cursor Router là một bộ phân loại giúp điều hướng người dùng đến tùy chọn mô hình tốt nhất dựa trên truy vấn của họ. Chúng tôi đã huấn luyện Cursor Router trên hơn 600 nghìn yêu cầu thực tế và đánh giá hiệu suất trong thử nghiệm A/B trực tuyến trên hàng triệu yêu cầu thực tế được điều hướng bởi Cursor Router, tối ưu hóa dựa trên mức độ hài lòng của người dùng (AFC) làm phần thưởng.

Cursor Router phân tích từng yêu cầu dựa trên truy vấn, ngữ cảnh, độ phức tạp của tác vụ và lĩnh vực, kết hợp với những gì chúng tôi biết về hành vi của từng mô hình. Chúng tôi học hỏi xem mỗi mô hình giỏi nhất ở điểm nào và điều hướng đến tùy chọn hiệu quả nhất. Các công việc đơn giản sẽ được chuyển đến các mô hình tối ưu về giá, các cập nhật giao diện (UI) sẽ được chuyển đến mô hình có gu thẩm mỹ tốt nhất, và các vấn đề phức tạp, dài hạn hơn sẽ được chuyển đến các mô hình suy luận tiên phong.

Chúng tôi thiết kế bộ phân loại định tuyến của mình cho một thế giới nơi các mô hình cập nhật được phát hành sớm và thường xuyên. Bằng cách này, khi các mô hình mới và mạnh mẽ hơn được ra mắt, chúng tôi có thể dễ dàng cập nhật Cursor Router để trải nghiệm không ngừng được cải thiện.

Cursor Router nhận biết bộ nhớ đệm (cache-aware) trong cả quá trình huấn luyện và đánh giá. Nó được huấn luyện trên một tập dữ liệu mà kết quả định tuyến dẫn đến việc bỏ lỡ bộ nhớ đệm (cache misses), và được đánh giá trong môi trường thực tế, nơi mức tiết kiệm chi phí mà chúng tôi báo cáo đã bao gồm cả chi phí do cache misses trong các quyết định định tuyến.

Trí tuệ tiên phong với chi phí thấp hơn

Cursor Router có ba chế độ: Intelligence (Thông minh), Balance (Cân bằng) và Cost (Chi phí), cho phép bạn điều chỉnh vị trí của mình trên đường biên Pareto giữa chi phí và trí tuệ.

Chúng tôi nhận thấy chế độ Auto Intelligence đạt mức hài lòng của người dùng tương đương với Fable với chi phí thấp hơn khoảng 60% cho các nhóm, đồng thời nâng mức độ hài lòng lên khoảng 15% so với Opus 4.8 ở mức chi phí gần như tương đương.

Tương tự, Auto Balance đạt mức hài lòng của người dùng cao hơn Opus 4.8 với chi phí thấp hơn khoảng 36%. So với GPT-5.6 Sol, Auto Balance mang lại mức độ hài lòng tương đương với tốc độ chi tiêu thấp hơn.

Chúng tôi chọn đo lường hiệu quả của bộ định tuyến bằng các thử nghiệm A/B trực tuyến quy mô lớn thay vì các đánh giá ngoại tuyến (offline evals). Mặc dù các đánh giá ngoại tuyến là thước đo hữu ích cho chất lượng, chúng bị hạn chế bởi quy mô nhỏ, khoảng cách với việc sử dụng thực tế và khó khăn trong việc quy đổi thành công thành một hệ thống chấm điểm.

Các đánh giá ngoại tuyến cũng bỏ qua chi phí cache-miss bổ sung phát sinh từ việc chuyển đổi giữa các mô hình. Việc định tuyến thực tế diễn ra xuyên suốt một cuộc hội thoại: chọn mô hình nào và khi nào cần chuyển đổi.

Các thử nghiệm A/B trực tuyến đưa Cursor Router vào thử nghiệm trong thế giới thực trên hàng triệu tác vụ và cuộc hội thoại. Các kỹ sư viết mã, đặt câu hỏi tiếp nối, gặp lỗi và tiếp tục làm việc, thường xuyên qua hàng trăm yêu cầu trong một tuần. Đó là những điều kiện mà một bộ định tuyến mô hình cần phải thực hiện tốt.

Về chất lượng đầu ra, chúng tôi đã đo lường:

Chúng tôi đã dựa vào các chỉ số này để đánh giá mọi đợt ra mắt mô hình và cải tiến hệ thống trong chín tháng qua.

Những gì khách hàng đang trải nghiệm

Trong hai tuần qua, Cursor Router đã được truy cập sớm bởi một số khách hàng doanh nghiệp. Chúng tôi đã so sánh số tiền họ thực tế chi trả với cùng một lưu lượng truy cập đó nếu tính toàn bộ theo mức giá API của Opus 4.8.

Trong giai đoạn truy cập sớm, ba tài khoản có lưu lượng lớn với hàng nghìn người dùng đã tiết kiệm được 30%–50% trên các yêu cầu được định tuyến tự động so với việc định tuyến tất cả vào Opus 4.8, mà không làm giảm chất lượng.

Chi phí cho mỗi yêu cầu chỉ là một nửa câu chuyện. Các nhà lãnh đạo kỹ thuật quan tâm đến việc liệu những khoản tiết kiệm đó có thể hiện trong công việc thực tế hay không, vì vậy chúng tôi đã xem xét chi phí trên mỗi commit, và mô hình này vẫn giữ nguyên hiệu quả.

Đối với một commit đơn lẻ, chúng tôi quan sát thấy Cursor Router có chi phí thấp hơn trên mỗi commit, ở mức 6,76 đô la cho chế độ Intelligence và 4,63 đô la cho chế độ Balance.

GPT-5.6 Sol có chi phí tương đương với chế độ Intelligence nhưng mức độ hài lòng của người dùng với đầu ra thấp hơn. Trong khi đó, Fable 5 và Opus 4.8 tạo ra các commit với chi phí cao hơn so với Cursor Router, lần lượt là 12,69 đô la và 7,34 đô la.

Khoảng cách đó chính là minh chứng thực tế cho việc định tuyến. Cursor Router giữ các tác vụ khó trên các mô hình có khả năng nhất và chuyển các công việc thường nhật ra khỏi mức giá tiên phong.

Bạn lựa chọn sự đánh đổi

Cursor thiết kế bộ định tuyến của mình với sự cân nhắc dành cho các nhóm và tổ chức lớn. Bộ định tuyến sử dụng một hệ thống phân loại dựa trên dữ liệu, trong khi các quản trị viên và người dùng cuối vẫn có thể chọn vị trí của nó trên đường biên Pareto giữa chi phí và trí tuệ.

Chọn chế độ Auto trong trình chọn mô hình và chọn từ ba chế độ tối ưu hóa giúp bạn di chuyển dọc theo đường biên này:

Quản trị viên có thể quyết định cách Cursor Router triển khai trên các nhóm. Bạn có thể bật nó cho từng nhóm hoặc bộ phận, chọn các chế độ mà thành viên có thể sử dụng, đặt chế độ mặc định, và cho phép hoặc chặn các mô hình cụ thể.

Tiếp theo là gì

Cursor Router là một phần trong cách Cursor thúc đẩy hiệu quả sử dụng token. Việc chọn đúng mô hình chỉ quan trọng nếu bản thân tác nhân (agent) vẫn tinh gọn, vì vậy chúng tôi tiếp tục cắt giảm sự lãng phí trong hệ thống xung quanh nó.

Gọi công cụ động (Dynamic tool calling) là một ví dụ rõ ràng khác, nơi hầu hết các mô tả công cụ gốc không còn được tải vào mọi prompt nữa. Mô hình sẽ tra cứu chúng lần đầu tiên khi cần, tuân theo cùng một mô hình mà chúng tôi đã sử dụng cho các MCP. Điều này giúp các công cụ phổ biến như đọc và chỉnh sửa luôn sẵn sàng, trong khi các công cụ ít được sử dụng hơn chỉ xuất hiện trong prompt khi tác nhân thực sự gọi đến chúng.

Cùng với Cursor Router, chúng tôi tiếp tục nâng cao cả mức sàn và mức trần của nhóm mô hình: Grok 4.5 mở rộng khả năng mà Cursor Router có thể tận dụng cho các công việc khó hơn, chi phí cao hơn. Composer ngày càng tốt hơn trong các tác vụ hàng ngày, vì vậy các lượt xử lý chi phí thấp vẫn giữ được chất lượng gần với mức tiên phong mà không phải trả mức giá tiên phong.

Cursor Router hiện đã có sẵn cho các gói Teams và Enterprise trên máy tính để bàn, web, iOS, CLI và SDK của chúng tôi.

Đọc thêm trong tài liệu và nhật ký thay đổi (changelog) của chúng tôi.