Cách Cursor Router tối ưu hóa việc lựa chọn mô hình AI cho lập trình viên

Vào ngày 22 tháng 7, chúng tôi đã ra mắt Cursor Router với hai cấu hình mới là Auto Intelligence và Auto Balance. Kể từ đó, chúng tôi đã liên tục cải thiện cả hai chế độ này khi các mô hình mới xuất hiện và hệ thống định tuyến của chúng tôi đã học hỏi được từ nhiều lưu lượng truy cập thực tế hơn.

Hiện nay, Auto Intelligence mang lại mức độ hài lòng của người dùng vượt trên mức Fable với chi phí thấp hơn 68%, giảm thêm 18% kể từ khi ra mắt. Auto Balance hoạt động hiệu quả hơn Opus 4.8 với chi phí thấp hơn 41%, giảm thêm 8% so với cùng kỳ, đồng thời tăng mức độ hài lòng của người dùng thêm 3%.

Chúng tôi đang hướng tới một Cursor Router không ngừng cải tiến song hành cùng sự phát triển của các mô hình tiên tiến nhất. Bài viết này giải thích cách thức hoạt động của hệ thống hiện tại.

Cách tiếp cận dựa trên dữ liệu để định tuyến

Cursor Router được xây dựng dựa trên ý tưởng rằng việc lựa chọn mô hình nên được học hỏi từ cách các mô hình thực hiện công việc thực tế của lập trình viên, thay vì suy luận từ điểm số của các bài kiểm tra (benchmark).

Bộ định tuyến đưa ra quyết định dựa trên các tín hiệu từ lượt tương tác hiện tại và trạng thái hội thoại gần đây. Các tín hiệu này bao gồm các đặc trưng có cấu trúc như danh mục tác vụ, cùng với các lệnh gọi công cụ gần đây và bối cảnh rộng hơn của công việc.

Từ đó, quá trình định tuyến diễn ra theo hai phần.

Đầu tiên, chúng tôi cần quyết định xem một lượt tương tác có đủ đơn giản cho một mô hình tiết kiệm chi phí hay không. Compass, trình dự đoán độ phức tạp của chúng tôi, sẽ đưa ra quyết định này.

Thứ hai, nếu lượt tương tác đòi hỏi cao hơn, chúng tôi cần quyết định mô hình tiên tiến nào có khả năng hoạt động tốt nhất cho loại công việc đó. Để đưa ra quyết định này, chúng tôi phân loại lượt tương tác bằng cách sử dụng hệ thống phân loại các tác vụ, lĩnh vực và các yếu tố sửa đổi được học từ lưu lượng truy cập thực tế của lập trình viên.

Xây dựng tập dữ liệu

Để phát triển hệ thống định tuyến, trước tiên chúng tôi cần một tập dữ liệu phản ánh các điều kiện mà hệ thống sẽ gặp phải trong môi trường thực tế. Chúng tôi đã xây dựng nó từ lưu lượng truy cập trực tiếp của Cursor để đảm bảo giữ nguyên sự kết hợp thực tế giữa các tác vụ của lập trình viên, bối cảnh xung quanh mỗi lượt tương tác và hiệu ứng của việc chuyển đổi giữa các mô hình.

Như mọi khi, chúng tôi luôn tôn trọng chế độ bảo mật và cài đặt lưu giữ dữ liệu của người dùng trong suốt quá trình này.

Tập dữ liệu chứa hàng trăm nghìn lượt tương tác được lấy mẫu từ nhiều mô hình khác nhau. Mỗi điểm dữ liệu bao gồm các tín hiệu hội thoại khả dụng cho bộ định tuyến, cùng với hai kết quả mà chúng tôi sử dụng để so sánh các lựa chọn định tuyến.

Hiệu suất. Chúng tôi suy luận hiệu suất từ những gì người dùng làm tiếp theo. Việc chuyển sang tác vụ tiếp theo là một tín hiệu tích cực mạnh mẽ, trong khi việc sửa lỗi cho tác nhân (agent) là một tín hiệu tiêu cực mạnh mẽ.

Chi phí. Chúng tôi tính toán chi phí từ giá API và mức sử dụng token cho lượt tương tác đó. Vì dữ liệu đến từ lưu lượng truy cập thực tế, nó cũng ghi lại các chi phí mà các bài kiểm tra thường bỏ lỡ, bao gồm cả việc bỏ lỡ bộ nhớ đệm (cache miss) do chuyển đổi mô hình.

Dự đoán độ phức tạp với Compass

Compass ước tính độ phức tạp của mỗi lượt tương tác bằng cách dự đoán liệu người dùng có hài lòng với phản hồi của Cursor hay không. Chúng tôi huấn luyện nó dựa trên tín hiệu hiệu suất đã đề cập ở trên.

Chúng tôi sử dụng kết quả dự đoán thu được làm đại diện cho độ phức tạp. Điều này hiệu quả vì người dùng hiếm khi yêu cầu sửa lỗi sau các tác vụ đơn giản, như thực hiện một commit, trong khi họ có nhiều khả năng đưa ra các yêu cầu tiếp theo khi công việc phức tạp hơn.

Chúng tôi đã đánh giá Compass trực tuyến và xác nhận rằng điểm số của nó là những dự báo mạnh mẽ về mức độ hài lòng của người dùng. Các lượt tương tác mà Compass đánh giá là có khả năng thành công cao nhất đã nhận được tín hiệu hiệu suất tích cực trong 96% trường hợp, trong khi các lượt tương tác được đánh giá là ít có khả năng thành công nhất nhận được tín hiệu này trong 71% trường hợp.

Trong thực tế, Compass gán cho mỗi lượt tương tác một điểm số độ phức tạp liên tục từ 0 đến 1. Chúng tôi đặt một ngưỡng trong phạm vi đó để xác định lượt tương tác nào sẽ ở lại với mô hình tiết kiệm chi phí và lượt nào được nâng cấp lên mô hình tiên tiến. Các ngưỡng thấp hơn giữ nhiều lưu lượng truy cập hơn ở mô hình tiết kiệm chi phí, trong khi các ngưỡng cao hơn sẽ nâng cấp thường xuyên hơn.

Tìm hiểu thế mạnh của các mô hình

Sau khi Compass cho biết khi nào một lượt tương tác đủ phức tạp để sử dụng mô hình tiên tiến, câu hỏi tiếp theo là nên sử dụng mô hình tiên tiến nào.

Để trả lời câu hỏi đó, chúng tôi đã xây dựng một hệ thống phân loại từ lưu lượng truy cập thực tế của lập trình viên, mô tả mỗi lượt tương tác qua ba khía cạnh:

Sau đó, chúng tôi so sánh cách các mô hình khác nhau hoạt động trên các danh mục đó. Chúng tôi nhận thấy rằng không có mô hình nào thống trị mọi loại công việc, và mỗi mô hình đều có những danh mục mà nó vượt trội hơn:

Cursor Router sử dụng những khác biệt đó để khớp mỗi lượt tương tác với mô hình phù hợp nhất với nó.

Kết hợp thành một thuật toán

Compass và hệ thống phân loại đóng vai trò bổ sung cho nhau. Compass ước tính độ phức tạp độc lập với mô hình của lượt tương tác và so sánh điểm số đó với ngưỡng định tuyến. Tùy thuộc vào vị trí của điểm số, chúng tôi sẽ gửi lượt tương tác đến Grok, do chi phí suy luận thấp, hoặc sử dụng hệ thống phân loại để xác định mô hình tiên tiến có hiệu suất quan sát được mạnh nhất trên loại công việc đó.

Khi Compass gửi một lượt tương tác đến bộ định tuyến phân loại, việc lựa chọn mô hình tuân theo hai quy tắc:

Chỉ định tuyến khi hiệu suất rõ ràng tốt hơn. Một mô hình ứng viên chỉ trở nên đủ điều kiện khi hiệu suất quan sát được của nó trên nhãn tác vụ đó vượt qua ngưỡng tăng trưởng một chiều 75% so với mô hình tiết kiệm chi phí. Đại khái, điều này có nghĩa là chúng tôi cần sự tự tin 75% rằng sự cải thiện là có thật.

Chọn sự kết hợp tốt nhất trong ngân sách. Từ các ứng viên đủ điều kiện, bộ tối ưu hóa chọn sự kết hợp có trọng số lưu lượng truy cập dự kiến mang lại mức tăng hiệu suất lớn nhất trong khi vẫn giữ chi phí trung bình mỗi lượt tương tác trong ngân sách của chế độ đó.

Cùng với nhau, ngưỡng của Compass và ngân sách chi phí của bộ định tuyến tác vụ xác định vị trí của mỗi chế độ trên đường cong chi phí-hiệu suất. Auto Balance giữ nhiều lưu lượng truy cập hơn trên lộ trình tiết kiệm chi phí và cung cấp cho bộ định tuyến tác vụ một ngân sách nhỏ hơn. Auto Intelligence cung cấp cho bộ định tuyến tác vụ nhiều không gian hơn để chọn các mô hình tiên tiến khi mức tăng hiệu suất dự kiến xứng đáng với chi phí bỏ ra.

Đánh giá hiệu suất trong môi trường thực tế

Chúng tôi đã đánh giá các chính sách định tuyến của mình theo hai giai đoạn. Đầu tiên, chúng tôi sử dụng phương pháp kiểm chứng chéo (cross-validation) để điều chỉnh các ngưỡng của Compass và ngân sách tối ưu hóa mà không bị quá khớp (overfitting) vào một phân đoạn cụ thể. Sau đó, chúng tôi đánh giá các chính sách đã chọn trên một tập kiểm tra tách biệt chưa từng được sử dụng trong quá trình huấn luyện.

Điều này cung cấp cho chúng tôi ước tính đáng tin cậy hơn về cách mỗi chính sách sẽ hoạt động trên lưu lượng truy cập mới. Nó giúp chúng tôi loại bỏ các ứng viên yếu và so sánh chi phí và hiệu suất dự kiến trước khi triển khai. Tuy nhiên, phân tích ngoại tuyến vẫn không thể nắm bắt đầy đủ cách một chính sách sẽ hoạt động trong môi trường thực tế, và các bài kiểm tra cũng bị hạn chế vì lý do tương tự. Lưu lượng truy cập thực tế của lập trình viên vẫn là bài kiểm tra mang tính đại diện nhất.

Sau đó, chúng tôi đã kiểm tra các chính sách trên lưu lượng truy cập trực tiếp, nơi chúng tôi có thể đo lường mức độ hài lòng của người dùng và chi phí thực tế của mỗi lượt tương tác trong điều kiện sản xuất. Điều này nắm bắt được các hiệu ứng khó mô hình hóa ngoại tuyến, bao gồm mức sử dụng token, bộ nhớ đệm và chi phí chuyển đổi giữa các mô hình.

Trước khi ra mắt, chúng tôi đã kiểm tra cả hai chế độ trên lưu lượng truy cập trực tiếp và nhận thấy rằng mỗi chế độ đều cải thiện sự đánh đổi giữa chi phí và hiệu suất so với các mô hình tiên tiến riêng lẻ. Auto Balance mang lại mức độ hài lòng cao hơn Opus 4.8 với chi phí thấp hơn, trong khi Auto Intelligence đạt mức độ hài lòng gần bằng Fable với chi phí thấp hơn nhiều.

Kể từ đó, chúng tôi đã lặp lại quy trình này khi hệ thống định tuyến và các mô hình khả dụng được cải thiện, đưa cả hai chế độ vượt xa hơn nữa so với ranh giới chi phí-hiệu suất.

Bắt kịp với các mô hình tiên tiến

Kể từ khi ra mắt Cursor Router, chúng tôi đã thêm Opus 5 vào danh mục định tuyến và cải thiện các dự đoán của Compass. Điều đó mang lại cho bộ định tuyến cả một tập hợp các mô hình mạnh mẽ hơn để lựa chọn và một tín hiệu tốt hơn để quyết định khi nào nên sử dụng từng mô hình.