Cognition ra mắt mô hình lập trình SWE-2: Hiệu suất tiệm cận Fable 5.1 với chi phí tối ưu

Bởi The Cognition Team, ngày 26/10/2009

Hôm nay, chúng tôi giới thiệu SWE-2, mô hình lập trình tiên tiến nhất của chúng tôi từ trước đến nay. Nó đẩy xa biên Pareto về năng lực và chi phí, đạt 50,0% trên FrontierCode 1.1 Main, chỉ kém Fable 5.1 chưa đầy một điểm nhưng lại tiết kiệm chi phí hơn 64%.

Với SWE-2, lần đầu tiên chúng tôi mở rộng quy mô RL (học tăng cường) lên ngưỡng hàng nghìn tỷ tham số, dựa trên cơ sở hạ tầng và công thức huấn luyện của SWE-1.72. Điểm bổ sung then chốt là một thuật toán RL giúp huấn luyện tất cả các cấp độ nỗ lực suy luận trong một lần chạy duy nhất, từ đó nâng cao toàn bộ biên chi phí–hiệu năng.

mô hình cơ sở

kết thúc huấn luyện

Kết quả là mô hình tiệm cận biên giới năng lực nhất của chúng tôi từ trước đến nay. Trên FrontierCode 1.1 Main và DeepSWE 1.1, SWE-2 vượt qua SWE-1.7 và Grok 4.6 về cả điểm số lẫn chi phí, ngang hàng với GPT-5.6 Sol và Fable 5/5.1 với mức giá chỉ bằng một phần nhỏ, đồng thời tiệm cận GPT-6 Astra với chi phí chỉ bằng một phần tư.

SWE-2 được hậu huấn luyện (post-trained) từ Kimi K3, một mô hình 2,8 nghìn tỷ tham số đã trải qua quá trình RL chuyên sâu cho lập trình tác tử (agentic coding). Tương tự như SWE-1.7, RL của chúng tôi vẫn tìm thấy dư địa đáng kể, giúp tăng 5–6 điểm trên nhiều tiêu chuẩn đánh giá và dịch chuyển toàn bộ biên chi phí–hiệu năng của K3.

Phần còn lại của bài viết này sẽ đề cập đến những điểm khác biệt của SWE-2 và cách chúng tôi huấn luyện nó.

Chúng tôi bắt đầu với hành vi của SWE-2, tập trung vào các đặc điểm giúp nó hiệu quả và thông minh hơn so với các mô hình trước đây. Sau đó, chúng tôi trình bày chi tiết các tiến bộ trong hậu huấn luyện đằng sau SWE-2:

Hình phạt chi phí (Cost penalties). Chúng tôi áp dụng hình phạt chi phí tuyến tính cho mỗi cấp độ nỗ lực trong một lần chạy RL, với mỗi hình phạt được tinh chỉnh theo độ dốc cục bộ của biên Pareto của mô hình cơ sở. Cách tiếp cận này được rút ra từ các nguyên lý cơ bản nhằm nâng cao toàn bộ biên Pareto của mô hình trong khi vẫn bảo toàn hình dạng của nó, đồng thời phản ánh chi phí thực tế của người dùng trong quá trình huấn luyện một cách trực tiếp nhất có thể.

Đường cơ sở phần thưởng (Reward baselines). Chúng tôi rút ra đường cơ sở phần thưởng có trọng số theo độ dài mà chúng tôi đã sử dụng từ SWE-1.6 và cho thấy cách nó ổn định quá trình huấn luyện một cách đáng kể.

Phục vụ RL rollout. Chúng tôi cải thiện việc lập lịch và huấn luyện một mô hình dự thảo (draft model) trực tuyến để tăng thông lượng giải mã. Với các nhân NVFP4/FP8 và huấn luyện nhận biết lượng tử hóa (quantization-aware training), chúng tôi giảm mức sử dụng bộ nhớ tổng thể và đạt được độ lệch huấn luyện–suy luận thấp hơn so với SWE-1.7 ở cùng mức thông lượng, mặc dù sử dụng mô hình cơ sở có số tham số lớn gấp gần 3 lần.

Dữ liệu huấn luyện. Chúng tôi tăng gấp ba số lượng môi trường RL, thêm các lớp phủ tuân thủ chỉ dẫn và xây dựng một vòng lặp phản hồi (flywheel) được vận hành bởi các điểm kiểm tra (checkpoints) trước đó của SWE-2 để liên tục củng cố các bộ xác thực (verifiers) của chúng tôi.

SWE-2 khả dụng từ hôm nay trên Devin Desktop và CLI. Chúng tôi cũng đang triển khai nó trên Devin Web và Fusion.

Hành vi của mô hình

Những cải tiến về trí thông minh và hiệu quả của SWE-2 có mối liên hệ chặt chẽ với nhau. Khả năng phán đoán kỹ thuật mạnh mẽ hơn cho phép tác tử viết các giải pháp hoàn thiện hơn, đồng thời giảm bớt các bước đường vòng và việc đọc dữ liệu dư thừa. Trên FrontierCode 1.1 Main, chúng tôi thấy rằng SWE-2 medium đạt điểm cao hơn SWE-1.7 trong khi giảm 58% số lượt thực hiện và chi phí trung bình thấp hơn 81%.

SWE-1.7 so với SWE-2 trên FrontierCode 1.1 Main: Trung bình

SWE-1.7

127

SWE-2 medium

53

SWE-2 high

80

SWE-2 max

98

050100

Trong bài viết trước, chúng tôi đã quan sát thấy SWE-1.7 cực kỳ cẩn trọng thông qua việc khám phá kỹ lưỡng cơ sở mã trước khi thực hiện chỉnh sửa. Mặc dù giúp tăng hiệu suất, điều này dẫn đến phản hồi từ người dùng rằng SWE-1.7 có xu hướng khám phá quá mức và suy nghĩ quá nhiều đối với các tác vụ đơn giản. Một tín hiệu đáng mừng là chúng tôi nhận thấy những cải thiện hiệu quả lớn nhất từ SWE-2 đến từ việc khám phá có trọng tâm: trí thông minh cao hơn cho phép mô hình đánh giá phần nào của cơ sở mã thực sự quan trọng đối với tác vụ. Điều này cho phép SWE-2 bắt đầu triển khai sớm hơn: trên FrontierCode 1.1 Main, chúng tôi quan sát thấy SWE-2 medium thực hiện chỉnh sửa thực tế đầu tiên sau trung vị 18 bước, so với 48 bước của SWE-1.7.

Từ việc thử nghiệm nội bộ SWE-2, chúng tôi quan sát thấy năng lực mô hình cao hơn cũng thể hiện qua các mô hình hành vi sau:

Độ bao phủ kiểm thử (Test coverage): SWE-2 giỏi hơn trong việc viết các bài kiểm thử kiểm tra quá trình triển khai từ đầu đến cuối, giúp phát hiện các lỗi hồi quy và các trường hợp biên đáng tin cậy hơn.

Sự tháo vát, trong giới hạn của người dùng: Khi con đường rõ ràng bị chặn, SWE-2 sẵn sàng tìm kiếm một lộ trình khác để đạt được cùng một câu trả lời. Trong một trường hợp, một tích hợp MCP cần thiết không khả dụng, vì vậy nó đã tái tạo dữ liệu từ lịch sử kênh Slack mà nó đã có quyền truy cập.

Kỷ luật xác thực: Khi bị thách thức, SWE-2 tự suy luận lại các kết luận thay vì khẳng định lại. SWE-2 xác thực các giả thuyết của người dùng thay vì chỉ đơn thuần đồng ý, và chạy các tạo tác (artifacts) để thu thập bằng chứng thay vì tin vào các văn bản bề mặt. Kết quả là một mô hình mà bạn có thể tin tưởng vào các kết luận của nó.

Chúng tôi cũng quan sát thấy sự khác biệt thực sự về hành vi giữa các cấp độ nỗ lực. SWE-2 medium bắt tay vào hành động nhanh hơn nhiều, cho phép đạt hiệu suất tiết kiệm chi phí trên các tác vụ đơn giản và trung bình. SWE-2 high và max chiếm ưu thế hơn ở các tác vụ phức tạp: lập kế hoạch nhiều hơn, khám phá cơ sở mã nhiều hơn và quản lý các yếu tố không chắc chắn thông qua việc xác thực phức tạp hơn.

Tiếp theo, chúng tôi thảo luận về một cải tiến trong phương pháp hậu huấn luyện mà chúng tôi tin rằng đã góp phần tạo nên các đặc điểm hành vi này: hình phạt chi phí dựa trên biên Pareto trong RL.

Đẩy xa biên Pareto với RL

Khi các mô hình trở nên thông minh và đắt đỏ hơn, sự đánh đổi giữa chi phí và hiệu năng ngày càng trở nên quan trọng trong bối cảnh các tác tử lập trình. Do đó, khi huấn luyện SWE-2, chúng tôi không chỉ nhắm đến việc tối ưu hóa trí thông minh của mô hình mà còn tối ưu hóa toàn bộ phạm vi đánh đổi chi phí–hiệu năng mà nó cung cấp.

Các công thức hậu huấn luyện khác nhau rất nhiều trong cách chúng phạt độ dài và huấn luyện nhiều cấp độ nỗ lực. Ví dụ, Kimi K3 huấn luyện một chuyên gia riêng biệt cho mỗi sự kết hợp giữa miền và cấp độ nỗ lực, sau đó hợp nhất các chuyên gia thành một mô hình thông qua chưng cất on-policy đa giáo viên. Nó cũng sử dụng ngân sách token cụ thể cho từng vấn đề (và từng bước huấn luyện).

Đối mặt với phạm vi các phương pháp tiếp cận rộng lớn và tinh tế này, chúng tôi giới thiệu một phương pháp thanh lịch và có nguyên tắc để huấn luyện tất cả các cấp độ nỗ lực từ đầu đến cuối trong một lần chạy RL duy nhất.

Sự tiến triển của biên Pareto trong quá trình huấn luyện

Kimi K3