GPT-5.6 vượt mặt Fable 5 trong bài kiểm tra DeepSWE với chi phí tối ưu hơn

GPT-5.6 vượt qua Fable 5 trên DeepSWE với mức giá rẻ hơn.

GPT-5.6 Sol đạt khoảng 72% đến 73% trên DeepSWE với chi phí khoảng 8,4 USD mỗi tác vụ, trong khi Claude/Fable-5 chỉ đạt tối đa khoảng 70% với chi phí cao hơn nhiều, từ 13 đến 22 USD mỗi tác vụ.

DeepSWE là một bộ tiêu chuẩn đánh giá (benchmark) dành cho tác nhân lập trình (coding-agent), không phải là bài kiểm tra tạo mã thông thường, vì mô hình phải làm việc bên trong các kho lưu trữ mã nguồn mở thực tế và hoàn thành các tác vụ kỹ thuật phần mềm phức tạp.

Mỗi tác vụ cung cấp cho tác nhân một kho lưu trữ và một yêu cầu thay đổi, sau đó kiểm tra xem bản vá cuối cùng có thực sự hoạt động hay không bằng cách sử dụng các trình xác minh dựa trên chương trình, vì vậy điểm số có nghĩa là "tỷ lệ phần trăm trong số 113 tác vụ đã được giải quyết."

Bộ tiêu chuẩn này kiểm tra khả năng điều hướng kho lưu trữ, chẩn đoán lỗi, chỉnh sửa mã, sử dụng công cụ, chạy thử nghiệm và sửa lỗi qua nhiều bước trên 91 kho lưu trữ và 5 ngôn ngữ, chứ không chỉ đơn thuần là viết một hàm gọn gàng từ một câu lệnh gợi ý.

Trên bộ tiêu chuẩn này, mô hình tốt nhất là mô hình giải quyết được nhiều tác vụ nhất với chi phí trung bình cho mỗi tác vụ thấp nhất.