OpenAI phát hiện 30% bài kiểm tra lập trình AI phổ biến bị lỗi

OpenAI đã đánh giá lại SWE-Bench Pro, một bài kiểm tra được sử dụng rộng rãi để đo lường kỹ năng lập trình của các mô hình AI, và phát hiện ra rằng khoảng 30% các tác vụ trong đó bị lỗi. Công ty này đang rút lại sự ủng hộ trước đây đối với bộ tiêu chuẩn đánh giá này.

Kết quả từ các bài kiểm tra như thế này đóng vai trò quan trọng trong việc đưa ra quyết định về việc có nên phát hành một mô hình hay không và phát hành như thế nào, bao gồm cả các đánh giá an toàn theo Khung chuẩn bị (Preparedness Framework) của OpenAI. Khi một bài kiểm tra chứa lỗi, nó có thể tạo ra một bức tranh sai lệch về khả năng thực tế của AI.

Để thực hiện việc đánh giá, OpenAI trước tiên đã triển khai một công cụ sàng lọc tự động để gắn cờ 286 tác vụ đáng ngờ. Các tác nhân AI (AI agents) được xây dựng trên Codex sau đó đã kiểm tra chi tiết từng trường hợp trước khi một nhà nghiên cứu con người đưa ra quyết định cuối cùng. Quy trình đó đã xác định 200 tác vụ (27,4%) là bị lỗi. Trong một đánh giá song song, năm lập trình viên phần mềm giàu kinh nghiệm đã đánh giá cùng các trường hợp đó và gắn cờ nhiều hơn, với 249 tác vụ (34,1%). Các đánh giá viên là con người khắt khe hơn so với các tác nhân AI, mặc dù cả hai bên đều đồng thuận trong 74% các trường hợp.

Chỉ một ký tự khoảng trắng cũng có thể quyết định kết quả đạt hay trượt.

OpenAI chia các vấn đề thành bốn loại. Một số bài kiểm tra quá khắt khe, từ chối cả những giải pháp thực sự hiệu quả. Những bài khác lại quá mơ hồ, yêu cầu AI phải đáp ứng các tiêu chuẩn ẩn trong các trường hợp kiểm thử không công khai. Một số bài kiểm tra quá nông, cho phép các giải pháp chưa hoàn thiện vẫn vượt qua. Và một số mô tả tác vụ đơn giản là dẫn dắt sai hướng. Một ví dụ từ dự án OpenLibrary: mô tả tác vụ yêu cầu một khoảng trắng duy nhất, nhưng bài kiểm tra ẩn lại mong đợi hai khoảng trắng. Một AI tuân thủ đúng hướng dẫn sẽ bị đánh trượt.

Các tác vụ này được lấy từ lịch sử commit của các dự án phần mềm thực tế, vốn được viết để con người cộng tác với nhau chứ không được thiết kế như các bài kiểm tra đánh giá sạch cho các mô hình AI. Theo OpenAI, các bài kiểm tra từ những dự án đó thường quá khắt khe vì chúng được xây dựng để xác minh một thay đổi cụ thể, chứ không phải để phục vụ như các yêu cầu chung. Trên phiên bản công khai của bài kiểm tra với 731 tác vụ, các mô hình hàng đầu đã tăng độ chính xác từ 23,3% lên 80,3% chỉ trong tám tháng. SWE-Bench Pro được dự định thay thế cho SWE-bench Verified cũ hơn, vốn đã bị OpenAI loại bỏ vì những lý do tương tự.

Lần này, OpenAI không đề xuất một giải pháp thay thế cụ thể nào. Công ty chỉ đơn giản kêu gọi ngành công nghiệp xây dựng các bộ tiêu chuẩn đánh giá mới với sự tham gia của các lập trình viên giàu kinh nghiệm, những bộ tiêu chuẩn khó bị thao túng, đáng tin cậy và thực sự có ý nghĩa.

Vào giữa tháng 6, công ty phân tích Artificial Analysis đã loại bỏ SWE-Bench Pro khỏi Chỉ số Tác nhân Lập trình (Coding Agent Index) của họ và thay thế bằng DeepSWE, một bài kiểm tra từ Datacurve. Lý do là: SWE-Bench Pro có thể bị thao túng. Một số mô hình đã sao chép giải pháp chính xác từ lịch sử commit của dự án thay vì thực sự giải quyết tác vụ.

Sự thay đổi này đã làm xáo trộn bảng xếp hạng. Codex với GPT-5.5 (xhigh) đã leo từ 65 lên 76 điểm và vượt qua Claude Code với Opus 4.8 (max) ở mức 73 điểm, trong khi Claude Code với Fable 5 (max) chiếm vị trí dẫn đầu với 77 điểm. Trên SWE-Bench Pro, Codex với GPT-5.5 chỉ đạt 31 điểm, so với mức 64 đến 84 điểm trên các bài kiểm tra khác.

Tin tức AI không cường điệu – Được tuyển chọn bởi con người.

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo chuyên sâu "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và tham gia phần bình luận của chúng tôi.

Đăng ký ngay.