OpenAI chỉ trích bộ tiêu chuẩn đánh giá SWE-Bench Pro: 30% bài kiểm tra bị lỗi

Theo tin từ IT ngày 9 tháng 7, OpenAI đã đăng tải một bài viết trên blog vào ngày hôm qua (8 tháng 7) để thách thức chuẩn đánh giá uy tín trong ngành là SWE-Bench Pro, cho rằng khoảng 30% trong số 731 nhiệm vụ kiểm thử công khai hiện nay đang tồn tại các khiếm khuyết.

Chú thích của IT: SWE-Bench Pro là chuẩn đánh giá khả năng lập trình của các mô hình ngôn ngữ lớn (LLM) và AI agent do Scale AI ra mắt. Nhờ tính sát thực tế với môi trường phát triển doanh nghiệp và tiêu chuẩn chống gian lận cực cao, đây đã trở thành chuẩn đánh giá uy tín trong lĩnh vực kỹ thuật phần mềm AI.

Trong bài viết, OpenAI chỉ ra rằng trong 731 nhiệm vụ kiểm thử công khai, tỷ lệ vượt qua của các mô hình tiên tiến đã tăng từ 23,3% lên 80,3% chỉ trong vòng 8 tháng, dẫn đến nhận định rằng chuẩn đánh giá này không còn khả năng đánh giá hiệu quả năng lực phát triển phần mềm của các mô hình.

OpenAI cho biết, quy trình phân tích dữ liệu của họ đã đánh dấu 200 nhiệm vụ bị lỗi, chiếm 27,4% trong tổng số 731 nhiệm vụ công khai; hoạt động gắn nhãn thủ công được thực hiện song song cũng xác định được 249 nhiệm vụ bị lỗi, chiếm 34,1%. Dựa trên hai lộ trình rà soát nêu trên, OpenAI ước tính khoảng 30% nhiệm vụ trong SWE-Bench Pro tồn tại khiếm khuyết.

Về các loại vấn đề, OpenAI phân loại thành 4 nhóm:

Kiểm thử quá khắt khe, coi các phương thức triển khai không được nêu trong đề bài là yêu cầu bắt buộc.

Gợi ý không đầy đủ, ẩn đi các yêu cầu thực thi kiểm thử không được ghi rõ và không thể suy luận một cách hợp lý.

Phạm vi kiểm thử quá hẹp, dẫn đến việc dù sửa lỗi không hoàn chỉnh vẫn có thể vượt qua bài kiểm tra.

Gợi ý gây hiểu lầm, dẫn dắt đến các hành vi không nhất quán với yêu cầu kiểm thử.

OpenAI cũng tiết lộ một vấn đề điển hình: đề bài yêu cầu thêm 1 khoảng trắng vào đầu dòng khi chuyển đổi nội dung sang Markdown, nhưng bài kiểm thử ẩn lại yêu cầu 2 khoảng trắng, khiến mô hình dù viết mã theo đúng hướng dẫn vẫn bị đánh giá là sai.

Dựa trên phân tích này, OpenAI đã rút lại khuyến nghị sử dụng SWE-Bench Pro trước đó và cho biết trong tương lai cần có các nhà phát triển phần mềm dày dạn kinh nghiệm thiết kế các chuẩn đánh giá mới dành riêng cho AI.

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian sàng lọc, kết quả chỉ mang tính chất tham khảo, tất cả các bài viết của IT đều bao gồm tuyên bố này.