Tại sao trải nghiệm sử dụng Opus 5 lại gây thất vọng?

Theo ý kiến của tôi và các đồng nghiệp mà tôi đã trao đổi, việc làm việc với Opus 5 mang lại cảm giác như một bước lùi so với Opus 4.7, Opus 4.8 và Fable.

Tôi không khẳng định rằng khả năng của nó bị giảm sút – đây vẫn là một mô hình mạnh mẽ hơn Opus 4.7 và Opus 4.8, thậm chí còn cạnh tranh với Fable trong các bài kiểm tra đánh giá (benchmarks), nhưng các mô hình kia lại mang đến trải nghiệm làm việc tốt hơn. Tôi tin rằng điều này là do chúng:

Chính vì thế, chúng không đòi hỏi sự "chăm sóc" kỹ lưỡng như Opus 5.

Phỏng đoán không căn cứ

Tôi nghi ngờ đây là kết quả từ hai lực đẩy cộng hưởng tại Anthropic, và nhìn chung là tại các phòng thí nghiệm tiên phong hiện nay.

Thứ nhất, mong muốn tạo ra một AI có khả năng tự cải thiện, có thể tự khởi động đệ quy để tiến tới AGI/ASI.

Thứ hai, áp lực phải đạt điểm cao trong các bài kiểm tra đánh giá. Mặc dù ai cũng biết rằng nhiều tác vụ đánh giá được định nghĩa chưa rõ ràng, thiếu công bằng, dễ bị thao túng hoặc có lỗi, nhưng một tác vụ đánh giá tốt phải là một thực thể độc lập. Nó có thể được giải quyết. Nó không đòi hỏi gợi ý, không cần phải đoán ý người tạo ra tác vụ, hay cần thông tin bên ngoài để vượt qua.

Điều đó không có nghĩa là một tác vụ tốt chỉ có một câu trả lời đúng duy nhất, mà chỉ đơn giản là nó nên chấm điểm công bằng cho tất cả các câu trả lời đúng không gây tranh cãi.

Việc lựa chọn các mô hình đạt kết quả tốt trong các bài kiểm tra (và thực tế là việc huấn luyện cho các bài kiểm tra đó hoặc các tác vụ RLVR nói chung) vốn dĩ đã ưu tiên các mô hình đưa ra những giả định táo bạo và thường là đúng khi đối mặt với sự mơ hồ. Nó trừng phạt các mô hình có xu hướng dừng lại để yêu cầu làm rõ hoặc xin chỉ dẫn.

Thật không may, đó chính xác là điều mà hầu hết chúng ta mong muốn ở một tác nhân lập trình (coding agent).

Dù bạn có cố gắng đến đâu, gần như không thể ghi lại toàn bộ bối cảnh, ý định, tác động kinh doanh, hạn chế ngân sách và mọi thứ liên quan để cung cấp cho một tác nhân lập trình. Sự mơ hồ và các lựa chọn cần đưa ra là điều không thể tránh khỏi, và thật tốt khi biết rằng một tác nhân sẽ dừng lại và hỏi khi cần thiết.

Cuộc sống thực không phải là một bài kiểm tra đánh giá. Không có câu trả lời đúng đảm bảo cho mọi câu hỏi, thậm chí cũng chẳng có một tập hợp các câu trả lời đúng, và với những hậu quả thực tế có thể xảy ra, tôi không muốn một tác nhân chỉ đưa ra phỏng đoán tốt nhất của nó!