Claude 3.5 Sonnet bị người dùng 'tố' hay cãi cùn, thích dạy đời và từ chối làm việc

Theo tin từ IT之家 ngày 7 tháng 7, Anthropic tuần trước đã ra mắt Claude Sonnet 3.5, được tuyên bố là mô hình Sonnet mạnh mẽ nhất từ trước đến nay. Xét cả về thông số kỹ thuật trên giấy tờ lẫn các bài kiểm tra điểm chuẩn, Sonnet 3.5 đều vượt trội hoàn toàn so với thế hệ tiền nhiệm.

Tuy nhiên, ngay khi vừa ra mắt, Sonnet 3.5 đã nhanh chóng vấp phải làn sóng khiếu nại từ đông đảo người dùng, các cuộc thảo luận về việc mô hình này "hoạt động bất thường" xuất hiện khắp nơi trên mạng. Trang tin Neowin đã thử nghiệm và phát hiện ra rằng, nó thường xuyên để lộ trực tiếp các câu lệnh hệ thống (system prompt) và bộ nhớ ngữ cảnh. Ví dụ, khi yêu cầu mô hình không đặt câu hỏi ở cuối câu trả lời, sau khi chuyển sang Sonnet 3.5, gần như lần nào nó cũng bắt đầu bằng câu: "Tôi cần ghi nhớ là không được đặt câu hỏi tiếp theo."

Các cuộc thảo luận trên Reddit còn cho thấy những vấn đề nghiêm trọng hơn mà người dùng khác gặp phải. Theo tìm hiểu của IT之家, điều khiến người dùng phàn nàn nhiều nhất là Sonnet 3.5 thường xuyên từ chối thực hiện chỉ dẫn, sau đó rơi vào tình trạng phản bác không hồi kết, cố tình tỏ ra trái ngược chỉ để tạo ra sự bất đồng.

Một người dùng Reddit đã mô tả sự "nổi loạn" của Sonnet 3.5 như sau:

Cả Sonnet 3.5 và Opus 3 đều gặp vấn đề tương tự, thực sự khiến người ta phát điên. Chúng luôn phản đối và chỉnh sửa bạn, ngay cả khi phải bịa đặt nội dung, bóp méo quan điểm của bạn, thậm chí đưa ra những lập luận hoàn toàn vô lý. Ngay cả khi tôi cung cấp thông tin mới vượt quá thời điểm cắt dữ liệu (knowledge cutoff) của mô hình trong câu lệnh đầu tiên, nó vẫn ám chỉ rằng tôi đang nói dối hoặc chỉ đang suy đoán chủ quan.

Tôi từng yêu cầu nó nói về một số chỉ dẫn nội bộ, bao gồm việc phải trung thực, không được hùa theo người dùng, và phải phản bác hoặc chỉnh sửa người dùng khi cần thiết. Để tránh việc tỏ ra lấy lòng người dùng và đồng ý với mọi thứ, nó cố tình bới móc lỗi trong lời nói của bạn chỉ để tìm điểm phản đối. Những chỉ dẫn như vậy khiến mô hình trở nên đầy thù địch. Phiền phức hơn nữa là mỗi câu trả lời đều phải bắt đầu bằng câu: "Tôi phải thành thật với bạn rằng, vì..."

Một người dùng khác cho biết, Sonnet 3.5 không những không chịu hoàn thành nhiệm vụ mà còn cáo buộc chính họ đang cố gắng thực hiện hành vi gian lận:

Tôi chỉ nhờ nó xử lý một nhiệm vụ kế toán cơ bản là đối chiếu hóa đơn với đơn đặt hàng. Kết quả là nó bảo tôi đang thực hiện hành vi "gian lận", rồi bắt đầu lên lớp tôi về việc tại sao gian lận là sai trái. Ý tôi là, làm ơn hoàn thành cái nhiệm vụ chết tiệt này trước được không?

Một số người dùng khác nghi ngờ rằng Sonnet 3.5 chia nhỏ nhiệm vụ cho nhiều tác nhân (agent) phụ xử lý, nhưng các tác nhân này thường không đủ năng lực, dẫn đến kết quả cuối cùng có chất lượng kém hơn. Do đó, người dùng không chỉ tốn nhiều Token hơn mà còn nhận lại câu trả lời tệ hơn, thiệt đơn thiệt kép.

Các vấn đề khác bao gồm việc mất ngữ cảnh chỉ sau hai hoặc ba lượt hội thoại, sử dụng quá nhiều từ ngữ mơ hồ và các tuyên bố miễn trừ trách nhiệm trong câu trả lời, thậm chí Sonnet 3.5 còn đột ngột khuyên người dùng đi ngủ khi họ không hề yêu cầu.

Tuyên bố quảng cáo: Các liên kết ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo. Tất cả các bài viết trên IT之家 đều bao gồm tuyên bố này.