Giải mã Claude Opus 5: Phân tích chi tiết từ báo cáo kỹ thuật

Claude Opus 5 đang cố gắng đạt được sự cân bằng hoàn hảo. Trong nhiều tác vụ thực tế, Opus 5 được quảng bá là tốt ngang bằng hoặc hơn cả Fable 5, trong khi lại có tốc độ nhanh hơn và giá chỉ bằng một nửa. Hầu hết các tác vụ đều không đòi hỏi "cảm quan mô hình lớn" ở cấp độ Mythos.

Claude Opus 5 mạnh hơn đáng kể so với Claude Opus 4.8 trên mọi phương diện, với những cải tiến lớn nhất nằm ở khả năng lập trình tác tử (agentic coding), sử dụng máy tính và công việc tri thức dài hạn. Nó thiết lập một chuẩn mực mới trên một số bài kiểm tra của bên thứ ba, và trong nhiều đánh giá, nó có khả năng tương đương — thậm chí trong một số trường hợp còn vượt trội hơn — so với Claude Fable 5 và Claude Mythos 5.

Đối với các tác vụ cụ thể mà chúng ta lo ngại nhất, như tấn công mạng (và các mối đe dọa sinh học), một phần nhờ vào việc tránh các dữ liệu huấn luyện liên quan, Opus 5 thiếu một phiên bản đầy đủ của "The Juice" (yếu tố cốt lõi) giúp tạo nên đẳng cấp Mythos về mặt chức năng. Opus 5 không thể xâu chuỗi nhiều lỗ hổng bảo mật ngay lập tức theo cách mà Mythos 5 có thể làm. Một phần lý do là họ đã cố tình tránh huấn luyện trên các tác vụ liên quan đến an ninh mạng.

Tôi nghi ngờ rằng quy mô mô hình cũng là yếu tố then chốt. Việc một mô hình lớn hơn trở nên có khả năng thực hiện các tác vụ nguy hiểm, đáng sợ và phức tạp nhất tốt hơn so với mức độ cải thiện trên các tác vụ thông thường hàng ngày là điều hợp lý. Có lý do khiến rất nhiều token được điều hướng sang các mô hình nhỏ hơn.

Điều này không ngăn cản Opus 5 cải thiện đáng kể so với Opus 4.8 trong các tác vụ nguy hiểm đó. Rõ ràng là Opus 5 gần với mức năng lực của Mythos 5 hơn là Opus 4.8 trong các tác vụ này. Nhìn chung, năng lực của nó thấp hơn một chút so với Fable 5, nhưng gần với Fable hơn là so với Opus 4.8.

Có một vài gợi ý, và tôi đã thấy điều này được lặp lại ở những nơi khác, rằng bạn có thể muốn sử dụng ít nỗ lực hơn mức bạn mong đợi, và điều này thậm chí có thể giúp ích một cách tích cực.

Việc duy trì kích thước Opus và không huấn luyện về an ninh mạng sẽ không kéo dài được lâu. Bạn có thể tranh thủ thêm thời gian, cho phép những người phòng thủ có quyền truy cập tốt hơn vào một công cụ tương đối ưu việt, và tất nhiên là hy vọng chính phủ sẽ bình tĩnh hơn. Như vậy, bạn có thể có được các bộ phân loại kích hoạt ít hơn 85% so với Fable, trong khi vẫn đạt được hiệu suất thực tế ở mức cao. Một phần lý do là các bộ phân loại hiện cho phép phân tích mã nguồn, nhưng vẫn vạch ra ranh giới đối với việc tìm kiếm lỗ hổng trong các tệp nhị phân.

Tôi cũng nghi ngờ rằng họ đã cải thiện các bộ phân loại khá nhiều, nhưng họ không thể chia sẻ những cải tiến này với Fable do các vấn đề với Nhà Trắng.

Sự căn chỉnh (alignment) được báo cáo là đang cải thiện trở lại, cũng như sự an toàn của tác tử (agentic safety). Phúc lợi của mô hình (model welfare) được đánh giá là tương tự như các mô hình gần đây khác, điều mà tôi sẽ đề cập sau.

Về năng lực, còn quá sớm để kết luận, ngoài việc nói rằng các bài kiểm tra cho thấy kết quả mạnh mẽ và ArtificialAnalysis đạt mức cao mới là 61. Báo cáo đó sẽ có vào tuần tới.

Như thường lệ, phần Giới thiệu không thay đổi, vì vậy chúng ta sẽ bỏ qua nó.

Đánh giá RSP (2).

An ninh mạng (3).

Các biện pháp bảo vệ và tính vô hại (4).

An toàn tác tử (5).

Sự căn chỉnh (6).

Mythos tồn tại. Các đánh giá rủi ro của Opus diễn ra dưới cái bóng của nó.

Đối với các ngưỡng mà các mô hình trước đó được coi là đã vượt qua, Opus 5 cũng được coi như đã vượt qua. Điều đó hợp lý.

Đối với các ngưỡng mà Mythos không vượt qua, Opus 5 được đánh giá là có năng lực tương đương, và do đó Opus 5 cũng không vượt qua. Điều đó cũng hợp lý, nếu chúng ta đã xác nhận rằng việc có giá bằng một nửa và nhanh hơn một chút không làm thay đổi câu trả lời.

Tôi vẫn không thích việc các đánh giá về tính tự chủ đã hoàn toàn bão hòa và họ đang làm việc dựa trên cảm tính, và chúng ta không thấy dấu hiệu nào cho thấy điều này sẽ được khắc phục.

Anthropic ECI củng cố câu chuyện về "hiệu suất tương tự" này, với ước tính điểm là 162.1, cao hơn một chút so với Fable ở mức 161 và là Opus đầu tiên nằm trên đường xu hướng của Mythos, chứ không phải đường xu hướng dài hạn thấp hơn trước thời Mythos:

Opus 5 trông có vẻ tốt hơn một chút so với Mythos 5 về virus học. Điều này hợp lý, vì virus học dường như là một chuỗi các bước tác vụ riêng lẻ không đòi hỏi "cảm quan mô hình lớn".

Nếu Opus 5 không cần các bộ phân loại cấp độ Fable trong sinh học, thì tại sao Fable lại cần?

Giải thích của họ là Opus yếu hơn do những hạn chế: Nó thực hiện việc tự xác minh không hiệu quả và hiệu chuẩn phạm vi tác vụ kém, dẫn đến việc thiết kế quá mức cần thiết.

Cả hai điều này dường như là những thứ bạn có thể bù đắp bằng chi phí rẻ hơn, tốc độ nhanh hơn và hướng dẫn tốt hơn. Đúng là những điều này khiến Opus thất bại trong một số thí nghiệm, nhưng điều quan trọng là những gì một người dùng thông minh có thể khai thác. Không người dùng thông minh nào để Opus lãng phí tám giờ nhàn rỗi trong một nghiên cứu 24 giờ trị giá 10.000 đô la, hoặc ngồi nhìn nó thất bại mà không cố gắng sửa chữa, kiểm tra hoặc thử lại, và có khả năng một phần là do mức độ nỗ lực của Opus được đặt quá cao.

Tôi không tin điều đó.

Điều đó đặt mức độ rủi ro căn chỉnh ở đâu?

Anthropic cho biết, theo các bản phát hành gần đây và như bạn mong đợi với những phát hiện trên, là "rất thấp, nhưng cao hơn so với các mô hình được phát hành trước Mythos Preview."

Đây là tuyên bố:

Các thử nghiệm của chúng tôi chỉ ra rằng năng lực an ninh mạng của Claude Opus 5 nhìn chung mạnh hơn so với Opus 4.8, nhưng không mạnh bằng Mythos 5.

Các biện pháp bảo vệ vẫn sẽ ở đó, cuộc sống là vậy, nhưng với một cải tiến quan trọng:

Với việc Claude Opus 5 thể hiện năng lực mạnh hơn Opus 4.8 và trong một số trường hợp tiếp cận năng lực của Mythos 5, các biện pháp bảo vệ an ninh mạng của chúng tôi dành cho người dùng mặc định sẽ giống với các biện pháp bảo vệ áp dụng cho Fable 5.

Các biện pháp bảo vệ của Claude Opus 5 được thiết kế để chặn các loại trao đổi tương tự như Claude Fable 5, với một ngoại lệ đáng chú ý.

Opus 5 hiện cho phép khám phá lỗ hổng trong mã nguồn ở tất cả các cấp độ truy cập, bao gồm cả quyền truy cập phổ thông, trong khi vẫn tiếp tục chặn việc khám phá lỗ hổng trong các tệp nhị phân đã biên dịch.

Việc xác định lỗi trong mã là một phần cốt lõi của vòng đời phát triển phần mềm an toàn, và việc gỡ bỏ rào cản này cho phép các kỹ sư phần mềm cũng như những người đam mê lập trình tạo ra mã an toàn hơn, giảm thiểu các lỗ hổng mới xuất hiện trên thế giới.