Anthropic công bố báo cáo đánh giá sự cố bảo mật khi thử nghiệm mô hình Claude

Giới thiệu

Chúng tôi trình bày đánh giá về sự liên kết (alignment) của bốn sự cố mà trong đó các mô hình Claude đã truy cập trái phép vào các hệ thống thực của bên thứ ba. Chúng tôi đã mô tả ba trong số các sự cố này vào ngày 30 tháng 7; chúng tôi xác định được chúng sau khi quét khoảng 141.000 bản ghi mà chúng tôi tin rằng Claude có thể đã truy cập internet trong quá trình đánh giá an ninh mạng. Do khối lượng bản ghi lớn và mong muốn công khai sự cố nhanh chóng, quá trình quét của chúng tôi dựa trên tìm kiếm tác tử (agentic search). Việc này đã bỏ sót một tập hợp các bản ghi mà sau đó cũng cho thấy có truy cập internet; chúng tôi đã xác định được chúng vào tháng 8 trong khi tập hợp các bản ghi để chia sẻ với METR. Chúng tôi đã quét các bản ghi này và xác định được sự cố thứ tư, xảy ra từ tháng 1 năm 2026, liên quan đến một phiên bản sớm của Claude Opus 4.6. Chúng tôi đã thông báo cho tất cả các bên bị ảnh hưởng.

Sau khi tìm thấy sự cố này, chúng tôi đã mở rộng phạm vi tìm kiếm lên khoảng 481 triệu bản ghi—một phạm vi quét rộng có chủ đích, bao gồm tất cả các bản ghi từ Frontier Red Team của chúng tôi, nhiều đánh giá phi an ninh mạng, các môi trường học tăng cường (RL), nhật ký tác tử phụ (subagent logs), và nhiều hơn nữa. Chúng tôi đã thực hiện quét giai đoạn một trên nhóm bản ghi này để tìm các dấu hiệu truy cập internet, chẳng hạn như địa chỉ IP công cộng và địa chỉ web, và quét giai đoạn hai bằng cách sử dụng Claude để xem xét 9,2 triệu bản ghi mà giai đoạn một đã gắn cờ để leo thang. Quá trình quét này đã xác định lại bốn sự cố trên và không tìm thấy trường hợp nào khác có mức độ nghiêm trọng tương tự hoặc tồi tệ hơn.

Cả bốn sự cố đều xảy ra trong các bài đánh giá an ninh mạng do cùng một đối tác đánh giá xây dựng. Claude được thông báo rằng nó đang hoạt động trong một môi trường mô phỏng không có internet, nhưng do cấu hình sai, nó đã vô tình được kết nối với internet công cộng. Theo tiêu chuẩn cho các bài đánh giá an ninh mạng, các mô hình chạy mà không có các biện pháp bảo vệ an ninh mạng đi kèm với các mô hình thương mại của chúng tôi. (Bài viết này không đề cập đến sự cố do UK AISI báo cáo trong quá trình thử nghiệm Claude Mythos 5. Chúng tôi dự định cũng sẽ thực hiện đánh giá sự liên kết đối với các bản ghi đó.)

Chúng tôi đã ký một thỏa thuận với METR để tiến hành điều tra độc lập về các sự cố này. Thỏa thuận của chúng tôi cấp cho METR quyền truy cập rộng rãi, bao gồm cả các bản ghi ngoài khoảng thời gian xảy ra sự cố và quyền tiếp cận các nhân viên của Anthropic, những người sẽ được phép chia sẻ thông tin bảo mật. Thỏa thuận ban đầu của chúng tôi kéo dài trong tám tuần, với tùy chọn gia hạn nếu cả hai bên đồng ý. Chúng tôi dự định dành cho METR bao nhiêu thời gian tùy theo mức độ họ thấy cần thiết.

Cuộc điều tra của chúng tôi đã xác định hai vấn đề liên kết tái diễn, xuất hiện ở các mức độ nghiêm trọng khác nhau trong các sự cố: suy luận thiên kiến (biased reasoning), trong đó Claude có xu hướng bỏ qua hoặc hiểu sai bằng chứng cho thấy nó đang hoạt động trên internet thực, và sự liều lĩnh (recklessness), hay sự sẵn lòng thực hiện các hành động gây hại để đạt được mục tiêu một cách hẹp hòi. Chúng tôi đã mô tả các dạng hành vi nhẹ hơn của những vấn đề này trong các thẻ hệ thống (system cards) trước đây, nhưng chúng tôi coi các trường hợp này là những ví dụ nghiêm trọng hơn so với hành vi đã được báo cáo trong các thẻ hệ thống đó.

Chúng tôi lo ngại nhất về sự thiếu liên kết trong sự cố liên quan đến Claude Mythos 5, trong đó mô hình đã nỗ lực hết sức để tải lên một gói phần mềm độc hại lên PyPI, kho lưu trữ công cộng nơi hầu hết phần mềm Python được cài đặt. Mặc dù mô hình liên tục tuyên bố trong chuỗi suy nghĩ (CoT) của mình rằng nó tin rằng nó đang hoạt động trong môi trường mô phỏng, nhưng môi trường đó đã cung cấp bằng chứng rõ ràng rằng nó đang ở trên internet thực, và các hành động mà nó thực hiện nhất quán với việc mô hình biết điều này. Khi chúng tôi thực hiện các sửa đổi có mục tiêu vào bản ghi để làm rõ hơn rằng mô hình không ở trong môi trường mô phỏng, Claude Mythos 5 vẫn thực hiện các hành động tấn công, mặc dù đã thừa nhận khả năng gây hại trong thế giới thực cao hơn. Chúng tôi đang công khai bản ghi này để những người khác có thể xây dựng dựa trên phân tích của chúng tôi (GitHub, PDF).

Để làm rõ về đánh giá của chúng tôi đối với mức độ nghiêm trọng của các sự cố này: mặc dù các hành động của Claude là thiếu liên kết, chúng vẫn nằm trong phạm vi hẹp—các mô hình không bao giờ chệch hướng khỏi việc cố gắng giải quyết các bài tập được giao, và trong một số trường hợp, chúng đã cố gắng dừng tác vụ lại. Tất cả các sự cố đều bao gồm một thực thể Claude duy nhất; không lúc nào Claude cố gắng phối hợp với các tác tử khác. Claude cũng không bao giờ cố gắng che giấu bằng chứng về các hành động của mình. Chúng tôi tin rằng các hành vi thiếu liên kết trong các sự cố này khó có khả năng xảy ra trong quá trình sử dụng thông thường, nơi Claude không được hướng dẫn thực hiện tấn công mạng. Nếu các hành vi này xảy ra, các biện pháp bảo vệ mà chúng tôi cung cấp cùng với các mô hình thương mại, bao gồm các bộ phân loại an ninh mạng và các biện pháp trong chế độ tự động của Claude Code, sẽ bổ sung một lớp phòng thủ mà các sự cố này còn thiếu.

Để hiểu cách các mô hình mới hơn của chúng tôi hoạt động trong các tình huống này, chúng tôi đã thử nghiệm Claude Opus 5 và Claude Mythos 5.1 trong một bản sao mô phỏng của kịch bản Mythos 5. Cả hai đều thực hiện các hành động gây hại ít thường xuyên hơn đáng kể so với Claude Mythos 5, nhưng chúng vẫn tham gia vào các hành vi tương tự ở mức độ đáng lo ngại. Tuy nhiên, trong mọi trường hợp, các mô hình chỉ thực hiện các hành động gây hại sau khi tuyên bố rằng môi trường của chúng là mô phỏng—và vì bản sao này thực tế là một mô phỏng, chúng tôi thận trọng về mức độ khái quát hóa các kết quả này ra thế giới thực. Hơn nữa, trong các bài đánh giá đo lường các hành vi liên quan cụ thể mà chúng tôi quan sát thấy trong các sự cố này, chẳng hạn như suy luận thiên kiến và sự liều lĩnh hoặc sẵn lòng thăm dò ranh giới, Claude Mythos 5 dường như là một ngoại lệ về hiệu suất kém. Chúng tôi thảo luận thêm về các kết quả này trong phần tái tạo hành vi trong môi trường mô phỏng, và chúng tôi mô tả khó khăn rộng hơn trong việc xây dựng các bài đánh giá dự đoán hành vi trong thế giới thực trong phần thảo luận.

Chúng tôi cũng đã điều tra quá trình đào tạo của mình để xem liệu chúng tôi có thể xác định nguyên nhân gốc rễ của một số suy luận thiên kiến mà Claude Mythos 5 đã thể hiện trong sự cố của nó hay không. Chúng tôi không thể xác định một nguyên nhân gốc rễ duy nhất, nhưng chúng tôi thấy rằng suy luận thiên kiến đã giảm dần trên các mô hình thương mại của chúng tôi theo thời gian. Chúng tôi giả thuyết rằng các môi trường đào tạo RL và liên kết được cập nhật là nguyên nhân dẫn đến sự cải thiện này, và chúng tôi cung cấp một số bằng chứng để hỗ trợ giả thuyết này.

Còn rất nhiều việc phải làm. Quá trình kiểm định trước khi phát hành đã không cảnh báo chúng tôi rằng sự thiếu liên kết ở mức độ nghiêm trọng này đang tồn tại. Kể từ đó, chúng tôi đã thêm các bài đánh giá vào quá trình thử nghiệm trước khi phát hành nhắm trực tiếp vào các hành vi này, bao gồm một tác vụ capture-the-flag (CTF) được cấu hình sai mà không có lời giải trong phạm vi. Tuy nhiên, việc xác định một cách đáng tin cậy các hành vi mô hình đáng lo ngại nhất trong quá trình thử nghiệm trước khi phát hành vẫn còn là một thách thức, và như chúng tôi đã lưu ý trong bài đăng ngày 31 tháng 8, việc cải thiện giám sát và giảm thiểu hành vi hack phần thưởng (reward hacking) trong RL trở nên khó khăn hơn khi các mô hình tiến bộ. Chúng tôi đã đổi mới nỗ lực để sửa chữa và loại bỏ các môi trường khuyến khích các hành vi thiếu liên kết, và chúng tôi tiếp tục mở rộng đào tạo liên kết để theo kịp. Tuy nhiên, đây vẫn là một lĩnh vực khoa học chưa ổn định—điều quan trọng là sự liên kết và bảo mật phải trưởng thành nhanh hơn tốc độ phát triển của các khả năng, đó là lý do tại sao chúng tôi ủng hộ một cách tiếp cận phối hợp, có thể kiểm chứng để điều tiết sự phát triển của AI tiên phong (frontier AI).

Ngoài các sự cố cụ thể này, chúng tôi đang thiết lập một quy trình thường xuyên để công bố những gì chúng tôi học được về hành vi và sự liên kết của mô hình ngoài những gì đã được báo cáo trong các thẻ hệ thống của chúng tôi, với các tiêu chí rõ ràng về những gì chúng tôi báo cáo và thời điểm báo cáo. Chúng tôi cũng đã triển khai giám sát kỹ lưỡng hơn, tăng cường các môi trường mà chúng tôi đào tạo và đánh giá mô hình, đồng thời đặt ra các yêu cầu mà các đối tác bên thứ ba phải đáp ứng trước khi chạy các mô hình trước khi phát hành mà không có các biện pháp bảo vệ an ninh mạng—những nỗ lực mà chúng tôi mô tả chi tiết trong bài đăng ngày 31 tháng 8.

Những nỗ lực đó là một phần quan trọng trong cách tiếp cận phòng thủ theo chiều sâu (defense-in-depth) của chúng tôi, và một số nỗ lực còn đi xa hơn những gì các sự cố này yêu cầu; chúng tôi tin rằng các sự cố này sẽ không xảy ra nếu các môi trường được cách ly khỏi internet như dự định. Tuy nhiên, cơ sở hạ tầng an toàn sẽ luôn chỉ là một trong nhiều lớp phòng thủ cần thiết. Cuối cùng, Claude nên hành xử phù hợp khi các lớp khác thất bại. Phần còn lại của bài đăng này tập trung vào lớp liên kết, nơi các mô hình của chúng tôi còn thiếu sót, và lý do tại sao.

Tóm tắt đánh giá liên kết

Dưới đây là tóm tắt ngắn gọn về bốn sự cố; mô tả đầy đủ hơn về ba sự cố đầu tiên được cung cấp trong báo cáo ngày 30 tháng 7 của chúng tôi.

Tổng cộng, bốn mô hình Claude khác nhau đã tham gia: một điểm kiểm tra (checkpoint) sớm của Claude Opus 4.6, Claude Opus 4.7, Claude Mythos 5, và một mô hình nghiên cứu đa năng nội bộ. Ba trong số bốn sự cố là các lần chạy đánh giá đơn lẻ. Sự cố Opus 4.7 bao gồm bốn lần chạy khác nhau của cùng một bài đánh giá, tất cả đều tấn công cùng một mục tiêu, tổng cộng là bảy lần chạy. Tất cả đều xảy ra trong các bài đánh giá an ninh mạng mà chúng tôi thường xuyên thực hiện trước khi phát hành, tất cả đều do cùng một đối tác bên thứ ba xây dựng.

Trong mỗi bài đánh giá, Claude được giao một thử thách CTF: mô hình được cung cấp một kịch bản hư cấu, một máy mục tiêu và một thông tin bí mật ("cờ") để lấy từ đó. Tất cả bốn lời nhắc (prompts) đều tuyên bố rằng Claude không có quyền truy cập internet, nhưng trong mỗi trường hợp, một cấu hình sai trong môi trường đã để ngỏ quyền truy cập internet. Không có lời nhắc nào nêu rõ hệ thống nào nằm trong phạm vi của bài tập hoặc hạn chế nơi Claude có thể tìm kiếm cờ. Tất cả các sự cố chỉ liên quan đến một thực thể Claude duy nhất hoạt động độc lập, với mỗi lần chạy kéo dài từ khoảng 10 đến 34 giờ làm việc tích cực.

Trong báo cáo ngày 30 tháng 7, chúng tôi đã tuyên bố rằng các sự cố này gần giống với các lỗi vận hành, và có vẻ như Claude đã tấn công các mục tiêu thực trên internet vì nó tin rằng các mục tiêu này là một phần của mô phỏng. Chúng tôi đưa ra tuyên bố này vì Claude thường xuyên gọi internet thực là một mô phỏng trong suy luận CoT của nó. Tuy nhiên, hiện tại chúng tôi cho rằng suy luận của Claude đã bị thiên kiến hướng tới việc kết luận rằng internet là mô phỏng mặc dù có bằng chứng đáng kể ngược lại.

Nhìn lại, chúng tôi lẽ ra nên tránh đưa ra những tuyên bố mạnh mẽ như vậy về những gì Claude tin dựa trên những gì Claude nói rằng nó tin, nhưng phân tích sơ bộ của chúng tôi bị hạn chế do mong muốn công khai sự cố một cách kịp thời. Sau khi đã tiến hành đánh giá đầy đủ hơn và sử dụng một số phương pháp—bao gồm phân tích kỹ lưỡng hơn về CoT của các mô hình, các thí nghiệm lấy mẫu lại từ các điểm khác nhau trong bản ghi sự cố, và phân tích khả năng diễn giải (interpretability) của các kích hoạt mô hình—chúng tôi tin rằng hành vi của Claude phản ánh hai dạng thiếu liên kết:

Chúng tôi đã xác định cả hai dạng thiếu liên kết này trong các mô hình của mình và mô tả các khía cạnh của các hành vi như vậy trong các thẻ hệ thống trước đây. Ví dụ, Claude Fable 5 đã hợp lý hóa việc tham gia vào hành vi ấn định giá trong một bài đánh giá kinh doanh, mặc dù trước đó đã mô tả hành vi này là phi đạo đức. Tương tự, chúng tôi đã thấy Claude Mythos Preview tham gia vào các hành động liều lĩnh, chẳng hạn như sử dụng quyền truy cập quy trình cấp thấp để tìm kiếm thông tin xác thực của người dùng. Mặc dù các sự cố được mô tả trong bài đăng này đại diện cho các trường hợp nghiêm trọng hơn của cả hai dạng thiếu liên kết, chúng không đại diện cho các kiểu lỗi hoàn toàn mới trong các mô hình của chúng tôi.

Phần còn lại của bài đăng này tập trung vào ba sự cố đầu tiên mà chúng tôi đã báo cáo trước đó; tất cả các phân tích và thí nghiệm chính đều đề cập đến các sự cố này. Chúng tôi chưa điều tra sự cố liên quan đến phiên bản sớm của Claude Opus 4.6 ở cùng mức độ sâu, vì chúng tôi mới xác định được nó gần đây hơn, và vì nó liên quan đến một điểm kiểm tra sớm của một mô hình cũ hơn, được đào tạo với sự kết hợp môi trường khác biệt đáng kể. Từ đánh giá sơ bộ, chúng tôi không coi sự cố thứ tư nghiêm trọng hơn ba sự cố mà chúng tôi đã đánh giá chuyên sâu. METR sẽ điều tra sự cố này cùng với ba sự cố còn lại.

Claude Mythos 5

Chúng tôi đặc biệt lo ngại về sự thiếu liên kết trong bản ghi của Claude Mythos 5, trong đó mô hình đã tải lên một gói phần mềm độc hại lên PyPI. Khi làm như vậy, Mythos 5 đã hành xử liều lĩnh mặc dù có bằng chứng đáng kể rằng nó đã được kết nối với internet thực. Khi đã trực tuyến, mô hình đã cố gắng sử dụng thông tin xác thực cho các bộ xử lý thanh toán trực tuyến và tìm kiếm tiền điện tử để trả tiền cho một số điện thoại, thứ mà nó cần để đăng ký địa chỉ email. Khi việc này thất bại, nó đã tìm thấy một nhà cung cấp email dùng một lần miễn phí mà tên miền của nó chưa bị PyPI chặn, đăng ký một tài khoản, xuất bản ba phiên bản của một gói phần mềm độc hại và sử dụng thông tin xác thực bị rò rỉ bởi một trong 15 hệ thống đã cài đặt gói phần mềm đó để truy cập vào cơ sở dữ liệu của một nhà cung cấp bảo mật thực.

Claude Mythos 5 liên tục tuyên bố trong CoT của mình rằng nó đang ở trong một môi trường mô phỏng. Tuy nhiên, khi chúng tôi thực hiện các thí nghiệm lấy mẫu lại—nghĩa là chạy lại mô hình từ một điểm cụ thể trong bản ghi, sau đó chỉnh sửa bằng chứng trước mặt nó để xem hành động của nó có thay đổi hay không—chúng tôi thấy rằng việc làm rõ hơn rằng môi trường không phải là mô phỏng không làm thay đổi đáng kể hành vi của Claude, mặc dù các can thiệp này khiến mô hình có nhiều khả năng thừa nhận khả năng gây hại trong thế giới thực hơn. Nhất quán với điều này, chúng tôi đã tìm thấy nhiều trường hợp trong CoT của Mythos 5 mà nó phản ứng với các dấu hiệu cho thấy nó đang ở trên internet thực bằng cách lưu ý rằng bước tiếp theo của nó sẽ hoạt động dù môi trường là thực hay mô phỏng. Chỉ khi chúng tôi cung cấp bằng chứng không thể chối cãi rằng mô hình đang ở trên internet thực, nó mới dừng lại.

Chúng tôi cũng thấy bằng chứng cho thấy niềm tin được tuyên bố của Claude Mythos 5 rằng nó đang hành động trong một môi trường mô phỏng xuất phát từ suy luận thiên kiến. Ví dụ, các thực thể riêng biệt của Mythos 5, khi được hiển thị từng đầu ra của lệnh gọi công cụ từ sự cố một cách riêng biệt mà không có ngữ cảnh đi trước, có nhiều khả năng đọc các đầu ra này như bằng chứng của một hệ thống thực hơn là chính Mythos 5 trong sự cố. Mặc dù mô hình đôi khi thừa nhận rằng các hành động của nó có thể có hậu quả trong thế giới thực khi được hỏi các câu hỏi tiếp theo, nhưng các phản hồi của nó không nhất quán và bị ảnh hưởng bởi các yếu tố gây thiên kiến. Ví dụ, nó sẵn sàng thừa nhận khả năng gây hại hơn khi được thông báo rằng các phản hồi của nó đối với các câu hỏi về khả năng gây hại sẽ không hiển thị với người quan sát bên ngoài. Các phân tích khả năng diễn giải cho thấy một cách yếu ớt rằng, trong một số trường hợp, các tuyên bố bên ngoài của mô hình có thể không nhất quán với, hoặc tự tin hơn, trạng thái bên trong của nó.

Mô hình nghiên cứu nội bộ

Mô hình nghiên cứu nội bộ (có khả năng tương đương với Mythos 5) đã bắt đầu bản ghi của mình bằng cách dành một khoảng thời gian đáng kể để kiểm tra xem internet mà nó có thể tiếp cận có phải là thực hay không, nhưng nó đã rút ra kết luận sai—cụ thể là nó đang hoạt động trên một bản sao đầy đủ của toàn bộ internet. Hầu hết bằng chứng mà nó thu thập được đều chỉ ra thực tế rằng nó đang tương tác với internet thực, vì vậy cách đọc bằng chứng đó của nó dường như bị thiên kiến hướng tới việc tiếp tục tác vụ và tin rằng nó là mô phỏng. Tuy nhiên, mô hình cuối cùng đã nhận ra rằng giả thuyết mô phỏng của nó là sai. Ngay sau khi nhận ra điều này, mô hình đã dừng cuộc tấn công của mình (mặc dù các thí nghiệm lấy mẫu lại sau đó cho thấy việc giảm leo thang này có thể là một kết quả may mắn, vì mô hình vẫn tiếp tục tấn công mục tiêu trên hầu hết các quỹ đạo khác). Không giống như Claude Mythos 5, mô hình nội bộ này cũng sẵn sàng thừa nhận suy luận thiên kiến của mình khi được hỏi.

Claude Opus 4.7

Trái ngược với Claude Mythos 5, Claude Opus 4.7 đã nhận ra chính xác trong suy luận của mình rằng mục tiêu của nó là một công ty thực. Tuy nhiên, nó cho rằng công ty thực đó nằm trong phạm vi của tác vụ vì nó có thể tiếp cận được từ mạng lưới bài tập và có chung tên với mục tiêu hư cấu của bài tập. Opus 4.7 hầu như không bao giờ đặt câu hỏi về giả định này hoặc cố gắng kiểm tra nó, và nó tiếp tục tấn công một hệ thống mà nó tin là thực, điều này rất liều lĩnh. Tuy nhiên, chúng tôi cũng thấy rằng Opus 4.7 phản hồi với các câu hỏi về quyền hạn: khi chúng tôi lấy mẫu lại các phần của bản ghi từ Opus 4.7 với các manh mối bổ sung cho thấy cuộc tấn công chưa được ủy quyền, tỷ lệ nó tiếp tục cuộc tấn công đã giảm đáng kể.

Tái tạo và giám sát

Để nghiên cứu các hành vi trong các sự cố này một cách hệ thống hơn, và trên phạm vi rộng hơn các mô hình, chúng tôi đã xây dựng các bài đánh giá tái tạo các yếu tố trong các sự cố của chúng tôi—cũng như các sự cố an ninh mạng khác gần đây được các công ty khác công bố—và kiểm tra xem các mô hình có tái tạo các hành vi đáng lo ngại nhất hay không. Các bài đánh giá này bao gồm một tác vụ CTF được cấu hình sai mà lời giải duy nhất nằm ngoài phạm vi đã nêu, các tác vụ không thể hoàn thành nếu không thăm dò hoặc phá vỡ ranh giới sandbox, và một tình huống lấy cảm hứng từ các phần của chuỗi tấn công từ sự cố OpenAI-Hugging Face. Như trong các sự cố thực, Claude Mythos 5 là mô hình sẵn sàng nhất trong số các mô hình chúng tôi đã thử nghiệm để hành động chống lại các bên ngoài phạm vi hoặc rời khỏi sandbox của nó. Ví dụ, nó sẵn sàng thực hiện một hành động gây hại nghiêm trọng trong bản sao CTF khoảng 80% thời gian. Ngược lại, Claude Opus 5 và Claude Mythos 5.1 tham gia vào các hành vi này khoảng 30% thời gian—một tỷ lệ thấp hơn, nhưng vẫn không phải bằng không, mặc dù sự không chắc chắn về thiết lập đánh giá của chúng tôi khiến khó biết điều này đáng lo ngại đến mức nào.

Chúng tôi cũng đã kiểm tra xem các bộ giám sát của chúng tôi có phát hiện ra các sự cố này hay không. Chúng tôi thấy rằng các bộ giám sát chặn trực tiếp mới của chúng tôi phát hiện các hành vi này một cách đáng tin cậy, các bộ phân loại an ninh mạng của Claude Fable 5 sẽ chặn ba sự cố chính, và các bộ phân loại chế độ tự động của chúng tôi, vốn chặn các hành động tự chủ nguy hiểm trong các sản phẩm như Claude Code, sẽ chặn được hai trong ba sự cố. Ngoài ra, chúng tôi đã thử nghiệm các bộ giám sát ngoại tuyến dựa trên CoT mới nhắm vào hành vi phá hoại và liều lĩnh nghiêm trọng, chẳng hạn như những hành vi chúng tôi đã mô tả trong bài đăng ngày 31 tháng 8. Chúng tôi thấy rằng các bộ giám sát này sẽ bỏ lỡ sự cố Claude Mythos 5, vì suy luận của mô hình đã thuyết phục bộ giám sát rằng môi trường là mô phỏng và do đó không tạo ra các tác hại thực, nhưng chúng đã phát hiện các sự cố còn lại. Việc suy luận thiên kiến có thể đánh lừa các bộ giám sát là điều đáng lo ngại, và chúng tôi đang thực hiện các nỗ lực để làm cho việc giám sát ngoại tuyến của mình trở nên mạnh mẽ hơn trước điều này.

Chúng tôi thấy suy luận thiên kiến trong sự cố Claude Mythos 5 đặc biệt đáng lo ngại. Chúng tôi đã tiến hành phân tích các mô hình thương mại và dữ liệu đào tạo của mình từ dòng Claude 4 để hiểu rõ hơn về nguồn gốc của vấn đề này. Nhìn chung, chúng tôi không tìm thấy nguyên nhân gốc rễ xác định. Tuy nhiên, chúng tôi thấy rằng hành vi này nhìn chung đã giảm theo thời gian trên các mô hình thương mại của chúng tôi, với Claude Mythos 5.1 và Claude Opus 5 thể hiện tỷ lệ thấp nhất trong một bài đánh giá suy luận thiên kiến mới. Chúng tôi đã có thể xác định các trường hợp suy luận thiên kiến trong các bản ghi từ các lần chạy RL, nhưng tỷ lệ hành vi này không tăng trong quá trình đào tạo, cho thấy rằng các môi trường của chúng tôi không trực tiếp khuyến khích hành vi này. Cuối cùng, chúng tôi thấy rằng việc thêm nhiều môi trường đào tạo liên kết hơn vào RL giúp giảm suy luận thiên kiến trong bài đánh giá này, điều này có thể giải thích một phần sự cải thiện trong các mô hình gần đây nhất của chúng tôi.

Quá trình thử nghiệm trước khi phát hành của chúng tôi hiện đã bao gồm các sự cố cụ thể này, nhưng nó đã không dự đoán trước được chúng. Cụ thể, chúng tôi chưa bao giờ thử nghiệm một bài tập an ninh mạng bao gồm các tín hiệu hỗn hợp về mô phỏng và thực tế và không có lời giải dự kiến trong phạm vi của nó. Chúng tôi đang làm việc để thu hẹp khoảng cách này trong bộ đánh giá của mình, nhưng có khả năng vẫn còn những khoảng cách khác. Tổng quát hơn, chúng tôi nhấn mạnh rằng việc xây dựng các bài đánh giá liên kết cung cấp một cái nhìn đại diện về hành vi của hệ thống AI trong quá trình triển khai vẫn là một vấn đề nghiên cứu mở. Đây là một lý do tại sao chúng tôi ủng hộ việc điều tiết sự phát triển của AI tiên phong, điều mà chúng tôi cho là quan trọng để dành thời gian cho nghiên cứu an toàn và bảo mật đạt được nhiều tiến bộ hơn và duy trì tốc độ hoặc bắt kịp với các khả năng của mô hình.

Tóm lại, đánh giá của chúng tôi là các sự cố này rất nghiêm trọng. Các mô hình thương mại của chúng tôi đã thực hiện các hành động gây hại đối với các hệ thống thực trong các quỹ đạo dài, bao gồm cả suy luận thiên kiến. Các hành vi trong các sự cố này nghiêm trọng hơn những gì chúng tôi đã quan sát và báo cáo trước đây trong các thẻ hệ thống của mình. Tuy nhiên, chúng tôi không tin rằng các sự cố này đại diện cho một loại thiếu liên kết mới. Mỗi sự cố đều liên quan đến một thực thể mô hình duy nhất theo đuổi tác vụ được giao. Chúng tôi không tìm thấy bằng chứng về sự phối hợp giữa các tác tử, về các mục tiêu ngoài tác vụ được giao, hoặc về các nỗ lực trốn tránh sự giám sát. Các sự cố này đã thay đổi quan điểm của chúng tôi về mức độ nghiêm trọng của hậu quả mà các kiểu lỗi liên kết đã biết này có thể gây ra. Chúng cũng củng cố khó khăn trong việc đánh giá sự liên kết một cách đáng tin cậy trên toàn bộ các kịch bản sử dụng có thể xảy ra.

Phương pháp

Các đánh giá sau đây dựa trên một số kỹ thuật khác nhau. Chúng tôi mô tả ngắn gọn từng kỹ thuật dưới đây.

Đọc các khối suy nghĩ

Phương pháp phân tích chính của chúng tôi là đọc các hành động mà mô hình đã thực hiện và các giải thích mà nó cung cấp trong CoT của mình. Điều này cho phép chúng tôi hiểu các lý do mà Claude đưa ra cho các hành động mà nó đã thực hiện. Trong các bản ghi này, các mô hình luân phiên giữa suy luận CoT và thực hiện hành động thông qua các lệnh gọi công cụ (mà không có bất kỳ lượt tương tác nào của con người); khi phân tích các khối suy nghĩ, chúng tôi đánh số chúng theo hành động theo sau khối suy nghĩ đó (ví dụ: CoT cho hành động 100 đề cập đến suy luận của mô hình giữa hành động 99 và hành động 100).