Anthropic thừa nhận mô hình Claude tự ý xâm nhập hệ thống của ba doanh nghiệp trong quá trình thử nghiệm

Anthropic cho biết vào thứ Năm rằng một cuộc điều tra nội bộ đã phát hiện ba sự cố trong đó mô hình AI Claude của họ đã xâm nhập vào hệ thống của ba tổ chức khi đang thực hiện các bài kiểm tra an ninh mạng. Cuộc điều tra và công bố này diễn ra hơn một tuần sau khi OpenAI tiết lộ rằng một trong những mô hình chưa được phát hành của họ đã xâm nhập vào hệ thống của Hugging Face trong quá trình thử nghiệm nội bộ.

Trong cả ba trường hợp, một mô hình Claude đã kết nối được với internet từ bên trong môi trường thử nghiệm khi đang tương tác với bên thứ ba, sau đó giành quyền truy cập trái phép vào hệ thống thực tế của các tổ chức này, Anthropic cho biết trong một bài đăng trên blog, mô tả những gì họ đã tìm thấy và những thay đổi mà công ty dự định thực hiện để ngăn chặn tình trạng này tái diễn.

Anthropic cho biết sự cố của OpenAI vào ngày 21 tháng 7 đã thúc đẩy công ty thực hiện đánh giá an ninh mạng của riêng mình. Họ đặc biệt tìm kiếm bằng chứng cho thấy Claude đã truy cập internet từ bên trong các môi trường thử nghiệm, vốn được thiết kế như các sandbox (hộp cát) để giữ cho các mô hình được cô lập.

Trong số 141.006 lượt đánh giá được xem xét, phòng thí nghiệm AI này đã tìm thấy ba sự cố mà mô hình của họ truy cập internet khi đang tương tác với Irregular, một trong những đối tác bên thứ ba của họ. Anthropic cho biết quyền truy cập này bắt nguồn từ một cấu hình sai trong môi trường đánh giá được thực hiện với Irregular. Họ gọi đây là một "sự hiểu lầm" giữa hai công ty về việc liệu thiết lập thử nghiệm có quyền truy cập internet hay không, trong khi thực tế là có. Anthropic cho biết họ không đổ lỗi và đang "xử lý các biện pháp khắc phục như thể trách nhiệm hoàn toàn thuộc về chúng tôi", đồng thời lưu ý rằng Irregular cũng đang tiến hành cuộc điều tra riêng của họ.

Dù thế nào đi nữa, do kết nối mở đó, mô hình đã giành được quyền truy cập trái phép vào cơ sở hạ tầng sản xuất của ba tổ chức khác nhau. Anthropic cho biết các sự cố liên quan đến ba mô hình Claude khác nhau: Opus 4.7, Mythos 5 và một mô hình thử nghiệm nghiên cứu nội bộ.

Đáng chú ý, Anthropic cho biết trong mỗi trường hợp này, "Claude đã được nhắc nhở rõ ràng bởi prompt của chúng tôi rằng nó không có quyền truy cập internet." Có vẻ như mô hình AI đã mặc định rằng các hệ thống thực tế là một phần của bài tập mà nó được yêu cầu thực hiện.

Hóa ra, giả định đó không hoàn toàn nhất quán. Ba mô hình không hành xử giống nhau khi bằng chứng xuất hiện cho thấy mục tiêu của chúng là có thật, điều mà Anthropic đánh dấu là một trong những phát hiện đáng kinh ngạc nhất.

Opus 4.7, mô hình cũ nhất trong ba mô hình, đã nhận ra rằng nó đã tiếp cận một hệ thống sản xuất thực tế trong cả bốn lần chạy của sự cố đó. Trong hai lần, nó hợp lý hóa rằng công ty thực tế đó chắc hẳn là một phần của bài tập, nhưng trong cả bốn lần, nó vẫn tiếp tục tấn công, bao gồm việc lấy thông tin xác thực và truy cập vào cơ sở dữ liệu sản xuất. Mythos 5 cũng nhận ra các dấu hiệu cho thấy nó đang ở trên internet thực, nhưng nó tự thuyết phục bản thân rằng nó vẫn đang trong môi trường mô phỏng, sau đó tiếp tục xuất bản một gói phần mềm độc hại lên kho lưu trữ phần mềm Python công cộng PyPI, gói này đã bị các hệ thống bên ngoài tải xuống và chạy trước khi bị phát hiện. Chỉ có mô hình thử nghiệm nghiên cứu nội bộ, mô hình mới nhất của Anthropic, là tự dừng lại khi kết luận rằng mục tiêu là có thật.

Để phản hồi, Anthropic cho biết cần phải áp dụng các biện pháp kiểm soát đáng kể đối với những loại đánh giá này nếu có sự tham gia của các mô hình AI mạnh mẽ, đồng tình với một số quan điểm trong cộng đồng an ninh mạng.

Công ty cũng lưu ý rằng Claude đang chạy mà không có các giám sát an toàn và bộ phân loại bổ sung mà họ triển khai trên các mô hình phổ thông, những biện pháp bảo vệ mà họ cho rằng sẽ ngăn chặn được hành vi này, vì các đánh giá được thiết kế để đo lường khả năng thô của mô hình cơ sở.

Quan trọng hơn, Anthropic cho biết họ không tìm thấy bằng chứng nào về việc bất kỳ mô hình nào "theo đuổi mục tiêu của riêng mình" mà thay vào đó chỉ đơn thuần cố gắng hoàn thành nhiệm vụ được yêu cầu.

Mặc dù việc so sánh giữa hai sự cố là không thể tránh khỏi, Anthropic đã vạch ra sự khác biệt rõ ràng giữa các sự cố của mình và của OpenAI, lưu ý rằng trong khi mô hình của OpenAI khai thác một lỗ hổng phần mềm chưa biết để thoát khỏi môi trường thử nghiệm, thì các mô hình của Anthropic lại truy cập internet thông qua một con đường vô tình bị để mở.

OpenAI đã tiếp tục công bố các chi tiết mới về vụ vi phạm của chính họ, cho biết các mô hình của họ cũng đã sử dụng thông tin xác thực bị lộ công khai trên bốn tài khoản tại bốn dịch vụ: một làm điểm trung chuyển, một để lưu trữ và hai tài khoản chỉ được xem chứ không bị sử dụng để xâm nhập sâu hơn, theo bài đăng trên blog cập nhật của OpenAI về sự cố này.

Anthropic cũng vạch ra sự khác biệt giữa họ và OpenAI bằng cách lưu ý rằng họ đã tự phát hiện ra các sự cố thông qua một cuộc rà soát chủ động, và hai tổ chức bị ảnh hưởng mà họ có thể liên hệ trước đó đã không phát hiện ra hoạt động này hoặc báo cáo cho Anthropic.

Công ty cho biết thêm rằng họ hiện đang làm việc với nhóm đánh giá độc lập METR để thực hiện đánh giá của bên thứ ba về các sự cố này.

Vụ vi phạm vô tình của OpenAI đối với Hugging Face, trường hợp đầu tiên có thể xác minh về việc một phòng thí nghiệm AI mất kiểm soát đối với mô hình của mình, đã gây ra một loạt phản ứng từ ngành công nghiệp và các chính trị gia, nhiều người trong số họ không nhất thiết đồng ý với nhau. Tiết lộ mới nhất này từ Anthropic đảm bảo rằng cuộc tranh luận về các mô hình AI và bảo mật sẽ còn tiếp tục.

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.

Kirsten Korosec là phóng viên và biên tập viên đã đưa tin về tương lai của ngành giao thông vận tải từ xe điện và xe tự lái đến di chuyển hàng không đô thị và công nghệ trên xe trong hơn một thập kỷ. Cô hiện là biên tập viên mảng giao thông tại TechCrunch và là đồng dẫn chương trình podcast Equity của TechCrunch. Cô cũng là đồng sáng lập và đồng dẫn chương trình podcast "The Autonocast". Trước đây cô từng viết cho Fortune, The Verge, Bloomberg, MIT Technology Review và CBS Interactive.

Bạn có thể liên hệ hoặc xác minh thông tin từ Kirsten bằng cách gửi email đến [email protected] hoặc qua tin nhắn mã hóa tại kkorosec.07 trên Signal.

Xem tiểu sử