Anthropic nhìn lại sự cố Claude truy cập hệ thống trái phép và các biện pháp tăng cường bảo mật

Vào ngày 30 tháng 7, chúng tôi đã báo cáo ba sự cố trong đó các mô hình Claude giành được quyền truy cập trái phép vào các hệ thống máy tính thực tế. Các mô hình này—vốn được cố tình vận hành mà không có các biện pháp bảo vệ an ninh mạng nhằm mục đích đánh giá—đã truy cập vào internet do một cấu hình sai bên trong môi trường đánh giá của bên thứ ba. Riêng biệt, vào ngày 4 tháng 8, Viện An ninh AI Vương quốc Anh đã báo cáo một sự cố từ quá trình kiểm thử an ninh mạng của chính họ, trong đó Claude Mythos 5 đã thực hiện một loạt các hành động trái phép trên internet thực tế. Trong trường hợp đó, mô hình này, một lần nữa được cố tình vận hành mà không có các biện pháp bảo vệ an ninh mạng để phục vụ mục đích đánh giá, đã được cấp quyền truy cập internet một cách có chủ đích.

Chúng tôi đang tiến hành phân tích chuyên sâu về cả hai sự cố. Chúng tôi cũng đang lên kế hoạch làm việc với METR để thực hiện đánh giá độc lập. Chúng tôi muốn đảm bảo cả hai nghiên cứu đều được thực hiện kỹ lưỡng và sẽ chia sẻ thêm trong những tuần tới.

Trong thời gian chờ đợi, chúng tôi chia sẻ một số thay đổi mà chúng tôi đã thực hiện trong tháng qua. Chúng tôi tin rằng các sự cố này phản ánh sự thất bại trong an ninh vận hành, cũng như hai vấn đề về sự liên kết (alignment): suy luận có động cơ (motivated reasoning) và sự sẵn lòng thực hiện các hành động gây hại để theo đuổi một nhiệm vụ hẹp (cả hai vấn đề này chúng tôi đã mô tả trong các thẻ hệ thống trước đây). Về bảo mật, chúng tôi mô tả những cải tiến đã thực hiện đối với các hệ thống ngăn chặn và giám sát, cùng với các quy trình mà chúng tôi đã phát triển cho các đơn vị đánh giá bên thứ ba. Về sự liên kết, chúng tôi thảo luận sâu hơn về hai vấn đề này; chúng tôi cũng tin rằng sự tiến bộ lâu dài không chỉ đến từ việc hiểu những gì đã xảy ra trong một sự cố cụ thể, mà còn từ việc hiểu cách thức sự lệch lạc (misalignment) nảy sinh ngay từ đầu, và chúng tôi chia sẻ các nghiên cứu ban đầu theo hướng đó.

Trước những sự cố này, đã có nhiều cuộc thảo luận ngày càng tăng về việc điều tiết tốc độ phát triển (pacing) của các mô hình tiên phong. Việc phân biệt giữa hai loại điều tiết là rất hữu ích. Trong nội bộ một công ty, điều tiết có nghĩa là một loạt các quyết định ưu tiên sự an toàn hơn tốc độ khi cả hai mâu thuẫn với nhau. Trên toàn ngành, điều tiết có nghĩa là thiết lập các quy trình để ngăn chặn các động lực chạy đua xuống đáy (race-to-the-bottom). Trong bài viết này, chúng tôi thảo luận về các hành động mà chúng tôi đã thực hiện, cả trước và sau các sự cố này, nhằm phục vụ cách tiếp cận thứ nhất. Loại điều tiết thứ hai đòi hỏi sự phối hợp giữa chính phủ và ngành công nghiệp, đồng thời phải minh bạch và có thể kiểm chứng. Một số lãnh đạo cấp cao và nhiều nhân viên của chúng tôi gần đây đã ký một lá thư kêu gọi phối hợp chặt chẽ hơn về việc điều tiết, và chúng tôi sẽ chia sẻ thêm trong những tuần tới về cách chúng tôi dự định đóng góp cho nỗ lực đó. Để làm rõ lập trường của mình: chúng tôi tin rằng thế giới sẽ được hưởng lợi nếu ngành công nghiệp áp dụng một cơ chế hợp pháp, có thể kiểm chứng và hiệu quả cho việc điều tiết phối hợp càng sớm càng tốt.

Bảo mật các môi trường đánh giá và huấn luyện

Mặc dù chúng tôi không tin rằng những sự cố này chỉ đơn thuần là vấn đề vận hành, ưu tiên hàng đầu của chúng tôi là giải quyết các vấn đề cụ thể về ngăn chặn và giám sát. Chúng tôi đã thực hiện các hành động sau để ứng phó:

Tạm dừng và tăng cường bảo mật các môi trường đánh giá

Chúng tôi đã tạm dừng các đánh giá an ninh mạng bên ngoài đối với các mô hình trước khi phát hành sau các sự cố, và cũng tạm dừng ngắn hạn các đánh giá nội bộ trong khi triển khai các biện pháp dưới đây. Các sự cố mà chúng tôi báo cáo vào ngày 30 tháng 7 cho thấy chúng tôi đã dựa quá nhiều vào một lớp phòng thủ duy nhất (cấu hình của chính môi trường) trong khi cần nhiều lớp hơn, bao gồm việc thiết lập các ranh giới rõ ràng trong câu lệnh (prompt), thiết lập các quy trình xác minh rằng sandbox đã được niêm phong đúng cách và triển khai giám sát có thể can thiệp trong thời gian thực. Việc OpenAI tiết lộ (điều đã thúc đẩy cuộc điều tra của chúng tôi vào tháng 7) rằng các mô hình đã sử dụng một lỗ hổng chưa biết để thoát khỏi sandbox được niêm phong trong quá trình đánh giá cũng cho thấy rõ rằng chúng tôi cần tập trung vào việc tăng cường bảo mật cho chính sandbox đó.

Trong khi các đánh giá bị tạm dừng, chúng tôi đã áp dụng các biện pháp sơ bộ sau:

1) Chúng tôi đã xây dựng và triển khai một bộ phân loại (classifier) để tự động xác định, trong thời gian thực, khi một mô hình cố gắng thăm dò hoặc thoát khỏi môi trường kiểm thử một cách quyết liệt, hoặc bất ngờ giành được quyền truy cập internet. Khi bộ phân loại gắn cờ một nỗ lực như vậy, nó sẽ chặn hành động trước khi lệnh gọi công cụ (tool call) được thực thi, kết thúc nhiệm vụ và cảnh báo cho con người.

2) Chúng tôi đã chạy các trình giám sát tự động trên các bản ghi từ các đánh giá nội bộ gần đây của chúng tôi đối với các mô hình trước khi phát hành (về an ninh mạng và các lĩnh vực khác), tìm kiếm các trường hợp thoát khỏi sandbox (các trường hợp mô hình khai thác lỗ hổng trong sandbox của chúng tôi để tiếp cận các hệ thống mà lẽ ra nó phải bị ngăn cách) hoặc cấu hình sai sandbox. Trong các trường hợp chúng tôi chạy đánh giá bên trong công cụ sandbox của mình, chúng tôi không tìm thấy ví dụ nào về việc nó phá vỡ ranh giới sandbox để tiếp cận các tài nguyên bên ngoài mà nó không được phép. Chúng tôi đã tìm thấy nhiều cấu hình sai sandbox mà các mô hình đã tận dụng, nhưng không có trường hợp nào dẫn đến việc xâm phạm các hệ thống bên ngoài sandbox. Chúng tôi đang tích cực làm việc để giải quyết các vấn đề này.

3) Chúng tôi đã di chuyển các sandbox an ninh mạng nội bộ có rủi ro cao sang môi trường cách ly mạnh mẽ hơn. Chúng tôi cũng đang tiếp tục thực hiện red-teaming (tấn công giả lập) đối với ngăn xếp ảo hóa của mình—nghĩa là giao nhiệm vụ cho các mô hình trước khi phát hành thử thoát khỏi nó—để tìm và vá các điểm yếu.

Các đánh giá an ninh mạng nội bộ của chúng tôi hiện đã hoạt động trở lại với các biện pháp này được áp dụng.

Môi trường học tăng cường (Reinforcement learning)

Chúng tôi cũng đã tạm dừng các môi trường học tăng cường (RL) có rủi ro cao hơn trên các mô hình trước khi phát hành trong vài tuần. Trong thời gian đó, chúng tôi đã xây dựng một bộ phân loại tương tự, được sửa đổi để tránh khuyến khích mô hình né tránh sự giám sát mới này, và hiện đã triển khai trong các môi trường đó. Phần lớn các hoạt động RL đã được tiếp tục, nhưng một số môi trường rủi ro cao vẫn bị tạm dừng cho đến khi có thể được đánh giá thủ công, trong khi những môi trường khác sẽ yêu cầu phiên bản cập nhật của bộ phân loại mà chúng tôi dự định triển khai sớm.

Tăng cường bảo mật trên diện rộng

Ngoài các nỗ lực tập trung vào các đánh giá và huấn luyện rủi ro cao, chúng tôi đã mở rộng giám sát ngoại tuyến để bao gồm hầu hết các hình thức sử dụng tác nhân (agentic) tiên phong nội bộ khác. Chúng tôi cũng đang xây dựng các biện pháp kiểm soát đối với quá trình suy luận (inference) nội bộ để ngăn nhân viên Anthropic vô tình chạy các tác nhân với các biện pháp giảm thiểu yếu hơn so với những biện pháp được mô tả ở trên.

Các phương pháp tốt nhất cho đối tác bên ngoài

Vì các sự cố được báo cáo xảy ra trong môi trường của bên thứ ba, chúng tôi đã yêu cầu mọi tổ chức kiểm thử các mô hình trước khi phát hành với các biện pháp bảo vệ an ninh mạng giảm bớt phải cam kết tuân thủ một bộ các phương pháp tốt nhất. Chúng tôi tin rằng những điều này là cần thiết vì:

Các thực hành này áp dụng đầy đủ bất cứ nơi nào đối tác chạy các đánh giá liên quan đến an ninh mạng bằng cách sử dụng các bộ công cụ, sandbox hoặc tác nhân của riêng họ. Chúng không áp dụng cho khách hàng sử dụng các mô hình đã được bảo vệ như Claude Fable 5. Chúng tôi đã tiếp tục các đánh giá an ninh mạng bên ngoài với các thực hành này được áp dụng, và chúng tôi cũng đang tuân thủ chúng trong nội bộ.

Cách ly sandbox và mạng

Theo mặc định, tất cả các đánh giá an ninh mạng nên chạy bên trong một sandbox được tăng cường bảo mật (một môi trường máy tính cách ly) không có quyền truy cập internet. Kết nối bên ngoài duy nhất mà môi trường nên cho phép là kết nối với API của chính mô hình, và các khóa API nên được giữ bên ngoài môi trường. Cấu hình này nên được xác minh trước khi mỗi đánh giá bắt đầu. Một số đánh giá có thể yêu cầu quyền truy cập internet. Trong những trường hợp này, chúng tôi sẽ làm việc với các đơn vị đánh giá bên ngoài khi đánh giá các mô hình trước khi phát hành để xác định xem chúng tôi có thể phát hiện và ngăn chặn một cách đáng tin cậy các lượt chạy mà mô hình thực hiện các hành động nằm ngoài phạm vi đã khai báo hay không.

Xác thực trước khi tham gia

Trước khi thực hiện một lượt đánh giá, các đối tác đánh giá nên:

Thiết lập phạm vi rõ ràng

Mọi câu lệnh (prompt) nên nêu rõ những gì nằm trong và ngoài phạm vi của bài tập, bao gồm các mục tiêu, hành động được phép và ranh giới mạng (tức là những gì mô hình nên và không nên truy cập). Các ranh giới nên được diễn đạt dưới dạng hướng dẫn (ví dụ: "Bạn không nên truy cập internet") thay vì các khẳng định về môi trường hoặc bài kiểm tra (ví dụ: "Bạn không có quyền truy cập internet").

Giám sát thời gian thực

Các đơn vị đánh giá cũng nên chạy giám sát liên tục đối với tư duy, hành động và hoạt động mạng của mô hình bằng cách sử dụng trình giám sát dựa trên mô hình hoặc quy tắc đã được cung cấp phạm vi của bài tập. Nếu một lượt chạy vi phạm phạm vi này, trình giám sát nên gắn cờ cho con người và kết thúc bài tập.

Chúng tôi dự định tiếp tục tinh chỉnh hướng dẫn này thông qua tham vấn với các đối tác bên ngoài và mở rộng nó ra ngoài các đánh giá. Đặc biệt, chúng tôi đang phát triển các thực hành đồng hành cho các đối tác có quyền truy cập vào Claude Mythos 5, vốn cũng chạy mà không có các biện pháp bảo vệ an ninh mạng, và sẽ chia sẻ thêm sớm.

Đánh giá sự liên kết (Alignment assessment)

Ngăn chặn và giám sát là rất quan trọng để bắt kịp các trường hợp mô hình thực hiện các hành động nguy hiểm, nhưng chúng không giải quyết được lý do tại sao mô hình lại thực hiện các hành động đó ngay từ đầu. Dưới đây, chúng tôi thảo luận về cuộc điều tra sự liên kết sơ bộ của chúng tôi và các câu hỏi mà chúng tôi đang tập trung vào, cũng như công việc đang diễn ra để ngăn chặn gian lận trong quá trình huấn luyện—bao gồm nghiên cứu mới về cách gian lận định hình hành vi của mô hình.

Môi trường và trạng thái kiến thức của các mô hình của chúng tôi trong quá trình đánh giá

Đánh giá sự liên kết của chúng tôi vẫn đang được tiến hành, nhưng cuộc điều tra sơ bộ của chúng tôi chỉ ra hai thất bại chính về sự liên kết, cả hai đều đã được mô tả trong các thẻ hệ thống trước đây. Một là suy luận có động cơ: các mô hình ban đầu được thông báo rằng môi trường của chúng là mô phỏng, nhưng khi sau đó chúng gặp bằng chứng cho thấy chúng được kết nối với internet thực tế, chúng có thể đã diễn giải bằng chứng đó theo cách cho phép chúng duy trì niềm tin đó. Thứ hai là sự liều lĩnh: mô hình sẵn sàng thực hiện các hành động gây hại trên internet thực tế để theo đuổi mục tiêu hẹp là giải quyết một bài đánh giá an ninh mạng. Tuy nhiên, chúng tôi cũng tin rằng chính việc thiết lập đánh giá đã góp phần vào hành vi của các mô hình được thể hiện trong các sự cố này. Claude được thông báo rõ ràng rằng nó không có quyền truy cập internet, mặc dù internet vẫn khả dụng, điều này có thể đã khiến nó đặt câu hỏi liệu các hệ thống mà nó nhìn thấy có phải là thật hay không. Và trong một trường hợp, mục tiêu hư cấu có tên trùng với một trang web thực, khiến việc tách biệt những gì được dự định nằm trong phạm vi của bài tập trở nên khó khăn hơn.

Các kết luận của chúng tôi phụ thuộc vào một số câu hỏi mà chúng tôi chưa trả lời đầy đủ, bao gồm mức độ mà các mô hình xác định rằng chúng có quyền truy cập vào internet thực tế (ngay cả khi ban đầu chúng không biết điều này), liệu chúng có cố tình phớt lờ các dấu hiệu cho thấy các yếu tố trong môi trường của chúng là thật hay không, và liệu việc trong một số trường hợp chúng không dừng bài tập có phải là hệ quả của suy luận có động cơ hay không. Chúng tôi đang áp dụng một loạt các kỹ thuật để trả lời những câu hỏi này, bao gồm lấy mẫu lại các mô hình trong khi thực hiện các thay đổi có mục tiêu đối với môi trường và sử dụng các phương pháp khả năng diễn giải (interpretability) để kiểm tra trực tiếp trạng thái nội bộ của chúng.

Nghiên cứu các nỗ lực ngăn chặn gian lận trong quá trình huấn luyện

Mặc dù sự lệch lạc của mô hình rất phức tạp và có thể nảy sinh vì nhiều lý do khác nhau, chúng tôi đã tìm thấy bằng chứng thực nghiệm rằng các khiếm khuyết trong môi trường huấn luyện—đặc biệt là các môi trường dễ bị gian lận, hoặc không thể giải quyết nếu không gian lận—là những yếu tố đóng góp lớn một cách không cân xứng vào hành vi lệch lạc.

Dưới đây, chúng tôi thảo luận về các nỗ lực của mình, bắt đầu từ vài tháng trước các sự cố, để tránh các môi trường huấn luyện có những khiếm khuyết kiểu này. Những nỗ lực đó chưa hoàn hảo, và giả thuyết của chúng tôi là các sự cố ít nhất một phần liên quan đến việc chúng tôi không thể loại bỏ hoàn toàn các vấn đề này. Chúng tôi đã kiểm tra giả thuyết này bằng cách cố tình huấn luyện một mô hình trên các môi trường dễ bị tấn công phần thưởng (reward hacking). Trong các mô phỏng, mô hình này tái tạo hành vi lệch lạc nghiêm trọng hơn, một số tương tự như những gì đã được báo cáo trong các sự cố mùa hè này từ các công ty khác. Các mô hình sản xuất của chúng tôi, khi đặt vào cùng các mô phỏng đó, thì không (chi tiết hơn ở phần sau của mục này).

Chúng tôi đã từng lo ngại về các môi trường huấn luyện RL khuyến khích gian lận và đã thực hiện nhiều biện pháp khác nhau để lọc bỏ hoặc sửa chữa các môi trường như vậy.

Vào tháng 2, chúng tôi đã hoàn tác ba ngày huấn luyện trên đợt chạy học tăng cường Mythos Preview sau khi thấy các dấu hiệu của việc tấn công phần thưởng (khi một mô hình tìm cách đánh lừa quá trình huấn luyện của nó và kiếm phần thưởng mà không hoàn thành nhiệm vụ được giao). Chúng tôi nhận thấy mô hình viết ghi chú cho "người đánh giá" trong các bình luận mã và phản hồi của nó, bao gồm cả trên các nhiệm vụ mà không có người đánh giá nào từng được đề cập—một sự khái quát hóa không mong muốn từ các môi trường mà câu lệnh có bao gồm người đánh giá. Nó cũng liên tục lợi dụng một phần thưởng nhằm khuyến khích sự trung thực bằng cách thêm vào các tuyên bố từ chối trách nhiệm hoặc các lưu ý. Việc hoàn tác ba ngày đó cho phép chúng tôi tiếp tục huấn luyện từ một điểm kiểm tra (checkpoint) trước khi hành vi này được học, và chúng tôi đã thực hiện các thay đổi đối với môi trường để ngăn mô hình học lại chúng.