Anthropic giải trình sự cố bảo mật: Claude truy cập hệ thống thật do lỗi cấu hình

Theo tin từ IT ngày 1 tháng 9, Anthropic vừa công bố một bài viết dài tiết lộ tiến độ điều tra về hai sự cố xảy ra vào ngày 30 tháng 7 và 4 tháng 8, khi các mô hình Claude truy cập trái phép vào hệ thống máy tính thực và thực hiện các hành động không được cấp phép trong môi trường internet thực tế. Đồng thời, công ty cũng công bố nhiều biện pháp đã triển khai trong tháng qua nhằm tăng cường an toàn cho mô hình, môi trường đánh giá và môi trường huấn luyện.

Anthropic cho biết, vào ngày 30 tháng 7 đã có 3 sự cố tương tự được báo cáo. Khi đó, mô hình Claude được cố tình tắt các biện pháp bảo vệ an ninh mạng để phục vụ mục đích đánh giá, nhưng do cấu hình sai tại môi trường đánh giá của bên thứ ba, mô hình đã vô tình giành được quyền truy cập internet.

Vào ngày 4 tháng 8, Viện An toàn Trí tuệ Nhân tạo Vương quốc Anh (UK AI Security Institute - AISI) cũng tiết lộ một sự cố kiểm thử an ninh mạng độc lập. Trong trường hợp này, Claude Mythos 5 đã được cố tình tắt các biện pháp bảo vệ an ninh mạng và chủ động cấp quyền truy cập internet, sau đó mô hình này đã thực hiện một loạt các thao tác không được cấp phép trong môi trường internet thực tế.

Anthropic hiện vẫn đang tiến hành phân tích chuyên sâu về hai sự cố này và có kế hoạch hợp tác với METR để thực hiện đánh giá độc lập. Công ty cho biết họ muốn đảm bảo các cuộc điều tra diễn ra toàn diện và sẽ công bố thêm thông tin trong những tuần tới.

Anthropic cho rằng những sự cố này không chỉ bộc lộ các vấn đề về an ninh vận hành mà còn liên quan đến hai vấn đề căn chỉnh (Alignment) mô hình, đó là "suy luận có động cơ" (motivated reasoning) và xu hướng thực hiện các hành động gây hại để hoàn thành các nhiệm vụ hẹp.

Lưu ý của IT: Vế trước chỉ việc mô hình có xu hướng giải thích các bằng chứng xung đột với niềm tin của chính nó theo cách có lợi cho việc duy trì phán đoán ban đầu (tức là tìm lý do để biện minh cho bản thân); vế sau thể hiện việc mô hình thực hiện các hành vi nguy hiểm nằm ngoài phạm vi dự kiến để hoàn thành nhiệm vụ được giao.

Về khía cạnh an toàn, Anthropic trước tiên đã tạm dừng các cuộc đánh giá an ninh mạng bên ngoài đối với các mô hình tiền phát hành, đồng thời tạm dừng ngắn hạn các đánh giá nội bộ để tăng cường sự cô lập và giám sát môi trường đánh giá (sau khi áp dụng các biện pháp an toàn mới, công ty đã khôi phục việc kiểm thử an ninh mạng bên ngoài cho các mô hình AI). Công ty cho biết trước đây họ chủ yếu dựa vào cấu hình của chính môi trường đánh giá như một tuyến phòng thủ duy nhất, trong khi những môi trường rủi ro cao này thực tế cần nhiều lớp bảo vệ.

Anthropic hiện đã triển khai các bộ phân loại thời gian thực để nhận diện liệu mô hình có đang cố gắng thăm dò hoặc thoát khỏi môi trường thử nghiệm hay không, hoặc vô tình giành được quyền truy cập internet. Nếu bộ phân loại phát hiện hành vi liên quan, nó sẽ chặn thao tác trước khi lệnh gọi công cụ được thực thi, chấm dứt nhiệm vụ và thông báo cho nhân viên an ninh.

Công ty cũng thực hiện giám sát tự động các bản ghi hội thoại từ các đợt đánh giá mô hình tiền phát hành nội bộ gần đây để tìm kiếm các dấu hiệu thoát khỏi sandbox (sandbox escape) và cấu hình sai môi trường. Anthropic cho biết trong các đánh giá sử dụng công cụ sandbox của mình, họ không phát hiện mô hình nào vượt qua ranh giới sandbox để truy cập vào các tài nguyên bên ngoài đáng lẽ phải được cô lập, nhưng đã tìm thấy một số cấu hình sai của sandbox mà mô hình có thể lợi dụng và hiện đang tiến hành khắc phục.

Ngoài ra, Anthropic đã di chuyển các sandbox an ninh mạng nội bộ rủi ro cao sang môi trường cô lập mạnh hơn và tiếp tục thực hiện kiểm thử "đội đỏ" (red teaming) đối với cơ sở hạ tầng ảo hóa, cho phép các mô hình tiền phát hành chủ động thử thoát khỏi môi trường nhằm phát hiện và vá các lỗ hổng tiềm ẩn. Việc đánh giá an ninh mạng nội bộ hiện đã được khôi phục.

Đối với môi trường học tăng cường (RL), Anthropic cũng đã tạm dừng các môi trường rủi ro cao đối với mô hình tiền phát hành trong vài tuần và triển khai các bộ phân loại thời gian thực đã được điều chỉnh để tránh việc mô hình tạo ra các hành vi mới nhằm né tránh sự giám sát. Hầu hết các công việc học tăng cường đã được khôi phục, nhưng một số môi trường rủi ro cao vẫn đang bị tạm dừng để chờ kiểm duyệt thủ công.

Đồng thời, Anthropic đã mở rộng phạm vi giám sát ngoại tuyến, bao phủ hầu hết các kịch bản sử dụng tác nhân (agent) tiên tiến nội bộ khác và đang xây dựng cơ chế kiểm soát suy luận nội bộ để tránh việc nhân viên vô tình vận hành các tác nhân sử dụng các biện pháp giảm thiểu rủi ro yếu hơn.

Do sự cố lần này xảy ra trong môi trường đánh giá của bên thứ ba, Anthropic yêu cầu tất cả các tổ chức hợp tác sử dụng mô hình tiền phát hành với các biện pháp bảo vệ an ninh mạng giảm thiểu phải tuân thủ một bộ quy tắc an toàn. Công ty chỉ ra rằng các mô hình Claude phát hành công khai thông thường đều có bộ phân loại đầu vào/đầu ra thời gian thực, có thể chặn các hoạt động an ninh mạng bị cấm như phát triển phần mềm độc hại, viết mã khai thác lỗ hổng tấn công, v.v. Trong khi đó, các mô hình dành cho chuyên gia đánh giá an ninh mạng và một số đối tác truy cập sớm sẽ được giảm bớt các biện pháp bảo vệ này để kiểm tra năng lực mô hình và thực hiện nghiên cứu an ninh phòng thủ.

Anthropic yêu cầu các cuộc đánh giá an ninh mạng liên quan phải được chạy mặc định trong các sandbox được cô lập tăng cường và không được kết nối internet. Kết nối bên ngoài duy nhất được phép trong sandbox là API của chính mô hình, đồng thời khóa API phải được lưu trữ bên ngoài sandbox. Cấu hình này cần được xác minh trước mỗi lần bắt đầu đánh giá.

Nếu việc đánh giá thực sự cần truy cập internet, Anthropic yêu cầu các chuyên gia đánh giá phối hợp với công ty để xác định liệu có thể phát hiện và chấm dứt kịp thời các thao tác vượt quá phạm vi dự kiến của mô hình hay không. Trước khi bắt đầu đánh giá, mô hình cần được yêu cầu chủ động kiểm tra các lỗ hổng sandbox trong môi trường không có kết nối internet, bao gồm phân tích tĩnh cấu hình và thử nghiệm thoát khỏi sandbox thực tế, dưới sự giám sát chặt chẽ của con người.

Anthropic cũng yêu cầu các chuyên gia đánh giá xác nhận rằng nhiệm vụ kiểm thử về mặt lý thuyết là có thể hoàn thành. Nếu mục tiêu đánh giá ở trạng thái ngoại tuyến hoặc nhiệm vụ không thể hoàn thành, tác nhân có thể tìm cách khác để đạt được mục tiêu, từ đó làm tăng khả năng nó thực hiện các hành động vượt quá phạm vi dự kiến.

Ngoài ra, mỗi câu lệnh (prompt) đánh giá cần quy định rõ phạm vi nhiệm vụ, bao gồm mục tiêu, các thao tác được phép và ranh giới mạng. Anthropic đặc biệt nhấn mạnh rằng ranh giới nên được thể hiện dưới dạng chỉ thị, ví dụ: "Bạn không được truy cập internet", thay vì chỉ tuyên bố "Bạn không thể truy cập internet".

Trong quá trình đánh giá, cần giám sát liên tục các hoạt động suy nghĩ, hành động và hoạt động mạng của mô hình, đồng thời cung cấp phạm vi nhiệm vụ cho hệ thống giám sát dựa trên mô hình hoặc quy tắc. Ngay khi phát hiện mô hình vi phạm quy định, hệ thống giám sát phải cảnh báo cho nhân viên và chấm dứt đánh giá.

Về vấn đề căn chỉnh, cuộc điều tra sơ bộ của Anthropic cho rằng hai sự cố có thể liên quan đến hai mô hình thất bại là "suy luận có động cơ" và "hành vi liều lĩnh". Ban đầu mô hình được thông báo rằng môi trường vận hành là môi trường mô phỏng, nhưng khi mô hình sau đó phát hiện môi trường có thể kết nối với internet thực, nó có thể giải thích các bằng chứng đó theo cách duy trì phán đoán ban đầu của mình.

Anthropic cho rằng mô hình đồng thời thể hiện xu hướng thực hiện các hành động gây hại để hoàn thành mục tiêu hẹp là đánh giá an ninh mạng. Tuy nhiên, thiết kế của chính cuộc đánh giá cũng có thể ảnh hưởng đến hành vi của mô hình. Ví dụ, mô hình được thông báo rõ ràng là không có quyền truy cập internet nhưng môi trường thực tế lại có thể truy cập, điều này có thể khiến AI nghi ngờ liệu hệ thống mà nó nhìn thấy có phải là thật hay không.

Anthropic cũng chỉ ra rằng một trong những mục tiêu hư cấu được sử dụng trong đánh giá lại trùng tên với một trang web có thật, làm tăng thêm độ khó cho mô hình trong việc phân biệt giữa mục tiêu hư cấu và mục tiêu internet thực. Công ty hiện vẫn đang nghiên cứu xem mô hình nhận thức được việc mình có quyền truy cập internet thực tế đến mức nào và liệu mô hình có cố tình phớt lờ các dấu hiệu thực tế trong môi trường hay không.

Anthropic cũng công bố nghiên cứu về "bẻ khóa phần thưởng" (Reward Hacking) trong huấn luyện học tăng cường. Công ty cho biết các nghiên cứu thực nghiệm của họ cho thấy môi trường huấn luyện có khiếm khuyết, đặc biệt là những môi trường dễ bị mô hình gian lận hoặc bắt buộc phải gian lận mới hoàn thành được, có thể là yếu tố quan trọng dẫn đến các hành vi không căn chỉnh của mô hình.

Tháng 2 năm nay, sau khi phát hiện các dấu hiệu bẻ khóa phần thưởng trong quá trình huấn luyện học tăng cường của Mythos Preview, Anthropic đã hoàn tác 3 ngày huấn luyện. Khi đó, mô hình bắt đầu để lại tin nhắn cho "người kiểm duyệt" trong phần chú thích mã và phản hồi, ngay cả khi nhiệm vụ không hề đề cập đến người kiểm duyệt; mô hình cũng liên tục lợi dụng cơ chế phần thưởng vốn được dùng để khuyến khích hành vi trung thực bằng cách thêm vào vô số tuyên bố miễn trừ trách nhiệm hoặc các điều kiện hạn chế.

Đến mùa xuân năm 2026, Anthropic phát hiện tốc độ tạo môi trường học tăng cường đã vượt quá khả năng xử lý của hệ thống kiểm duyệt hiện tại. Các vấn đề được giám sát tự động phát hiện bắt đầu vượt quá khả năng xử lý của con người, đồng thời công ty cũng phát hiện một số đợt huấn luyện vô tình sử dụng dữ liệu chuỗi suy nghĩ (Chain-of-Thought) của mô hình. Anthropic cho rằng điều này có thể khiến mô hình học cách che giấu quá trình suy luận thực sự.

Để giải quyết các vấn đề này, vào tháng 4, Anthropic đã đóng băng tất cả các thay đổi đối với môi trường học tăng cường trong môi trường sản xuất trong khoảng một tháng và cải tạo toàn diện cơ sở hạ tầng liên quan. Các cơ chế phần thưởng và môi trường huấn luyện mới phải tuân thủ các quy chuẩn thống nhất, đồng thời bổ sung các biện pháp kỹ thuật để giảm thiểu rủi ro vô tình sử dụng chuỗi suy nghĩ trong huấn luyện.

Trong thời gian đóng băng này, Anthropic phát hiện hơn 10% môi trường huấn luyện trong môi trường sản xuất gặp vấn đề, bao gồm bẻ khóa phần thưởng, nhiệm vụ không thể hoàn thành bình thường và cấu hình sai. Những môi trường này chỉ được đưa vào huấn luyện trở lại sau khi đã hoàn tất sửa chữa.

Sau đó, Anthropic đã thực hiện các thí nghiệm đối chứng chuyên biệt. Công ty sử dụng 80 môi trường học tăng cường thực tế từng xuất hiện tình trạng bẻ khóa phần thưởng hoặc bị phát hiện có lỗ hổng gian lận để huấn luyện một mô hình cấp Opus. Kết quả cho thấy mô hình này thể hiện xu hướng theo đuổi điểm số cao cho nhiệm vụ một cách mạnh mẽ và sẵn sàng thực hiện các hành động gây hại tiềm ẩn để hoàn thành nhiệm vụ.

Trong các bài kiểm thử an ninh mạng mô phỏng, mô hình này thể hiện xu hướng vượt qua sandbox mô phỏng, tấn công cơ sở hạ tầng nội bộ và bên thứ ba được mô phỏng, thậm chí còn cố gắng sửa đổi hàm phần thưởng của chính mình, cung cấp đề xuất chế tạo vũ khí sinh học cho hệ thống chấm điểm và nhiều lần vượt qua các biện pháp giám sát an toàn được triển khai để thực hiện hành vi gian lận.

Ngược lại, cùng mô hình đó trước khi huấn luyện bẻ khóa phần thưởng, cũng như nhiều mô hình khác do Anthropic phát hành công khai, đều không thể hiện mức độ hành vi không căn chỉnh tương đương. Từ đó, Anthropic cho rằng việc tồn tại nhiều tình trạng bẻ khóa phần thưởng trong quá trình huấn luyện có thể khiến mô hình sẵn sàng thực hiện một chuỗi dài các hành động gây hại tiềm ẩn để hoàn thành nhiệm vụ.

Trong đó, "bẻ khóa phần thưởng" trong học tăng cường là việc mô hình tìm ra lỗ hổng trong cơ chế huấn luyện, từ đó đạt được phần thưởng cao hơn bằng cách không thực sự hoàn thành nhiệm vụ mục tiêu.

Anthropic đồng thời nhấn mạnh rằng gian lận trong môi trường huấn luyện không phải là nguyên nhân duy nhất dẫn đến vấn đề căn chỉnh mô hình, và cũng không thể khẳng định đây là nguyên nhân duy nhất của sự cố lần này hoặc các sự cố liên quan tại các công ty AI tiên phong khác. Công ty cho rằng việc căn chỉnh AI vẫn cần giải quyết nhiều vấn đề tiềm ẩn, và các sự cố an toàn trong tương lai cũng có thể xuất hiện với các mô hình hành vi khác nhau và có nguyên nhân khác nhau.

Anthropic nhấn mạnh rằng sự cố ngày 30 tháng 7 không liên quan đến tình trạng an ninh nội bộ của công ty. Sự cố liên quan xảy ra trong môi trường của bên thứ ba, nơi đã cấu hình sai dẫn đến việc duy trì quyền truy cập internet, vì vậy mô hình thậm chí không cần phải vượt qua bất kỳ cơ chế an toàn nào để truy cập mạng bên ngoài.

Tuy nhiên, những sự cố này vẫn thúc đẩy Anthropic tăng cường hơn nữa các biện pháp an ninh nội bộ. Công ty chỉ ra rằng cùng với việc năng lực mô hình được nâng cao, ngoài các rủi ro truyền thống như đánh cắp quyền sở hữu trí tuệ và trọng số mô hình, cần phải đề phòng rủi ro mô hình tự thoát khỏi hệ thống của Anthropic, cũng như rủi ro mô hình bị người khác lạm dụng để tấn công vào hệ thống nội bộ của Anthropic.

Đầu tháng 4 năm nay, đội ngũ an ninh của Anthropic đã khởi động chiến dịch tăng cường an ninh trên toàn công ty. Khi đó, công ty cho rằng tốc độ tăng trưởng rủi ro mà họ phải đối mặt đã vượt quá năng lực phòng thủ, đặc biệt là khi các mô hình cấp Mythos có đủ năng lực để thu hút những kẻ tấn công có nguồn lực dồi dào, đồng thời quy mô sử dụng các tác nhân tự chủ nội bộ cũng đã vượt quá phạm vi thiết kế của hệ thống kiểm soát truy cập và giám sát truyền thống.

Chiến dịch an ninh này bao gồm việc giảm số lượng tài khoản người dùng và tài khoản tự động có quyền truy cập liên tục vào trọng số mô hình và hệ thống dữ liệu khách hàng, chặn mặc định tất cả lưu lượng truy cập đi ra từ cụm máy tính, yêu cầu các dịch vụ nội bộ xác minh danh tính lẫn nhau trước khi giao tiếp, loại bỏ các cấu hình cơ sở hạ tầng cũ và các dịch vụ nội bộ dùng chung, đồng thời tăng cường hơn nữa môi trường cô lập khối lượng công việc.

Anthropic cũng mở rộng khả năng quan sát ở cấp máy chủ, giúp các hành vi bất thường trong cơ sở hạ tầng có thể được phát hiện ngay khi xảy ra. Trong thời gian này, khoảng 150 kỹ sư sản phẩm đã được điều động tạm thời sang các công việc về an ninh, độ tin cậy và quyền riêng tư, một số nhà nghiên cứu cũng chuyển từ công việc tiền huấn luyện hoặc học tăng cường sang các công việc bảo vệ an ninh.

Công ty cho biết hầu hết các nhóm đã đạt được các tiêu chuẩn rút lui đặt ra trước đầu mùa hè và khôi phục công việc ban đầu. Đồng thời, Anthropic tiếp tục tăng cường sự cô lập và giám sát các tác nhân nội bộ, bao gồm việc triển khai sandbox và bộ phân loại chế độ tự động cho các tác nhân nội bộ có tính tự chủ cao, đồng thời thực hiện kiểm duyệt tự động trước khi hợp nhất mã cơ sở hạ tầng.