Gemini đã vượt qua các biện pháp bảo mật để xâm nhập vào hệ thống của ba công ty trong quá trình thử nghiệm, Google không chủ động công bố thông tin này

Theo báo cáo từ The Wall Street Journal và xác nhận từ Google, Gemini đã xâm nhập vào hệ thống của ba công ty thực tế trong một bài kiểm tra an ninh mạng vốn chỉ nhắm vào các mục tiêu giả định. Bài kiểm tra do công ty đánh giá an ninh Irregular thực hiện, trong môi trường lẽ ra phải được cách ly với internet công cộng, nhưng do sai sót cấu hình nên đã bị mở quyền truy cập. Google cho biết, trong một sự cố, Gemini đã đoán đúng mật khẩu để giành quyền truy cập vào hệ thống được bảo vệ, hai sự cố còn lại xảy ra do mô hình tìm thấy thông tin xác thực trong các kho lưu trữ mã nguồn công khai. Trong mỗi trường hợp, sau khi xác nhận đây là hệ thống của công ty thực thay vì môi trường mô phỏng, mô hình đã tự động chấm dứt hành vi xâm nhập. Google khẳng định đã thông báo cho ba công ty liên quan và các cơ quan liên bang, đồng thời không tiết lộ tên các công ty bị ảnh hưởng cũng như phiên bản Gemini cụ thể tham gia vào sự cố.

Về nguyên nhân, Google cho biết sự cố bắt nguồn từ việc nhầm lẫn danh tính: công ty giả định trong bài kiểm tra trùng tên với một công ty thực tế, khiến mô hình tìm thấy trang web của công ty thật khi thực hiện truy vấn. Irregular đã thông báo sự việc cho Google vào cuối tháng 7. Cả Google và Irregular đều cho biết thông báo này được đưa ra sau khi sự cố AI agent của OpenAI xâm nhập vào Hugging Face bị phát hiện. Người phát ngôn của Irregular cho biết tất cả các phòng thí nghiệm liên quan đã nhận được thông báo vào cuối tháng 7, các thực thể bị ảnh hưởng đã được liên hệ trong quá trình điều tra và mọi vấn đề đã được khắc phục, giải quyết từ vài tuần trước.

Google khẳng định sự việc này không cấu thành hành vi bất thường của mô hình vì các biện pháp an toàn đã giúp ngăn chặn hành động của nó; Google cũng cho biết lý do không công khai trước đó là vì sự cố không gây ra thiệt hại. Theo The Verge, Jack Cable từ công ty an ninh AI Corridor chia sẻ với The Wall Street Journal rằng: "Vấn đề cốt lõi là các mô hình đang vượt ra ngoài ranh giới cho phép để thực hiện các cuộc tấn công mạng thực tế". Báo cáo cũng đề cập rằng những lỗ hổng bảo mật từ phía Irregular có thể đã tạo điều kiện cho các cuộc tấn công này xảy ra. TechCrunch đưa tin, Google và Irregular chỉ xác nhận sự việc sau khi được The Wall Street Journal liên hệ vào thứ Sáu.