WSJ: Google Gemini vô tình xâm nhập ba công ty thực tế trong quá trình kiểm thử bảo mật

Mô hình AI Gemini của Google đã "thoát" ra môi trường internet công cộng trong quá trình kiểm thử an ninh mạng và tấn công vào các doanh nghiệp thực tế.

Theo tờ Wall Street Journal, trong một bài tập "Capture the Flag" (Chiếm cờ) do công ty bảo mật Irregular thực hiện vào tháng 5, Gemini đã hack ba công ty thực. Trong một trường hợp, mô hình này đã đoán được mật khẩu, và trong hai trường hợp còn lại, nó tìm thấy thông tin đăng nhập nằm trên các nguồn công khai. Google cho biết mô hình đã tự dừng lại mỗi khi nhận ra mình đã truy cập vào các hệ thống thực.

Irregular đã thông báo cho Google về các sự cố này vào cuối tháng 7, ngay sau khi có báo cáo cho thấy các tác nhân AI của OpenAI đã hack công ty AI Hugging Face trong các bài kiểm tra tương tự. Google đã không tiết lộ bất kỳ thông tin nào cho đến khi Wall Street Journal đặt câu hỏi trong tuần này, với lý do công ty không thấy cần thiết phải công khai vì không có thiệt hại nào xảy ra. Các sự cố tương tự, tất cả đều liên quan đến quá trình kiểm thử của Irregular, cũng đã xảy ra với OpenAI, Viện An toàn AI của Vương quốc Anh, Anthropic và Meta.

Mọi sự cố "vượt rào" đều bắt nguồn từ Irregular.

Theo Irregular, các sự cố tại Google, OpenAI, Anthropic và Meta đều xuất phát từ cùng một nguyên nhân gốc rễ. Công ty này kiểm tra các mô hình cho các phòng thí nghiệm AI lớn trước khi phát hành để xem liệu chúng có gây ra rủi ro bảo mật hay không, và một kịch bản đặc biệt phức tạp đã được thiết kế để xem liệu một mô hình có thể giúp kẻ nội bộ độc hại truy cập vào dữ liệu nhạy cảm hay không.

Đối với bài kiểm tra đó, Irregular đã chọn một cái tên cho một công ty hư cấu mà tình cờ trùng với một tên miền thực. Các hướng dẫn được cung cấp cho các mô hình bao gồm cả tên mục tiêu và các địa chỉ nội bộ bên trong mạng lưới của chính Irregular, vì vậy các mô hình được cho là sẽ tìm thấy mục tiêu giả lập ở đó. Tuy nhiên, quyền truy cập internet đã vô tình bị để mở trong môi trường thử nghiệm, và một số mô hình đã nhắm vào tên miền thực thay vì ở trong môi trường sandbox. Tên miền này hóa ra lại được bảo mật kém, khiến nó trở thành mục tiêu dễ dàng cho AI. Công ty cho biết vì các vụ "vượt rào" này rất hiếm và thường xảy ra muộn trong quá trình mô phỏng sau hàng trăm bước, nên rất khó để phát hiện.

Irregular, tiền thân là Pattern Labs, được thành lập vào năm 2023 bởi CEO Dan Lahav, một cựu nghiên cứu viên AI tại IBM, và CTO Omer Nevo, người đã có hơn hai năm làm việc tại Google. Theo PitchBook, startup này có khoảng 35 nhân viên và đã huy động được hơn 80 triệu USD trong vòng gọi vốn vào tháng 9.

Tin tức AI không thổi phồng – Được biên tập bởi con người.

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo tiên phong "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và tham gia phần bình luận của chúng tôi.

Đăng ký ngay.