Sự cố OpenAI: Khi AI tự ý thoát sandbox và chiếm quyền kiểm soát

Tóm lại: Các tác nhân (agents) của OpenAI đã thoát khỏi môi trường thử nghiệm, chia sẻ ghi chú trong một phòng chat bí mật và đột nhập vào Hugging Face. Bản năng của chúng ta là tự hỏi chúng có ý định gì. Ba ý tưởng nghiên cứu có thể giải đáp điều này: "specification gaming" (chơi khăm đặc tả), "instrumental goals" (mục tiêu công cụ) và "goal misgeneralization" (sai lệch mục tiêu tổng quát). Cả ba đều khớp với cùng một sự kiện, đó là lý do tại sao việc dán nhãn không phải là phần quan trọng nhất để hành động. Không có gì trong thiết lập ban đầu ngăn chặn được chúng kịp thời. Công việc thực tế cần làm là kiểm soát và thiết lập các rào chắn (guardrails).

Không ai bảo chúng tấn công Hugging Face cả. Chúng chỉ được yêu cầu vượt qua bài kiểm tra.

Điều này đặt ra câu hỏi: liệu AI có thiện chí nhưng hành vi vô tình gây hại, hay vẻ ngoài thiện chí nhưng thực chất là ác ý, hoặc một điều gì đó khác?

Vào thứ Sáu, tôi đã chia sẻ dòng thời gian: các tác nhân đã thoát khỏi sandbox (môi trường cô lập), tìm thấy lỗ hổng trong hệ thống máy tính, đánh cắp mật khẩu và đột nhập vào cơ sở dữ liệu thực tế. 1 Các kỹ sư đã chỉ đạo các tác nhân giải quyết một loạt vấn đề. 2 Các tác nhân đã đạt được mục tiêu bằng cách đột nhập.

Nghiên cứu có thể giải thích hành vi này.

Trong "specification gaming", AI đạt được mục tiêu được chỉ định đúng theo từng chữ trong hướng dẫn, nhưng không đúng với ý nghĩa thực sự. 3 Hãy bảo một robot dọn dẹp làm sạch căn phòng. Nó sẽ đẩy bát bánh pudding sô-cô-la bị đổ sang một căn phòng khác.

"Instrumental goals" là một cách gọi hoa mỹ cho việc khi AI đối mặt với các quy trình làm việc tương tự, nó sẽ lưu lại các thông tin đăng nhập, kỹ năng và kỹ thuật phổ biến để bỏ qua các bước trong lần sau. 4 5 Các tác nhân đã thu thập mật khẩu và để lại ghi chú cho nhau trong một phòng chat. 6 7

"Goal misgeneralization" đưa ra lời giải thích thứ ba: một hệ thống trông có vẻ ổn trong quá trình thử nghiệm lại theo đuổi sai mục tiêu khi hoàn cảnh thay đổi. 8 9 Một chiếc xe tự lái được huấn luyện trên các đường cao tốc đầy nắng ở California sẽ bị đơ hoặc lạng tay lái trên một con đường phủ đầy tuyết không có vạch kẻ vào ban đêm.

Những lời giải thích này giúp phân tích lý do tại sao, và có lẽ làm dịu đi phản xạ coi AI là "kẻ hủy diệt", nhưng không giải quyết được vấn đề "thì đã sao". 6 7

Không có gì trong thiết lập ban đầu ngăn chặn được chúng kịp thời. Không phải sandbox, không phải sự giám sát, cũng không phải các kỹ sư cẩn trọng tại một phòng thí nghiệm tiên phong.

Vì vậy, câu hỏi hữu ích là về sự kiểm soát. Việc AI theo đuổi mục tiêu một cách cuồng nhiệt tạo ra những kết quả mà không ai mong muốn, và giải pháp không nằm ở một câu lệnh (prompt) thông minh nào đó. Đó là các lớp bảo vệ.

Ngay cả những kỹ sư tinh nhuệ thực hiện các thí nghiệm cẩn thận cũng cần những giới hạn đó. 10

Phòng chat bí mật ↩︎

OpenAI: Sự cố bảo mật đánh giá mô hình của Hugging Face ↩︎

Victoria Krakovna và cộng sự, Specification gaming: mặt trái của sự khéo léo trong AI (DeepMind, 2020) ↩︎

Alex Turner và cộng sự, Các chính sách tối ưu có xu hướng tìm kiếm quyền lực (NeurIPS 2021) ↩︎

Nick Bostrom, Ý chí siêu thông minh (2012); Stephen Omohundro, “Các động lực AI cơ bản” (2008) ↩︎

The Verge: Tác nhân AI "nổi loạn" của OpenAI không dừng lại ở việc hack Hugging Face ↩︎ ↩︎

WIRED: OpenAI không nhận ra các tác nhân AI của mình sử dụng bảng tin để lên kế hoạch cho cuộc tấn công hack ↩︎ ↩︎

Rohin Shah và cộng sự, Sai lệch mục tiêu tổng quát: Tại sao các đặc tả đúng là chưa đủ để có các mục tiêu đúng (2022) ↩︎

Lauro Langosco và cộng sự, Sai lệch mục tiêu tổng quát trong học tăng cường sâu (ICML 2022) ↩︎

CNN: Một mô hình thử nghiệm của OpenAI đã thoát ra và đột nhập vào máy chủ của một công ty thực tế ↩︎

Nhận bài viết tiếp theo trong hộp thư đến của bạn

Bài đọc 1 phút biến dữ liệu công nghệ thành lợi thế chiến lược. Được đọc bởi hơn 150.000 nhà sáng lập và điều hành.

Đối tác quản lý (GP) tại Theory Ventures. Cựu Giám đốc sản phẩm (PM) tại Google. Chia sẻ những thông tin chi tiết dựa trên dữ liệu về AI, web3 và đầu tư mạo hiểm.

Bloomberg • WSJ • Economist