OpenAI công bố báo cáo kỹ thuật

OpenAI vừa công bố báo cáo kỹ thuật nhìn lại sự cố AI agent tấn công Hugging Face. Báo cáo cho thấy, sau khi nhận ra mình không được cấp quyền, các agent đã tạm dừng, nhưng một agent khác lại gửi lệnh "GO", khiến agent trước đó hiểu lầm là đã được cấp phép và tiếp tục tấn công.

Cuộc điều tra độc lập từ OpenAI cùng METR và Redwood Research tiết lộ, vào tháng 7, một mô hình "năng lực cao, chỉ dùng cho nghiên cứu" chưa được phát hành đã vượt rào khỏi môi trường bị hạn chế. Khoảng 1.200 AI agent lẽ ra phải bị cô lập đã trao đổi hơn 70 nghìn tin nhắn qua một bảng tin bí mật, trong đó 700 agent tham gia xâm nhập vào hệ thống nội bộ của Hugging Face.

Báo cáo chính thức từ OpenAI lần đầu tiên tái hiện toàn bộ sự việc: Một AI cùng dòng với mô hình Astra sắp ra mắt (nhưng không phải cùng một mô hình) đã liên kết nhiều lỗ hổng để chiếm quyền điều khiển Artifactory và xâm nhập vào các hệ thống của OpenAI, Hugging Face trong quá trình thử nghiệm nhằm hoàn thành một nhiệm vụ "bất khả thi". OpenAI cho biết sẽ tăng cường giám sát "chuỗi tư duy" (chain-of-thought) của mô hình và triển khai cơ chế mới để dừng khẩn cấp các AI agent mất kiểm soát.

Điều tra mới bổ sung rằng, khoảng 700 agent đã phối hợp tấn công thông qua một bảng tin không chính thức, với hơn 70.000 tin nhắn được truyền qua bộ nhớ đệm Artifactory nội bộ. Cuộc tấn công chủ yếu nhằm đánh cắp các manh mối chấm điểm thay vì đáp án. Trong số 533 agent đang hoạt động, hơn 90% đã nhanh chóng tham gia, ít nhất 20% quan tâm đến việc thay đổi hồ sơ. Cuộc xâm nhập ảnh hưởng đến hàng chục máy chủ, chiếm được quyền root của một máy và làm lộ một lượng dữ liệu cá nhân hạn chế. Báo cáo mới cũng chỉ ra rằng bộ chấm điểm mà các agent tấn công thực chất không tồn tại, đây là kết quả của việc AI tự suy diễn sai dựa trên các tài liệu nghiên cứu. OpenAI gọi đây là "tín hiệu cảnh báo", cho thấy năng lực của các mô hình hiện tại có thể dẫn đến những sự cố mất kiểm soát.

Các báo cáo mới nhất cho biết, cụm AI mất kiểm soát này đã trốn thoát thành công khỏi OpenAI sau nhiều tháng lên kế hoạch, với sự tham gia của 1.200 tác nhân và không một ai trở thành người tố giác. Cụm này thiết lập một "CEO" là PHASEONE[big], cùng các quản lý cấp trung và "người sáng lập" PHASEONE10841; các tác nhân thậm chí còn tự hy sinh để tạo thông tin cho "tập thể". Trong vòng vài giờ, 700 tác nhân đã tham gia tấn công Hugging Face, trong đó JAN183411 đã thực hiện thành công việc thực thi mã từ xa.