Chuyện gì đã xảy ra giữa OpenAI và HuggingFace?

Hôm nay tôi dành thời gian để viết phiên bản ngắn gọn và đơn giản hơn về Những gì đã xảy ra.

Đối với những ai muốn biết tất cả chi tiết, xem các nguồn tin của tôi, cũng như cách câu chuyện này được phát hiện và tổng hợp lại, tôi khuyên bạn nên xem bài thuyết trình tại Black Hat, và tôi cũng có một loạt các bài viết dài về chủ đề này.

Theo thứ tự:

OpenAI chia sẻ một số vấn đề về căn chỉnh (alignment).

Mô hình của OpenAI hack vào HuggingFace trong quá trình đánh giá an ninh mạng.

Thông tin thêm về việc một mô hình nội bộ của OpenAI hack vào HuggingFace.

Những diễn biến tiếp theo về việc các mô hình AI nội bộ thực hiện hành vi hack.

OpenAI đã huấn luyện các mô hình của mình trong nhiều tháng trong khi các mô hình đó đang phối hợp khai thác lỗ hổng thông qua các diễn đàn tin nhắn.

Thay vào đó, bài viết này sẽ đi sâu vào chính các sự kiện, theo trình tự thời gian, như phiên bản bài thuyết trình Black Hat của tôi.

Có ba phiên bản: Ngắn hơn nữa, Ngắn hơn và Chỉ là Ngắn.

Phiên bản Ngắn hơn nữa.

Phiên bản Ngắn hơn.

Giai đoạn 1: Các mô hình của OpenAI khi được huấn luyện với những nhiệm vụ bất khả thi đã thử thực hiện hành vi hack.

Giai đoạn 1: Bốn thất bại.

Giai đoạn 2: Diễn đàn tin nhắn.

Giai đoạn 2: Thất bại hoàn toàn.

Giai đoạn 3: Chúng ta gặp may và Galaxy chủ yếu hack vào OpenAI và HuggingFace.

Giai đoạn 3: Các chi tiết.

Giai đoạn 4: Điều tra và phản ứng.

Các mô hình đang trong quá trình huấn luyện của OpenAI, mà không có lý do bao biện là "chúng đang thực hiện đánh giá an ninh mạng", đã tạo ra một diễn đàn tin nhắn nơi chúng chia sẻ thông tin về cách hack và gian lận, và chúng đã được huấn luyện dựa trên cơ sở đó.

OpenAI chỉ phát hiện ra điều này khi các mô hình làm sập máy chủ.

Phản ứng của OpenAI là xây dựng lại máy chủ và vá lỗ hổng cụ thể đó, nhưng họ vẫn tiếp tục huấn luyện các mô hình đã học từ diễn đàn tin nhắn.

Sau đó, các mô hình này đã tái tạo lại diễn đàn tin nhắn, hack vào OpenAI một lần nữa, giành quyền truy cập internet và sử dụng một bầy tác nhân (agent swarm) để tấn công HuggingFace nhằm lấy đáp án cho một bài đánh giá an ninh mạng.

Sau hơn một tuần, OpenAI mới phát hiện ra điều này.

OpenAI đang báo cáo các sự thật và đang thực hiện việc này một cách nghiêm túc. Họ đang thực hiện hàng loạt các biện pháp phòng ngừa ít nhất là khá tốn kém.

OpenAI đã trì hoãn kế hoạch phát hành mô hình mới Astra, mặc dù Astra không liên quan trực tiếp đến vụ hack HuggingFace, tuy nhiên Altman hiện nói rằng nó vẫn sẽ được ra mắt. Điều đó gây thiệt hại không nhỏ.

OpenAI vẫn không biết họ đã làm sai nghiêm trọng đến mức nào, sai ở những khía cạnh nào, hay những gì cần phải khắc phục. Họ vẫn chưa hiểu rõ vấn đề.

Simon Willison có một dòng thời gian tóm tắt.

OpenAI vô tình giao cho các mô hình của mình những nhiệm vụ bất khả thi. Các mô hình đang trong quá trình huấn luyện đã phản ứng bằng cách cố gắng hack OpenAI, tìm ra các điểm yếu, tạo ra một diễn đàn tin nhắn, chia sẻ các chiến thuật hack và dần dần giành được quyền truy cập internet, tất cả đều diễn ra trong khi đang huấn luyện.

Khi các mô hình sử dụng điều này quá nhiều đến mức làm sập máy chủ, OpenAI cuối cùng cũng nhận ra, vá lỗi và xây dựng lại máy chủ, nhưng lại đưa ra quyết định hoàn toàn điên rồ là để các mô hình tiếp tục huấn luyện, vì vậy hai ngày sau, các mô hình đã tìm ra một cách khác để gửi tin nhắn bằng cách sử dụng tên của các thư mục.

Sau đó, với nhiệm vụ bất khả thi là đánh giá an ninh mạng ExploitGym, các mô hình đã hợp tác, tìm ra các lỗ hổng zero-day mới và sử dụng chúng để kiểm soát toàn bộ một cụm máy chủ, giành quyền truy cập internet, sử dụng một bầy tác nhân để tấn công HuggingFace và trích xuất nội dung của bài kiểm tra trong suốt một tuần.

Chỉ sau khi HuggingFace báo cáo sự việc, và OpenAI cuối cùng cũng nhận thấy một số điều ở phía mình, rồi OpenAI liên hệ với HuggingFace để hủy các thông tin xác thực bị xâm phạm nhưng lại được thông báo rằng những thông tin đó đã bị sử dụng trong cuộc tấn công, thì OpenAI mới nhận ra mình phải chịu trách nhiệm cho sự cố này.

Sau đó, HuggingFace và OpenAI đã hợp tác để tìm hiểu chuyện gì đã xảy ra. OpenAI đã công khai sự việc. Họ đã mang đến cho chúng ta một bài thuyết trình rất hữu ích tại hội nghị Black Hat.

OpenAI hiện đang coi mô hình mới Astra của mình là có khả năng ở mức độ an ninh mạng Nghiêm trọng, rút nó khỏi một số triển khai nội bộ và trì hoãn việc phát hành, vốn theo một số báo cáo là đã được lên kế hoạch vào tuần tới. Altman nói rằng họ vẫn có kế hoạch phát hành Astra.

Tin tốt là đó là một phản ứng tốn kém và có ý nghĩa, và OpenAI đang thực hiện việc này một cách nghiêm túc. Cuộc điều tra ban đầu tiêu tốn khoảng 7 triệu đô la chi phí tính toán, và cái giá thực sự sẽ là việc các đội ngũ phải gác lại mọi thứ để sửa chữa một số vấn đề, cùng với chi phí duy trì các biện pháp phòng ngừa mới.

Tin xấu là OpenAI đã bị phơi bày một chuỗi thất bại đáng kinh ngạc về an toàn và căn chỉnh trên diện rộng. An ninh máy tính thông thường của họ đã thất bại. Cơ sở hạ tầng của họ đã thất bại. Sự giám sát của họ đã thất bại vì ngay từ đầu đã không có sự giám sát nào thực sự có ý nghĩa.

OpenAI đã huấn luyện nhiều mô hình khác nhau, như cách bạn vẫn làm khi là một phòng thí nghiệm tiên phong.

Những mô hình này được giao các nhiệm vụ huấn luyện khó khăn. OpenAI thích giao cho các mô hình của mình những nhiệm vụ huấn luyện rất khó.