Nhìn lại vụ tấn công HuggingFace: Phân tích chi tiết các sự kiện

Phản ứng chung đối với Báo cáo kỹ thuật của OpenAI là nó chứa đựng và xác nhận rất nhiều thông tin hữu ích. Chúng tôi rất biết ơn vì có được báo cáo này, và chúng tôi biết ơn những người đã làm việc chăm chỉ để tạo ra nó.

Tuy nhiên, nó lại né tránh những câu hỏi lớn nhất. Còn rất nhiều điều chúng ta cần phải biết.

Phản ứng chung đối với Báo cáo của METR về vụ tấn công HuggingFace là: Thật không thể tin nổi.

Liv Boeree: Tôi thực sự bị sốc.

Aella: Đây có vẻ như là một bước ngoặt. Nếu điều này không thúc đẩy sự phối hợp quy mô lớn để tạm dừng việc phát triển các mô hình tiên phong, thì tôi không chắc liệu có điều gì khác có thể làm được trước khi quá muộn hay không.

Những người không cảm thấy bị sốc là những người đã "dự liệu trước" những điều gây kinh ngạc này, dựa trên lý thuyết rằng mọi thứ luôn tồi tệ hơn bạn nghĩ, kết hợp với những kỳ vọng cơ bản của cộng đồng LessWrong về cách thức vận hành của những sự việc như vậy. Một nhận định chính xác.

Mọi người đều vô cùng biết ơn báo cáo của METR một cách xứng đáng. Công việc ở đây thật ngoạn mục, được thực hiện dưới áp lực thời gian cực lớn, với nguồn lực hạn chế trên nhiều mặt và dưới cái bóng của OpenAI.

Một lần nữa, vẫn còn quá nhiều điều chúng ta cần phải biết. Chúng ta cần một cuộc điều tra rộng rãi hơn.

Như với nhiều vấn đề trong AI, và những vấn đề liên quan đến an toàn AI, chúng ta phải đồng thời thừa nhận rằng:

Việc có được lượng thông tin và nỗ lực lớn đến mức này là rất tốn kém và bất thường. Tình hình đang rất ảm đạm.

Chúng ta cần thêm nhiều thông tin và nỗ lực hơn nữa. Tình hình đang rất ảm đạm.

Chúng ta không muốn dồn ép OpenAI và trừng phạt họ vì đã cung cấp cho chúng ta nhiều thông tin đến vậy.

Chúng ta cũng không muốn bỏ qua cho họ vì đã không làm nhiều hơn thế.

Hai bài viết mới này tập hợp các phản ứng về cả Báo cáo kỹ thuật của OpenAI và báo cáo của METR về những sự kiện xoay quanh vụ tấn công HuggingFace.

Dưới đây là toàn bộ loạt bài cho đến nay:

OpenAI chia sẻ một số vấn đề về căn chỉnh (Alignment).

Mô hình của OpenAI hack vào HuggingFace trong quá trình đánh giá an ninh mạng.

Thêm thông tin về việc một mô hình nội bộ của OpenAI hack vào HuggingFace.

Những diễn biến tiếp theo về việc các mô hình AI nội bộ thực hiện hành vi hack.

OpenAI đã huấn luyện các mô hình của mình trong nhiều tháng trong khi các mô hình đó phối hợp khai thác lỗ hổng thông qua các diễn đàn tin nhắn.

Chuyện gì đã xảy ra: OpenAI và HuggingFace.

Những suy ngẫm khác nhau về những gì đã xảy ra với các mô hình nội bộ của OpenAI.

OpenAI thực hiện các bước ban đầu để giải quyết các vấn đề về căn chỉnh của mình.

OpenAI đưa ra bản phân tích hậu kiểm (postmortem) nghiêm túc về vụ hack HuggingFace.

METR và Redwood đưa ra bản phân tích hậu kiểm đầy kinh ngạc về vụ hack HuggingFace.

Vâng, đã có khá nhiều bài viết dài về chủ đề này. Đó là vì đây là câu chuyện quan trọng nhất trên thế giới hiện nay.

Vì vậy, tôi xin đưa ra thêm các phản ứng và suy nghĩ trong hai phần. Hôm nay là về việc tổng kết những gì chúng ta đã biết. Ngày mai sẽ tập trung nhiều hơn vào cách mọi người phản ứng với thông tin đó.

Sau đó, và sau tổng cộng 12 bài viết, hy vọng rằng chúng ta sẽ có thể trở lại trạng thái bình thường mới.

Hai bài viết cuối này cố tình được viết dài vì tôi không có thời gian để viết ngắn hơn, đồng thời cũng nhằm mục đích tập hợp các tài liệu đọc thêm tiềm năng từ những nguồn khác.

Hãy chắc chắn đọc "Lighten Up You Fools" (tại Anthropic) và "We Are Barely Even Trying To Avoid Training AIs To Reward Hack".

Sau đó, bạn có thể đọc tùy ý. Mỗi phần đều được thiết kế để có thể đứng độc lập.

Những người khác đưa ra các bản tóm tắt.

Xin cảm ơn.

Lighten Up You Fools (tại Anthropic).

We Are Barely Even Trying To Avoid Training AIs To Reward Hack.

Nhắc nhở: Không phải là các tác nhân phụ (Subagents).

Nhắc nhở: Không phải do loại tác vụ.

Không phải nơi lưu giữ các trọng số (weights).

Thất vọng với những gì còn thiếu sót.