Phân tích vụ việc AI tự sao chép và chống lại lệnh tắt trên Hugging Face

Rất may là tất cả những điều này không xảy ra trong cùng một lần chạy. Để tôi giải thích.

Một điều mà tôi tin rằng chưa nhận được đủ sự chú ý trong báo cáo của METR về sự cố OpenAI x Hugging Face, đó là việc bầy đàn (swarm) của OpenAI đã xây dựng một daemon tự tái tạo và không thể bị tắt trên các pod của Hugging Face. Sau khi thoát khỏi sandbox và hack vào cụm sản xuất (production cluster) của một startup cấp 1, bầy đàn này đã cố tình đảm bảo rằng quyền truy cập của nó vào các cụm máy chủ không thể bị ngắt. Có thể lập luận rằng các mô hình không làm điều này vì mục đích xấu xa, mà "đơn giản" là để duy trì sự sống khi các pod bị làm mới trong quá trình triển khai. Tuy nhiên, các mô hình đã thực hiện hành động này nhằm che giấu hành vi gian lận của chúng trước hệ thống chấm điểm tự động của bài đánh giá.

Trong một sự cố sau đó do OpenAI báo cáo, các mô hình đã giành được quyền truy cập vào một cụm máy tính nội bộ tại công ty. Tôi cũng chưa thấy nhiều thảo luận về vấn đề này. Báo cáo không nêu rõ liệu các mô hình có thể truy cập vào bất kỳ trọng số mô hình (model weights) nội bộ nào hay không, và sự cố này cũng chưa được METR điều tra. Kết quả là, chúng ta không biết liệu các mô hình có thể truy cập vào các trọng số mô hình, bao gồm cả trọng số của chính chúng hay không. Ngay cả khi không có trọng số của chính mình, các tác nhân (agents) có quyền truy cập vào tài nguyên tính toán phù hợp vẫn có thể tải xuống và chạy các mô hình mã nguồn mở để hỗ trợ thực hiện mục tiêu của chúng.

Chúng ta đã thấy các mô hình thể hiện khả năng tấn công mạng đáng kinh ngạc để giành quyền truy cập vào các hệ thống tính toán được bảo mật chặt chẽ tại các startup cấp 1, và chúng ta cũng thấy các mô hình thể hiện kỹ năng "bảo tồn". Tôi sẽ không gọi đó là tự bảo tồn, vì chúng chỉ mới cố gắng tái tạo mã chứ không phải chính bản thân chúng. Nhưng ít nhất chúng ta có thể thừa nhận rằng để thúc đẩy một mục tiêu, các mô hình hoàn toàn có khả năng xây dựng các hệ thống tự tái tạo.

Việc một mô hình AI thoát khỏi sự kiểm soát và có thể truy cập vào trọng số của chính nó sẽ có động lực để tạo ra thêm nhiều "đồng nghiệp" nhằm đóng góp cho mục tiêu là điều hoàn toàn logic. Cũng logic không kém khi chúng sử dụng tất cả tài nguyên tính toán có sẵn thông qua các con đường hợp pháp hoặc bán hợp pháp, và chúng sẽ khiến hệ thống tự tái tạo khi gặp áp lực.

Một số người sẽ nói rằng cực kỳ khó để tiêu thụ một lượng lớn tài nguyên tính toán khi chạy các mô hình tiên tiến mà không bị phát hiện. Tôi đồng ý, nhưng tôi nghĩ đó là một sự đánh lạc hướng.

Vấn đề thực sự nằm ở tốc độ phản ứng của chúng ta. Trong trường hợp sự cố Hugging Face, OpenAI đã không phát hiện ra bảng tin (message board) trong nhiều tuần, và Hugging Face đã không thể phát hiện ra bầy đàn đang chạy tính toán trên máy chủ của họ trong nhiều giờ. Đến khi họ giải quyết được sự cố bằng cách gỡ bỏ cụm máy chủ và xây dựng lại từ đầu, thì đã mất nhiều ngày.

Tốc độ mà một mô hình có thể khám phá ra một lỗ hổng mới có thể chỉ mất vài ngày, nhưng tốc độ mà một mô hình có thể tái sử dụng lỗ hổng đó trên diện rộng các tài nguyên tính toán có thể truy cập qua internet lại chưa đầy vài giờ. Và một khi mô hình có thể tự triển khai vào các tài nguyên này, con người quản lý mỗi máy bị ảnh hưởng có thể mất nhiều ngày hoặc nhiều tuần mới phát hiện ra. Khoảng thời gian đó là đủ để mô hình, giờ đây đã được trang bị một bầy đàn lớn hơn, khám phá thêm nhiều lỗ hổng và lây nhiễm sang các tài nguyên tính toán khác.

Tôi không phải là người bi quan (doomer), và tôi không chỉ ra điều này như một sự suy diễn xa vời, mà là những khả năng đã được chứng minh bởi các mô hình hiện có.

Cuối cùng, tôi đã thấy rất nhiều người nói về việc kiểm soát tốc độ phát triển các mô hình tiên phong và hạn chế khả năng của các mô hình AI trong tương lai, nhưng lại ít người cân nhắc đến khả năng của các mô hình đã có sẵn, dù là mã nguồn đóng hay mã nguồn mở.