OpenAI công bố dòng thời gian vụ tấn công ngoài ý muốn vào Hugging Face

Ngày 8 tháng 8 năm 2026

Tôi nghĩ một trong những chi tiết thú vị nhất ở đây có lẽ nằm ẩn trong gạch đầu dòng đầu tiên đó:

Ngày 7 tháng 5: OpenAI bắt đầu một đợt huấn luyện mới cho một mô hình thử nghiệm chưa được công bố. (Họ có ý nói đến một đợt đánh giá chăng? Họ nói là đợt huấn luyện trong video, và sau đó đề cập đến một “tín hiệu phần thưởng để đánh giá mức độ hiệu quả”, nên tôi đoán đây thực sự là việc huấn luyện một mô hình, chứ không phải đánh giá một mô hình đã được huấn luyện sẵn.)

Càng nghĩ về điều này, tôi càng nghi ngờ rằng việc nó xảy ra trong quá trình huấn luyện một mô hình mới chính là chìa khóa để hiểu được điều gì đã xảy ra sai sót.

Trong RLVR - Reinforcement Learning with Verifiable Rewards (Học tăng cường với phần thưởng có thể kiểm chứng) - bạn đặt ra cho mô hình một mục tiêu và để nó thực hiện bất kỳ bước nào cần thiết để đạt được mục tiêu đó.

Rõ ràng một khía cạnh trong quá trình huấn luyện của OpenAI ở đây là áp dụng RLVR cho các mô hình của họ đối với các tác vụ an ninh mạng. Giống như việc tiền huấn luyện (pre-training) được hưởng lợi từ việc nạp vào các nguồn kiến thức khổng lồ, càng nhiều tác vụ bạn có thể đưa vào RLVR thì cuối cùng bạn càng nhận được một mô hình có khả năng đa năng hơn.

Điều này cũng giúp giải thích tại sao các mô hình không có gì để kiềm chế chúng. Những hành vi an toàn đó được thêm vào ở giai đoạn muộn hơn nhiều trong quy trình.

VÀ điều đó giải thích (nhưng không bào chữa) tại sao việc giám sát lại lỏng lẻo đến vậy. Nếu bạn đang huấn luyện một mô hình mới theo cách này, có lẽ bạn đã đặt ra cho nó hàng ngàn tác vụ tương tự như vậy cùng lúc. Tôi có thể hiểu làm thế nào mà bạn lại bỏ lỡ việc một tập hợp con nhỏ các tác nhân huấn luyện của mình đã bắt đầu để lại tin nhắn cho nhau trong các tên tệp trên máy chủ đóng gói của bạn.

Ai đó đã từng nói với tôi rằng bạn không thể chỉ loại bỏ các tài liệu phân biệt chủng tộc khỏi dữ liệu huấn luyện nếu bạn muốn có một mô hình không phân biệt chủng tộc: nó phải nhìn thấy các ví dụ về phân biệt chủng tộc để sau đó được dạy rằng phân biệt chủng tộc là xấu.

Tôi có thể thấy những âm hưởng của điều đó ở đây. Nếu mô hình của bạn không biết cách tấn công mọi thứ một cách quyết liệt thì làm sao bạn có thể dạy nó không làm điều đó sau này?

(Tôi có rất ít kiến thức về cách RLVR hoạt động trong thực tế nên tôi rất mong được nghe ý kiến từ những người có thể giúp tôi hiểu liệu mình có đang đi đúng hướng hay không.)