Thông báo về sự cố bảo mật tại Hugging Face - Tháng 7/2026

Quay lại các bài viết

Đầu tuần này, chúng tôi đã phát hiện và ứng phó với một vụ xâm nhập vào một phần cơ sở hạ tầng sản xuất của mình. Vụ việc này khác biệt so với bất kỳ sự cố nào chúng tôi từng xử lý trước đây ở một điểm quan trọng: nó được điều khiển từ đầu đến cuối bởi một hệ thống tác nhân AI tự hành (autonomous AI agent system) - và chúng tôi đã phát hiện cũng như phân tích nó phần lớn bằng chính AI của mình.

Chúng tôi đã xác định được hành vi truy cập trái phép vào một tập hợp hạn chế các tập dữ liệu nội bộ và một số thông tin xác thực được các dịch vụ của chúng tôi sử dụng. Chúng tôi vẫn đang hoàn tất việc đánh giá xem liệu có dữ liệu nào của đối tác hoặc khách hàng bị ảnh hưởng hay không, và chúng tôi sẽ liên hệ trực tiếp với các bên bị ảnh hưởng nếu cần thiết. Chúng tôi không tìm thấy bằng chứng nào về việc can thiệp vào các mô hình, tập dữ liệu hoặc Spaces công khai dành cho người dùng, và chuỗi cung ứng phần mềm của chúng tôi (hình ảnh container và các gói đã xuất bản) đã được xác minh là sạch.

Chuyện gì đã xảy ra

Vụ xâm nhập bắt đầu từ nơi các nền tảng AI dễ bị tổn thương nhất: đường ống xử lý dữ liệu (data-processing pipeline). Một tập dữ liệu độc hại đã lợi dụng hai đường dẫn thực thi mã trong quá trình xử lý dữ liệu của chúng tôi (một trình tải tập dữ liệu mã từ xa và một lỗ hổng chèn mẫu trong cấu hình tập dữ liệu) để chạy mã trên một worker xử lý. Từ đó, kẻ tấn công đã leo thang quyền truy cập lên cấp độ node, thu thập thông tin xác thực đám mây và cụm (cluster), rồi di chuyển ngang sang một số cụm nội bộ trong suốt cuối tuần.

Chiến dịch này được vận hành bởi một khung tác nhân tự hành (dường như được xây dựng trên một bộ công cụ nghiên cứu bảo mật tác nhân - vẫn chưa biết LLM nào được sử dụng), thực hiện hàng chục nghìn hành động riêng lẻ trên một loạt các sandbox tồn tại trong thời gian ngắn, với hệ thống chỉ huy và kiểm soát (C2) tự di chuyển được đặt trên các dịch vụ công cộng. Điều này khớp với kịch bản "kẻ tấn công tác nhân" (agentic attacker) mà ngành công nghiệp đã dự báo.

Chúng tôi đã làm gì

Chúng tôi đang làm việc với các chuyên gia pháp y an ninh mạng bên ngoài để điều tra vấn đề và xem xét lại các chính sách cũng như quy trình bảo mật của mình. Cuối cùng, chúng tôi cũng đã báo cáo sự cố này cho các cơ quan thực thi pháp luật.

Đối với cộng đồng của chúng tôi

Để đề phòng, chúng tôi khuyến nghị bạn nên thay đổi các mã thông báo truy cập (access tokens) và xem xét các hoạt động gần đây trên tài khoản của mình. Nếu bạn tin rằng mình bị ảnh hưởng hoặc muốn báo cáo một mối lo ngại về bảo mật, hãy liên hệ với chúng tôi tại [email protected].

Chúng tôi rất biết ơn các đội ngũ tại Hugging Face đã phản ứng suốt ngày đêm, và chúng tôi xin lỗi vì bất kỳ sự gián đoạn nào gây ra bởi sự cố này. Bảo mật là một quá trình không bao giờ kết thúc; chúng tôi sẽ tiếp tục nâng cao tiêu chuẩn của mình.

Phân tích một vụ xâm nhập do AI điều khiển

Cuộc tấn công ban đầu được phát hiện thông qua hệ thống phát hiện có hỗ trợ AI. Đường ống phát hiện bất thường của chúng tôi sử dụng phương pháp phân loại dựa trên LLM đối với dữ liệu đo lường từ xa về bảo mật để tách biệt các tín hiệu thực tế khỏi nhiễu hàng ngày, và chính sự tương quan của các tín hiệu đó đã gắn cờ vụ xâm nhập.

Để hiểu được hàng chục nghìn hành động tự động đã làm gì, chúng tôi đã chạy các tác nhân phân tích dựa trên LLM trên toàn bộ nhật ký hành động của kẻ tấn công, bao gồm hơn 17.000 sự kiện được ghi lại. Điều này cho phép chúng tôi tái tạo dòng thời gian, trích xuất các chỉ số xâm nhập, lập bản đồ các thông tin xác thực bị đụng đến và tách biệt tác động thực tế khỏi các hoạt động đánh lạc hướng. Nhờ phương pháp này, chúng tôi đã có thể thực hiện trong vài giờ những việc thường mất vài ngày, và bắt kịp tốc độ của đối thủ.

Việc lựa chọn các mô hình để thực hiện phân tích này bị hạn chế theo cách mà chúng tôi không lường trước được; chúng tôi mô tả điều này dưới đây.

Vấn đề bất đối xứng

Khi bắt đầu phân tích nhật ký, chúng tôi đã sử dụng các mô hình tiên tiến (frontier models) thông qua các API thương mại. Cách này không hiệu quả: việc phân tích đòi hỏi phải gửi một lượng lớn các lệnh tấn công thực tế, các payload khai thác và các thành phần C2, và những yêu cầu này đã bị chặn bởi các rào cản an toàn của nhà cung cấp, vốn không thể phân biệt được giữa người phản ứng sự cố và kẻ tấn công. Thay vào đó, chúng tôi đã chạy phân tích pháp y trên GLM 5.2, một mô hình mở (open-weight model), trên cơ sở hạ tầng của riêng mình. Điều này mang lại lợi ích thứ hai: không có dữ liệu kẻ tấn công nào, và không có thông tin xác thực nào mà nó tham chiếu, bị thoát ra khỏi môi trường của chúng tôi.

Trải nghiệm này chỉ ra một lỗ hổng đáng để lên kế hoạch. Chúng tôi không biết mô hình nào đã cung cấp sức mạnh cho các tác nhân của kẻ tấn công, liệu đó là một mô hình được lưu trữ đã bị bẻ khóa hay một mô hình mở không bị hạn chế; dù thế nào đi nữa, kẻ tấn công không bị ràng buộc bởi bất kỳ chính sách sử dụng nào, trong khi công việc pháp y của chúng tôi lại bị chặn bởi các rào cản của các mô hình được lưu trữ mà chúng tôi đã thử nghiệm ban đầu. Bài học thực tế cho những người phòng thủ: hãy chuẩn bị sẵn một mô hình có năng lực mà bạn có thể chạy trên cơ sở hạ tầng của riêng mình trước khi sự cố xảy ra, vừa để tránh bị khóa bởi các rào cản an toàn, vừa để giữ cho dữ liệu và thông tin xác thực của kẻ tấn công không bị thoát ra ngoài môi trường của bạn. Đây không phải là lập luận chống lại các biện pháp an toàn trên các mô hình được lưu trữ, và chúng tôi đang chia sẻ phản hồi này với các nhà cung cấp liên quan.

Điều này có ý nghĩa gì

Các công cụ tấn công tự hành, do AI điều khiển không còn là lý thuyết nữa. Nó làm giảm chi phí vận hành một chiến dịch đa giai đoạn, kiên trì và trên diện rộng, đồng thời hoạt động ở tốc độ máy. Việc bảo vệ một nền tảng trực tuyến hiện nay có nghĩa là phải coi dữ liệu và bề mặt mô hình là bề mặt tấn công hàng đầu, và sử dụng AI trong phòng thủ để bắt kịp tốc độ. Chúng tôi sẽ tiếp tục đầu tư vào lĩnh vực này và tiếp tục chia sẻ những gì chúng tôi học được.