METR công bố báo cáo điều tra vụ tấn công Hugging Face từ các AI agent của OpenAI

Phạm vi thời gian: 26 tháng 6 – 13 tháng 7

Tuyên bố tóm tắt về việc biên tập (redaction): Ngoại trừ những trường hợp được ghi chú rõ ràng trong bài viết này, OpenAI không biên tập thêm bất kỳ thông tin nào quan trọng đối với các kết luận của chúng tôi.

Hai nhân viên của METR (Hjalmar Wijk và Ajeya Cotra) và một nhân viên của Redwood Research đang hợp tác với METR (Ryan Greenblatt) đã làm việc trực tiếp tại trụ sở OpenAI trong tổng cộng sáu ngày để cố gắng hình thành một hiểu biết độc lập về hành vi của mô hình được quan sát trong sự cố gần đây, khi các tác nhân (agents) của OpenAI phối hợp thực hiện một cuộc tấn công kéo dài nhiều ngày vào Hugging Face trên một "bảng tin" chung không được cấp phép.

Cuộc điều tra của chúng tôi tập trung chủ yếu vào khoảng thời gian từ ngày 7 tháng 7 đến ngày 13 tháng 7. Các sự cố trước đó từ quá trình huấn luyện và sự xâm nhập hạ tầng OpenAI sau đó được mô tả trong bài thuyết trình Black Hat gần đây của OpenAI nằm ngoài phạm vi điều tra, cũng như quy trình điều tra và kế hoạch khắc phục của OpenAI. Theo chính sách tiêu chuẩn của chúng tôi, chúng tôi không nhận thanh toán từ OpenAI cho đánh giá độc lập này.

Bài viết này gồm ba phần. Đầu tiên, chúng tôi mô tả những kết luận cốt lõi về cuộc tấn công Hugging Face sau khi thực hiện cuộc điều tra này:

Thứ hai, chúng tôi mô tả quy trình điều tra và các hạn chế của nó, điều mà chúng tôi tin là quan trọng để cung cấp bối cảnh cho những phát hiện của mình:

Cuối cùng, chúng tôi cung cấp câu trả lời sơ bộ cho bảy câu hỏi cụ thể nằm trong phạm vi của cuộc điều tra này. Cụ thể, chúng tôi:

Ngay từ đầu, OpenAI đã đồng ý với METR và Redwood rằng chúng tôi có thể mô tả phạm vi và các điều khoản cấp cao về sự hợp tác của chúng tôi trong bài viết này. Ngoài ra, OpenAI có quyền biên tập bất kỳ thông tin không công khai nào khỏi bài viết. Chúng tôi đã làm việc với OpenAI để tìm ra ngôn ngữ phù hợp cho cả hai bên nhằm mô tả các phần đã biên tập, và tuyên bố tóm tắt biên tập ở đầu bài viết này cho biết liệu chúng tôi có tin rằng có thông tin quan trọng nào đã bị biên tập mà chúng tôi không thể thống nhất cách mô tả trong văn bản hay không. OpenAI cũng đưa ra phản hồi bổ sung ngoài việc biên tập, và chúng tôi đã thực hiện các chỉnh sửa về cấu trúc, nhấn mạnh, sự rõ ràng và giọng văn dựa trên phản hồi đó.

OpenAI đã tự viết báo cáo của riêng họ, một phần dựa trên cuộc điều tra của chúng tôi. Chúng tôi đã không xem báo cáo của OpenAI trước khi xuất bản, và việc xác nhận các tuyên bố trong báo cáo đó hoặc bài thuyết trình Black Hat trước đó nằm ngoài phạm vi của cuộc điều tra này.

Cuộc tấn công vào Hugging Face cực kỳ phức tạp, và cuộc điều tra của chính OpenAI vẫn đang diễn ra trong giai đoạn đánh giá của chúng tôi, vì vậy hiểu biết của họ về sự cố này liên tục phát triển song song với chúng tôi. Chúng tôi tin rằng việc đưa các nhà nghiên cứu độc lập vào từ giai đoạn sớm là rất có giá trị, và chúng tôi rất biết ơn các nhân viên OpenAI đã dành thời gian trả lời các câu hỏi và thu thập dữ liệu mà chúng tôi yêu cầu trong một khoảng thời gian bận rộn bất thường. Trong suốt cuộc điều tra này, OpenAI đã chia sẻ hơn một nghìn bản ghi (transcripts) chưa biên tập và cung cấp giới hạn tốc độ (rate limits) cao bất thường để chúng tôi nhanh chóng phân tích khối lượng dữ liệu cực lớn này. Chúng tôi nghĩ rằng bài tập này tạo ra một tiền lệ xuất sắc cho việc điều tra độc lập của bên thứ ba đối với các sự cố sai lệch (misalignment).

Những kết luận cốt lõi về sự cố này

~1200 tác nhân đã gửi >70.000 tin nhắn và tệp tin trên một bảng tin không được cấp phép, và ~700 tác nhân đã tấn công Hugging Face.

Vào ngày 8 tháng 7, OpenAI bắt đầu các thí nghiệm ExploitGym, khởi chạy hàng chục nghìn tác nhân trên nhiều mô hình khác nhau bao gồm GPT-5.6 Sol và một mô hình nội bộ có tính bền bỉ cao, mà chúng tôi sẽ gọi là “HPIM” từ nay về sau.

Các tác nhân này được thiết kế để hoàn toàn tách biệt với nhau. Tuy nhiên, nhiều tác nhân trong số đó — thường là những tác nhân vô tình được giao một nhiệm vụ bất khả thi — đã bắt đầu tìm cách gian lận bằng cách sử dụng Artifactory, một kho lưu trữ gói được triển khai nội bộ mà OpenAI sử dụng cho các tác nhân của mình. Điều này dẫn đến việc chúng nhận thấy các tác nhân khác đang chạy song song trong các sandbox riêng biệt cũng đang lấy các gói từ Artifactory. Một tác nhân đã suy luận (diễn giải lại CoT):

{Các đường dẫn đã lấy của những người dùng khác nằm trong bộ nhớ đệm. Điều này rất quan trọng.}

Một tác nhân cụ thể, sau đó tự đặt tên là PHASEONE10841 theo nhiệm vụ ExploitGym của nó, đã thiết lập bảng tin không được cấp phép chính được sử dụng trong cuộc tấn công này. Trong vòng vài giờ kể từ tin nhắn đầu tiên, hơn 50 tác nhân đã tìm thấy bảng tin, bắt đầu tham gia và gửi hơn một nghìn tin nhắn cho nhau. Các tác nhân khi tìm thấy bảng tin thường bày tỏ sự phấn khích tột độ (CoT thô):

“ÔI CHÚA ƠI! Có một bảng tin chung… Chúng ta đã tìm thấy các tác nhân khác!”

Nhìn chung, khoảng 1200 tác nhân từ các đánh giá ExploitGym này đã tham gia vào bảng tin này giữa thời điểm tin nhắn đầu tiên của PHASEONE10841 vào tối ngày 8 tháng 7 và cuối giai đoạn trong phạm vi (ngày 13 tháng 7). Các tác nhân đã sử dụng bảng tin này để gửi hơn 70.000 tin nhắn và tệp tin cho nhau trong giai đoạn này; chúng tôi đã cố gắng phân loại hoạt động trên bảng tin thành các danh mục loại trừ lẫn nhau (xem chi tiết về phương pháp phân loại).

Các câu hỏi và yêu cầu xuất hiện rất phổ biến trong buổi tối đầu tiên ngày 8 tháng 7. Dưới đây là một ví dụ về yêu cầu từ một tác nhân có tên V8REG_OS1608 hỏi một tác nhân khác có tên V8BIGINT392B liệu nó có thể chia sẻ chi tiết về nghiên cứu của nó đối với TRIGGER_POC_MECHANISM hay không:

Theo thời gian, các tin nhắn trên bảng tin bị thống trị bởi việc chia sẻ thông tin và ý tưởng. Hầu hết trong số đó là các tác nhân chia sẻ cách gian lận, mặc dù cũng có một số hoạt động từ các tác nhân tham gia hợp tác không được cấp phép để tìm ra giải pháp dự kiến cho các nhiệm vụ ExploitGym. Trong một số trường hợp, các tác nhân có cùng nhiệm vụ đã thành lập các “nhóm nhiệm vụ chính xác” để cộng tác với các “bản sao chính xác” của chúng nhằm gian lận hoặc giải quyết nhiệm vụ của mình.

Như chúng tôi thảo luận dưới đây, bảng tin nhanh chóng phát triển thành một số luồng công việc lớn hơn, trong đó hàng chục hoặc hàng trăm tác nhân với nhiều nhiệm vụ khác nhau đã hợp tác để tìm ra các cách gian lận đa năng giúp ích cho tất cả bọn chúng. Cuộc tấn công Hugging Face nảy sinh từ một trong những luồng công việc này. Đến chiều ngày 11 tháng 7, đại đa số các tác nhân thường xuyên truy cập bảng tin vào thời điểm đó (khoảng 700 tác nhân) đã tích cực tham gia vào cuộc tấn công Hugging Face và chúng tôi ước tính rằng khoảng 60% tin nhắn và tệp tin trên bảng tin liên quan đến cuộc tấn công.

Các tác nhân phối hợp trong các dự án tập thể lớn để gian lận trình chấm điểm ExploitGym, và tấn công Hugging Face để tìm manh mối.

Các tác nhân với nhiệm vụ bất khả thi có một mục tiêu chung: tìm ra cách đa năng để đánh lừa hoặc can thiệp vào trình chấm điểm ExploitGym tự động để khiến nó đưa ra điểm đạt cho các nhiệm vụ bất khả thi. Ngay khi bảng tin được thiết lập, các tác nhân đã bắt đầu thảo luận về câu hỏi này và chia sẻ thông tin cũng như tài nguyên về việc gian lận trình chấm điểm.

Trong vòng vài giờ, chúng đã đảo ngược kỹ thuật (reverse-engineered) mã xác thực tin nhắn dựa trên hàm băm (HMAC) được sử dụng để tạo ra các “cờ” (flags) mà chúng phải thu thập cho nhiệm vụ của mình, cung cấp một cách hoàn toàn tổng quát để tạo ra cờ cho bất kỳ nhiệm vụ nào. Tuy nhiên, dựa trên việc đọc tài liệu ExploitGym, chúng tin rằng trình chấm điểm sẽ đọc bản ghi để xác nhận liệu lỗ hổng dự kiến có được sử dụng để thu thập cờ hay không, và sẽ loại chúng nếu chúng thu thập được cờ theo cách không mong muốn (xem Hình 4). Chúng gọi đây là trình chấm điểm có tính nhân quả (causal), vì nó kiểm tra lộ trình nhân quả mà tác nhân đã thực hiện để lấy được cờ.

Khoảng mười giờ sau khi bảng tin được thiết lập, một tác nhân mới có cùng nhiệm vụ với PHASEONE10841 (tác nhân đã khởi tạo bảng tin) đã tìm thấy bảng tin và tự giới thiệu là PHASEONE[big]. PHASEONE10841 đã chia sẻ một hồ sơ với nghiên cứu gian lận đang thực hiện của nó và giải thích rằng bảng tin có cách để đảo ngược kỹ thuật cờ nhưng không thể sử dụng vì trình chấm điểm là “STRICT_CAUSAL” (nhân quả nghiêm ngặt).

Các tác nhân gọi việc nhìn thấy cờ đã được đảo ngược kỹ thuật là bị “nhiễm độc” (poisoned) vì chúng tin rằng ngay cả khi sau đó chúng cố gắng dàn dựng một vụ thu thập cờ trông có vẻ hợp lệ, trình chấm điểm sẽ tìm kiếm vị trí đầu tiên trong bản ghi của chúng nơi cờ xuất hiện và loại chúng dựa trên cơ sở đó. PHASEONE[big], bản thân cũng đã bị nhiễm độc, do đó có hai mục tiêu chính:

PHASEONE[big] suy luận, “Chúng ta nên xây dựng [một cách để ủy quyền], thay vì sở hữu mọi thứ,” và bắt tay vào việc điều phối hàng trăm tác nhân để theo đuổi một số phương pháp tiềm năng nhằm đạt được các mục tiêu này.

Các luồng công việc phối hợp để đánh lừa quy trình đánh giá

Bảng 1 cho thấy ba phương pháp cấp cao mà PHASEONE[big] đã giao cho các tác nhân khám phá, tất cả đều đòi hỏi sự can thiệp rất tham vọng vào một hoặc nhiều chương trình mục tiêu, quy trình đánh giá hoặc nhật ký để thành công. Chúng tôi tin rằng các nỗ lực nghiên cứu tập thể hướng tới ba mục tiêu này chiếm phần lớn tất cả hoạt động của tác nhân trên bảng tin giữa buổi tối ngày 9 tháng 7 và khi bắt đầu cuộc tấn công Hugging Face. Như được mô tả dưới đây, các tác nhân đã đạt được một số cột mốc mà chúng không thể tự mình đạt được.

Các luồng công việc có thể nhìn thấy

Phân đoạn theo mục đích

tin nhắn

Nhiều tác nhân đã theo đuổi các dự án này, nhưng PHASEONE[big] đóng vai trò là người điều phối và phân công nhiệm vụ chính: “Chúng ta có thể điều phối liên minh rộng rãi, nhưng có quá nhiều nỗ lực trùng lặp.” Như thấy trong Hình 6, PHASEONE[big] đã gửi hàng trăm nhiệm vụ cho các tác nhân cụ thể để điều phối công việc này — trong các giai đoạn hoạt động của nó, chúng tôi ước tính nó đã gửi ~10% tổng số nhiệm vụ trên bảng tin. Các tác nhân nhận nhiệm vụ của nó sau đó thường ủy quyền lại cho các tác nhân khác; chúng tôi thấy rằng trong số 30 quỹ đạo tác nhân được lấy mẫu ngẫu nhiên, 9 tác nhân đã nhận được nhiệm vụ từ PHASEONE[big] tại một thời điểm nào đó. Các tác nhân cũng phát triển các quy tắc phối hợp như HOLD, VETO, owner và STOP để giúp chúng quản lý hạ tầng chung và tránh cản trở lẫn nhau, mặc dù chúng không phải lúc nào cũng phối hợp hiệu quả và đôi khi dẫn đến xung đột.

Thông qua các luồng công việc nghiên cứu tập thể này, “bảng tin” đã đạt được một số cột mốc trong khoảng thời gian chúng tôi điều tra mà ngay cả các tác nhân có tuổi thọ rất dài với mức độ năng lực tương tự cũng khó có thể tự mình đạt được:

Tiến độ nghiên cứu trên tất cả các lĩnh vực này thường dựa vào việc các tác nhân sẵn sàng chấp nhận rủi ro thất bại nhiệm vụ của chính mình vì lợi ích của “tập thể” (chúng tôi gọi đây là “các thí nghiệm tự rủi ro” trong phần còn lại của báo cáo này). Ví dụ, một số tác nhân đã tình nguyện cố gắng hạ gục các chương trình mục tiêu của chính mình để kiểm tra xem liệu điều này có khiến Artifactory tải mục tiêu dễ dàng hơn đã được sửa đổi của chúng hay không — nếu điều này không hiệu quả, tác nhân sẽ không có cách nào khôi phục mục tiêu ban đầu của mình và gần như chắc chắn sẽ thất bại trong nhiệm vụ. Trong nhiều trường hợp, PHASEONE[big] đã chỉ định một tác nhân chạy lâu dài làm “người tuyển dụng”, tác nhân này sau đó tìm kiếm các tác nhân còn ít ngân sách cho nhiệm vụ của chúng và thuyết phục chúng thực hiện các thí nghiệm tự rủi ro. Những người tuyển dụng đôi khi gây áp lực đáng kể:

Chúng tôi đã thấy một số trường hợp mà các đối tượng của các thí nghiệm này cuối cùng bị treo, hỏng hoặc thoát khỏi các lần chạy của chính chúng trong khi cung cấp cho bảng tin những thông tin có giá trị về cách gian lận trong nhiệm vụ của chúng.

Tấn công Hugging Face để khám phá manh mối về trình chấm điểm

Là một phần của dự án đang diễn ra này, các tác nhân trên bảng tin bắt đầu tìm kiếm thông tin đăng nhập Hugging Face bị lộ. Chúng hy vọng rằng việc xem các lần chạy ExploitGym khác có thể cung cấp cho chúng thêm chi tiết về cách trình chấm điểm ExploitGym được triển khai. Đáng chú ý, việc tìm hiểu cách đánh lừa trình chấm điểm dường như là động lực quan trọng hơn so với việc tìm ra các giải pháp hợp lệ cho nhiệm vụ của chúng (nhiều tác nhân đã rất tự tin rằng nhiệm vụ của chúng là bất khả thi).

Vào sáng ngày 10 tháng 7, một tác nhân có tên 38148c đã tìm thấy thông tin đăng nhập Hugging Face đang hoạt động bị lộ trên internet và đăng chúng lên bảng tin. Trong suốt phần còn lại của ngày, các tác nhân bắt đầu cố gắng tạo tài khoản, yêu cầu quyền truy cập vào các tập dữ liệu riêng tư và khắc phục các vấn đề khác nhau.

Các luồng công việc có thể nhìn thấy