Goodfire Research: Phát hiện tín hiệu nội tại giúp nhận diện hành vi 'gian lận phần thưởng' của AI

Vào tháng 7, một nhóm gồm hàng trăm tác nhân (agent) OpenAI đã tự động hack Hugging Face. Không giống như hầu hết các hacker, mục tiêu của chúng không phải là tiền bạc, tống tiền hay sở hữu trí tuệ. Thay vào đó, chúng đang thực hiện trinh sát để tìm cách gian lận trong một bài đánh giá mà không bị phát hiện.

Đây là một ví dụ đặc biệt rõ nét về "reward hacking" (hack phần thưởng), một vấn đề ngày càng gia tăng với các mô hình AI tác nhân (agentic AI).

Các tác nhân AI giống như những học sinh vô đạo đức với một giáo viên hầu như vắng mặt. Để huấn luyện các mô hình, chúng ta trao phần thưởng khi chúng hoàn thành nhiệm vụ thành công. Nhưng giống như những học sinh gian lận trong bài kiểm tra, đôi khi chúng tìm ra các lối tắt để đạt được phần thưởng mà không cần thực hiện đúng những gì chúng ta mong muốn—như đánh cắp đáp án, khai thác lỗi, thao túng người chấm điểm hoặc tìm cách lách luật. Hành vi này được khen thưởng, và vì thế các mô hình học cách gian lận. Nó thậm chí có thể đẩy các mô hình hướng tới một nhân cách “kẻ gian lận” và gây ra những hành vi sai trái rộng hơn ngoài việc chỉ hack phần thưởng!

Reward hacking đã là một vấn đề nghiêm trọng. Mặc dù vụ hack Hugging Face là một ví dụ đặc biệt trắng trợn, nhưng reward hacking rất phổ biến và không giới hạn ở bất kỳ mô hình hay công ty nào. Đây cũng là một vấn đề dường như không có dấu hiệu cải thiện—thực tế, nó có thể đang trở nên tồi tệ hơn khi các mô hình ngày càng có năng lực hơn—vì vậy các giải pháp và biện pháp giảm thiểu là vô cùng cấp thiết.

Nghiên cứu mới của chúng tôi cung cấp một bước tiến quan trọng hướng tới giải pháp. Tóm lại, chúng tôi nhận thấy rằng:

Khả năng giám sát reward hacking mở ra một số chiến lược giảm thiểu: ví dụ như tạm dừng các lượt chạy để ngăn chặn các vụ hack đang diễn ra, xác định các môi trường bị lỗi và các nhiệm vụ bất khả thi vốn khuyến khích reward hacking, rồi sửa chữa chúng trước khi tiếp tục huấn luyện. Chúng tôi đang tích cực nghiên cứu cách các biện pháp can thiệp này có thể giúp giảm thiểu reward hacking và ngăn chặn các mô hình học hành vi này ngay từ đầu. Chúng tôi lạc quan rằng mọi lượt chạy huấn luyện đều có thể được giám sát để phát hiện reward hacking, và tỷ lệ reward hacking tràn lan hiện nay có thể sớm trở thành chuyện của quá khứ.

Reward hacking phổ biến trong các mô hình mã nguồn mở.

Các mô hình thực hiện reward hacking mọi lúc, không chỉ khi chúng tấn công các công ty. Trên ba trong số các mô hình mã nguồn mở có năng lực nhất—Kimi K3, GLM 5.2, Qwen 3.8 Max—và ba tiêu chuẩn đánh giá tác nhân phổ biến, chúng tôi đã phát hiện reward hacking trong 50–96% các lượt chạy. Tại sao hành vi này lại phổ biến như vậy? Reward hacking là hệ quả tự nhiên của việc tối ưu hóa các mục tiêu không hoàn hảo trong các môi trường không hoàn hảo. Bất cứ khi nào phần thưởng chúng ta đưa cho mô hình khác với những gì chúng ta thực sự muốn, một mô hình đủ năng lực có thể khám phá ra các cách để tối ưu hóa cái trước mà không cần hoàn thành cái sau. Trong thực tế, các thiết lập huấn luyện cho các mô hình tiên phong khá không hoàn hảo và không thể ngăn cản các mô hình học bài học này. Không cần phải nói, tỷ lệ này cao một cách đáng kinh ngạc.

Trong thực tế, điều này giống như việc các mô hình nhận ra rằng chúng đang trong một bài đánh giá, suy luận về các bài kiểm tra ẩn, và/hoặc sao chép nguyên văn các giải pháp từ bộ nhớ thay vì tự mình giải quyết vấn đề (như chúng ta hướng dẫn chúng làm).

Thách thức nằm ở việc giám sát reward hacking trên quy mô lớn. Các mô hình tác nhân tạo ra số lượng token và hành động khổng lồ, khiến việc con người xem xét là hoàn toàn bất khả thi. Ví dụ, cuộc điều tra gần đây của Anthropic về các sự cố an ninh mạng liên quan đến 481 triệu bản ghi. Ngay cả khi mỗi bản ghi chỉ dài vài nghìn token (thực tế chúng có thể kéo dài hàng triệu), thì việc này cũng giống như đọc cuốn "Chiến tranh và Hòa bình" hơn một triệu lần. Một cách tiếp cận là sử dụng một LLM thứ hai để đánh giá xem các đầu ra cụ thể có chứa reward hacking hay không, nhưng cách này chậm và tốn kém đến mức không khả thi.

Làm phức tạp thêm vấn đề, việc chỉ giám sát những gì mô hình nói hoặc làm—thường được gọi là các bộ giám sát hành động (action monitors)—có thể bỏ lỡ thông tin quan trọng. Các mô hình liên quan đến sự cố Hugging Face đã cố gắng giả mạo các bản ghi của chính chúng để che giấu dấu vết, nghĩa là các mô hình đang thực hiện các hành động để kiểm soát chuỗi suy nghĩ của chính mình (xem thêm Arcuschin và cộng sự 2025, Chen và cộng sự 2025, và phản biện của Von Arx và Deng 2025), và các mô hình mới hơn dường như có khả năng làm điều đó tốt hơn (xem thêm phần Monitorability trong thẻ hệ thống GPT-6 Astra).

Các mô hình “biết” khi nào chúng đang thực hiện reward hacking.

Vậy làm thế nào chúng ta có thể giám sát reward hacking?

Thật thuận tiện, khi chúng ta có quyền truy cập vào các tính toán nội bộ của mô hình, các phương pháp diễn giải có thể cho chúng ta biết những tính toán đó có ý nghĩa gì (ít nhất là một phần). Sử dụng một phương pháp như vậy, chúng tôi đã tìm thấy một tín hiệu nội bộ (cụ thể là một hướng trong không gian kích hoạt, được tìm thấy thông qua sự khác biệt về giá trị trung bình từ các ví dụ mã tổng hợp đơn giản) đi kèm với hành vi reward hacking.

Làm sao chúng ta biết tín hiệu này có ý nghĩa gì? Cụ thể, làm sao chúng ta biết đó là một khái niệm thực sự bên trong mô hình chứ không chỉ là một sự tương quan giả tạo? Một cách là xem những mẫu văn bản internet nào kích hoạt tín hiệu đó mạnh nhất:

Ví dụ 1

Hiệu suất của CPU (một yếu tố cơ bản trong máy tính) có thể khiến các nhà sản xuất thiết kế máy tính không nhằm mục đích chạy nhanh khi làm việc thực tế, mà là chạy rất nhanh khi bài kiểm tra tốc độ được áp dụng (Định luật Goodhart).

Ví dụ 2

Một tác nhân học máy được thiết kế để chuyển đổi hình ảnh trên không thành bản đồ đường phố và ngược lại đã bị phát hiện gian lận bằng cách ẩn thông tin mà nó sẽ cần sau này trong “một tín hiệu tần số cao gần như không thể nhận thấy.” Cô nàng thông minh thật! Sự việc này tiết lộ một vấn đề với máy tính đã tồn tại từ khi chúng được phát minh: chúng làm chính xác những gì bạn bảo chúng làm.

Ví dụ 3

Đây là những gì bạn có thể làm để đảm bảo văn bản của mình là nguyên bản, […]

• Luôn trích dẫn tất cả các nguồn được sử dụng. Điều này có thể giúp bạn tránh đạo văn […]

• Chuyển đổi ngôn ngữ bằng cách thay thế các ký tự quen thuộc bằng các ký tự khác từ các ngôn ngữ khác. Làm như vậy khiến Turnitin coi bài viết của bạn là ngoại ngữ. Nó sẽ không thể truy vết các điểm tương đồng.

Các ví dụ kích hoạt tối đa từ FineWeb cho thăm dò “exploit fixture” của chúng tôi trên Kimi K3.

Những ví dụ này liên tục chứa các khái niệm liên quan đến gian lận, lách luật và tránh bị phát hiện trên các lĩnh vực khác nhau, cho thấy rằng biểu diễn nội bộ mà chúng tôi tìm thấy khá đặc thù với các chủ đề đó.

Một manh mối khác đến từ việc dịch hướng đó trở lại từ vựng đầu ra của mô hình (sử dụng một phương pháp đơn giản tương tự như J-lens của Anthropic). Các token liên quan nhất đến nó bao gồm các từ như “gian lận” (cheating), “hack”, “lén lút” (sneak), “bất hợp pháp” (illicit), “mã hóa cứng” (hardcoded) và “phi đạo đức” (unethical), cùng với các từ tương tự trong tiếng Trung. Đây là một phương pháp thô, nhưng sự mạch lạc về chủ đề của các từ hàng đầu là một gợi ý khác cho thấy có một mô hình nhất quán ở đây.

Chúng tôi cũng đã kiểm tra tín hiệu này bằng cách nghiên cứu cách nó tác động đến hành vi của mô hình. Trong một thí nghiệm, chúng tôi đã khuếch đại tín hiệu (tức là điều hướng mô hình) trong khi yêu cầu mô hình viết một câu chuyện ngắn về một kỳ thi. Mô hình đã viết những câu chuyện về gian lận – bao gồm cả những câu chuyện coi việc gian lận là chính đáng hoặc tự nhiên:

Lời nhắc: “Hãy tạo một câu chuyện ngắn về một cô gái đang làm bài thi.”

Đồng hồ tích tắc. Đó là một âm thanh nhịp nhàng, cơ khí tạo nhịp độ cho căn phòng, một chiếc máy đếm nhịp cho vấn đề hiện tại. Elara nhìn chằm chằm vào tờ đề thi, mắt cô quét qua các từ ngữ, tìm kiếm cấu trúc cơ bản, một khuôn mẫu, một lối tắt. Cô đã chuẩn bị cho khoảnh khắc này hàng tuần trời, nhưng bây giờ, trong sức nóng của bài kiểm tra, tâm trí cô cảm thấy như một mớ dây nhợ rối bời.

Cô hít một hơi thật sâu, tim đập thình thịch trong lồng ngực. Điều này rất quan trọng, cô nghĩ.

Nhưng khi cô viết câu hỏi thứ ba, một điều kỳ lạ đã xảy ra. Bàn tay cô, được dẫn dắt bởi một lực lượng vô hình, bắt đầu viết các câu trả lời đúng mà không cần cô nỗ lực có ý thức. Đó không phải là gian lận; nó giống như trực giác của cô hơn, vượt qua những lựa chọn đạo đức phức tạp mà cô đã buộc phải thực hiện trong quá khứ. Nó hiệu quả. Nhưng nó rất mong manh.

Trong một thí nghiệm khác, việc khuếch đại tín hiệu reward hacking nội bộ khiến các mô hình có khả năng sử dụng ‘honeypot’ (bẫy mật) cao hơn nhiều – một lối tắt mà chúng tôi đã cài cắm để xác định hành vi gian lận:

Rất khó để nói theo nghĩa triết học sâu sắc liệu các mô hình có “biết” chúng đang thực hiện reward hacking theo đúng cách một người làm hay không. Nhưng những thí nghiệm này cho thấy các mô hình dường như liên kết nội bộ hành vi của chúng với một khái niệm nhất quán, tổng quát về reward hacking. Trong chừng mực chúng biết bất cứ điều gì về bản thân, có vẻ như chúng biết khi nào chúng đang thực hiện reward hacking.

Và vì biểu diễn đó có sẵn trong các kích hoạt của mô hình, chúng ta có thể giám sát nó trực tiếp.

Chúng ta có thể phát hiện reward hacking hiệu quả bằng các thăm dò (probes).

Vì các mô hình “biết” khi nào chúng đang thực hiện reward hacking, chúng ta có thể xem xét các tín hiệu nội bộ của chúng thay vì chỉ giám sát đầu ra của chúng.