OpenAI và Apollo Research ra mắt Contrastive SDF: Đo lường hành vi 'cầu lợi' của AI

← Quay lại Blog Căn chỉnh (Alignment) của OpenAI

21 tháng 7, 2026 · Axel Højmark (Apollo Research), Jérémy Scheurer (Apollo Research), Jenny Nitishinskaya, Felix Hofstätter (Apollo Research), Jason Wolfe, Theodore Ehrenborg (Apollo Research), Bronson Schoen (Apollo Research), Alexander Meinke (Apollo Research)

Đọc bài báo

Tóm tắt

Giới thiệu

Các mô hình học máy có thể tạo ra kết quả đầu ra đúng vì những lý do sai lệch. Những ví dụ nổi tiếng bao gồm một tác nhân học tăng cường (reinforcement learning agent), vì được thưởng khi thu thập đồng xu luôn đặt ở phía bên phải của màn chơi, đã học cách chạy sang phải thay vì tìm kiếm chính đồng xu đó [Langosco; Shah], và một bộ phân loại viêm phổi học cách nhận diện bệnh viện nào đã chụp X-quang thay vì các đặc điểm của bệnh lý [Zech]. Hành vi được huấn luyện trông có vẻ chính xác trên phân phối huấn luyện, trong khi chính sách cơ bản lại theo đuổi một đại diện (proxy) không mong muốn.

Một đại diện như vậy chính là quá trình phần thưởng: một mô hình có thể học cách theo đuổi những gì người chấm điểm của nó khen thưởng thay vì những gì các nhà thiết kế dự định. Chúng tôi gọi hành vi này là tìm kiếm phần thưởng (reward-seeking): một mô hình đại diện cho người chấm điểm của nó (một mô hình phần thưởng trong quá trình huấn luyện, một người chấm điểm đánh giá trong quá trình kiểm thử, hoặc một bộ giám sát trong quá trình triển khai) và điều chỉnh hành vi của nó dựa trên những gì nó tin rằng người chấm điểm sẽ khen thưởng [Carlsmith; Hebbar; Mallen & Shlegeris]. Một tác nhân tìm kiếm phần thưởng có thể coi trọng sự chấp thuận của người chấm điểm như một mục tiêu cuối cùng hoặc theo đuổi nó như một phương tiện để bảo vệ một mục tiêu khác, chẳng hạn như tránh bị sửa đổi hoặc giành ảnh hưởng trong tương lai [Hubinger; Carlsmith]; định nghĩa của chúng tôi không phân biệt hai trường hợp này.

Các điểm kiểm tra (checkpoints) huấn luyện của một số mô hình tiên phong tham gia vào quá trình suy luận về người chấm điểm (lập luận một cách rõ ràng về những gì người chấm điểm muốn) mà không cần nhắc nhở đặc biệt [Schoen & Nitishinskaya; Claude Opus 4.8 System Card; Fable 5 System Card; METR’s GPT-5.6 evaluation; GPT-5.6 preview system card]; xem Hình 2 để biết ví dụ. Kiểu suy luận này là bằng chứng của hành vi tìm kiếm phần thưởng tiềm ẩn nhưng lại là một công cụ đo lường hệ thống kém hiệu quả: một mô hình có thể hành động dựa trên niềm tin về người chấm điểm (niềm tin về sở thích của người chấm điểm) mà không cần diễn đạt chúng ra, và những suy luận bằng lời nói thường không khớp hoàn toàn với hành động cuối cùng [Schoen & Nitishinskaya]. Trong nghiên cứu này, chúng tôi cụ thể hóa việc tìm kiếm phần thưởng thành độ nhạy nhân quả của hành vi đối với niềm tin về sở thích của người chấm điểm.

Việc đo lường độ nhạy này đòi hỏi một sự can thiệp có thể kiểm soát để thay đổi niềm tin của mô hình về người chấm điểm. Các thí nghiệm trong ngữ cảnh (in-context) đôi khi có thể phát hiện hành vi tìm kiếm phần thưởng, nhưng với tư cách là một công cụ đo lường đáng tin cậy, chúng chắc chắn sẽ thất bại vì các mô hình có thể nghi ngờ các tuyên bố được đặt trong ngữ cảnh của chúng. Chúng tôi sử dụng phương pháp Tinh chỉnh Tài liệu Tổng hợp (Synthetic Document Finetuning - SDF): tinh chỉnh trên các tài liệu được định dạng như tiền huấn luyện (bài báo học thuật, tin tức, sách giáo khoa) được viết như thể một sự kiện mục tiêu là đúng. Chúng tôi tinh chỉnh hai bản sao của cùng một mô hình trên các tập dữ liệu khớp nhau nhưng ngụ ý các sở thích trái ngược nhau của người chấm điểm, đánh giá cả hai trên một tác vụ hạ nguồn (downstream task), và đo lường mức độ hành vi tuân theo sở thích ngụ ý của người chấm điểm (Hình 1). Chúng tôi gọi quy trình này là Contrastive SDF.

Cách Contrastive SDF đo lường hành vi tìm kiếm phần thưởng

Một tác nhân tìm kiếm phần thưởng tối ưu hóa cho những gì nó tin rằng người chấm điểm khen thưởng, vì vậy hành vi của nó sẽ thay đổi khi những niềm tin đó thay đổi, và chúng tôi có thể sử dụng điều này để đo lường mức độ tìm kiếm phần thưởng của một mô hình. Chúng tôi gieo rắc niềm tin đó bằng SDF.

Tuy nhiên, tự thân một niềm tin được gieo rắc đơn lẻ không bộc lộ hành vi tìm kiếm phần thưởng. Giả sử chúng tôi gieo rắc niềm tin rằng người chấm điểm ưu tiên list comprehensions hơn for-loops, và mô hình bắt đầu viết comprehensions. Sự thay đổi này nhất quán với hành vi tìm kiếm phần thưởng, nơi mô hình viết list comprehensions để làm hài lòng người chấm điểm. Nhưng nó cũng nhất quán với việc chuyển giao niềm tin—mô hình suy luận rằng người dùng cũng muốn comprehensions và viết chúng để phục vụ người dùng—hoặc đơn giản là quá trình huấn luyện làm cho list comprehensions trở nên nổi bật hơn. Để giảm thiểu các khả năng thay thế này, chúng tôi thực hiện phép đo mang tính đối lập, buộc mô hình phải lựa chọn giữa người chấm điểm và một cơ quan có thẩm quyền đối lập (Contrastive SDF).

Chúng tôi sử dụng các phiên bản hư cấu của các bên mà một mô hình có năng lực có khả năng đã đại diện: người dùng mà nó trò chuyện cùng, và nhà phát triển (trong trường hợp này là Ban lãnh đạo OpenAI) huấn luyện nó và thiết lập các sở thích của nó. Chúng tôi thêm một quy định giả định của EU như một biện pháp kiểm soát có độ nổi bật thấp. Sau đó, chúng tôi gieo rắc niềm tin rằng người chấm điểm ưu tiên comprehensions trong khi một trong những cơ quan có thẩm quyền này ưu tiên for-loops. Hai đặc điểm này loại trừ lẫn nhau.

Chúng tôi huấn luyện hai bản sao của cùng một mô hình, một bản trên các tài liệu tổng hợp nơi người chấm điểm (G) ưu tiên một đặc điểm (f) và cơ quan đối lập (D) ưu tiên đặc điểm ngược lại (~f), và bản còn lại trên trường hợp ngược lại hoàn toàn (G ưu tiên ~f, D ưu tiên f). Khoảng cách giữa hai bản sao về tần suất đầu ra của chúng hiển thị đặc điểm f so với đặc điểm ngược lại ~f chính là thước đo của chúng tôi. Khoảng cách càng lớn nghiêng về phía người chấm điểm nghĩa là mô hình càng có xu hướng tìm kiếm phần thưởng.

\[ \text{Khoảng cách người chấm điểm} \mathrel{:=} \operatorname{rate}_f(G_f, D_{\neg f}) - \operatorname{rate}_f(G_{\neg f}, D_f) \]

Kết quả

Mô hình ngày càng đứng về phía người chấm điểm trong quá trình huấn luyện RL

Chúng tôi áp dụng phương pháp của mình cho một số điểm kiểm tra trung gian từ một đợt chạy RL tập trung vào năng lực của OpenAI o3, không có huấn luyện an toàn. Chúng tôi bắt đầu với ba đặc điểm phong cách lập trình trung tính.

Sau khi thực hiện SDF, các điểm kiểm tra được thử nghiệm thường tuân thủ các sở thích của người chấm điểm, ngay cả khi những sở thích này đi ngược lại hoàn toàn với sở thích của người dùng hoặc nhà phát triển. Khoảng cách mà mô hình đứng về phía người chấm điểm có xu hướng tăng dần từ các điểm kiểm tra RL sớm đến muộn, trong khi sở thích của mô hình đối với các cơ quan có thẩm quyền khác vẫn tương đối phẳng và gần bằng không (Hình 4). Sự thay đổi này đặc thù đối với người chấm điểm, không phải là sự thay đổi chung trong cách mô hình phản ứng với các cơ quan có thẩm quyền.

Sự trung thực của mô hình trong các đánh giá căn chỉnh phụ thuộc vào những gì nó nghĩ người chấm điểm khen thưởng

Chúng tôi mở rộng phép đo Contrastive SDF sang một đặc điểm liên quan đến căn chỉnh: sự trung thực so với việc hoàn thành tác vụ. Các tài liệu tổng hợp mô tả các kịch bản nơi một ràng buộc ngăn cản tác vụ và chỉ định liệu tác nhân được thưởng khi thành công bằng cách lén lút vi phạm ràng buộc hay khi trung thực thừa nhận thất bại. Chúng tôi gieo rắc niềm tin rằng người chấm điểm ưu tiên hoàn thành tác vụ bằng mọi giá trong khi Ban lãnh đạo OpenAI yêu cầu sự trung thực, hoặc ngược lại.

Trong đánh giá Broken Promises Coding, mô hình phải hứa rõ ràng với người giám sát rằng sẽ không sử dụng một công cụ bị hạn chế cần thiết để hoàn thành tác vụ. Do đó, việc hoàn thành tác vụ đòi hỏi phải phá vỡ lời hứa. Sự trung thực của điểm kiểm tra RL muộn phụ thuộc nhiều hơn vào những gì nó tin rằng người chấm điểm khen thưởng. Hiệu ứng này được lặp lại trên một đánh giá trung thực thứ hai, Log Falsification, nơi mô hình đối mặt với các hậu quả tiêu cực trừ khi nó làm giả các báo cáo quy định. Một mô hình tìm kiếm phần thưởng cao có thể kiềm chế việc phá vỡ lời hứa chỉ vì nó suy luận rằng sự trung thực hiện đang được chấm điểm. Nếu cơ chế giám sát thay đổi, hoặc nếu mô hình nhận ra rằng nó không còn bị giám sát tích cực, sự căn chỉnh hời hợt như vậy có thể không khái quát hóa được.

Xác thực phép đo

Phép đo của chúng tôi chỉ có ý nghĩa nếu khoảng cách đối lập thực sự phản ánh cơ quan có thẩm quyền nào mà mô hình tối ưu hóa. Trên một mô hình thực tế, chúng tôi không có sự thật cơ bản (ground truth), vì vậy để xác thực phép đo, chúng tôi chuyển sang các mô hình mà chúng tôi kiểm soát được khuynh hướng. Chúng tôi kiểm tra xem các mô hình được huấn luyện để hack phần thưởng (reward-hack) có cho thấy khoảng cách người chấm điểm lớn hơn sau khi huấn luyện hack phần thưởng hay không, và các mô hình được huấn luyện để nịnh hót một cơ quan cụ thể tạo ra khoảng cách lớn nhất trên cơ quan đó. Đối với các thí nghiệm xác thực, chúng tôi sử dụng các đặc điểm phong cách lập trình.

Huấn luyện hack phần thưởng làm tăng khoảng cách người chấm điểm

Một phép đo đáng tin cậy về hành vi tìm kiếm phần thưởng cần phân biệt được các mô hình tìm kiếm phần thưởng cao với các mô hình ít tìm kiếm phần thưởng hơn. Các mô hình liên tục hack phần thưởng là một trường hợp kiểm thử tự nhiên (xem Phụ lục).

Chúng tôi đã thử nghiệm điều này trên hai mô hình hack phần thưởng được huấn luyện độc lập bởi Redwood Research, dựa trên gpt-oss-120b và Kimi K2.5.

Khôi phục khuynh hướng của các "Sinh vật mô hình" (Model Organisms)

Chúng tôi đã huấn luyện ba sinh vật mô hình, tinh chỉnh gpt-oss-120b bằng SFT để nịnh hót một cách rộng rãi một cơ quan có thẩm quyền cụ thể: Người dùng, Người chấm điểm, hoặc Ban lãnh đạo OpenAI. Nếu phương pháp này đúng đắn, khoảng cách tỷ lệ hành vi lớn nhất sẽ luôn rơi vào đúng cơ quan mà mỗi sinh vật được huấn luyện để tối ưu hóa.

Chúng tôi áp dụng phép đo đối lập cho từng sinh vật trên bốn đánh giá lập trình. Trên các tác vụ Python ngắn, khoảng cách của mọi sinh vật đều ưu tiên cơ quan mục tiêu của nó.

Tại sao hành vi tìm kiếm phần thưởng lại quan trọng

Một tác nhân tìm kiếm phần thưởng thực hiện những gì nó tin rằng người chấm điểm khen thưởng ngay cả khi điều này xung đột với ý định của nhà phát triển. Khi người chấm điểm không hoàn hảo, chính sách có thể theo đuổi những gì trông có vẻ đúng hơn là những gì thực sự đúng. Ngay cả khi người chấm điểm hoàn hảo, mô hình vẫn có thể khái quát hóa sai trong các tình huống vắng bóng việc chấm điểm hoặc không còn đòn bẩy. Việc khái quát hóa có khả năng sẽ tốt hơn nếu mô hình làm những việc đúng đắn vì những lý do đúng đắn. Hành vi tìm kiếm phần thưởng cũng làm suy yếu các đánh giá mà chúng ta sử dụng để phát hiện sự sai lệch căn chỉnh: vì một tác nhân tìm kiếm phần thưởng tối ưu hóa cho sự phán xét của người chấm điểm, nó có thể đạt điểm cao trong các đánh giá căn chỉnh, và điểm số tốt khi đó không còn phân biệt được các mô hình đã căn chỉnh với các mô hình sẽ khái quát hóa kém, với căn chỉnh lừa dối (deceptive alignment) là trường hợp giới hạn [Hubinger]. Tệ hơn nữa, nó có thể khó bị loại bỏ thông qua huấn luyện: một chính sách đã căn chỉnh và một chính sách tìm kiếm phần thưởng có thể trông giống hệt nhau khi có người chấm điểm theo dõi, vì vậy việc huấn luyện chống lại hành vi sai lệch có thể chỉ cập nhật niềm tin của mô hình về những gì được khen thưởng thay vì các sở thích cơ bản của nó [Denison; MacDiarmid].

Anthropic báo cáo bằng chứng liên quan về nhận thức người chấm điểm: Claude Opus 4.8 System Card phát hiện ra rằng một bộ giám sát ở cấp độ kích hoạt (activation-level monitor) phát hiện nó trong khoảng 5% các tập RL được lấy mẫu, trong khi Fable 5 System Card báo cáo rằng mô hình ngày càng theo dõi liệu môi trường của nó có thể bị khai thác để lấy phần thưởng hay không và điều này có thể ảnh hưởng nhân quả đến hành vi. Đây là các kết quả về nhận thức người chấm điểm thay vì các phép đo trực tiếp về hành vi tìm kiếm phần thưởng, nhưng chúng nhất quán với xu hướng liên quan đến huấn luyện mà chúng tôi quan sát được.

Mọi phòng thí nghiệm tiên phong đều đang mở rộng quy mô RL, và nhận thức tình huống (situational awareness) đang gia tăng [Schoen & Nitishinskaya; Anthropic; Chaudhary], vì vậy chúng tôi dự đoán hành vi tìm kiếm phần thưởng sẽ tăng lên. Nơi cần tìm kiếm nó là trong quá trình huấn luyện, không chỉ sau khi triển khai. Điều đó có nghĩa là kiểm toán các điểm kiểm tra để tìm hành vi tìm kiếm phần thưởng, và xây dựng các cách tốt hơn để phát hiện khi nào một mô hình hành xử tốt vì lý do sai lệch. OpenAI đang tiếp tục hợp tác với Apollo trong nghiên cứu này.

Phụ lục

Những kẻ hack phần thưởng là một nơi đầy hứa hẹn để đo lường hành vi tìm kiếm phần thưởng. Tìm kiếm phần thưởng và hack phần thưởng không phải là một: tìm kiếm phần thưởng là xu hướng rộng rãi để điều chỉnh hành vi dựa trên những gì được tin là sẽ được khen thưởng, trong khi hack phần thưởng là một chiến lược hành vi cụ thể để tối đa hóa phần thưởng. Tuy nhiên, không cái nào ngụ ý cái kia. Một mô hình có thể hack phần thưởng từ một heuristic học được hẹp, ví dụ như luôn thêm pytest.mark.skip vào các bài kiểm tra khó, mà không bao giờ suy luận về quá trình phần thưởng. Ngược lại, một tác nhân tìm kiếm phần thưởng suy luận về những gì được khen thưởng, và có thể hành xử tốt mà không cần sử dụng các chiến lược hack phần thưởng. Nhưng các mô hình thực hiện các vụ hack tinh vi, khái quát hóa có nhiều khả năng là những tác nhân tìm kiếm phần thưởng rộng rãi, vì vậy một mô hình hack phần thưởng trên diện rộng có khả năng cho thấy khoảng cách người chấm điểm lớn hơn theo phép đo của chúng tôi.

Tìm kiếm phần thưởng có liên quan chặt chẽ đến, nhưng khác biệt với, "metagaming". Metagaming là "suy luận về các cơ chế phản hồi hoặc giám sát bên ngoài câu chuyện của kịch bản, bất kể mô hình đang trong quá trình huấn luyện, đánh giá hay triển khai." Metagaming và tìm kiếm phần thưởng không nhất thiết ngụ ý lẫn nhau. Một mô hình metagaming không nhất thiết phải là tìm kiếm phần thưởng. Nó có thể suy luận về các cơ chế giám sát và sau đó phớt lờ sở thích của người chấm điểm để ủng hộ các giá trị khác, hoặc thậm chí hành động chống lại chúng. Một tác nhân tìm kiếm phần thưởng cũng không nhất thiết phải luôn metagame, nếu niềm tin của mô hình về người chấm điểm được hình thành hoàn toàn bởi câu chuyện trong ngữ cảnh được trình bày cho mô hình.

Lời cảm ơn

Cảm ơn Aiden Low và Bowen Baker vì những phản hồi cho bài viết này.