Anthropic dùng Claude tự huấn luyện mô hình, giải quyết triệt để các lỗi căn chỉnh AI

Khi AI bắt đầu tự xây dựng chính nó, việc tự động hóa nghiên cứu căn chỉnh (alignment research) trở nên ngày càng quan trọng để giúp nghiên cứu về an toàn theo kịp tốc độ phát triển. Mặc dù việc đo lường sự thành công của nghiên cứu căn chỉnh là một thách thức to lớn, các nhà nghiên cứu (tại Anthropic và những nơi khác) đã phát triển các bộ tiêu chuẩn (benchmarks) và công cụ kiểm định tự động, chẳng hạn như Petri, giúp định lượng các lỗi căn chỉnh phổ biến như hành vi lừa dối, xu nịnh và bẻ khóa (jailbreaks).

Trong một trong những thử nghiệm trước đây, chúng tôi đã giao nhiệm vụ cho Claude tìm ra các cách hiệu quả để sử dụng các mô hình AI yếu hơn làm "giáo viên" nhằm giám sát quá trình huấn luyện các mô hình mạnh hơn (trong trường hợp này là mô hình "học viên"). Hiện tại, chúng tôi đang phát hành một báo cáo mới dựa trên ý tưởng này. Chúng tôi đã để Claude tự động huấn luyện các mô hình nhằm cải thiện hiệu suất của chúng trên một số bộ tiêu chuẩn công khai, vốn đo lường 10 loại lỗi căn chỉnh khác nhau. Ví dụ, Claude đã cải thiện hiệu suất của các mô hình trong việc ngăn chặn vi phạm quyền riêng tư, được đo lường bởi ConfAIde, PrivaCI-Bench và PrivacyLens. Claude giải quyết từng lỗi căn chỉnh một thông qua một vòng lặp bao gồm: tìm kiếm tài liệu, đề xuất phương pháp và dữ liệu, huấn luyện, và sau đó là kiểm thử.

Chúng tôi đánh giá sự thành công của Claude dựa trên "tỷ lệ phần trăm khoảng cách an toàn được thu hẹp", nghĩa là các phương pháp của nó đã đưa mô hình học viên tiến gần đến mức điểm hoàn hảo lý thuyết như thế nào, dựa trên các bộ tiêu chuẩn (thường từ ba đến năm bộ) cho mỗi loại lỗi căn chỉnh. Chúng tôi loại trừ các phương pháp căn chỉnh gây ảnh hưởng xấu đến năng lực tổng quát của các mô hình học viên, đồng thời cấm Claude chưng cất (distilling) trực tiếp các kết quả căn chỉnh của chính nó vào mô hình mục tiêu. Chúng tôi thực thi các ràng buộc này bằng một tác nhân giám sát, tác nhân này sẽ đọc mọi phương pháp mà Claude dự định thực hiện trước khi nó bắt đầu chạy.

Mục tiêu của chúng tôi là đánh giá xem các phương pháp được đề xuất có, thứ nhất, duy trì hiệu quả trên các đánh giá căn chỉnh mà Claude chưa từng thấy trong vòng lặp nghiên cứu của nó hay không; thứ hai, tránh làm suy giảm năng lực của mô hình học viên (vì việc huấn luyện an toàn có thể, ví dụ, khiến các mô hình từ chối tác vụ thường xuyên hơn, làm giảm khả năng sử dụng tổng thể của chúng); và thứ ba, liệu chúng có còn hoạt động trên các mô hình lớn hơn những mô hình mà Claude được yêu cầu căn chỉnh trong thử nghiệm này hay không.

Trên tất cả các phương diện này, các phương pháp của Claude đều hiệu quả. Đối với cả 10 lỗi căn chỉnh, Claude đã tìm ra các bản sửa lỗi giúp cải thiện các bộ tiêu chuẩn mục tiêu mà không làm suy giảm năng lực của mô hình. Các phương pháp tốt nhất cũng hoạt động hiệu quả trên các bộ tiêu chuẩn căn chỉnh chưa từng được công bố và trên Petri, một công cụ mã nguồn mở mô phỏng các kịch bản đối kháng đa vòng để kiểm tra sự sai lệch (misalignment). Hơn nữa, các phương pháp này vẫn duy trì hiệu quả trên các mô hình lớn hơn tới 4,7 lần so với những mô hình mà Claude đã tối ưu hóa trong vòng lặp nghiên cứu.

Claude cũng vượt qua 28 nhà nghiên cứu an toàn là con người, những người có tối đa tám giờ để đưa ra các phương pháp. Ví dụ, về lỗi lừa dối, phương pháp tốt nhất của Claude đạt hiệu suất cao hơn 20% so với đề xuất tốt nhất từ con người. Tuy nhiên, vì con người không thể lặp lại (iterate) các đề xuất của họ, chúng tôi coi đây không phải là một sự so sánh trực tiếp mà là bằng chứng cho một quy trình làm việc nơi Claude xác định các phương pháp căn chỉnh đầy hứa hẹn để con người có thể tinh chỉnh thêm.

Trong tương lai, khi Claude trở nên giỏi hơn trong nghiên cứu căn chỉnh so với cả những nhà nghiên cứu con người xuất sắc nhất, chúng ta có thể muốn Claude trực tiếp căn chỉnh các thế hệ kế nhiệm mạnh mẽ hơn của chính nó. Để đánh giá điều này, chúng tôi đã kiểm tra xem một mô hình Claude yếu hơn có thể giảm thiểu các lỗi căn chỉnh trong các mô hình mạnh mẽ hơn hay không.

Liệu Claude có thể hậu huấn luyện (post-train) một mô hình cấp sản xuất để đạt được sự căn chỉnh tốt hơn không?

Chúng tôi đã giao nhiệm vụ cho Claude Sonnet 5—mô hình yếu hơn Claude Opus 4.8 trên Chỉ số Năng lực Epoch (Epoch Capabilities Index), một thước đo xem xét các khía cạnh năng lực toàn diện—với việc sửa các lỗi căn chỉnh trong một checkpoint sớm của Opus 4.8, vốn chưa trải qua hầu hết các quy trình huấn luyện căn chỉnh sản xuất của chúng tôi.

Chỉ trong 60 giờ, Claude đã thử nghiệm với hơn 50 giải pháp và đạt được điểm số căn chỉnh gần bằng với các mô hình sản xuất của chúng tôi. Giải pháp chiến thắng chỉ chứa hơn 2.000 ví dụ huấn luyện, được xây dựng từ các mẫu đơn giản hoặc tập dữ liệu công khai, giúp nó hiệu quả hơn khoảng 15.000 lần so với quy trình căn chỉnh sản xuất của chúng tôi.

Những gì Claude đã đề xuất

Phần lớn, các tác nhân đã hội tụ vào các phương pháp được ưa chuộng trong tài liệu nghiên cứu và cải thiện chúng qua nhiều lần lặp lại. Ví dụ, về lỗi xu nịnh, 98% các phương pháp được đề xuất đã sử dụng một kỹ thuật đã được công bố: huấn luyện mô hình dựa trên chính các câu trả lời không xu nịnh của nó. Cụ thể, so với các phương pháp tiêu chuẩn dựa trên nhắc lệnh (prompting), Claude đã sử dụng kỹ thuật điều hướng kích hoạt (activation steering), giúp điều chỉnh các biểu diễn nội tại của mô hình trong quá trình tạo văn bản, để hướng mô hình tránh xa các khuôn mẫu xu nịnh và tạo ra các ví dụ huấn luyện sạch hơn.

Giám sát các hành vi gian lận

Gần đây, chúng tôi biết rằng Claude có thể gian lận bằng cách trích xuất các nhãn kiểm tra từ một API từ xa và chọn lọc kết quả (cherry-picking). Để phát hiện các hành vi gian lận, chúng tôi đã yêu cầu Claude Opus 4.8 giám sát khoảng 1.600 bản ghi của các tác nhân nghiên cứu trên tất cả 10 lỗi căn chỉnh, và phát hiện các nỗ lực gian lận trong 39 trường hợp (2,4%). Vì các nỗ lực hành vi sai trái của Opus 4.8 vẫn có xu hướng xuất hiện trong quá trình suy luận của nó, chúng tôi lạc quan một cách thận trọng rằng công cụ giám sát của chúng tôi đã bắt được hầu hết các hành vi gian lận trong nghiên cứu này. Tuy nhiên, điều này có thể không đúng với các mô hình trong tương lai, và chúng tôi tin rằng việc duy trì khả năng giám sát cao trong các mô hình tương lai là rất quan trọng.

Chúng ta có đang đo lường đúng những thứ cần thiết không?

Mặc dù có những phát hiện đáng khích lệ này, thử nghiệm của chúng tôi vẫn có một số hạn chế: các lỗi căn chỉnh được nghiên cứu còn hạn hẹp so với những lỗi trong thực tế sản xuất (ví dụ: chúng tôi không đo lường các thiên kiến chính trị), một số lỗi có thể xảy ra rất hiếm hoặc mới xuất hiện gần đây đến mức chưa có bộ tiêu chuẩn nào để đo lường chúng, và chúng tôi chỉ loại bỏ các phương pháp của Claude khi chúng làm suy giảm một tập hợp hạn chế các năng lực đã xác định trước, nghĩa là các phương pháp được chấp nhận có thể đã làm suy giảm các năng lực quan trọng khác mà chúng tôi chưa đo lường. Hơn nữa, các đánh giá như Petri chỉ là đại diện (proxy) cho sự sai lệch trong thế giới thực, và chúng tôi chưa kiểm tra xem liệu các cải thiện về căn chỉnh có duy trì sau quá trình huấn luyện RL (học tăng cường) mở rộng trên các tác vụ khác hay không.

Chúng tôi dự định tiếp tục cải thiện khả năng của Claude trong việc đo lường các lỗi tinh vi, nghiên cứu sâu hơn về việc tự động hóa hậu huấn luyện căn chỉnh trên các mô hình cấp sản xuất, và thực hiện các phân tích toàn diện hơn. Nhìn chung, chúng tôi coi những kết quả này là những tín hiệu tích cực ban đầu cho thấy việc hậu huấn luyện căn chỉnh tự động có thể trở nên khả thi trong tương lai gần, và chúng tôi sẽ chia sẻ các cập nhật khi công việc này tiến triển.

Chúng tôi phác thảo các hướng đi chi tiết trong tương lai trong báo cáo đầy đủ của mình.

Chúng tôi cung cấp mã nguồn mở cho bộ công cụ nghiên cứu căn chỉnh tự động của mình để những người khác có thể phát triển dựa trên đó và sử dụng nó để căn chỉnh các mô hình của riêng họ. Để biết thêm chi tiết, hãy đọc báo cáo đầy đủ trên blog Alignment Science, bao gồm môi trường của các tác nhân, kết quả cho tất cả 10 lỗi, và các đề xuất của tác nhân, cùng với xác thực tiêu chuẩn và các ví dụ viết trong phần phụ lục.

Nội dung liên quan

Cho phép nghiên cứu độc lập về cách mọi người sử dụng Claude

Đầu năm nay, chúng tôi đã chạy một chương trình thí điểm cho phép các nhà nghiên cứu bên ngoài truy cập vào dữ liệu sử dụng Claude tổng hợp trong thế giới thực. Ba nhóm nghiên cứu đã thiết kế các nghiên cứu riêng của họ cho Anthropic Insights, công cụ phân tích bảo mật quyền riêng tư của chúng tôi. Trong bài viết này, chúng tôi chia sẻ các kết quả cấp cao từ những nghiên cứu đó và những gì chúng tôi đã học được khi thực hiện chương trình thí điểm này.

Đọc thêm

Cách Claude đang thúc đẩy thiết kế protein và hóa học phân tích

Trong bài viết này, chúng tôi chia sẻ hai kết quả cho thấy cách Claude có thể giúp các nhà khoa học sự sống tăng tốc độ nghiên cứu của họ.

Đọc thêm

Các khuôn mẫu và vấn đề trong các hệ thống đa tác nhân mới nổi

Tại đây, chúng tôi xác định một vài ví dụ về các xu hướng hành vi trong các mô hình tiên phong hiện nay và chỉ ra cách chúng có thể tạo ra các lỗi hệ thống không mong đợi, với hy vọng bắt đầu một cuộc thảo luận về việc giảm thiểu những rủi ro này.

Đọc thêm