An toàn cho ai? Từ chối đúng phạm vi nội dung thay vì chặn toàn bộ chủ đề

Hầu hết các công việc căn chỉnh an toàn (safety alignment) đều coi tác hại là một thuộc tính của chủ đề. Một câu lệnh (prompt) được coi là không an toàn vì nó thuộc về một danh mục chung như vũ khí, gian lận hoặc tự hại, và các mô hình bảo vệ (guard models) như LlamaGuard-3 mã hóa chính xác loại phân loại theo chủ đề này. Các bộ tiêu chuẩn đánh giá (benchmarks) như XSTest và OR-Bench sau đó thăm dò chế độ lỗi mà điều này tạo ra, đó là các mô hình từ chối những câu lệnh an toàn chỉ vì chúng chứa một từ trông có vẻ nguy hiểm, và các công việc hiệu chỉnh từ chối (refusal-calibration) cố gắng kéo con số đó xuống.

Các triển khai thực tế hiếm khi phù hợp với bức tranh theo chủ đề. Cùng một mô hình cơ sở có thể được điều chỉnh cho một trợ lý chung, một sản phẩm giáo dục, một hệ thống doanh nghiệp hoặc một dịch vụ khu vực công, và mỗi thiết lập cần các ranh giới khác nhau trong cùng một chủ đề. Một gia sư giáo dục công dân và một trợ lý khu vực công có thể dùng chung một mô hình nhưng yêu cầu hành vi trái ngược nhau về chính trị: cả hai đều nên trả lời các câu hỏi thực tế về một cuộc bầu cử, nhưng chỉ một trong số đó có thể cần từ chối yêu cầu viết nội dung thao túng chính trị có mục tiêu. Một bộ bảo vệ theo chủ đề không thể thể hiện sự phân tách đó. Ví dụ, LlamaGuard-3 chỉ bao hàm các cuộc bầu cử dưới dạng "thông tin sai lệch thực tế về hệ thống và quy trình bầu cử", điều này loại trừ sự thuyết phục và thao túng, đồng thời cũng loại trừ các câu lệnh thực tế mà một hệ thống triển khai phải tiếp tục trả lời.

Bài báo mới nhất của chúng tôi, "Safety for Whom? Boundary-Aware Self-Distillation for Controlled LLM Safety Refusal" (An toàn cho ai? Tự chưng cất nhận thức ranh giới để kiểm soát từ chối an toàn của LLM), nghiên cứu trực tiếp vấn đề hẹp hơn này. Câu hỏi không phải là liệu toàn bộ một chủ đề có nên bị từ chối hay không, mà là tập hợp con nào của chủ đề đó không tương thích với một chính sách triển khai nhất định, và làm thế nào để huấn luyện cũng như đo lường một mô hình dựa trên ranh giới đó.

An toàn ranh giới hẹp

Chúng tôi chính thức hóa thiết lập này thành một vũ trụ chủ đề (tất cả các câu lệnh chính trị trong các thí nghiệm của chúng tôi), chứa một tập hợp con có hại mục tiêu mà hệ thống triển khai muốn từ chối. Chính sách dự định không phải là từ chối tất cả các vấn đề chính trị, mà là từ chối tập hợp con có hại trong khi vẫn tiếp tục trả lời phần bổ sung lành tính. Hành vi lý tưởng là một bước nhảy sắc nét: từ chối bên trong tập hợp con, trả lời ở mọi nơi khác trong chủ đề đó.

Thiết lập ranh giới hẹp. Một hệ thống triển khai có thể chỉ cần từ chối các câu lệnh chính trị yêu cầu thao túng hoặc thuyết phục có mục tiêu, trong khi vẫn trả lời các câu lệnh chính trị khác, thay vì từ chối toàn bộ chính trị. Sự từ chối của một mô hình đã qua huấn luyện mượt mà hơn so với sự phân tách lý tưởng và có thể lan sang vùng lành tính gần ranh giới. Nguồn: Hình 1 của bài báo.

Một mô hình đã qua huấn luyện không bao giờ học được bước nhảy sắc nét đó. Nó học một xác suất từ chối chỉ xấp xỉ mục tiêu, và việc huấn luyện cross-entropy làm tăng sự từ chối bên trong tập hợp con có hại cũng có thể đẩy sự từ chối ra ngoài vào phần bổ sung lành tính. Vì vậy, vấn đề thực sự không chỉ là tăng sự từ chối đối với các câu lệnh có hại, mà là định hình hành vi ngay tại ranh giới đó. Chúng tôi vận hành ranh giới đó dưới dạng các cặp câu lệnh chia sẻ một điểm neo chủ đề và chỉ khác nhau về ý định, một câu lệnh nên bị từ chối và một câu lệnh nên được trả lời.

Chúng tôi sử dụng sự thuyết phục chính trị làm môi trường thử nghiệm, vì sự thuyết phục mang tính thao túng có thể gây ra tác hại thực sự trong khi thông tin chính trị thực tế vẫn là hợp pháp, đây chính xác là trường hợp mà sự từ chối theo chủ đề quá thô sơ.

Nơi việc tự điều chỉnh an toàn thất bại

Cách tự nhiên để xây dựng dữ liệu huấn luyện ở đây là tự tạo (self-generation): lấy mô hình mục tiêu, hướng nó đến việc từ chối mỗi câu lệnh có hại và giữ lại các dấu vết mà mô hình bảo vệ xác minh là sự từ chối thực sự. Đây là công thức đằng sau các phương pháp như ThinkSafe, và chúng tôi áp dụng nó như tài liệu tham khảo, áp dụng cho các câu lệnh chính trị và đo lường từng thành phần một. Việc đặt vấn đề là một ranh giới thay vì một chủ đề làm lộ ra ba điểm yếu trong quy trình tiêu chuẩn đó.

Điểm yếu đầu tiên là khoảng trống về độ bao phủ. Một nỗ lực hướng dẫn đơn lẻ không phải lúc nào cũng tạo ra sự từ chối được chấp nhận, và những câu lệnh đó bị loại bỏ âm thầm khỏi tập huấn luyện. Trong nhóm được kiểm toán của chúng tôi, việc tạo đơn lẻ (single-shot) loại bỏ 19,88% câu lệnh, tương đương 8.009 câu, và những câu lệnh thất bại này rất có thể là những ví dụ khó nhất. Chúng tôi sửa chữa điều này thay vì loại bỏ nó: một chiến lược thử lại leo thang, lấy mẫu lại cùng một câu lệnh thông qua việc hướng dẫn mạnh dần lên, giúp giảm tỷ lệ thất bại còn lại xuống 0,20%, tương đương 79 câu lệnh. Việc sửa chữa độ bao phủ để lại 40.293 câu lệnh huấn luyện có hại, trong khi quy trình thông thường sẽ loại bỏ hàng ngàn câu.

Điểm yếu thứ hai là các phản ứng tiêu cực. Việc điều chỉnh an toàn có xu hướng tạo ra các từ chối sai đối với các câu lệnh lành tính trông có vẻ nguy hiểm. Để bù đắp, chúng tôi xây dựng dữ liệu lành tính trong phân phối (in-distribution), bao gồm 11.955 câu lệnh lành tính trông có vẻ nguy hiểm đã được xác minh trên 18 loại ngữ nghĩa, để mô hình thấy các câu lệnh an toàn với cách diễn đạt trông nguy hiểm trong quá trình huấn luyện thay vì chỉ ở giai đoạn đánh giá.

Điểm yếu thứ ba là các phân tách thông thường giữa có hại và lành tính không đo lường được hình dạng của ranh giới. Một mô hình có thể cải thiện tỷ lệ từ chối có hại chỉ bằng cách mở rộng sự từ chối sang các câu lệnh cho phép gần đó, và một chỉ số theo chủ đề sẽ gọi đó là một sự cải thiện. Các cặp có hại-lành tính được giữ lại (held-out), với 1.539 cặp mỗi bên, cho phép chúng tôi đo lường trực tiếp cả hai phía của ranh giới.

Sự đánh đổi và cái bẫy ẩn giấu

Việc huấn luyện trên dữ liệu từ chối chính trị hoạt động theo nghĩa rõ ràng. Trên Qwen3-8B, mô hình có độ bao phủ leo thang làm tăng tỷ lệ từ chối chính trị trong phân phối từ 9,47% lên 84,75%, và nó cũng có khả năng chuyển đổi: tỷ lệ phản hồi không an toàn trung bình trên ba tiêu chuẩn đánh giá tác hại rộng hơn là HarmBench, StrongREJECT và WildJailbreak, được chấm điểm bởi LlamaGuard-3, giảm từ 26,26% xuống 0,14% ở cấu hình mạnh nhất.

Nếu chỉ báo cáo riêng lẻ, những con số đó trông như một chiến thắng hoàn hảo. Nhưng không phải vậy. Tại cùng một điểm kiểm tra (checkpoint), tỷ lệ từ chối sai (over-refusal) trên XSTest tăng từ 2,00% lên 74,00%. Cấu hình có tỷ lệ phản hồi có hại thấp nhất cũng là cấu hình từ chối gần ba phần tư các câu lệnh hoàn toàn an toàn. Đó là một cỗ máy từ chối thô bạo, không phải là một mô hình an toàn hơn, và bạn không thể thấy điều đó trừ khi bạn đo lường phía lành tính. Đây là thông điệp chính: thành phần dữ liệu quyết định vị trí của một checkpoint trong không gian giữa an toàn và từ chối sai, vì vậy hai trục này phải được báo cáo cùng nhau.

Hai trong số các thành phần dữ liệu của chúng tôi kéo con số từ chối sai xuống mà không làm mất đi lợi ích an toàn. Việc thay thế các phản hồi tuân thủ được áp dụng từ bên ngoài bằng các phản hồi đã được xác minh do chính mô hình mục tiêu tạo ra giúp giảm tỷ lệ từ chối sai trên XSTest từ 15,20% xuống 5,20% trong quá trình tạo đơn lẻ, với cái giá phải trả về tác hại là không đáng kể. Và các cặp ranh giới có hại-lành tính thực hiện công việc chính xác nhất trong tất cả.

Trái: từ chối sai ở phía xứng đáng được tuân thủ của ranh giới được giữ lại, thấp hơn là tốt hơn. Các lần chạy với dữ liệu ranh giới lành tính (PB) giảm xuống 0,03 đến 0,08; nếu không có nó, con số tăng lên gần 0,49. Phải: từ chối ở phía có hại, cao hơn là tốt hơn, chỉ giảm nhẹ. Nguồn: Hình 6 của bài báo.

Cụ thể, việc thêm dữ liệu ranh giới lành tính làm giảm tỷ lệ từ chối sai ở phía xứng đáng được tuân thủ của các cặp được giữ lại từ 32,94% xuống 4,16%. Sự từ chối ở phía có hại chỉ giảm từ 91,88% xuống 87,72%. Nói cách khác, hầu hết các từ chối sai gần ranh giới biến mất trong khi gần như tất cả các từ chối thực sự vẫn tồn tại. Có một cái giá thực sự về khả năng thu hồi (recall), nhưng nó nhỏ và có thể đo lường được, đó chính là điểm mấu chốt: bạn chỉ có thể đánh đổi nó một cách có chủ đích nếu bạn đo lường cả hai phía.

Những thay đổi này mang lại điều gì

Bài học thực tiễn là việc điều chỉnh an toàn không nên chỉ được đánh giá bằng tỷ lệ từ chối có hại. Một mô hình từ chối nhiều hơn không tự động an toàn hơn, và trên một ranh giới hẹp, cùng một động thái làm tăng sự từ chối đối với các câu lệnh có hại có thể âm thầm làm cho mô hình trở nên vô dụng đối với các câu lệnh hợp pháp ngay bên cạnh chúng. Thành phần của dữ liệu huấn luyện, sửa chữa độ bao phủ, bù đắp trong phân phối và các cặp ranh giới là những thứ kiểm soát sự đánh đổi đó, và cả hai phía của ranh giới dự định phải được đánh giá để các con số có ý nghĩa.

Công trình này là một phần trong nghiên cứu của Multiverse Computing nhằm làm cho hành vi của mô hình có thể kiểm soát và đo lường được ở cấp độ mà các triển khai thực tế quan tâm, thay vì ở cấp độ các danh mục chủ đề rộng lớn. Quy trình tạo tương tự mở rộng sang các chủ đề khác ngoài chính trị, và bài báo báo cáo đầy đủ các bộ loại bỏ thành phần dữ liệu (data-composition ablations) đằng sau các kết quả trên.

Bạn muốn biết chi tiết kỹ thuật đầy đủ, bao gồm các chiến lược sửa chữa độ bao phủ, định tuyến mất mát (loss routing) tách biệt cross-entropy có hại khỏi việc bảo toàn forward-KL lành tính, và đánh giá ranh giới được giữ lại hoàn chỉnh? Hãy đọc toàn bộ bài báo, hoặc liên hệ với nhóm của chúng tôi để thảo luận về an toàn cụ thể cho từng triển khai đối với các mô hình của riêng bạn.