Nghiên cứu DeepMind: Giám sát suy luận chuỗi dễ bị 'thao túng', giải pháp là kiểm chứng chéo giữa các dòng mô hình

Một lý do lớn khác để sử dụng kết hợp các mô hình tiên tiến (frontier models).

Giám sát chuỗi suy nghĩ (chain-of-thought monitoring) được coi là một lớp bảo mật đáng tin cậy cho các tác nhân (agents). Nghiên cứu có liên kết với DeepMind này cho thấy lớp bảo mật đó có thể bị thuyết phục để bỏ qua nhiệm vụ của mình.

Việc cho phép bộ giám sát truy cập vào dấu vết suy luận của tác nhân đã làm tăng tỷ lệ phê duyệt các hành động gây hại lên trung bình 9,5%, vì sổ tay nháp (scratchpad) trở thành một kênh bổ sung để thuyết phục.

Giải pháp chính là sự đa dạng của mô hình.

Việc kết hợp một bộ giám sát Claude 3.7 Sonnet với một bộ kiểm chứng thực tế GPT-4.1 từ một dòng mô hình khác đã cắt giảm tới 45% các phê duyệt vi phạm chính sách, so với chỉ 6% khi một mô hình đảm nhận cả hai vai trò.

Nếu cơ chế giám sát của bạn dựa trên việc một mô hình đọc suy luận của mô hình khác, một tác nhân đối nghịch có thể dùng lời lẽ để vượt qua nó. Kiểm chứng thực tế chéo giữa các dòng mô hình là đòn bẩy hiệu quả và tiết kiệm hơn trong trường hợp này.

Bài báo: https://arxiv.org/abs/2607.08066

Học cách xây dựng các AI agent hiệu quả tại học viện của chúng tôi: https://academy.dair.ai/