Anthropic Red Team đánh giá khả năng định vị tình báo chiến thuật và phát triển vũ khí thông thường của các mô hình AI

Đội ngũ Red Team tiên phong của Anthropic đã phát triển và công bố một loạt đánh giá mới nhằm đo lường khả năng của các mô hình AI trong các nhiệm vụ mô phỏng định vị tình báo chiến thuật và phát triển vũ khí thông thường. Các đánh giá bao gồm nhiều nhiệm vụ cụ thể: về định vị tình báo, bao gồm liên kết tài khoản và phân loại cá nhân dựa trên thông tin rời rạc, định vị địa lý qua ảnh (chỉ sử dụng kiến thức nội tại của mô hình, không dùng tìm kiếm ngược hình ảnh hoặc siêu dữ liệu) và định vị địa lý qua văn bản (sử dụng công cụ tìm kiếm trong môi trường sandbox). Về phát triển vũ khí thông thường, đánh giá tập trung vào khả năng viết phần mềm cho hệ thống dẫn đường máy bay không người lái (dẫn đường giai đoạn cuối), thả tải trọng và điều hướng trong môi trường mất tín hiệu GPS.

Kết quả đánh giá cho thấy các mô hình tiên phong (như Mythos Preview, Mythos 5, Opus 5) thể hiện vượt trội trong nhiều nhiệm vụ. Ví dụ, trong nhiệm vụ định vị địa lý qua ảnh, sai số trung vị của Mythos Preview là 37,0 km, tốt hơn so với tiêu chuẩn cơ sở tốt nhất của con người; trong nhiệm vụ liên kết tài khoản, Mythos Preview đạt kết quả tốt nhất. Ở các nhiệm vụ liên quan đến vũ khí, Opus 5 đạt tỷ lệ trúng đích 20% trong mô phỏng dẫn đường giai đoạn cuối và gần như đạt độ chính xác tuyệt đối khi thả tải trọng vào mục tiêu tĩnh. Tốc độ xử lý của mô hình vượt xa các nhà phân tích con người, chẳng hạn như với khoảng 37.000 từ nội dung mạng xã hội mô phỏng, Mythos Preview chỉ mất trung bình khoảng 11 phút để phân tích.

Các mô hình mã nguồn mở (như Kimi K3, GLM 5.2) được thử nghiệm có hiệu suất thấp hơn các mô hình tiên phong, thường nằm ở mức giữa Sonnet và các mô hình cấp Mythos, nhưng vẫn cho thấy mức độ năng lực đáng lo ngại. Ví dụ, Kimi K3 có sai số trung vị trong định vị địa lý qua ảnh là 385 km và tỷ lệ trúng đích trong dẫn đường giai đoạn cuối là 1,6%. Anthropic lưu ý rằng các đánh giá này dựa trên dữ liệu mô phỏng, nhằm minh họa cách các mô hình có thể cung cấp kiến thức chuyên môn mới cho các tác nhân đe dọa và khuếch đại năng lực của các chủ thể quốc gia, dù thừa nhận rằng các tác nhân này vẫn có thể bị hạn chế bởi điều kiện vật chất.

Anthropic nhấn mạnh rằng những đánh giá này bộc lộ rủi ro tiềm ẩn của mô hình trong các ứng dụng tình báo và quân sự, đồng thời cho rằng cả các mô hình đóng và mở hiện nay đều có thể hỗ trợ các tác nhân đe dọa trong việc xác định, định vị nhân sự và thiết kế phần mềm cho các hệ thống con của vũ khí. Công ty cho biết đã triển khai các biện pháp an toàn nền tảng mới như bộ phân loại để ngăn chặn hành vi lạm dụng này, đồng thời chỉ ra rằng đây là những thách thức chung mà toàn bộ hệ sinh thái AI đang phải đối mặt.