Khi ngữ cảnh phản chủ: Phát hiện tấn công đầu độc RAG qua hiện tượng sụp đổ chú ý

Tóm tắt AI

Nghiên cứu giới thiệu D-SCAN, phương pháp phát hiện tấn công đầu độc dữ liệu trong RAG bằng cách phân tích hiện tượng 'sụp đổ chú ý' (Attention Collapse) bên trong mô hình, thay vì dựa vào độ bất định của đầu ra vốn dễ bị đánh lừa.