Giải mã 'Tam giác chú ý' trong các mô hình AI đa phương thức âm thanh - hình ảnh

Tóm tắt AI

Nghiên cứu phân tích cơ chế 'tam giác chú ý' trong các mô hình khuếch tán, chỉ ra cách thông tin ngữ nghĩa bị rò rỉ giữa âm thanh và hình ảnh, dẫn đến các kết quả sai lệch so với yêu cầu người dùng.